Pitagora Meetup 2023-12
概要
- 日時: 2023年12月7日(木) 12:00 〜 18:00
- 場所:
- オンサイト会場:
- 人数制限があるため、オフライン参加を希望する方はお問い合わせください
- COVID19 感染対策にご協力ください。
- オンライン会場:
- Discord:
Pitagora / Workflow Meetup Japan
サーバ
問い合わせ
- 幹事: 大田
t.ohta [at] dbcls.rois.ac.jp
タイムテーブル
途中参加、途中退出は自由です。初めて参加される方はぜひ 過ごし方ガイド をご覧ください。
Time |
|
12:00-12:15 |
今日の作業確認 |
12:15-17:30 |
開発とディスカッション |
17:30-18:00 |
ラップアップ |
18:00- |
有識者会議 |
ミートアップの主旨
- データ解析ツール・ワークフローを共有する
- ソフトウェアをコンテナ化する
- Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
- ドキュメントを書いて GitHub で公開する
- 共有されたツールやワークフローを実行する
- うまくいったこと、うまくいかなかったことを記録する
- 技術情報を共有する
- 関連OSSプロジェクトにコミットする
- SNSで質問する
- プロジェクトの Gitter channel があればそこで聞く
- Issueを立てる
- Pull Request を送る
- その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める
まとめ
大田
- ToDo: BlueSky bot を作る
- https://bsky.app
- Env secret vs repo secret in github actions
- https://stackoverflow.com/questions/65957197/difference-between-githubs-environment-and-repository-secrets
- できた: https://github.com/inutano/beersky
- CWL の告知をする bluesky bot を作る
- CWL は今 mastodon で (Michaelが) 更新している
- https://floss.social/@cwl
- Bot は以下をやる
- post の一覧を取得する
- まだ repost してない post を bluesky に post する
- mastodon API を叩く
- https://floss.social/api/v1/accounts/lookup?acct=cwl を叩くとユーザの情報が取れるのでここから
id
を取得する (109522718177073248
)
- https://floss.social//api/v1/accounts/109522718177073248/statuses を叩くと post の一覧が取れる
id
を見ながら
那須野
- mdx.jp でK8sクラスタを構築するための手段として kubespray.io を検証しておきたい ⇒構築できた
- 3個のVMを用意し、rootアカウントでSSH鍵交換しておく
- kubesprayで使われるAnsibleのバージョン依存に注意
pip install ansible==7.6.0 ansible-core==2.14.6
quay.io/kubespray/kubespray:v2.23.1
を使えば、正しいバージョンのAnsibleが同梱されている
- ansible-playbook実行後に気軽にresetする際は以下に注意
- containerd を docker-ce でインストールしていたため、docker-ce 自体も削除されてしまった。
- resolver情報も削除されて、名前解決できなくなった。
石井メモ:福井さん曰く、vagrantなどで、消えて良いノードにセットアップするような感じ。ログインしてそこに作る感じ。kubespray(公式傘下)を別ノードにたてて、そこからどこかに作成するイメージ。一応、アップグレードも対応してくれているらしい。
末竹
- 年末経理作業
- DDBJ-Search 考古学
- Trad に比べたらマシ
- Trad は怨霊、Search は生霊
- Spr. update 作業
池田
福井
- kubespray.io お助けマン
tataki
(更新分はまだpushしてない。。)
- Rustのtempfile crateを使って
/tmp
以下にきれいに一時ファイルを作りたい。
- できたこと
/tmp
ディレクトリ以下に何も考えずに一時ファイルを作って、プログラム終了時に削除してくれる
- 任意のディレクトリ以下に任意の名前の一時ファイルを作って、プログラム終了時に削除してくれる
- 作成した一時ファイルを永続化する
keep()
を使う。 persist()
を使うと任意の名前にできる。
- できなかったこと
- ただし、一時ファイルの名前を任意にした場合は、ファイルの永続化はできない (APIの作り的に不可能だった)
- https://github.com/search?q=repo%3Asapporo-wes%2Fyevis-cli%20tempfile&type=code
石井
- お土産を家に忘れてきた。。。
- 1月まで賞味期限があったきがするので、時間の日程によっては、、、
- CWLのoutputファイルの操作をするために
InitialWorkDirRequirement
絡みを試している
- 初歩的なところから作り始めている。
- 存在しないファイルやディレクトリを作れるようになった。
- https://github.com/manabuishii/cwl-samples-2023/tree/main/change_outputdir
- 今後やりたい
- 存在しないディレクトリを複数作成し、その中それぞれに、複数の結果ファイルを書き出したい。
- 最終的には、任意の入力ディレクトリ?の中に出力ディレクトリを作りたい
- 全部コピーするのに適さない量のファイルに対してもおこないたいので、どのように、stagingするのかは、cwltool以外でもテストする必要がある。
-
- 何かわからないが、テザリングで8GBくらい使っている。
- かつて経験したことはない。
- OSのアップデートっぽい。
松尾
- 忙しくて顔出せませんでした
- 相変わらずCloud Architectとして提案周りで働いています
- 生成AIのプロジェクト適用を推進する担当になったので悪戦苦闘している