Pitagora Meetup 2023-02
概要
- 日時： 2023年2月2日（木） 10:00 〜 18:00
- 場所：
- オンライン会場:
- Discord:
Pitagora / Workflow Meetup Japan サーバ
問い合わせ
- 幹事: 大田
t.ohta [at] dbcls.rois.ac.jp
タイムテーブル
途中参加、途中退出は自由です。初めて参加される方はぜひ 過ごし方ガイド をご覧ください。
| Time |
|
| 10:00-10:15 |
今日の作業確認 |
| 10:15-13:00 |
開発とディスカッション |
| 13:00-14:00 |
ランチ |
| 14:00-17:30 |
開発とディスカッション |
| 17:30-18:00 |
ラップアップ |
| 19:00- |
有識者会議 |
ミートアップの主旨
- データ解析ツール・ワークフローを共有する
- ソフトウェアをコンテナ化する
- Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
- ドキュメントを書いて GitHub で公開する
- 共有されたツールやワークフローを実行する
- うまくいったこと、うまくいかなかったことを記録する
- 技術情報を共有する
- 関連OSSプロジェクトにコミットする
- SNSで質問する
- プロジェクトの Gitter channel があればそこで聞く
- Issueを立てる
- Pull Request を送る
- その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める
まとめ
大田
- 11am から別ミーティングで一瞬抜けます
- ランチちょっと長めに抜けます
- 日曜午前にマレーシア経由でサウジアラビアはKAUSTに行って BioHackathon MENA 2023 に参加します
- MENA: Middle East and North Africa
- 結構いろんなところから人が来るらしい https://cbrcconferences.kaust.edu.sa/bio-hackathon-2023/speaker/participants
- 現地普通に暑いらしいので空港行き帰りの服装に困る…
- 今日の目標
- Workflow Run Crate の論文の Sapporo section を書き上げる => done!
末竹
- 13pm から別ミィーティングで抜けます
- 会社の諸々
- 登記しました: 株式会社 Sator
- homepage を作っている
- 物件とか口座とか
- GitHub Actions で
df -h した
- https://github.com/suecharo/gh-actions-test/actions/runs/4070461994/jobs/7011330691
- free: 34GB
- self hosted-runner: https://docs.github.com/ja/actions/hosting-your-own-runners/about-self-hosted-runners
石井
- １４時から別ミーティングで抜けます。15時頃復帰予定
- yevis 作業
- zenodoにおけるデータは、50GB
- GitHub Actions は、34GB(末竹さんのコメント)というデータがあるが、仕様には書いてなさそう(丹生さんのコメント)
- GitHub Hosted Runner
- https://docs.github.com/ja/actions/using-github-hosted-runners/about-github-hosted-runners
- Self Hosted Runner
- /の領域はキャッシュがつかっているのかなとおもった（石井）
- https://docs.github.com/ja/actions/using-workflows/caching-dependencies-to-speed-up-workflows#example-using-the-cache-action
-
GitHubは、7日間以上アクセスされていないキャッシュエントリを削除します。 保存できるキャッシュの数に制限はありませんが、リポジトリ内のすべてのキャッシュの合計サイズは制限されています (最大 10 GB)。
- yevis使用中
- 0.5.6ではaffiliationが空の場合という特殊ケースでエラーになるというケースにあたることができた
- 0.5.7でなおったことを確認したい。
- テストの人数が増えるとそれだけ、安定度が増す気がする。
- 動くセットと動かないセットがあると、違いがわかってよい。
- 質問、おおたさんが、yevisの動作を見せてくれたときにつかっていた、docker psの出力から、３列目とか？をきりだすのに awk をつかっていたようなのですが、 awk ‘$0=$3’みたいなのを知りたいです。。。
- クラウドシステムのバックアップについて末竹さんに質問した
- CWL APAC meeting 明日2/2(Fri) 10:00 JST
- CWL APAC EMEA meeting 2/13(Mon) 17:00 JST
- 次回Workflow meetup 3/1(Wed), 2(Thu), 2ピタゴラと共催。CWLcon中
丹生
- 13時ごろから別ミーティングで抜けます
- CWLCon 2023 の発表応募〆切が 2/6(月) に延びてた
- core-wire いじり
- これなに？: CWL で
file:// とか https:// とか s3:// とか混在している入力オブジェクトを上手いこと扱いたいラッパー
- まずはローカル -> ローカルで動くように
- 足回りはある程度できた。File オブジェクトや Directory オブジェクトのハンドリングはこれから
- コーナーケース対応をやりやすいように API をこねこねしている段階
- 入力オブジェクトとして複数の同一ファイル名が存在する
- 仕様にはないが、cwltool は別名にリネームした上で
basename はオリジナルのファイル名のままにしている
secondaryFiles と名前がかぶる
- ダウンロード先に既にファイルが存在する
山中
- 今週はバンコクで過ごすつもりでしたが行けませんでした
- CWL の使いみちを考えたので次回までにやってみたい
- ジョブのネットワークのクリティカルパスを求める
- ということを試すのに使うデータを作れるか
池田
- slurmの設定と格闘中
- ubuntu 20.04でaptでインストール可能な
slurm-wlm 19.05.5 から開発版のslurm 23.02.0-0pre1にアップデート
- いろいろ細かいノウハウが必要なんだなー
- ノードのメモリ量を
slurmd -C が返す値いっぱいにしておくと、状況によっては設定量を下回ってノードがdrain状態になってしまうという事態が発生したり…
- slurm.conf の
slurmdUser を slurmUserと間違えてslurmdがroot権限で起動してたり
cgroup.confが無くて起動slurmdが起動しなかったり
- iCloud DriveがいっぱいになってきなのでOneDriveにファイルを移動したら、ファイル名に使えない文字があることがわかった
（石井: minisforum UM690(Ryzen)? https://store.minisforum.jp/ ）
那須野