Pitagora Meetup 2024-02
概要
- 日時： 2024年2月1日（木） 13:00 〜 18:00
- 場所：
- オンサイト会場:
- 人数制限があるため、オフライン参加を希望する方はお問い合わせください
- COVID19 感染対策にご協力ください。
- オンライン会場:
- Discord:
Pitagora / Workflow Meetup Japan サーバ
問い合わせ
- 幹事: 大田
t.ohta [at] dbcls.rois.ac.jp
タイムテーブル
途中参加、途中退出は自由です。初めて参加される方はぜひ 過ごし方ガイド をご覧ください。
| Time |
|
| 13:00-13:15 |
今日の作業確認 |
| 13:15-17:00 |
開発とディスカッション |
| 17:00-18:00 |
ラップアップ |
| 18:00- |
有識者会議 |
ミートアップの主旨
- データ解析ツール・ワークフローを共有する
- ソフトウェアをコンテナ化する
- Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
- ドキュメントを書いて GitHub で公開する
- 共有されたツールやワークフローを実行する
- うまくいったこと、うまくいかなかったことを記録する
- 技術情報を共有する
- 関連OSSプロジェクトにコミットする
- SNSで質問する
- プロジェクトの Gitter channel があればそこで聞く
- Issueを立てる
- Pull Request を送る
- その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める
まとめ
大田
- 査読を終わらせなくてはならない……
- これをやっている https://arxiv.org/abs/2311.01825
- おわった
- NextflowよりCWLみたいなdeterministicなsyntaxのやつのほうが楽そう
- ワークフロー全部ぶちこむせいでプロンプトの限界が来てプロンプトいじる余地がないのがちょっと切ない
末竹
- TRS の定義に workflow inputs parameter の jsonschema を入れるのをやっていきたい
- https://github.com/common-workflow-language/cwl-utils/pull/282 待ち
- 終わったら Yevis の諸々を改修する
- Sapporo に auth 機能をつけたから、遺伝研スパコンにそれを立てて、スパコン上で wf の test を行えるようにする
- DBCLS のサーバデータバックアップについて考えていた
- 真面目に社内情シス的なお気持ちでやることを考え、Host Name,OS,Size,データの重要度,データ変更頻度,セキュリティ要件,担当者 などをまとめるためのスプレッドシートとスクリプトを書いた
- ddbj-search 修正
那須野
- （先月のつづき）WHEEL + Open OnDemand on K8s 検討のお絵かき
- OODもWHEELもWebアプリケーションなので、組み合わせ方しだいでK8sで動かす意味があるような、ないような…。
- K8sでクラスタ化するなら、Load Balancerのsticky session使うなども（当然）必要
石井（オンライン）
- sapporoが安定しており、非常に助かっています。- auth, JWTまわり、気になるので、今後ぜひ使ってみたいです。現状は薄いラッパーでなんとかなっています。- > (那須野コメント) 私も昨日auth対応版を起動してみましたが、何も問題なく使えています！- ４月あたり、ピタゴラとワークフローミートアップ、オフライン共催可能でしょうか？- ２週目だとありがたいです（いまのところ）- fit boxingをはじめて一週間くらいたちました。- トレーニング軽めにしていて１０分ちょいでストレッチ含めて終わります。ストレッチが一番きつい気がしてます。- 外にでなくてよいので、いまはこれが自分には良さそうです。- -> スウェーとかステップが入ると面倒な気持ちになります (suecharo)
池田
- Apache spark 上で動作するhailのdocker imageを作成
- hail の必要とする環境がちょっと細かいので、物理マシンでの実行を断念した
- spark 3.3.2
- pyspark<4,>=3.3.2
- baseの Dockerfileはspark-docker から
- hail の動作を確認
福井
- BOSC 2024
- BOSC 2024 submission 読む
- 締め切り
- April 19: Regular abstract submission deadline (talks and posters)
- What to submit
- short abst
- long abst
- 1-2 page, can include figures
- PDF
- title, author names, open sources license and repo URLs
- Requirement
- OSSであって、Open scienceとの関連性説明してね
- EasyChairアカウント作った
- tataki (ファイル形式判定ツール mainly for バイオインフォ)
- README.mdを改善した
- バグを見つけたので修正しなければいけない
- コマンド引数がURLのときの結果出力がURLではなく、ダウンロード後のtemporary fileになっている。