events

Pitagora Meetup 2023-07

概要

• 日時： 2023年7月5日（水） 13:00 〜 16:00
• 場所：
  • オンサイト会場:
    • 人数制限があるため、オフライン参加を希望する方はお問い合わせください
    • COVID19 感染対策にご協力ください。
  • オンライン会場:
    • Discord: Pitagora / Workflow Meetup Japan サーバ

問い合わせ

• 幹事: 大田 tazro.ohta [at] chiba-u.jp

タイムテーブル

途中参加、途中退出は自由です。初めて参加される方はぜひ 過ごし方ガイド をご覧ください。

Time
12:00-13:00	ランチ
13:00-13:30	集合・作業確認
13:30-15:30	開発とディスカッション
15:30-16:00	ラップアップ
16:30-17:30	CWL セミナー
18:00-	有識者会議

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
  • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

• 参加者10名

大田

• Amazon Omics vs CWL をやった、コンテナから何から全部AWSの内部にないとダメとのこと、あと異常に実行に時間がかかる、ちなみに実行系は cwltool であることが（エラーのおかげで）わかった

山本

• 昨日からGATKの勉強を始めて、bamファイルをダウンロードしてsamtoolsの実行環境をDLして、samtools view -H data/NA12878.chr20.sample.bamでヘッダー情報を確認できた。池田さんに教えてもらいました。次はこの作成済みのbamファイルを用いてGATKをCWLを使って実行してみます。
• I started studying GATK yesterday, downloaded the bam file, DL’d the samtools execution environment, and was able to verify the header information with samtools view -H data/NA12878.chr20.sample.bam. Ikeda-san showed me how to do this.Next, we will try to run GATK using this pre-created bam file with the CWL.

末竹

• Sapporo/Yevis/Tonkaz/Neko-Punch の TODO をまとめた後、NII GRDM の解析基盤でバッチジョブ的なことをしたいと言われているのでそれの仕様を考えていた

石井

• I wrote cwl how cwl job recognized their environment especially on job scheduler
  • It is very helpful for some kind of files are missing or reach quota (such as /tmp is small)
• ジョブスケジューラ環境でのCWLのジョブの認識を出力する、CWLを作った。
  • https://github.com/manabuishii/cwl-samples-2023

Michael

• Small PR merged at https://github.com/common-workflow-library/bio-cwl-tools
• Helped Tazro test out Amazon Omics with CWL

山中

• 久しぶりに金田研（分子腫瘍学）に訪問し、先端研の先輩方とお話しました

丹生

• DBCLS BioHackathon 2023 で倒した nested typeDSL 周りの作業を schema-salad-d などに反映させていた
  • schema-salad-d 自体は既に nested typeDSL (e.g., File[][])には対応済み
    • ただし CWL v1.2 以前ではサポートがプラットフォーム依存
      • CWL v1.3 以降に正式サポートになるはず
    • 生成元の Schema Salad のバージョンを取得できる機能を追加して Draft PR を送った
      • 破壊的変更の回数を減らしたいので他の変更もまとめる予定

池田

• Amazon Omicsなかなかおもしろい
• ただし
  • データはS3または、Omics storage or analysis store
    • (You can use Amazon S3 or Omics storage URIs as input parameters.)
    • https://docs.aws.amazon.com/omics/latest/dev/parameters-and-input-cwl.html
  • Docker imageは　Amazon ECRにおいて解析の必要がある
    • All Docker container URIs should be replaced with Amazon ECR URIs. 　

新海

• 自分の仕事と情報収集、オフライン参加大事
  • amazon omics興味深い

露崎

• MichaelにcwltoolとToilを教えてもらった I learned cwltool and Toil from Michael.
• クラウド実行時に入力出力を解読するのがCWL以外だと難しいらしい I heard that it is hard to parse program on cloud environment, when we use workflow engines other than CWL.