events

Pitagora Meetup 2023-06

概要

• 日時： 2023年6月1日（木） 10:00 〜 18:00
• 場所：
  • オンサイト会場: 手配中
    • 人数制限があるため、オフライン参加を希望する方はお問い合わせください
    • COVID19 感染対策にご協力ください。
  • オンライン会場:
    • Discord: Pitagora / Workflow Meetup Japan サーバ

問い合わせ

• 幹事: 大田 t.ohta [at] dbcls.rois.ac.jp

タイムテーブル

途中参加、途中退出は自由です。初めて参加される方はぜひ 過ごし方ガイド をご覧ください。

Time
10:00-10:15	今日の作業確認
10:15-13:00	開発とディスカッション
13:00-14:00	ランチ
14:00-17:30	開発とディスカッション
17:30-18:00	ラップアップ
19:00-	有識者会議

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
  • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

大田

• 15:00 からミーティングですみっコにいきます
• やること
  • DDBJ registry (Yevis) 整備
    • https://github.com/ddbj/workflow-registry/blob/main/.github/workflows/yevis-test-pr.yml
    • actions再実行
  • DDBJ WES documentation 整備
  • 頼まれATAC-seq解析のまとめ
  • Sapporo x RO-crate のアップデート

山中

• GitHub Actions を勉強
  • 初めてやってみた（Java ですが）
  • CI に使ってねということですが、
    • ワークフローをテストしたりもしているんですか？
• 川上さんのプロジェクトを勉強
  • 全身ネットワークシミュレーターいいですね！
• この論文を読んでいた
  • FlavorGraph
  • ちょっとこの話はビールを飲みながら

末竹

• 4月5月は割りと chill ってた
  • ここ 4,5 年疲れたため
  • 5月は office setup していた (done)
• NII DG とかいう project の code の編集作業
  • 久々に code 書いている
• Yevis の修正
• ISMB の Lyon の Hotel に mail 書いたりしていた

池田

• cluster のapparmorの設定について検討していた
  • 単純に利用しない設定とすることにする(那須野さんありがとう)
• タブ区切りデータファイルの各columnのデータタイプの判定をしたかった
  • pandasで先頭の数千行を取得してdtypeで判定するのがうまくいった
  • na_valuesで無視する値を設定し、skiprowsと chunksizeを利用すればファイル内のサンプリングもできる
• 末竹くんの名刺がかっこいい

那須野

• sapporo-service のテスト用ワークフロー tests/resources/cwltool/trimming_and_qc.cwl を M1 Mac の Docker Desktop で実行すると処理が終わらない原因を調査
  • もともとの目的は先月Meetupのこれ でした
  • わかったこと
    • trimming 処理がCPU使用率100%で永遠に終わらない
      • コンテナはbiocontainersの公式イメージを使用 quay.io/biocontainers/trimmomatic:0.38--1
    • 新規に立ち上げた sapporo-service で、初回実行時は 1 分前後で処理が完了する（正常動作）
    • 同じ sapporo-service の環境で2回目を実行すると、trimmomatic が完了しない現象
    • Linux環境ではこの問題は起きない！
  • 解決策？(workaround)
    • sapporo-service が Dockerコンテナでワークフローを実行する際 /tmp を volume マウントしているが、run毎に生成される /tmp 以下の一時ディレクトリがあると問題が再現する
      • sapporo/run.sh#L227
    • run毎に /tmp 以下の一時ファイル、ディレクトリを削除すると正常動作する
    • trimmomatic だけの問題なのかは不明（他のワークフローを試していないので…）
      • fastqc は正常に実行できている模様