events

Pitagora Meetup 2020-01

概要

• 日時： 2020年01月16日（木）10:00 〜 19:00
• 場所： 慶應義塾大学 三田キャンパス 東館 4階オープンラボ (仮)
• 連絡先：
  • 大田 t.ohta [at] dbcls.rois.ac.jp
  • 鈴木 haruo [at] sfc.keio.ac.jp
• Skype ID：pitagora-network (最新バージョンのSkypeの使用を推奨)

タイムテーブル

途中参加、途中退出は自由です。ランチの時間は部屋に誰もいなくなる可能性があるので、施錠の関係上、この前後にお越し頂けるとスムーズです。

Time
10:00-10:15	今日の作業確認
10:15-11:30	開発とディスカッション
11:30-12:30	ランチ
12:30-17:30	開発とディスカッション
17:30-18:00	ラップアップ
18:00-	有識者会議

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
    • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

• 参加者
  • 物理: 8人
  • リモート: 1人

鈴木

• 2015-2017年に世界58都市で採取された3,741サンプルのメタゲノム解析に関する論文 “Global Genetic Cartography of Urban Metagenomes and Anti-Microbial Resistance” (https://www.biorxiv.org/content/10.1101/724526v3) の図を作成するコードを取得:

  git clone https://github.com/MetaSUB/main_paper_figures
  

jupyter notebook

find . -name "*.ipynb"
./main_paper_figures/main_figures/Figure_1_Urban_samples_share_a_core_microbiome.ipynb
./main_paper_figures/main_figures/Figure_3_urban_diversity_quantified.ipynb
./main_paper_figures/main_figures/Figure_4_Covariates_create_Effects.ipynb
./main_paper_figures/main_figures/Figure_5_AMR_orthologs_are_common.ipynb

大田

• 正村さん@USと研究ミーティングをした
  • ヒト腸内細菌 16S-seq のグループ間比較をします
  • データを待っている間に論文のイントロを書いている
• 某所の臨床DBシステムの開発打ち合わせをした
  • 閉鎖環境でDBシステムを構築します
  • クラウドに慣れると閉鎖系オンプレは開発も運用もしんどい
• ソースコード関連をDropboxにぶちこんでマシン間で共有しているんですが SmartSync を有効にしたらえらいことになった
  • 普段使わないファイルがオンラインに送られてローカルから削除され、必要なときにダウンロードしてくる仕組み
  • cd する度にファイルのダウンロードが始まるので厳しい
  • みなさんはどうしていますか…
• CWL-metrics のバージョンアップについて丹生さんと相談
  • CWLワークフローのメモリ使用量などを収集して分析するお役立ちツール
  • cwltoolをネイティブで実行しなければいけない (コンテナで実行するとメトリクスが取れない) というデメリットがあったのでそれを解消します
  • 具体的には cwl-metrics run というコマンドを用意して、cwltoolのDockerコンテナをラップします
    • メトリクスの収集をしつつ、実際にワークフローを実行する
    • 意識せずに収集できるという従来のメリットが失われるが、元々オプションなどの制約が厳しかったので、ユーザビリティはそこまで変わらない
  • CWL-metrics as a Service の実装も楽になる (コマンドを叩けばいいだけなので)
    • Sapporo に組み込みます

正村 (リモート)

• 研究のミーティングをした w/ 大田
• 論文のイントロの骨組みを作った

松平

山中

• 鈴木さんから教わった Jupyter Notebook の中身の勉強

池田

• Galaxy Advent Calendarの続きを書こうと思ったが
  • 思っただけだった
    • ちなみに、Galaxy Release v19.09が出たよ その1の画像の注釈ツールは usegalaxy等の公共Galaxy上では動かない
    • 下記の修正とのタイミングの問題https://github.com/galaxyproject/galaxy/pull/6891
• snakemake についてちょっと調べ物をしていた
  • 次の記事が参考になった
    • Python ベースのタスクランナー Snakemake のご紹介
    • Snakemake チートシート

那須野

• 某所の臨床DBシステム案件の打合せ
  • DELL PowerEdge 1U サーバの機種選定など…。
• AWS 上で稼働している Galaxy 環境を同一構成でもう1セット作成しようとして NFS のエラーに遭遇していた。
  • mount.nfs: requested NFS version or transport protocol is not supported
  • Dockerコンテナ化されたGalaxyツールを実行する計算ノードから GalaxyサーバをNFSマウントする構成
  • JupyterNotebookで構築用のNotebookを記述していたが、インフラ構築のReproducibilityは不完全だった
  • NFS用EBSボリュームのフォーマット方法に問題があった可能性

岩谷

丹生

• 15時頃から参加
• 以前から出す出す言ってた ep3 がようやく公開できたので、各所に報告のメールを出していた
  • https://github.com/tom-tan/ep3
  • Conformance test の結果もあるよ！

    153 tests passed, 15 failures, 29 unsupported features
    

    • まだ原因不明のバグがある
  • Conformance test の実行結果で、いくつか情報が足りない気がする
    • バッジがどのコミットでの実行結果なのか
      • みたいなのがあると嬉しい？
    • 何個のテストの実行結果なのか(知りたいか？)
      • 
    • 他に何が知りたい？
      • optional は100%出ない場合は赤ではなく黄色にするのがいいのでは
    • Markdown　に動的埋め込みはできないので、バッジで代用する？
• 大田さんと来年度の予定について相談
  • cwl-metrics
    • デーモン -> ラッパーへの方針変更
    • nested workflow への対応
  • ep3
    • 現状ローカル実行のみ
    • リモート・クラウド対応
      • データのやり取りをオブジェクトストレージ経由にしてしまえば楽なのでは？
    • 上のバグ修正とのリソースの分配が悩ましい
    • cwl-metrics 対応したい