events

Pitagora Meetup 2020-09

概要

• 日時： 2020年09月24日（木） 10:00 〜 17:30
• 場所： フルリモート
  • オンライン参加 (Pragli) のURLは Pitagora Slack で告知します
  • Slack 参加希望の方は下の連絡先までどうぞ
• 連絡先： 大田 t.ohta [at] dbcls.rois.ac.jp
• Skype ID：pitagora-network (最新バージョンのSkypeの使用を推奨)

タイムテーブル

途中参加、途中退出は自由です。*印が付いている時間がオンラインでの集合目安時間です。その後は繋いだままでもいいですし、一度切って作業に集中しても構いません。

Time
10:00-10:15	今日の作業確認*
10:15-11:00	各自作業
11:00-11:30	update session*
11:30-13:00	各自作業
13:00-14:00	ランチ*
14:00-17:00	開発とディスカッション
17:00-17:30	ラップアップ*
19:00-	有識者会議*

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
  • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

• 9名
• エア: 1名

大田

• 諸事情により 11am - 3.30pm くらいまで Pragli 離脱します、すみません、、
• やりたいこと
  • 金曜のプレゼンの準備……
    • BioSample RDF の話であんまり workflow っぽくない
  • Subworkflow/ScatterなCWL https://github.com/ddbj/human-reseq/pull/2 のテスト with まなぶさん
  • Sapporo GUI のテスト with すえちゃろさん
  • CWL-metrics v2 の夢が膨らむ
    • drillhawk も一緒に実行する
    • metrics ログの JSON-schema が必要ではという話に
    • コンポーネントはまとめる
    • エンドポイントはES
  • Sapporo deplyment まであとちょっと
    • ユーザの手元のファイルをアップロードするのにベストなUXはなにか
      • 多少セキュアでなくてもいいのでユーザビリティは上げたい
        • 離脱してほしくない
        • (石井：多少セキュアでなくてよい理由は、パブリックデータが前提であるため)
      • 過激派: https://ngrok.com/
    • minio に uuid とかのランダムな名前のバケットを作ってそこにD&Dで上げてもらう
      • 秘密のデータは使わないでね

石井

• 3PM以降は、散発的な参加になりそうです。
• やりたいこと
  • おおたさんと、human-reseqのテストおもにscatter部分
  • SapporoからCWLのジョブをtoilを使って、slurmに対して投げる。
    • run以下のディレクトリに、実行時のもろもろがある。
      • デバッグ時
    • もろもろハードコーディングなので、今後は、普通に動くようにしたい。
      • 末竹 ) 諸々ハードコーディングは仕様
  • もろもろ事務処理
    • 10/12(Mon)１３時から１９時のワークフローミートアップのセットアップ
• pitagora meetupの１０月はいつきまるでしょうか？（有識者会議の日程を調整できるかもしれない）

那須野

• 石井さんから PLC アダプターの使い勝手の良さを教えてもらった
  • https://www.tp-link.com/jp/home-networking/powerline/tl-pa4010-kit/
• SLURM や Torque の worker ノードをクラウド資源で補完する仕組みの仕上げ作業
• 丹生さん、大田さんと cwl-metrics に関する議論

丹生

• PLC について教えてもらう
  • Bluetooth や大量の wifi アクセスポイントの存在を考えると、PLC は今だと選択肢に入れやすいかもしれない
• Rabix-composer 1.5.0-rc1 から実装された Custom executor feature を試してみた
  • cwl-runner で動く！(実体は cwltool)
    • ツール・ワークフロー両方で動作確認
    • custom executor 前にあった、ワークフロー実行時に、実行中のステップが光るエフェクトはなくなっていた (しょうがない)
    • とりあえずの動作確認には CWL の User guide が便利
      • 入力ファイルも添付されている
      • CWL 側で CI による動作確認がされている
  • 現状は CWL v1.0 準拠の executor のみ
    • cwl-svg と cwl-ts の対応が必要らしい
  • コマンドラインで動作する全ての executor が利用できる(はず)
    • バックエンドが executor ではなく WES server でもいけると嬉しい、など夢がとても膨らむ
• ep3 と Galaxy ベースの再構成システムの連携作業
  • 再構成部分(ステップごとに資源決定・確保する)は REST API 経由で Galaxy と通信する方式のため、Galaxy 以外にも対応できる(はず)
  • 最終報告書にはまだ間に合う！
  • prepare_job (最初に割当計画を立てる)と prepare_job (実際に確保する) の仮実装はできたのでこれから繋げる
• cwl-metrics と DrillHawk の話
  • executor 自体のログも見れるとうれしいかもしれない
    • ログの共通仕様までいくと規模が大きくなるが、利点はそこそこある
      • e.g., composer で実行経過表示や、ステップごとの入出力ファイルの表示など
    • cwl-prov は実装が重くてつらい
    • DH で対応する、という所までが長い
  • cwl-metrics fetch tsv でステップごとのメトリクスに分解して表示してくれる
  • cwl_file などにファイル名ではなくてワークフロー自体の中身がほしい
    • DH のワークフロー実行結果一覧の画面で、ワークフローのサムネ的なのが見れると嬉しいかも、という話
      • 現状だとメトリクスのみからワークフローの構造がわからない
    • フィールド名も変えたほうがいいかも (単に cwl とか？)
    • 現状の cwl_file (ファイル名のみ)だと、ワークフローなどを一意に識別できない
    • cwltool --pack で、ひとまとめにした CWL が出力できる
      • $graph を使った込み入った CWL…
        • だが valid なので、CWL v1.0 対応を謳っているシステムは対応しているはず
  • がっつり時間をとって議論&実装をしたい
• Marp 便利そう

池田

• Docker volumeを直接コピーする方法を知りたかった
  • Backup や restore用のコンテナを作成して該当Volumeをマウントし、tar等でホスト上のファイルシステムに出力するのが定石らしい
  • https://docs.docker.com/storage/volumes/
  • Backup, restore, or migrate data volumes Volumes are useful for backups, restores, and migrations. Use the –volumes-from flag to create a new container that mounts that volume.
  • $ docker run -v /dbdata --name dbstore ubuntu /bin/bash
  • $ docker run --rm --volumes-from dbstore -v $(pwd):/backup ubuntu tar cvf /backup/backup.tar /dbdata
    • Volumeを直接docker export したり
    • ホストのファイルシステム上でコピーしたりできないようだ…
    • 意外と不便

末竹

• もくもく論文執筆部

松尾

• 近況：相変わらず在宅勤務でインフラのお仕事
  • プライベートクラウド→Azure移行のPJ
  • なんかお客様都合で二転三転している
  • インフラ（Azure）の雑務全般をしています。
  • 「Azureの専門家」として適当に過ごしていたら、テスト環境構築のチームリーダーにされてしまった
• 今日：仕事の合間にAzureの無料試験をうけるために「Microsoft Ignite Cloud Skills Challenge 2020」に参加していました。オンライン教材をクリアするだけで無料試験が受けられます。
• https://docs.microsoft.com/en-us/learn/certifications/microsoft-ignite-cloud-skills-challenge-2020-free-certification-exam

志波

• Pragil初参加
  • 大学のネットワークからだとFireWallの関係で音声が聞こえない・伝わらない
• 久しぶりにGalaxy関係の作業
  • Kraken2のwrapper.xmlをサーバ上でダイレクトに修正（オプションを一つ追加）

鈴木

• プラスミドのデータベース作成（キュレーション）
  • 既存のデータベース COMPASS, PLSDB and pATLAS

• MetaSUB論文 [“Global Genetic Cartography of Urban Metagenomes and Anti-Microbial Resistance

  bioRxiv”](https://doi.org/10.1101/724526)

山中（エア）