events

Pitagora Meetup 2021-02

概要

• 日時： 2021年2月19日（金） 10:00 〜 17:30
• 場所： フルリモート
  • オンライン参加 (Pragli) のURLは Pitagora Slack で告知します
  • Slack にはどなたでも参加できます。こちらからどうぞ。
• 不明なことがあれば遠慮なくこちらへどうぞ： 大田 t.ohta [at] dbcls.rois.ac.jp

タイムテーブル

途中参加、途中退出は自由です。*印が付いている時間がオンラインでの集合目安時間です。その後は繋いだままでもいいですし、一度切って作業に集中しても構いません。

Time
10:00-10:15	今日の作業確認*
10:15-11:00	各自作業
11:00-11:30	update session*
11:30-13:00	各自作業
13:00-14:00	ランチ*
14:00-17:00	開発とディスカッション
17:00-17:30	ラップアップ*
19:00-	有識者会議*

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
  • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

参加者: 7名

大田

• 某DBシステムのデプロイ作業を人に頼むためのドキュメントを書くためのgithub actionsを設定したりしている
  • 閉鎖環境内で動くシステムなのでビルド済みのコンテナイメージを運び込む必要があり「ここからダウンロードしてくださいね」で済ませたかった
    • リリースの zip に含められたらいいのになー
  • 設定した
  • まだ private repo なので外に出せないがそのうちオープンになる予定
    • 内部の諸々の作業が片付いたら整理してオープンにします（空高く積み上がるタスク）
  • リリースのタグをコンテナイメージのタグにしたいという要求を action に書くのに回りくどいことをしなければいけなかった
    • https://stackoverflow.com/questions/58177786/get-the-current-pushed-tag-in-github-actions
  • Organization account で actions x GitHub container registry に push するための認証周りを調べるのがだるかった
    • 結論
      • Organization でも特に設定なく GHCR が使える
        • 古い記事では設定が必要とあるが今は不要
      • GHCR では Personal Account Token (PAT) での認証が必要
      • 組織アカウントでは PAT を作れない
      • 組織アカウントにアクセス権限のある個人アカウントで PAT を作る
        • package read/write/delete に加えて org の read/write がいるのかと思ったが特にいらないっぽい
        • 該当の org にアクセス権のあるユーザでPAT作ってpackageの権限持たせればいいっぽい
      • docker push する場合には Improved container support というのを有効にしていなければいけないっぽい
        • org setting > packages > Packages improved container support
        • action で push する場合にも多分同様？検証してない
      • 組織アカウント以下にあるレポジトリの secret にその PAT を登録する
      • actions からその PAT を呼ぶ
  • 地味にハマったのであとでエントリ書こうと思います
    • リリース作ってactionがちゃんと動くこと確認してからかな
• 微生物データの解析をやる
  • やっている
  • CWLを使ったり使わなかったり…
• 15:00-17:00 別の会議で抜けます、すみません、、

末竹

• sapporo-web 改修
  • めっちゃすすんだ

丹生

• ep3 (Extremely Pluggable Pipeline Processor) の ep 成分を実装し始めた
  • 現状だと CWL にほぼ準拠した、ただの p2 (Pipeline Processor)
    • ep 成分は未実装
  • ep3 が ep3 になるためには
    • ep3 の本体は、CWL -> medal の変換を行う ep3 init と、ペトリネット実行処理系 medal
    • エンドユーザーからは最初と最後しか見えないため、普通の CWL 処理系に見える
    • 中間表現のペトリネットを直接いじれば、ep3 自体には手を入れなくても任意の機能を追加できる！！(はず)
  • 現在の ep3 でのワークフロー実行方法
    1. CWL -(ep3 init)-> workflow.yml (medal 用入力ファイル)
    2. workflow.yml -(medal)-> ワークフロー実行結果
  • ep 成分実装後の青写真
    1. CWL -(ep3 init)-> workflow.yml
    2. workflow.yml -(medal-hook)-> workflow-with-special-features.yml # これから実装
    3. workflow-with-special-features.yml -(medal)-> ワークフロー実行結果
  • ep 成分を実現するコマンド用のリポジトリを作成した: medal-hook
    • リポジトリを作ったものの、medal に直接 hook 機能を追加したほうが色々便利なのでは、と思い始めている
    • 結局入力の YAML を medal-hook で直接いじる方式に決定
  • 馬力を出して実装中
    • 環境変数置き換え用の hook は動いたっぽい
      • これにこの hookを引っ掛けると、MESSAGE が Good morning に変更された yaml が生成できる
  • primary target は CWL-metrics
    • ある程度動いた段階で「親から引き継がれた requirement の扱いは？」とか「subworkflow どうやって対応する？」などの Issue が cwl-log-generator に立ちます

石井

• Pragli FAQが日本語最新になっているような気がする
  • よくあるご質問
  • まだ有料化はされてない
• 調べようとしたことが、ちょうどよい調査結果がのっていて助かりました。(おおたさん++>)
  • はまったところの記事おまちしております　:bow:
• SSH の ProxyJump 機能を最近しりました。
  • ssh ProxyJump と DynamicForward でシアワセな接続ライフを掴みとる - Qiita
• SAPPOROの話をおおたさんと、すえたけさんと行い、現状困っているところは、なおりそうであるということがわかった。

新海

• なんというか、大変お久しぶりです
• 色々と仕事したり調査したりしてます
  • いずれ外部公開まで行きたいなぁと思っているネタがあるのですが、せっかくだからCWL形式も導入みたいなことが出来たら嬉しいなぁ、などと
  • 5時からのwrapupの際には顔を出したいです！　遅れるかもですが！
• というか雑用対応とタスク対応で以下略

池田

• BWA-mem2 について調べていた
  • BWA-mem2-2.0の　マッピング結果は bwa-mem-0.7.17　と同じらしい…

那須野

• 年度末に向けていろいろ詰まっていて、今回はほとんどMeetupらしい作業ができませんでした。。