events

Pitagora Meetup 2025-01

概要

日時： 2025年01月09日（木） 13:00 〜 18:00
場所：
- オンサイト会場:
  - 人数制限があるため、オフライン参加を希望する方はお問い合わせください
  - COVID19 感染対策にご協力ください。
- オンライン会場:
  - Discord: Pitagora / Workflow Meetup Japan サーバ

問い合わせ

幹事: 大田 tazro.ohta [at] chiba-u.jp

タイムテーブル

途中参加、途中退出は自由です。初めて参加される方はぜひ過ごし方ガイドをご覧ください。

Time
13:00-13:15	今日の作業確認
13:15-17:00	開発とディスカッション
17:00-18:00	ラップアップ
18:00-	有識者会議

ミートアップの主旨

データ解析ツール・ワークフローを共有する
- ソフトウェアをコンテナ化する
- Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
- ドキュメントを書いて GitHub で公開する
共有されたツールやワークフローを実行する
- うまくいったこと、うまくいかなかったことを記録する
技術情報を共有する
- twitter に post する
- ブログを書く
関連OSSプロジェクトにコミットする
- SNSで質問する
  - hashtag をつけて twitter で
- プロジェクトの Gitter channel があればそこで聞く
- Issueを立てる
- Pull Request を送る
その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

那須野

某学術系クラウドサービスの Terraform によるデプロイの動作確認を完了。
- 中のインフラはシンプルな OpenStack なので、特殊な設定等は何もいらないことが確認できた。

末竹

sapporo-service をちょっとメンテしてた

横山

（近況）前職の後輩をパイプライン職人として育成？中
なぜかmacのdocker-desktopでdeamonが立ち上がらなくなって泣きながらDockerDesktopを入れ直す（OSアップデートで解消）
手元のSapporo-service 2.0.6をにupdate
slurm-nextflow連携を試すのにAWS parallel clusterを調べる
- 2月にならないと下記の解析用オンプレサーバーが触れないので…
（今更ですが質問）オンプレでslurmを入れている解析用のサーバーで、nextflowで記述したワークフローをkickするために、sapporo-service, nextflow, あと各種の解析ソフトウェアDockerimageを整備しつつあります
- sapporoのレイヤーと、そこから呼び出すnextflowのレイヤーと、さらにそこから呼び出す各種解析ソフトウェアを動かすとき、Docker Deamonは入れ子にすべきですか？(Docker in Docker in Docker?) それとも、ホストのDocker deamonを共有したりしてDocker outside of Docker ですか？(横山)
- 基本的に host の docker daeman を共有するべきです。
  - というのも、run_dir (OR 実行 directory) 周りで、それぞれの container が好き勝手にしちゃうパターンが出てきます
  - slurm を使う場合、slurm の api 使うのが割といいかもしれません
  - sapporo - slurm api -> slurm node で、slurm node での nextflow 実行はそのまま slurm 側の host 側の docker に任せちゃうというか
- どう組み合わせるのがいいか年末年始悩んでたのが整理できました、ありがとうございます！（横山）

福井

何もしてないのにmacのdocker desktopがぶっ壊れた

アプリケーション"Docker.app"を開けません。

tatakiの論文化をしたい。去年ISMB出してから類似論文出てないか見てみた
- googleのmagikaにバイオインフォ拡張子の更新はきてない
  - 論文化進行中みたい
  - gmailの添付ファイルチェックですでに使われてるとのこと
- acidbio
  - BEDファイルのinteroperability頑張るツール論文
    - はメンテ来てない

大田

ずっと pending にしていた WGSpipeline をやっている
human variant calling pipeline なんもわからん
DeepSeek V3 早く ollama に来て欲しい

池田

macのdocker 周りの問題がホットトピックスとなっていた
- mac OS上でdockerがMalwareとみなされる
- mac用のDocker Desktopのパッチが出ている　Docker Desktop 4.37.2
Amazon Bedrockに取り組んでいた
- modelの切り替え事にコードの変更が必要でとても面倒だとおもっていた
- InvokeModel APIしか利用してなくて、Converse APIが存在することを始めて理解した
  - https://dev.classmethod.jp/articles/amazon-bedrock-converse-api/ これかな（おおた）

石井

現地もオンラインも参加できてないですが、コメント
- Dockerの外で実行できるものはそっちのほうが、楽なので、その手が本当にとれないか検討したほうがよいかと。 -
- もし、docker内からなら、おそらく slurm APIを使えるなら、それがよさそうでした。
  - mungeとか、、、ホスト名解決とかやっかいだったような気も。。。
- BioHackathon EUで紹介してもらった、ピョートルさんのところのarunの実装arunisaac/ravanan: High-reproducibility CWL runner powered by Guixは、Slurm APIを使って叩いていたと思いました。
- mungeとか色々考えるとSlurm APIが良さそうですが、試したことがないのでどの程度らくなのか不明、Arun曰く、簡単だったような。