Pitagora Meetup 2019-05
概要
- 日時: 2019年5月27日(月)10:00 〜 18:00
- 場所: 理化学研究所 革新知能統合研究センター (日本橋) 会議室4
- アクセス: http://www.riken.jp/access/tokyo-map/
- エレベーターホールを降りてフロアの廊下を右奥に進んで頂いた先の鏡張りのドアが入り口です。大田まで連絡して頂くか、インターフォンで Pitagora Meetup に来た旨を伝えて開けてもらってください。
- 連絡先: 大田 t.ohta [at] dbcls.rois.ac.jp
- Skype ID:pitagora-network (最新バージョンのSkypeの使用を推奨)
タイムテーブル
途中参加、途中退出は自由です。ランチの時間は部屋に誰もいなくなる可能性があるので、施錠の関係上、この前後にお越し頂けるとスムーズです。
Time |
|
10:00-10:15 |
今日の作業確認 |
10:15-13:00 |
開発とディスカッション |
13:00-14:00 |
ランチ |
14:00-17:30 |
開発とディスカッション |
17:30-18:00 |
ラップアップ |
18:00- |
有識者会議 |
ミートアップの主旨
- データ解析ツール・ワークフローを共有する
- ソフトウェアをコンテナ化する
- Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
- ドキュメントを書いて GitHub で公開する
- 共有されたツールやワークフローを実行する
- うまくいったこと、うまくいかなかったことを記録する
- 技術情報を共有する
- 関連OSSプロジェクトにコミットする
- SNSで質問する
- hashtag をつけて twitter で
- プロジェクトの Gitter channel があればそこで聞く
- Issueを立てる
- Pull Request を送る
- その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める
まとめ
山田
- テスト機(Redhat7.6)にcwltoolとcwl-runner(を入れるためにpython3環境一式も)入れた
- MacBookAirにSAPPOROシステム一式入れてブラウザインターフェースの動作確認まで行った
- テスト機にもSAPPOROを入れてみたのだが、web-upとservice-upスクリプトでuwsgi.sockが見つけられないらしく起動までいかなかった
山本
- 自分の卒業研究で使いたいツールをdocker galaxy上で動かせるようにしていた。
大田
- ChIP-Atlas に遺伝子リストを投げられるよう機能追加していた
- 山本さんが困っているのを助けようとした(助けられなかった)
那須野
- 山本さんのサポートで
bgruening/galaxy-stable:latest
内部の dockerd が起動しない問題を検証。
- Docker for Mac の storage driver は
overlay2
だが、 galaxy-stableイメージの dockerd は aufs
で起動しようとしている。
graphdriver: driver not supported
エラーが出る
/etc/supervisor/conf.d/galaxy.conf
の dockerd 起動オプションを修正する。
-s aufs
を -s overlay2
に変更
supervisorctl reload
- コンテナ化された Galaxy Tool を使いたい場合は必然的に Docker-in-Docker 構成になるため、Docker for Mac や aufs ドライバが入っていない環境では注意する必要がある。
bgruening/galaxy-stable
にこれに関する起動オプション(環境変数等)はないのだろうか?
- 生命科学クライシス―新薬開発の危ない現場 読み始めました。
池田
- python hgvsのseqrepoとutaをdocker上で動作確認しようとしたが、Docker Hub上のbiocommons/hgvsのイメージは古くて正しく動作しない事がわかった
- Biocommonsは似たような名前のグループがたくさんあるのだけど、このBiocommonsはSan FranciscoのBioinformaticsのグループの活動によるもの
鈴木(治)
丹生
- 疾病ゲノム解析の章の CWL 化の準備
- 下準備: 使っているツール類がコンテナ化されているかを確認
- 明示的に書かれているツールのコンテナが biocontainer にあるのは確認
- samtools, picard, GATK
- ただし、GATK 以外はバージョンの記載がない…
- 本文で使われているスクリプト群へのアクセス権をもらえるようにコメントした
- ep3 が特定環境でランダムに動かない (外部からはフリーズしたように見える) 問題の調査
- 内部で使っている SRX 処理系の問題
- Gitlab の CI runner (dind) でのみランダムに動かない
- CentOS7
- Linux 上で直接エンジンを動かす場合には問題がない
- overlayfs の関連 Issue を発見
- 確認した
- dind in CentOS7
- ホストの FS は XFS
- overlayfs, overlayfs2 の両方で再現 (== ランダムに動かない)
- dind in Ubuntu 18.04
- ext4
- overlayfs2 -> x
- devicemapper -> x
- aufs -> x
- SRX の別のバグも踏み抜く
- storage driver が原因ではなさそう
- Next: bind mount が原因?
- /var/run/docker.sock をマウントする方法でどうなるか確認
末竹
山中 (リモート)
志波 (リモート)