events

Pitagora Meetup 2019-08

概要

日時： 2019年8月19日（月）10:00 〜 18:00
場所：理化学研究所革新知能統合研究センター会議室1（日本橋）
連絡先：大田 t.ohta [at] dbcls.rois.ac.jp
Skype ID：pitagora-network (最新バージョンのSkypeの使用を推奨)

タイムテーブル

途中参加、途中退出は自由です。ランチの時間は部屋に誰もいなくなる可能性があるので、施錠の関係上、この前後にお越し頂けるとスムーズです。

Time
10:00-10:15	今日の作業確認
10:15-11:30	開発とディスカッション
11:30-12:30	ランチ
12:30-17:30	開発とディスカッション
17:30-18:00	ラップアップ
18:00-	有識者会議

ミートアップの主旨

データ解析ツール・ワークフローを共有する
- ソフトウェアをコンテナ化する
- Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
- ドキュメントを書いて GitHub で公開する
共有されたツールやワークフローを実行する
- うまくいったこと、うまくいかなかったことを記録する
技術情報を共有する
- twitter に post する
- ブログを書く
関連OSSプロジェクトにコミットする
- SNSで質問する
  - hashtag をつけて twitter で
  - プロジェクトの Gitter channel があればそこで聞く
- Issueを立てる
- Pull Request を送る
その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

大田

志波さんの16S-SeqのworkflowをCWL化したので動作テストをしている
- 通ったぜ！！
- テスト用のでかいデータをzenodoに置いて、それをダウンロードして実行する版を書いている

16S-seq

新海

完全に自分の仕事をしてました（金曜日のリピート）
色々と落ち着いたらMeetupっぽい仕事もやっていきたいです

池田

planemo serve --cwl CWLツール.cwlの実行系について
- docker planemo/intaractiveを用いた実行はうまくいかない(先週の結果) ``` Collecting selenium==3.141.0 (from -r ./lib/galaxy/dependencies/dev-requirements.txt (line 51)) Using cached https://files.pythonhosted.org/packages/80/d6/4294f0b4bce4de0abf13e17190289f9d0613b0a44e5dd6a7f5ca98459853/selenium-3.141.0-py2.py3-none-any.whl ERROR: Could not install packages due to an EnvironmentError: [Errno 28] No space left on device

Problem running Galaxy command []. ``` -原因はDocker Desktop for Macのメモリ割り当てだった - Memory: 8.0GiBに割当し直すと　pipに起因するエラーは解消 - 何で Memory Error では無く No space left on device Errorになるのかは不明…

planemoのVMを利用してシステム構築
- cwltoolからGalaxyのインターフェイスの生成
  - 大田さんのkallisto_index.cwlを利用
  - boolean が integerにマップされているため正常には動作しない
  - Source コードではboolean -> booleanにマップされている(どこで割当が変更になっているのか?)
- planemo serve –cwl　の起動には数分必要…ちょっと遅い

丹生

雑に始める CWL！の英訳記事を書いた。
- Starting CWL with Zatsu method!
- Zatsu method という term を広めたい
ワークフローの CWL 化作業
- 暗黙の入力・出力パラメータにハマる
- 書いてよ！ちゃんと引数に書いてよ！！！
  - 実行しないと何がファイルとして出てくるかが予測できない
  - ツールに関する深い知識が必要 (参考: バッドノウハウと「奥が深い症候群」)
- 今最後のワークフローが動いた！
  - annovar は知らん (ライセンスがわからずコンテナ化できない)
Workflow meetup で行った Live codig の画面キャプチャ動画の確認・編集作業
- ツールのコンテナ化・ツールのCWL定義記述・cwltest を使ったテストを含む大作(1時間くらいある)
  - 動画のエンコードが終わらない…
  - 実は最初の２つは開始20分目くらいでほぼ終わっている
  - テスト作成も20分弱程度で終わっている
  - おそらく残り20分は、目には見えない Live Sharing Audio の感動を共有しているのが原因
  - もっと編集してもいいかもしれないが、Zatsu method に従いそのまま公開予定
IIBMP のスライドをちょっと修正
- スライド変わってません！という宣言
- CWLEXEC のリンクを追加
- BioHackathon でみんなに CWL を走らせて貰う予定
  - checksum まで全部一致！と言いたい
  - kallisto, bustools がいい？
- Zatsu method で Live coding?
  - Live coding RTA?
技術ではなく人間との闘いに巻き込まれている

石井

いくつかの対応
- その中で、初心者が陥りがちで、教えた側が気づきにくい問題についてまとめた
  - 共有計算機、大型計算機を使うことになった人が陥りがちなこと。教えた側は想像できなかったこと。 - Qiita

菅波

ご無沙汰しております。久しぶりの参加です。

iibmp2019のスライド作成（2018版をバージョンアップ）
- dockerについてもう少し詳しく
- 時間が12分との事なので、昨年のスライドにはなかったコマンドを追記

間に合わなかった↓

dockerの弱点：重い計算はpcのスペックによっては落ちることがある
- おすすめの使い方について記述:テスト用。軽い計算用におすすめ！とか
- docker(linux以外)の場合、設定で使用するメモリを全メモリにできる！
dockerの弱点：ちょっと難しい人用
- 他の共有ツールについて（Googleコラボ）もすこし追記
  - 授業で共有しやすかったという（中岡先生談）
デモ用のdockerを次回（本番？）まで作成してみます
- →簡単なもの（中岡先生とも今週打ち合わせします）
- 案）samtoolsとIGV（batchスクリプト作成まで）をDockerで動かしてみよう！(改良or別案も検討) https://hackmd.io/jZ8kVKRZQI-2wnIjU4V7NQ

志波

IIBMP2019で発表するナノポア用DockerGalaxyのバージョンアップ中
- https://github.com/youyuh48/pitanano-galaxy
- とりあえず名前は「pitanano-galaxy」
- まだナノポアツールの動作チェックが終わっていない
- 後は追加でラッパーを書くかどうか、、、

松尾

会社の仕事やってました。。。
- 来月頭のオフィスの引っ越しとか。。。
- 解析環境のクラウド移行とか。。。（x回目）

那須野

最新版Galaxy関連リソースのメモ
- v19.05 https://github.com/galaxyproject/galaxy/tree/v19.05
  - v19.01以降、doc/source/releases/ 配下の *_announce_user.rst にUI関連の変更点について動画GIFの説明が付く
- Docker image stable (v19.01)
  https://github.com/bgruening/docker-galaxy-stable/tree/19.01
  https://hub.docker.com/r/bgruening/galaxy-stable/tags
  - v19.05 以降はBaseイメージが ubuntu:18.04 になる予定らしい。 (現在は ubuntu:14.04)
- CWL対応版開発 https://github.com/common-workflow-language/galaxy
現行システムで使用中の v17.09 を v19.01 へ update したいが、その際のインパクトを確認
- v18.01 announce
  - galaxy.ini ⇒ galaxy.yml
- v18.05 announce
- v18.09 announce
- v19.01 announce
  - Singularity container support
VS Code の Remote Development を試してみた。

浅井

iibmp2019のスライドを作成していました。
- Galaxyについてを最初に書く。
- デモを入れても良いとのことなので、チュートリアルのワークフローでも実行しようかなと思っています。
Galaxy Training!を眺めていました。

正村

SPARQLthonで発表するプレゼンテーションを作っていました。