主旨
- ツールやワークフローを持ち寄って仮想マシンに加える (図)
- 実際には、加えるための手順を作って、仮想マシンの管理者と共有する
- 同時に、Wiki に新しいツールやワークフローの説明を記載する
- プロジェクトを改善するためのフィードバックを収集する
- 解析プラットフォーム管理に役立つ技術ネタを共有する
- Galaxy 以外のソフトウェアを扱っていく可能性について議論する
スケジュール
- 日時: 2017年8月2日(水)
- 場所: 東京工業大学 緑が丘キャンパス 緑が丘6号館2階 203ミーティングスペース (map)
- 連絡先: 山中 yamanaka [at] genome.rcast.u-tokyo.ac.jp, 大田 t.ohta [at] dbcls.rois.ac.jp
- Skype ID:pitagora-network(最新バージョンのSkypeの使用を推奨)
|
|
10:00-10:15 |
今日の作業確認 |
10:15-18:00 |
ツールの開発 |
18:00-18:30 |
今日のまとめ (Skype 参加可) |
内容
全体
山中
- Version 0.3.4(まずはクラウド版)を作成した
- しかし、tool-data の .loc ファイルあたりちゃんと作成されてないかも、ということを示唆されたので確認中
大田
- データ転送ベンチマーク取ってた
- なぜ遺伝研の外からDDBJのデータを取りに行くとこんなに遅いのか…
- これを見たあなたは今すぐBioHackathonに登録する http://2017.biohackathon.org/registration
- 11月中旬に CWL の co-founder の Michael Crusoe が香港に来るそうです、日本に来るチャンスあるかな?と言っていました、もし可能ならCWL啓蒙のセミナーとかしてもらうとよいのかな?
小寺
武井
- はじめよう Galaxy 公共サーバー編 及び 仮想マシン偏 実施
- 仮想マシン偏で「Download References」実施後、「Run workflow」実行するとReference genomeがないよと言われて実行できない
末竹
- 引き続き,RNA-seq から発現量をビジュアライズするワークフローの構築.
- アセンブリは出来たため,それにマッピングするツールを考えている.
- STAR を考案されるが,Tool Shed にある STAR は何か使えないみたいだった.
- とりあえず,ローカルで STAR を試してみようかと考え,自分の環境を汚したくないため,仮想環境に BioLinux を導入してみた.
- BioLinux の GUI 環境を切るために色々やって時間が来た.
落合
- GalaxyのGetting Startedをやった
- 「不思議なチカラでbio-infoのイベントや勉強会の情報が集まるサイト」のプロトタイプをつくった
- 8月中にはリリースしたい
- 広告とか寄付で小銭儲けたい
那須野
- (自分用メモですみません…)
- マッピングツールの STAR について、入力データサイズやオプションの違いによる挙動を調査中。(ベンチマーク結果はElasticsearchへ蓄積)
- STARがメモリを大量に使う原因はBAM出力結果のソート処理にあるらしい。 (30GB未満の環境だと起動時にエラーになる)
- つまり、入力データサイズを大きくすると、この部分の処理に影響するのでメモリ消費量も増えると予想。
- 今まであまり気にせずに –outSAMtype BAM SortedByCoordinate を指定していたが、 –outSAMtype BAM Unsorted によりソートせずに出力できる。
- 後続ステップとして stringtie や cufflinks を実行する場合、Unsorted BAMを受け付けない可能性もある。(未検証)
- 一般的には sorted BAM を使うことが多いらしい。
- STAR を HISAT2 に置き換えた場合のリソース消費についても調べておきたい。
- HISAT2の出力形式はSAMのみなので、BAM変換が別途必要になる。
- 現在利用している HISAT2 の Dockerイメージ limesbonn/hisat2 には samtools が含まれているようなので、hisat2 出力をパイプで samtools に渡すようにすればよいはず。
e.g.) hisat2 ... | samtools view -bS - | samtools sort - ht2result.sort.bam
- (余談) STAR (rgrnastar) を Galaxy ToolShed からインストールしようとすると、依存する star-2.5.2b という package がなぜか存在しないため動きません。
丹生
- 背景: 計算資源の再構成システムを実装中
- 現在は Galaxy に手を入れて、ワークフローを対象に再構成システムを実装中
- Galaxy にロックインされ始めている気がする
- スクラッチでワークフローの実行エンジンを作る手があるが、ワークフローを GUI で編集できないと使ってもらえなさそう
- 動機: CWL 用のワークフローエディタがほしい
- 既存 or 少ない手間で実装できれば嬉しい
- 大田先生に [composer](https://github.com/rabix/composer) を教えてもらいました!これを使えばいい!
- CWL の可視化ツールなどを眺めていた
- [cwlviewer](https://github.com/common-workflow-language/cwlviewer)
- [cwl-svg](https://github.com/rabix/cwl-svg)
- ノードの追加やノードの移動などの単純な機能は既に実装してある
- 可視化ツールなのでおそらく validation などは無し
- Galaxy のワークフローエディタ
- cwl を Galaxy のワークフロー形式に変換(import)する機能はある
- cwl への出力機能はない
- 大きい
石井
- イベントの勧誘
- Galaxy の Pull Request に対してコメント 4365
- その他