主旨
- ツールやワークフローを持ち寄って仮想マシンに加える （図）
- 実際には、加えるための手順を作って、仮想マシンの管理者と共有する
- 同時に、Wikiに新しいツールやワークフローの説明を記載する
- プロジェクトを改善するためのフィードバックを収集する
- 解析プラットフォーム管理に役立つ技術ネタを共有する
- Galaxy以外のソフトウェアを扱っていく可能性について議論する
スケジュール
- 日時： 2015年08月27日（木）
- 場所： 国立情報学研究所（神保町）20F 2006
- Skype ID：pitagora-network（最新バージョンのSkypeの使用を推奨）
| |
|
| 10:00-10:15 |
主旨のリマインド + 今日の作業確認 |
| 10:15-10:30 |
コミュニティ仮想マシンの更新報告 |
| 10:30-18:00 |
ピタゴラ装置の開発 |
| 18:00-18:30 |
今日のまとめ + 次回の日程調整 （Skype 参加可） |
| 18:30-20:30 |
有識者会議 |
内容
山中
- APAN40 報告（横山先生に伺ったほうがよい？）
- Australian GVL とワークフローを共有するために Docker が使えるか
- APAN41 (2016年1月) までに何をするか： Docker による Pitagora Galaxy 構築、Mesos/Aurora クラスタ構築
- 仮想マシン 0.2.4 作成中
- アップデート
- 困ったこと
- Galaxy API でワークフローをインストールする際、Revision を指定していても、その Revision が Shed から入手不可でそれより新しい Revision があると新しいものがインストールされてしまう
- 今回は cufflinks でこの現象が起こった（Revision 5346d5eea8b1 > 64698e16f4a6）
$ python ~/galaxy-dist/scripts/api/install_tool_shed_repositories.py -a 126a89c98a5d1a2c234edf2651024a03 -l http://localhost:8080 \
-u https://toolshed.g2.bx.psu.edu/ -n cufflinks -o devteam -r 5346d5eea8b1 --panel-section-name “RNA-seq” --repository-deps --tool-deps
Response
--------
/api/tool_shed_repositories/36ddb788a0f14eb3
name: cufflinks
status: Installed
tool_shed_status: {u'latest_installable_revision': u'True', u'revision_update': u'False', u'revision_upgrade': u'False', u'repository_deprecated': u'False'}
deleted: False
ctx_rev: 8
error_message:
dist_to_shed: False
tool_shed: toolshed.g2.bx.psu.edu
installed_changeset_revision: 64698e16f4a6
uninstalled: False
owner: devteam
changeset_revision: 64698e16f4a6
id: 36ddb788a0f14eb3
includes_datatypes: False
- VirtualBox の推奨バージョン（ご意見ありますか？最新は 5.0.2 だがひとつ前の 4.3.30 あたりがよい？）
- ネットワークのデフォルト設定が変更されたりするので、推奨バージョンはあった方がよい
- VirtualBox はバージョン更新サイクルが速いので最新でなくてもよいのでは？（例えば、Docker on Mac は 5.0.2 未対応）
- 論文（今後、皆様にご相談）
- 期日： 12月までにドラフト作成、3月までに投稿
- 題材： コンテナの利用とコミュニティ活動による再現性向上（下記の本がとても参考になります）
- 書籍 「Implementing Reproducible Research」 April 2014（政谷先生にご紹介頂きました）
- Pitagora のスペル: ピタゴラスは英語では Pythagoras ですが イタリア語 では Pitagora のようです
大田
- NII-Galaxyの挙動を確認する
- (最近フォローできてなくてすみません案件)
- 問題点
- 分割するとtophat以下の結果が変わる件
- tophatがhistoryから消える件
- NIGでNII-Galaxyみたいなのを建てたい
- Terraform周りについて那須野さんに聞きたい
- 聞きました (ありがとうございます)
- 実験環境でMesosのベースコンテナをterraform applyで建てられるようにまずする
- 統数研で借りてるOpenStackが壊れてた ←いまここ
- 先月の続き
那須野
- Galaxy@NIIクラウドの運用状況について報告させていただく。
- Galaxy Toolのコンテナ化については、RNA-Seq 01 のワークフローで使用する２種類のツール (TopHat2, Cufflinks)をGalaxy/Auroraクラスタ環境で実行できることを確認済み。
- コンテナ形式のツールの作成から導入までの手順も確立できたので、私以外にも試していただけるように説明する機会を設けたい。
- TopHatの並列化を実装したが、分割しなかった場合と結果のBAMファイルが完全一致しない原因を明らかにしたい。
- Galaxy Workflow から見るとTopHatの1ステップになるように以下の処理をJob Runnerで実行するようにした。
- Forward と Reverse の FASTQ を上から同じリード数ずつsplitして組にする
- その分割単位で Tophat ジョブを複数並列で実行
- 全てのTopHatジョブが完了したら、出力ファイルのうち後続ステップで必要なBAMのみを samtools merge で結合
- 約11GBのFASTQファイルを4分割して実行した結果、処理時間はほぼ1/4になった。
- samtools flagstatの結果の読み方を教えて下さい！
- 皆様にいろいろ情報やご意見等をいただきました。ありがとうございます。
- 分割のアプローチは間違っていないはず。
- アルゴリズム上、完全に同じ結果にはならない。明確な分析の目的があれば、その対象領域に関して発現量のグラフを書いてみるなどしたほうがよい。
- 同様にデータを分割してTopHatを動かしている人はいるらしいが、結果に関して実用上は、みんなそれほど気にしていないらしい。
- 鈴木さんに教えていただいたリンク先をちゃんと確認します。
鈴木
- RNA-seq メモ
- Bowtie2のmultiple hits
- eXpress
- Galaxyで細菌ゲノム解析
- “the lack of tools to automatically analyze and interpret genomic data may prevent its wider adoption to combat drug-resistant bacteria.” (https://www.genomeweb.com/scan/trace-their-path); thus people need a web-based system to track bacterial infections.
- 微生物NGS解析用パイプラインOrioneのワークフローの実行手順をOrione-live-supplementにメモしました。バグ・レポートし、開発者の対応待ち。
- Galaxyでウイルス・ゲノム解析
- アセンブリ用パイプラインVirAmp
- アノテーション用パイプラインは存在する？viralcloudは、viral_assembly_annotationパイプライン？For small viral genomes, a similarity-based gene prediction may perform better than an ab initio gene finding.
- 参考文献
池田
- Cent OS 7上へのPitagora Galaxy 構築継続(構築手順 0.2.xとの相違点)
- galaxy service 起動スクリプトCent OS7用 systemctl のためのスクリプト
[Unit]
Description=Galaxy process
After=mysql.service
[Service]
ExecStart=/home/galaxy/galaxy-dist/run.sh --daemon
ExecStop=/home/galaxy/galaxy-dist/run.sh --stop
Type=simple
User=galaxy
Group=galaxy
[Install]
WantedBy=multi-user.target
- mysql 設定
- Pitagora-galaxy タイトル、アイコン、Faviconの設定
$ vi /home/galaxy/galaxy-dist/static/scripts/galaxy.masthead.js このファイルのjavascriptに埋め込まれているタイトルの部分
<span id="brand"> Galaxy ‘+b+’</span></a>
を
<span id="brand"> Pitagora-Galaxy ‘+b+'</span></a>
に変更
mkfs.xfs /dev/sdb
mkfs.xfs /dev/sdc
/etc/fstabを編集するために、blkidコマンドでUUIDを取得しこの情報を利用して/etc/fstabにディスク設定を追加
UUID=8e096e27-44d6-4e6e-8eea-da308811c5d2 /disk/reference xfs defaults 0 0
UUID=2e79410f-1804-4b03-841e-744e666cf062 /disk/database xfs defaults 0 0
新海
- linux版のVPNクライアントを色々と試しているが上手くつながらない。
- 自分でmakeする必要があったりするのでどこかで問題があるのかも。
- いくつか他のツールもあったがcuiかつ自分で設定ファイルを書く必要があったりする。
- とりあえず現在ubuntu付属のvpnツールでトライ中。
- pitagora環境上に調達版のデータとツールを現在移行作業中。
