events

主旨

1. ツールやワークフローを持ち寄って仮想マシンに加える （図）
   • 実際には、加えるための手順を作って、仮想マシンの管理者と共有する
   • 同時に、Wikiに新しいツールやワークフローの説明を記載する
2. プロジェクトを改善するためのフィードバックを収集する
   • 解析プラットフォーム管理に役立つ技術ネタを共有する
   • Galaxy以外のソフトウェアを扱っていく可能性について議論する

スケジュール

• 日時： 2015年09月25日（金）
• 場所： 先端研4号館4階セミナールーム
• 連絡先： 山中 yamanaka [at] genome.rcast.u-tokyo.ac.jp
• Skype ID：pitagora-network（最新バージョンのSkypeの使用を推奨）

10:00-10:15	主旨のリマインド + 今日の作業確認
10:15-10:30	コミュニティ仮想マシンの更新報告
10:30-18:00	ピタゴラ装置の開発
18:00-18:30	今日のまとめ + 次回の日程調整　（Skype 参加可）
18:30-20:30	有識者会議（場所は同じ）

内容

山中

• 仮想マシン 0.2.4 を作成しました（Versions）。テスト後に Win 版と AWS 版を作成予定です。
  • アップデート
    • Workflow Variant Calling 02（池田さん作の uu エンコードなどするワークフロー！）を追加
    • FTP によるアップロードを設定（VSFTPD を使って、まずは既存ユーザーだけでもできるようにする）
  • リビジョン問題
    • こちら（ツールのバージョン管理）にまとめました
    • 今回は 0.2.3 をベースに上記ワークフローのためのツールのみをインストール
      • つまり、ツール・レポジトリーのリビジョン更新は反映されていない
    • 今後のピタゴラの運用方針としては VM 作成時にリビジョンを更新することとしたい
      • API 経由で更新する方法がわからない & インストール・エラーが多発しそうため今回はこの運用を見送った
      • VM を作成時、毎回 Galaxy 新規インストールからビルドするようにすれば、そもそも更新しなくてよい

• VirtualBox の推奨バージョン（前回 Meetup 2015-08 で相談しました）
  • 推奨とは言っていないが、VM を作成したバージョンは 4.3 である旨を記載： https://sites.google.com/site/pitagoragalaxy/download

• Wiki のビデオのリンク切れ直しました： https://wiki.galaxyproject.org/Events/Tokyo2015

• Pitagora VM で RNA-seq 01 をコンテナ実行できるようにします： ツールのコンテナ化

大田

• 来月の部屋を抑える
  • 横山先生に情報研の部屋をお願いできないか打診中
    • 10/22 RM#1901 10:00 - 19:00
• ツール・ワークフロー
  • お花見ワークフロー
    • bcl2fastq
      • dockerコンテナをpython:2.7 baseにする
        • baseの問題ではなくcmdの問題であると判明
        • 既存のdockerfileはcmdを指定している
        • mesos/aurora向けはdockerfileを分けた方がよさそう。→わけた
        • done
      • tool xmlを書く
      • job confにtool idを登録する
    • demultiplex
    • rdpclassifier
• インフラ
  • TerraformでNIGスパコンにDockerベースのMesos/Galaxy環境を建立する
    • テストベッドをつくる
  • Guixを試す
    • http://www.gnu.org/software/guix/

小寺

• 前回参加は7月
  • http://wiki.pitagora-galaxy.org/wiki/index.php/Meetup_2015-07
• 今回も参加できないので自習
  • http://wiki.pitagora-galaxy.org/wiki/index.php/KotMemo
• 報告・質問事項
  • Trinity が最後まで行ったようです。
  • ファイルが大きいとメモリが足りなくなるので、今回は小さいファイルを自作して動かしました。今後は、それをどうするか？気にせず次の過程（RSEM）に進めば良いかどうか？

那須野

• Galaxy on Aurora/Mesosクラスタ@NIIクラウドでTopHatを並列実行した際のベンチマーク結果を共有させていただく。http://wiki.pitagora-galaxy.org/wiki/images/9/9f/TopHat-benchmark.pdf
  • 入力データを 4, 8, 16, 24分割したときのCPU使用率、NFSサーバのdisk I/Oを調査。
  • 現状のクラスタ構成では、24分割だとNFSサーバのdisk I/Oがボトルネックになることを確認。16分割までは想定どおりの処理時間になった。
  • 分割単位毎に最初に bowtie2-inspect が実行されていて、同一のリファレンスゲノムのインデックスを一斉に作成するのはとても非効率なのでなんとかしたい。
    • これは誤解。正しくは、Bowtie indexからその元になったFASTAファイルが無ければ再構築するという処理。
      • /opt/reference/igenome/Homo_sapiens/UCSC/hg19/Sequence/Bowtie2Index/genome を に指定している。
      • 当該ディレクトリには、genome.[1-4].bt2, genome.rev.[1,2].bt2 が存在するが、FASTAファイル .fa は無い。
      • http://download.pitagora-galaxy.org/data/reference/hg19_fasta.tar.gz も必要なことが判明。https://ccb.jhu.edu/software/tophat/manual.shtml
• RNS-Seqで使うツール tophat2, cufflinks に関してはコンテナ化ができたので、次にコンテナ化すべき対象を決めたい。
  • すでにPitagoraに導入済みで、今後、コンテナ化するのがよさそうなもの：
    • BS-Seq 01 → 産総研オリジナル。フルサイズサンプルだとメモリを大量に消費するらしい。
    • Variant Calling 01, 02 → 02で使用するGATK3.3はライセンス上コンテナに同梱できない問題あり。
  • 現状、NIIクラウド環境はツールのインストールは完全に手動(tool_conf.xml, tools/*/*.xml)なので、ToolShed経由でツール定義XMLだけを取得してインストール可能にする。
    • 山中さんに依頼。LocalJobRunnerが昨年Docker対応されているので、ひとまずそれで確認していただく。
    • Galaxy ToolをDockerコンテナでローカル実行するには： http://wiki.pitagora-galaxy.org/wiki/images/5/5e/Docker_LocalJobRunner.pdf
    • Auroraで動作するコンテナの例： https://hub.docker.com/r/nasuno/tophat2/~/dockerfile/
• GalaxyのAuroraジョブ実行プラグイン実装がまだ問題がいろいろ残っているので本日中に改善する。
  • 未。

新海

• 現在調達版をpitagora上に移植中
• 今日中にテストランまでは持って行きたい（調達版で起こっている問題がこちらでも発生するのかの確認等）
  • →テストランができることの確認までは出来た。
  • 次回までにマシンパワーがあるところでひと通り試してエラー関連を（もしあれば）洗い出しておくこと。
  • 中間データ等も（調達版の実行環境ごと）持ってきました（調達版で確認されているエラーが再現されるか試す為）
    • →データを取り出すのに時間がかかっていて、きちんと試すのは次回になりそう……。結局最初から確認した方が早そうです。
• 作業関連のメモ（調達版のpitagoraへの移植）
  • テストツールをpitagora上で動かす為にtool_conf.xml（に相当するもの）辺りを修正
    • galaxy.ini “config/tool_conf.xml.sample will be used if left unset and config/tool_conf.xml does not exist”
    • tool_data_table_conf.xmlはpitagora上にもあった為調達版の設定を書き加えた。
  • その他調達版にあった設定ファイルやレファレンスファイル等を移植、pitagora上で反映されるか確認

Tony

• This is my first pitagora galaxy meeting, so I was introduced to the people involved in the project
• I was informed about the state current framework as well as goals and potential expansions for the future.
• In the near future, I hope to contribute tools/methodologies related to genomic variants that are currently under development
• Ohta-san introduced docker to me and I need to read more about it. It seems very promising for tool development and I will attempt to create a docker image for my tools and workflows.

池田

Step 1 仮想マシンの準備

• Install Pitagora galaxy on Cent OS 7.0 on VMware Fusion

Linux系のOSをインストルする場合にVMware Fusion 上で基本的なパラメータの初期設定が可能

• 仮想マシン
  • • ディスク: SCSI 可変 8GB
    • Image: CentOS-7-x86_64-Minimal-1503-01.iso
    • Keyboard: U.S. English
    • Basic Storage Devices
    • Hostname: localhost.localdomain
    • City: Asia/Tokyo
    • Root Password: 任意(仮にpitagora)
    • Use All Device

Minimal パッケージを選択しているために、FTP等のパッケージが存在しない事に関する注意喚起がなされる。 不要(Yes)として続行

Step 2

システムブート後

• root でログイン (パスワードはVmWare Fusionでインストール時に設定したものを用いる。)

(ID: root password: (仮にpitagora)

• ネットワークの確認

  [root@localhost config]# nmcli d show

(nmcli ネットワークマネジャーのコマンドラインインターフェイス) ネットワークを一旦dhcpとDNSクライアント設定として必要なコンフィギュレーションを実行するために GENERAL.DEVICE:の記述を探す()

GENERAL.DEVICE: eno16777736

 > /etc/sysconfig/network-scripts/ifcfg-eno16777736

を編集 下記の項目を

 ONBOOT=no

つぎの様に変更

 ONBOOT=yes  DNS1=8.8.8.8

ネットワークを再起動

 [root@localhost config]# systemctl restart network

Step3

• galaxyユーザの追加

 [root@localhost config]# user galaxy  [root@localhost config]# echo 'galaxy:galaxy' | chpasswd

passwdコマンド利用時には、パスワードは8文字未満、user のidがパスワードを含むものは許可されないため、chpasswd コマンドを利用している。

• galaxy のユーザグループを設定

 [root@localhost config]# usermod -G wheel galaxy

Step4

仮想マシンがネットワークに接続可能になったので、OS X上のTerminalから仮想マシーンにDHCPで割り当てられたアドレスまたはホストと共有のIPアドレスにsshでログイン

 >ssh root@http://192.168.117.130

(Virtual BOXとは仮想マシンに与えられるIPアドレスの体型が異なる事に注意)

• システム稼働に必要なモジュールをyumを利用してインストール

  [root@localhost config]# sudo yum install -y \   >    vim wget gcc sqlite-devel zlib-devel bzip2-devel openssl-devel git vsftpd mysql-server \   >    php php-mbstring php-mysql java gcc-c++ gcc-gfortran bzip bgzip bunzip bz2 bzip2