主旨
- ツールやワークフローを持ち寄って仮想マシンに加える (図)
- 実際には、加えるための手順を作って、仮想マシンの管理者と共有する
- 同時に、Wiki に新しいツールやワークフローの説明を記載する
- プロジェクトを改善するためのフィードバックを収集する
- 解析プラットフォーム管理に役立つ技術ネタを共有する
- Galaxy 以外のソフトウェアを扱っていく可能性について議論する
スケジュール
| |
|
| 10:00-10:15 |
今日の作業確認 |
| 10:15-18:00 |
ツールの開発 |
| 18:00-18:30 |
今日のまとめ (Skype 参加可) |
| 18:30-20:30 |
有識者会議 |
内容
全体
山中
大田
- try.pitagora-galaxy.org を DBCLSのサーバに移したい
- ファイルシステムのサイズが問題?とかでVMがロードできない問題を解決する => 解決しないことにしました
- 山中さんが作ってくれたインストールスクリプトを走らせてサラピンから環境構築する方針に。現在DBCLSサーバにインスタンス起動申請中
- インストールスクリプトをAWS上でチェック。こまごまとした修正 (まとめてPRします)
- 門田さんに頼まれてる Galaxy の使い方原稿を書かねばならない
- pitagora の wiki をどうにかする
- とりあえず t1.micro から t2.micro (nanoでもいいかも?) に移行作業中
那須野
- 会議室のWifiが Port80,443,25 しか通してくれないので、AWS EC2でsshdをPort443で稼働させることにした。
- sshd_config (EC2) => “Port 22” と “Port 443” の2行を追記
- EC2 上にアカウント作成、公開鍵を ~/.ssh/authorized_keys へ
- Client 側の ~/.ssh/config 例:
Host target-host-via-aws
HostName target-host
User ssh-account
Port target-host-ssh-port
IdentityFile authentication-identity-file-path
ProxyCommand ssh -W %h:%p -p 443 EC2-public-IP
Localforward (以降、略)
- 複数のGalaxyサーバで1つのDBMSを共有できるか?
- Dockerコンテナ形式のGalaxyサーバをUID指定で起動することを想定し、DBMSを各Galaxyサーバから共有したい。
- ユーザ管理を一元化、Workflowの共有、くらいはなんとかなりそう。
- Galaxy Database Schema の詳細情報(石井さん、ありがとうございます!)
- Data Library や History 公開機能を使うには、別途共有ストレージなどの考慮が必要。
- その他、DBに保存されないGalaxyサーバ毎の管理となるもの:
- tool_data_path (referenceデータの配置情報など)
- tool_path (Tool設定XMLファイルの格納先)
- 中間データ、出力データ (file_path, new_file_path, job_working_directory)
- これら以外にもあるか?
- config/galaxy.ini でリモートのDBサーバを指定することで、ひとまずregister/loginの動作確認はできた。
database_connection = mysql://galaxy:galaxy@172.17.0.2:3306/galaxy
- Cufflinksが起動時に外部からパッケージ取得しようとしている? (インターネット非接続環境でのエラー)
Traceback (most recent call last):
File “/usr/local/bin/cufflinks_wrapper.py”, line 9, in
` from galaxy.datatypes.util.gff_util import parse_gff_attributes, gff_attributes_to_str`
` File `“`/usr/local/galaxy/lib/galaxy/datatypes/util/gff_util.py`”`, line 7, in `
` eggs.require( `“`bx-python`”` )`
` File `“`/usr/local/galaxy/lib/galaxy/eggs/__init__.py`”`, line 493, in require`
` raise EggNotFetchable( str( [ egg.name for egg in e.eggs ] ) )`
` galaxy.eggs.EggNotFetchable: ['bx_python']`
鈴木
望月
- 第二回情報・配列解析支援担当者会議にて、Pitagora-Galaxy の話を少しさせて頂くので、大田さんにスライドを確認して頂いた。最終版は、山中さん大田さんにメールでお送りする。
- NIG スパコン galaxy 開発環境の構築
- release をあげて構築している galaxy にて perl スクリプトのツールが動作することを確認。
- galaxy でdocker を動かす設定をしようとしたところ、docker が動かないことが発覚。(スパコンの OS が古い。)
- 「RNA-seq データからの遺伝子セット構築」ワークフローの構築
- 処理フロー
- マッピング (Hisat2) → 遺伝子構造予測 (Cufflinks) → 予測妥当性確認 & 機能予測 (植物の遺伝子セットへのblast) → 遺伝子セットの構築 → DDBJ ゲノムアノテーション情報の登録
- 予測妥当性確認 & 機能予測 (植物の遺伝子セットへのblast) の perl スクリプトの作成
池田
念のため、現在利用中のVersion Check
>pip show planemo
Name: planemo
Version: 0.35.0
Summary: Command-line utilities to assist in building tools for the Galaxy project (http://galaxyproject.org/).
Home-page: https://github.com/galaxyproject/planemo
Author: Galaxy Project and Community
Author-email: jmchilton@gmail.com
License: AFL
Location: /home/galaxy/galaxy-python/install/lib/python2.7/site-packages
Requires: glob2, BeautifulSoup4, ephemeris, configparser, gxformat2, Click, jinja2, docutils, six, virtualenv, html5lib, aenum, galaxy-lib, pyaml, cwltool, bioblend, lxml, pyyaml
一連の操作はplanemoのマニュアルに準拠して実施。 https://planemo.readthedocs.io/en/latest/writing_standalone.html
VarDictJavaを実行するための vardictjava.xml を作成 planemo lingでxmlファイルの問題を検証 (xml中にtest と citationsの記述が無いとFailed lintingとなる。)
>planemo lint
Applying linter tests... WARNING
.. WARNING: No tests found, most tools should define test cases.
.. WARNING: No valid test(s) found.
...
...
Applying linter citations... WARNING
.. WARNING: No citations found, consider adding citations to your tool.
Failed linting
(ただし、test も citations もlintでは記述の有無のみを確認しているだけなので、とりあえず追記)
作成したツールが正常に動作するか planemo serverで確認 作業ディレクトリに test-dataディレクトリが存在しないと planemo server を実行時に文句を言われる。
planemo couldn't find a target test-data directory, you should likely create a test-data directory or pass an explicit path using --test_data.
>mkdir test-data
planemo serveコマンドを実行する事で port 9090でサーバーが起動するので ssh port forwardingでVritual Machineに接続しておくと良い
(ホストマシンからVMへの接続: VMWare を利用)
>ssh -L 9090:localhost:9090 galaxy@192.168.184.138
> planemo serve
...
...
Starting server in PID 3211.
serving on http://127.0.0.1:9090
なかなか良いかも。
小寺
石井
- 自分のPR(api経由でworkflowをインポートすると、必要なツールも自動で落としてくる拡張) #3064 で、言及されている #2823 の、チェックを行っている。
- Makefile の存在を池田さんに教えてもらう。Galaxyのリリースプロセスがこれを使っているならば、GalaxyのAPI経由で、Galaxyのリリースバージョンと、githubのリビジョンを表示することが可能になるかもしれない。