events

Pitagora Meetup 2019-02 Satellite

概要

• 日時： 2019年2月4日（月）10:00 〜 18:30
• 場所： 国立情報学研究所 19F 1903会議室
• 連絡先： 大田 t.ohta [at] dbcls.rois.ac.jp
• Skype ID：pitagora-network (最新バージョンのSkypeの使用を推奨)

タイムテーブル

途中参加、途中退出は自由です。ランチの時間は部屋に誰もいなくなる可能性があるので、施錠の関係上、この前後にお越し頂けるとスムーズです。

Time
10:00-10:15	今日の作業確認
10:15-11:30	開発とディスカッション
11:30-12:30	ランチ
12:30-18:00	開発とディスカッション
18:00-18:30	ラップアップ
18:30-	有識者会議

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
    • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

• 参加人数: 6人 (物理)

丹生

• 病み上がり
  • もうおおよそ大丈夫なはずだが、まだ風邪の菌を撒き散らしている可能性がある
  • うがい手洗い忘れずに
• 明日は NII 内でミーティング等があるので参加できない
• cwlls の publishDiagnostics を実装するための現状の blockers について石井さんに説明していた
  • server から notification を送る方法が pylspclient に用意されていない
    • こちらからいい感じの提案をしていく必要があるが、良い実装がまだ思いつかない
    • どの程度の汎用度を持たせるか、という課題もある
      • 当面は、こちらの実装に必要そうな程度の汎用度でいいか？
  • schema_salad の ValidationException 周りがひどい
    • 例外になった段階で、メッセージが構造化されていない(とてもキレイにインデントされた文字列になっている)
    • 長期的には構造化するべき (既存のコードを壊さずに)
    • ジャブを放ってマージされた
    • 次のステップ:
      • キレイにコードがインデントされることがテストされていない
        • --print-oneline はテスト書けとか言っときながららら
        • テストを足す
      • ValidationException with とてもキレイにインデントされた文字列 を殺す！
        • 上で追加したテストをパスしつつ、ValidationException が構造化されたデータを持つように破壊的変更を加える
        • __str__ で既存と同じものが返ってこれば大丈夫なはず

山中

• 浅井さんにコメントしました
• 明日は Docker Galaxy でツールを Docker Pull するところを一緒に考えます（これが新しい Pitagora Galaxy のプロトになる予定）
• あと、明日 Qiime ワークフローのことも相談（これがふたつめのワークフローになる予定）

大田

• メールばっかり書いていた、つらい
• BioHackathon 2019 の会場と日程を確定させるためにいろいろ頑張っています、今のところ9月の第一週開催を目指している
• 3/18-21 に仙台で AMED/GA4GH のワークショップがあり、Michaelが来るので、その前にまた東京でミーティングやりませんか
• GitHub でCWL-metrics関連の丹生さんが送ってくれたPRをマージしまくった
  • CWL-metrics は本体、docker-metrics-collector, cwltool-log-generator とパーツでレポジトリを分けてしまったのでそれぞれのバージョンがばらばらで進むので管理が厳しくなってきた
  • 機能が別で単体でも動くという意味でレポジトリを分けたが管理がしんどいのは本末転倒なので、論文がpublishできたらレポジトリまとめようと思う…
  • たぶん「CWL-metricsの同じrepoに入ってるこいつは単体でも動くよ」的な感じにするのが正解だった
• 論文を publish するためにはリバイズをしなければいけない、のでしている (多分明日もこれをやる)
  • 投稿したやつはbioRxivに載せてるこれ
  • リバイズのコメントは「英語直せ」だった
    • 英文校正必要ないくらい English writing 特訓したい
• Bioinformatics 誌に Galaxy main でかき集めたメトリクス情報でツールの実行時間推定をするという論文が出た、BOSCでネタかぶりしてるやんけ！ってなった Ana に先を越されてしまった
  • これ
  • prediction が入ってる+Galaxy mainの蓄積したデータ資産という意味であちらの方が断然面白いがツールとしての有用性と将来性はこっちも負けてないぜ！って売り込んでいきたい

石井

• かけました。
• 丹生さんとLSPの話をする

浅井

• Docker Galaxy に入れた自分のツールが python3 で実行されるように修正しました。
• 現状の Docker Galaxy 上では動かないツールを動かすために、docker file を作成していました（一応書けました）。
• MEME のツールを追加でインストールしました。明日はこっち関連も少しやろうと思います。
• 卒研発表の準備もします。

池田

Galaxy Serverでtoolshedからうまくtoolがダウンロードできない場合の対策について検討した

toolshed上のtoolの一覧は可能だがインストールから先に進まず、urllib2.URLError: <urlopen error [Errno 110] Connection timed out>となる

ツールのブラウズには成功するが、インストールには失敗するので、通信に割り込んでFileの中身をチェックしているFirewallの影響なのだろう このFirewallはEnd to Endのhttps通信の間に割り込んで、Client <https> Firewall <https> 外部サーバーとして通信を監視している

対策として

• Firewallに穴を開ける
• VPNで外部ネットに接続してtoolをインストールする
• Toolshedから登録したいツールのtarを入手して手作業で登録する
• LocalのToolshedを作成する という対策が考えられる

新たにインストールするツールが少ないなら==Toolshedから登録したいツールのtarを入手して手作業で登録する==が一番現実的か

上記のメモ　https://hackmd.io/s/SkQkHLH4V