events

Pitagora Meetup 2019-07

概要

• 日時： 2019年7月18日（木）10:00 〜 18:00
• 場所： 理化学研究所革新知能統合研究センター 会議室3（日本橋）
• 連絡先： 大田 t.ohta [at] dbcls.rois.ac.jp
• Skype ID：pitagora-network (最新バージョンのSkypeの使用を推奨)

タイムテーブル

途中参加、途中退出は自由です。ランチの時間は部屋に誰もいなくなる可能性があるので、施錠の関係上、この前後にお越し頂けるとスムーズです。

Time
10:00-10:15	今日の作業確認
10:15-13:00	開発とディスカッション
13:00-14:00	ランチ
14:00-17:30	開発とディスカッション
17:30-18:00	ラップアップ
18:00-	有識者会議

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
    • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

• 参加者
  • 物理: 8人
  • リモート: 1人

大田

• BOSC 2019 に持っていくポスターを作っていた
  • CWL-metrics と SAPPORO です
• 次はプレゼンを作ります
• 間に合え

坊農

• DRY教本の裏方仕事をしていた
• DRY教本のCWL化勢を監視していた
• BBQにご招待

末竹

• BOSC 2019, SAPPORO, Poster の Figure を作っていた
• DRY 教本の CWL 化のプルリクを少しさばいた

丹生

• DRY教本用の CWL ワークフロー作成
  • 動作確認のためのファイル作成に時間がかかるのがつらい
  • Docker 用 VM に割り当てているCPUやメモリの問題？
• ep3 のクラウド対応作業
  • VCP を叩いて資源確保・削除を行うツール
    • 再構成システムが動いているホスト上から RA が叩けない？
    • 那須野さんに調査をお願いした -> 解決！
    • 確保依頼&確保できるまでポーリングするコードスニペットが動くのを確認
    • curl で RA を叩いて資源削除が行われているのを確認
    • あとはスニペットを組み合わせればできるはず！
  • cwl-inspector のクラウド対応
    • cwl-inspector を起動して実行コマンドを生成するマシンと、実際にコマンドを実行するマシンが異なる
      • 入力ファイル等が配置されているディレクトリはホスト・クラウドマシンで異なる
      • パスを読み替える機能が必要
• ep3 のための小物ツール作成中 (in Rust)
  • Rust と関係ないシグナル処理周りで悩む
    • ファイルを A -> B -> C -> … と作成していく
      • 一部のファイルは別の誰かによって作成済みかもしれない
    • SIGINT などで中断したときに、自分が作成したファイルのみを削除したい
    • 正しい方法は？
    • lsyncd
• cwl-inspector 書き直したい機運が高まる
  • 現状: Ruby 製
    • 配布時にインタプリタのインストールも必要
    • めんどくさい
  • D使いたい

那須野

• 通常業務に忙殺されていた
• （お伺い）Dockerコンテナベースのクラウド利用の演習課題として、「手軽にコンテナで起動できて Web アプリ以外 のアプリケーション」として何か面白そうな題材はないでしょうか？
  • 例えば、scrapy-splash などのコンテナでスクレイピングしてきたデータを使ってJupyterNotebook上にグラフor表などを出力する
  • TeXでPDF生成、WordをpandocでPDF変換

石井

• Galaxyに、ジョブやワークフローの前後にフックがあるのかを調べた
• CWLを書いて、そのテストを書いた
  • InitialWorkDirRequirement について、知見を深めた
    • 初心者にわかりやすいかどうか、考えてみた
  • いくつかPRをマージした
• cwl-inspector のPRをちょっと直してマージしてもらった ``` ホスト側のディレクトリを、ワークフロー実行時にマウントするという用途ではなく

あくまでステージング用途である

そのため、既存のディレクトリをしていしたとしても、 実行用の環境(たいてい/tmp/以下のディレクトリ)に、 既存のディレクトリをコピーし、新しいディレクトリを作る このとき、writable が指定されていれば、新しいディレクトリに書き込みが可能。 指定されていないときは、リードオンリーである。 ただし、書き込みができても、それはあくまで、ステージングされたディレクトリであり、 ホスト側にそのデータが永続化されるわけではない。

できることが多い

• 新しいディレクトリを作る
  • writable でも作れる
• 新しいディレクトリを作った上で、そこに、指定したファイルを置くということもできる
• ホスト側にあるファイルを置くこと（ステージング）もできる
• ファイルシステム上の既存ディレクトリを渡す（ステージング）こともできる
  • 相対パスがおすすめ
  • フルパスは、ただしく動くか不明

  使用例としては、compformance test にでている。 ```

• それ、Tonkaz ではとおもうことがおおくなってきたので、SAPPORO、cwl-metrics など、<T>ファミリーの知見も深めたい

松尾

• 社内の解析のワークフロー（shell）を真面目に読んでみた
  • 末竹君に以前読んで、整理してもらっていたもの
  • 自分自身でしっかり読んで、内容は理解した
  • 自分の中で、「このままじゃダメ感」がより明確になった
• 社内の新しい解析環境について：要件を調整中
  • 経営者・解析者・開発者のそれぞれの立場の課題意識を把握、認識の違いを埋めている
  • （うちの）解析者と開発者で、結構認識が違うなあ。。。

池田

• MySqlにjsonをdocumentとして登録して実験を行った
  • sql の記述があんまり読みやすくはならない…
  • Key-value store　とどちらを選ぶ方がよいのか…

志波 (リモート)