Pitagora Meetup 2020-11
概要
- 日時: 2020年11月26日(木) 10:00 〜 17:30
- 場所: フルリモート
- オンライン参加 (Pragli) のURLは Pitagora Slack で告知します
- Slack 参加希望の方は下の連絡先までどうぞ
- 連絡先: 大田
t.ohta [at] dbcls.rois.ac.jp
タイムテーブル
途中参加、途中退出は自由です。*印が付いている時間がオンラインでの集合目安時間です。その後は繋いだままでもいいですし、一度切って作業に集中しても構いません。
Time |
|
10:00-10:15 |
今日の作業確認* |
10:15-11:00 |
各自作業 |
11:00-11:30 |
update session* |
11:30-13:00 |
各自作業 |
13:00-14:00 |
ランチ* |
14:00-17:00 |
開発とディスカッション |
17:00-17:30 |
ラップアップ* |
19:00- |
有識者会議* |
ミートアップの主旨
- データ解析ツール・ワークフローを共有する
- ソフトウェアをコンテナ化する
- Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
- ドキュメントを書いて GitHub で公開する
- 共有されたツールやワークフローを実行する
- うまくいったこと、うまくいかなかったことを記録する
- 技術情報を共有する
- 関連OSSプロジェクトにコミットする
- SNSで質問する
- プロジェクトの Gitter channel があればそこで聞く
- Issueを立てる
- Pull Request を送る
- その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める
まとめ
大田
- 志波さんと某書籍原稿の打ち合わせ
- 初心者に「簡潔に」CLI環境構築してもらう
- 初手 miniconda/bioconda で割り切る
- 疑問: conda create で環境を切るときにどの単位で切る?
- ツール単位で切るパターン (こっちでいく)
- my_awesome_project_bwa (ver1)
- my_previous_project_bwa (ver2)
- プロジェクト/論文単位で切るパターン => 同じプロジェクト内にインストールされた複数のパッケージの依存関係が衝突する
- 他のパッケージ管理もだいたい死ぬのでツールごとにやろうぜという話
- pipもnpmもgemもaptも闇
- bundlerはよしなにしてくれるはずでは… => しない
- やはり snap しかない(丹生)
- cwl-metrics のバグ取り
志波
石井
- 仕事の話をいろいろきいた。
- なんかすすむ方向があるような気がしてきた。(おおたさん、なすのさん++)
- 丹生さんに、CWL-TESが conformance test で3つ通っていないものがあることを相談させていただいた。
- 結論:
- 軽い気持ちで突っ込めるたぐいの問題ではないだろう。
- 以下石井の観察結果と推測
- 次のCWLとパラメータを実行した。
- “v1.0/v1.0/cat-from-dir.cwl”, “v1.0/v1.0/cat-from-dir-job.yaml”
- 推測
- たんじょうさんにアドバイスいただいて、
stdinをファイルにし、cwltoolで動かしたら動き、conformance testも通った。
ということは、stdin以前の問題と考えることができ
conformance test のテストの説明の内容としても
Directory literal
と、書いてあるので、おそらく Directory literal
の扱いの問題だろう。
丹生
- ep3 いじり
- 現状はこれ
147 tests passed, 21 failures, 29 unsupported features
- 21 failures のうち 1 は仕様バグ (v1.3 辺りで直りそう)
- 20 は requirements と hints の継承が未実装なため失敗している
- 29 unsupported は scatter (DAG の構造が入力によって変わる) のサポートが必要なため保留
- 20 failures を倒したい
- 倒した
167 tests passed, 1 failures, 29 unsupported features
- ep3 v1.0.0 をリリースした!
- Next step
- cwl-metrics 対応
- 再構成対応
- 本体を(できるだけ)いじらずに実装する!
鈴木
那須野
- いくつかの事務仕事を片付け
- 某クラウドサービスの活用、オンプレシステムとの連携について大田さん、石井さん、丹生さんと話した
- 数日前から骨伝導ヘッドセットの AfterShokz OPENCOMM を導入しているが、使うアプリによってマイクレベルが小さくなってしまう問題が発生。マイクのノイズキャンセリングが悪さしている可能性。
- ⇛どうやらブームマイクの指向性が強いため、マイク角度が実はとても重要だったことが判明。(視界に入るくらいまで上げる必要があった)
池田
- お仕事…
- Apple M1でBWAの結果をみせてもらった
- Intel版のbinaryでも20%程度のPerformance Penaltyで処理可能…
末竹
- お仕事
- Elasticsearch 地獄
- ES で RDB のようなことをしないほうが良いという気づき
- なんで frontend と backend が別れているのか的な話 (知らんけど)