events

Pitagora Meetup 2021-07

概要

• 日時： 2021年07月28日（水） 10:00 〜 17:30
• 場所： フルリモート
  • オンライン参加 (Pragli) のURLは Pitagora Slack で告知します
  • Slack にはどなたでも参加できます。こちらからどうぞ。
• 不明なことがあれば遠慮なくこちらへどうぞ： 大田 t.ohta [at] dbcls.rois.ac.jp

タイムテーブル

途中参加、途中退出は自由です。*印が付いている時間がオンラインでの集合目安時間です。その後は繋いだままでもいいですし、一度切って作業に集中しても構いません。

Time
10:00-10:15	今日の作業確認*
10:15-11:00	各自作業
11:00-11:30	update session*
11:30-13:00	各自作業
13:00-14:00	ランチ*
14:00-17:00	開発とディスカッション
17:00-17:30	ラップアップ*
19:00-	有識者会議*

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
  • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

• 参加者: 8人

末竹

• Sapporo 論文 done
  • ArXiv に出す
    • 出すのやめた
• gh-trs
  • 明日 BOSC poster session
  • 実装や repository 整備
• https://twitter.com/natfriedman/status/1420122675813441540

大田

• 昨日の2nd shotの副反応が重くて死んでいる
  • 12h後から全身の倦怠感と関節痛、24h後にはちょっと発熱
  • ロキソニンを飲んだらばっちり効いた、カロナールも常備していたが出番なし
  • 1回目はちょっと腕痛いくらいだったので油断してた
  • https://www.covid19-taskforce.jp/opened/vaccinenow20210706/
• 腸内細菌解析ワークフローをいじる
  • https://github.com/pitagora-network/DAT2-cwl/tree/update-qiime-version/workflow/meta16s-seq
  • Qiime2からRに渡してRパッケージを実行したい
  • 自分でRスクリプト書かないといけないのが面倒…
    • https://ipython2cwl.readthedocs.io/en/latest/
• 金曜 22:40 〜 Sapporo talk @ BOSC online
  • 事前に録画済みなので気が楽だがモチベーションがあまり上がらない……
  • showcare という zoom ベースのカンファレンスツールの詳細が送られてきたがこの会議のためだけに謎のプラットフォームについて覚えないといけないのはつらい……
• WES に投げつける workflow parameters が言語によってフォーマットが違うのでしんどい問題
  • https://github.com/ga4gh/workflow-execution-service-schemas/issues/161
• BH青森後半参加予定
  • 水曜朝に出発してはやぶさに乗る

丹生

• BioHackathen Europe の参加登録をした
  • 国内版はワクチン接種が間に合わないので不参加
• ep3 いじり
  • schema-salad-tool 相当を独自実装中
  • 仕様内で迷子になっている
• 遺伝研スパコン上で hail と格闘 (Hadoop on Lustre + Spark)
  • 入力ファイルサイズ 2, 10, 100 だと動く。2504 (提供された最大数), 1000, 500 では動かない
  • エラー内容が ValueError: empty table! というあってないようなものだが、Hadoop on Lustre レイヤーの問題ではなさそう
  • 入力ファイルのサイズが 0 でないのは確認済み
  • スパコンでの作業中は PC をインターネットに繋げられない && 一回の試行にかかる時間が長いので捗らない
    • ミーティング中には作業ができない
• 完全にワクチン難民
  • 近所のワクチン接種は予約が8月半ば
  • 自衛隊の大規模接種のほうが早そう

那須野

• ひたすら K8s (クラスタ拡張や Edge Computing に関係する機能や製品の調査)
  • K8s 1 クラスタだと 5000 ノード、15万Pod が上限らしい https://github.com/kubernetes/community/blob/master/sig-scalability/configs-and-limits/thresholds.md
• （ワクチン後で腕痛い、タイレノール飲んでみたけど効いたようなそうでもないような。）
• BH21.8 参加検討中

山中

• クール宅急便でサンプルを送付する
• Unhome Learning
• BH 青森、参加可否決定
• BH スペイン、参加可否決定

鈴木

• GET_HOMOLOGUES+GET_PHYLOMARKERS Docker image のインストールを試す。
  • https://hub.docker.com/r/csicunam/get_homologues/
  • How to share data between the host (your) machine and the GET_HOMOLOGUES + GET_PHYLOMARKERS Docker container sudoが必要
  • 生物情報解析システムで以下のメッセージが出力された。

    $docker run --rm -it csicunam/get_homologues:latest /bin/bash
    /usr/bin/docker-current: Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Post http://%2Fvar%2Frun%2Fdocker.sock/v1.26/containers/create: dial unix /var/run/docker.sock: connect: permission denied.
    See '/usr/bin/docker-current run --help'.
    

Figure 1 provides a graphical overview of the GET_PHYLOMARKERS pipeline.

• 皆様にアドバイスを頂いた。singularity
• (nasuno) 遺伝研スパコンで 「2.3. DockerコンテナイメージからSingularityイメージを生成する」

石井

• bhは今年はリモートで参加。
• 8月は、pitagora参加できるとおもうのですが、突然参加できなかったらすみません。
• dstatを教わる
  • dstatが開発終了した話 - Qiita
  • 後継?は2種類
    • Redhatの PCP ？
    • scottchiefbaker/dool: Python3 compatible clone of dstat
• 最近やっていること
  • 抱えているかもしれない問題
    • 以下のことを最近はよくやっています。そしてどのワークフロー言語でもおなじような問題？を解いている気がします。１つの入力ではきちんと動いたものをたくさんの入力に対応させたときに起こる問題。
      • 再現性あるので、ISSUEにする予定
      • snakemake
        • 普通に書いたらおこならない。
        • パラメータを定義２つするときに、定義の順番問題になるコーナーケースにあたった気がする。順番にきをつけて回避
          • expand
        • expandがおそすぎる。
      • cwltoolと toilの組み合わせ。
        • toilを使うときは、toilが要求する cwltool を使うべきだろう。
        • toilのgithub最先端はそれなりに最先端なので、動かないときはあせらず、関連するとおもわれるコミットがあるかを確認する
          • あるときのgithub最先端では、slurmにジョブを投げれなくなったのだが、それはあらたなabstractmethodができていたため、Workerインスタンスを作成できないためだった。LSF向けの当該コミットを発見した。
        • requirements.txtにもgithub コミットidを書くべきだろう
  • しかし何もできないということではない
    • いろいろできるので、新たな問題にたどりついている感がある。
      • １つのことをやるワークフローは、謎のハックをしなくても結構書けるきがする。
    • ワークフロー言語でかけないので、あきらめようという雰囲気は自分の中ではない。
  • Tonkazに期待
• キーボード問題
  • 長時間さしていると問題がなさそうだが、さした直後はトラブルが多い。
  • ケーブルを触るとなおる。。。気がする
  • ハンダがんばろう。 -

池田

• ラップアップ参加