events

Pitagora Meetup 2022-11

概要

日時： 2022年11月06日（木） 10:00 〜 18:00
場所：
- オンサイト会場:
  - 人数制限があるため、オフライン参加を希望する方は Slack にてご連絡ください
    - COVID19 感染対策にご協力ください。
  - オンライン会場:
    - Discord: Pitagora / Workflow Meetup Japan サーバ
    - Slack にはどなたでも参加できます。こちらからどうぞ
不明なことがあれば遠慮なくこちらへどうぞ：大田 t.ohta [at] dbcls.rois.ac.jp

タイムテーブル

途中参加、途中退出は自由です。初めて参加される方はぜひ過ごし方ガイドをご覧ください。

Time
10:00-10:15	今日の作業確認
10:15-13:00	開発とディスカッション
13:00-14:00	ランチ
14:00-17:30	開発とディスカッション
17:30-18:00	ラップアップ
19:00-	有識者会議

ミートアップの主旨

データ解析ツール・ワークフローを共有する
- ソフトウェアをコンテナ化する
- Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
- ドキュメントを書いて GitHub で公開する
共有されたツールやワークフローを実行する
- うまくいったこと、うまくいかなかったことを記録する
技術情報を共有する
- twitter に post する
- ブログを書く
関連OSSプロジェクトにコミットする
- SNSで質問する
  - hashtag をつけて twitter で
- プロジェクトの Gitter channel があればそこで聞く
- Issueを立てる
- Pull Request を送る
その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

参加者10人

大田

明日から BioHackathon Europe 遠征なのにパッキングが1byteも進んでいない
- バックパックを20L->40Lに容量倍増したら気持ちに余裕ができて少しだけ進んだ
- フランス入国ガイド読んだ、コロナ終了感がすごい
- eSIM 買わなきゃ => 買った
出張前でミーティングを突っ込まれまくっており 12pm-3pm 抜けます :innocent:
ワクチン副反応でぶっ倒れている間にしこたまタスクが溜まっていたのでプチプチと潰している
コラボしている別件で Sapporo 需要が発生しそう
- RNA-Seq 関連
  - ワークフロー充実させなければ
  - 単体サンプルの定量とかはそこらにいっぱいあるけど二群比較とかになると、、？
- 言語は何でもいいからちゃんと動くワークフローを中身を理解しつつサッと書ける人材の需要が高まりそう
Tonkaz 論文を submit しました :tada:
- covering letter 書くときいっつもこれ読んでもらえんのかなーと思いながら書いている
HPCで job scheduler と Jupyter (とか) を共存させるには？
- 1. ノードごと分けてしまう (interactive/batch)
- 1. notebook のプロセスを qsubする (つよつよ)
- 1. https://github.com/jupyterhub/batchspawner を使う (きれい)

内田

cwlを学習したく、SAPPOROを動かすことにチャレンジしてみています。
- RockyLinux9.0上にてSAPPORO-serviceを起動
- 同マシン上にdockerでSAPPORO-webを起動
- こっそりアレルギーを感じなくもないcwlの世界がこんなに簡単に動かせることに感動
- これから学ぶ世代にはとてもよいスターティングポイントになるように思いました
- 別のジョブのファイルを参照する書き方がわからず。とりあえずhttp://　で次の処理を実行することに成功。(download-fastq -> Trimming and QC)
- いとも簡単にWorkflowを追加できることにまた感動

山中

衛藤

前回教えて頂いたarm用のDocker imageを作成しました。
- arm用のshiny-serverのdockerがあったので、それをもとに必要なものをinstallする形でdockerfileを書きました。
- docker manifestというコマンドを使って、同一のコマンドでarm64とamd64がpullできるようなdocker imageを作成しました。
  - 間違ったannotationが与えられる可能性があるというコメントをいただいたので、intel-chipのMacで動作確認しましたが問題なく動作しました。念の為、次回以降は教えて頂いた方法でbuildします！
- ただarm用の方では、lpsymphonyというRpackageがインストールできませんでした。それほど重要な機能ではなかったので、arm用に関してはlpsymphonyを利用するRpackageは除いてbuildしました。
申請書の執筆作業。
comment from suetake: 僕は GitHub Action でこんな感じでやってます https://github.com/sapporo-wes/sapporo-service/blob/856196864e8ccda8c71bef12e5dcf7d5becb21e6/.github/workflows/deploy.yml#L71

memo: https://zenn.dev/yyu/articles/3f900eaa2aa860

丹生

出張準備
14:00-15:00 ごろまでミーティング
- Sapporo 需要の高まり
- Jupyter Notebook から Sapporo service を立ち上げてワークフローぶん投げる、的なことをやろうとしているらしい
- WES server の API を叩くワークフローエンジン (に見える WES client) は需要がありそう
Windows の場合、WSL2 に docker engine が入っていれば VSCode の devcontainer が使える
- Docker desktop なんかいらんかった！
Git v2.38.0 から scalar コマンドが使えるようになったらしいので試してみたかった
- scalar: リポジトリのパフォーマンス向上するような設定を自動でしてくれるものらしい
  - 参考: https://forest.watch.impress.co.jp/docs/news/1444612.html
- dev container 内だと動かない。systemd が必要っぽい？
```
$ scalar register

"systemd" is not running in this container due to its overhead.
Use the "service" command to start services instead. e.g.:

service --status-all

"systemd" is not running in this container due to its overhead.
Use the "service" command to start services instead. e.g.:

service --status-all

"systemd" is not running in this container due to its overhead.
Use the "service" command to start services instead. e.g.:

service --status-all
```
- ホスト (Ubuntu 22.04 on WSL) に入っているのは v2.34.1 なので試せない
  - ホストでは git clone しか実行しないので、わざわざ入れるほどではない…
core-wire いじり
- 任意の CWL 対応エンジンをリモートリソース対応させるためのもの (になる予定)
- bh22 中にある程度動くようにしたいところ

memo: https://blog.colopl.dev/entry/2022/10/07/105919

末竹

学振年末調整、BH EU の旅費助成受け取りのそれ
- SBI 銀行の外貨受け取りサービス
- -> 外貨口座を開設しなければいけない
- -> 開設は外貨を買うことで開設される
- -> 1EUR 買った
博論執筆作業
- Sapporo / Yevis / Tonkaz trilogy
- 「なんでこの 3 つを作らないといけなかったのか」という部分を延々と書いている
  - Data の増加, tool の増加, 解析環境の多様化
  - -> DevOps and Reproducibility Problem
  - -> Workflow System and its community の登場
  - -> Workflow System の功罪 (幸せになった気がしない)
    - 知らん言語使えん (Sapporo)
    - 知らんやつに知らんワークフロー共有されても信用できん (Yevis)
    - 仮に実行してもちゃんと動いたかわからん (Tonkaz)

石井

ワークフローミートアップと共に開催
discordへのゆるやかな移行に向けて、チャンネルをふやしたりしてもよいですかね？=>もちろんです！
次回ミートアップは、ピタゴラと一週ずれます。
- ピタゴラ、１２月１日
- ワークフロー、１２月８日、９日
CWL asia conf が、
- 明後日11/4
  - CWL APAC EMEA確認しないと。。。
- 来月は、12/2 （ただし、サッカーワールドカップ、日本スペイン戦が朝４時から）
cockpitとwebminのような、ウェブでマシンを管理するソフトってなにかご存知ですか？
- cockpitで管理者ユーザーになるには、wheelに追加する必要がある？
  - centosはwheelっぽい、ubuntuは何が該当するでしょうか？ご存知の方いらっしゃいましたら教えていただけるとうれしい。
  - いまみたら、管理者ユーザと認識されているようだが、ユーザの追加ができない、、
    - とおもっていたら、できていた。
  - 一般ユーザでもマシンが再起動できるなど、いろいろ発見あり
丹生さん Jupyter の話,RDMから後ろになげれるけど、そのさきは、WESしだい。
WESの話がでていましたが、DRSの仕様はどうでしょう？？？
- Writeのプロトコルがない。
- ObjectStorageに薄い層が、かぶさっているかんじ。
- ファイル共有を、違う組織、違う国で行うとなったときのためのものと思われる。
- 認証については、これにかぶせる必要あり
  - Passportとかをつかうっぽい
- 議論がWESほど活発ではなさそう
- 標準化が必要とされていないかもしれないという印象もあるのかもしれない。
Adventカレンダー(twitter)、今年は
- お題を２５個だせばよい。
- #PitagoraWorkflowMeetupAdventCalendarTwitter

那須野

先月は半月ほど東北の僻地でフルリモート勤務でした。
- 最中にStarlinkのニュースがあって、ついアンテナ設置診断アプリとか使ってみたりしてました。
山中さんのウェビナーに参加登録してみました。
https://oracle-code-tokyo-dev.connpass.com/event/265244/
とあるHPCクラスタが作れるシステムで、WebUIでスパコンのジョブ操作などを可能にする Open OnDemand を使えるようにしたいという話があり、リサーチ中。
- （GUIからqsubしたい人、そんなにいるのかなー）
- 計算ノード上で実行するのがGUIアプリの場合などは意外と便利かもしれない。（SSHトンネル張ったりする手間が無いなど）

池田

slack参加

松尾

珍しく出社してるので書き込みだけ
レッドハットのマニアックな試験受けて落ちてきました
k8sベースのOpenshiftってのをレッドハットが提供していて、その実技試験
弊社がレッドハット買収したという経緯もあり、割と推している模様
以前話してたAzure関係の記事とか書かないと
忘年会とかできたらいいですねえ