events

Pitagora Meetup 2021-06

概要

• 日時： 2021年06月16日（水） 10:00 〜 17:30
• 場所： フルリモート
  • オンライン参加 (Pragli) のURLは Pitagora Slack で告知します
  • Slack にはどなたでも参加できます。こちらからどうぞ。
• 不明なことがあれば遠慮なくこちらへどうぞ： 大田 t.ohta [at] dbcls.rois.ac.jp

タイムテーブル

途中参加、途中退出は自由です。*印が付いている時間がオンラインでの集合目安時間です。その後は繋いだままでもいいですし、一度切って作業に集中しても構いません。

Time
10:00-10:15	今日の作業確認*
10:15-11:00	各自作業
11:00-11:30	update session*
11:30-13:00	各自作業
13:00-14:00	ランチ*
14:00-17:00	開発とディスカッション
17:00-17:30	ラップアップ*
19:00-	有識者会議*

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
  • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

• 参加者: 5名

大田

• やたら来ているメールを捌く
  • Sustainability In Open Source Projects https://sustainable-open-science-and-software.github.io/ に参加した
• MeDIA 改修案件の仕様を詰める (臨床データ統合app) w/ 末竹さん那須野さん
• Sapporo-service パフォーマンス向上作戦 　　- production 用の nginx-uwsgi-flask の docker-compose を作る 　　- できた https://github.com/ddbj/sapporo-service/pull/21 　　- 知見 　　- flask/djangoなどのpythonのapp framework共通のプロトコルとしてwsgiというものがある 　　- uwsgi (rubyでいうところのpuma/unicornみたいなやつ) を使って wsgi プロトコルを喋らせる 　　- 最近のnginxはwsgiプロトコルでappと通信できる 　　- uwsgi --wsgi-socket :8080 みたいな感じでポートを指定する 　　- そこに nginx のuwsgi_pass ディレクティブで通信先を渡せばよい 　　- sapporo-service デフォルトの docker-compose で uwsgi が http 喋ってたのに頑張って uwsgi プロトコルで繋ごうとしてたのでハマっていた 　　- log rotate は host 側でやらんといかんらしい、面倒くさい、、 https://qiita.com/ruddy95/items/5d0484d34e40add1cd9b
• Sapporo-service セキュリティ議論
  • docker daemon でSapporoユーザがマウントできるディレクトリを縛っておく
  • ネットワークアクセスを禁止する？
    • 外部DB/referenceを入力にするwfが死ぬ
    • sapporo-service 本体のコンテナからはアウトバウンドを許しつつ、runner/toolコンテナのアウトバウンドを禁止すれば踏み台リスクは避けられそう
  • todo: 想定されるセキュリティリスクとその対応をまとめておく
• Sapporo の UI を修正して DDBJ production ready な状態にする w/ 末竹さん
• BOSC の発表用動画のアウトラインを作る w/ 末竹さん丹生さん石井さん
• 遺伝研スパコンのLustreを虐めてしまった
  • 数十万の gzip を find | xargs gunzip したら負荷がめっちゃかかった
  • -L オプションつけるとかがいいんですかね、、
  • gunzip -r でいけるという説もある
  • ulimit -n が 131072 というすごい数なのでこんなにいるのか、、？とadminに訊いている
  • 返事がきた、かつて too many open file で特定のプロセスが死ぬ問題があった際にベンダーに訊いたらこの数字にしろということでこう設定したらしい、しかし実際にこの数開くとlustreが死ぬなら意味ないのでは、、、？

末竹

• Sapporo 改善メモ: https://hackmd.io/5wIhe7bdSXqRbJUbf-Xzhg
  • issue を立てておいた
  • test とか脆弱性のあるパッケージを更新した version を release しておいた
    • sapporo-service
    • sapporo-web
• gh-trs に研究のがわを被せる something をやっていたがやる気が全く出ない
  • Background + Motivation + Implementation + Benefits ぐらい作文すればいいのかなぁってなっている
    • Background が限りない地平まで広がっている
  • 共通 API の実装を own でやりたい -> 仕様の理解が辛い + deploy の辛さ -> GitHub にただのりする
    • TRS ではなく、仕様と実装の話
    • GitHub にただのりする楽さ
      • すべての software に言えるよね！！
  • dockstore の poster
    • https://f1000research.com/posters/8-1214

那須野

• 先月の続きで K8s 力の強化のために Galaxy on Kubernetes をやりたかったが手つかず。
  • 社内に構築済みの検証用 K8s クラスタがいろいろ中途半端な状態のため、再構築しておきたい。
  • Oracle Cloud の Always Free (4つのA1コア, 24GBメモリ) を活用して、ARMベースのインスタンスに K8s クラスタを構築してみるのも面白そう。

丹生

• hail を Spark + Hadoop on Lustre 環境でぶん回すための準備
  • Biocontainers で提供されているコンテナは、Spark も含まれたコンテナ
  • 遺伝研のどのノードを使ってもいいか聞いてみた
• schema-salad-d いじり
  • 普通に言語処理系作るくらいの気合を入れないと立ち向かえないことがわかってきた
  • Identifier resolution がつらめ

池田

• slackのみでの参加