events

Pitagora Meetup 2023-08

概要

• 日時： 2023年8月3日（木） 10:00 〜 18:00
• 場所：
  • オンライン会場:
    • Discord: Pitagora / Workflow Meetup Japan サーバ

問い合わせ

• 幹事: 大田 t.ohta [at] dbcls.rois.ac.jp

タイムテーブル

途中参加、途中退出は自由です。初めて参加される方はぜひ 過ごし方ガイド をご覧ください。

Time
10:00-10:15	今日の作業確認
10:15-13:00	開発とディスカッション
13:00-14:00	ランチ
14:00-17:30	開発とディスカッション
17:30-18:00	ラップアップ
19:00-	有識者会議

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
  • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

• 参加者7名

大田

• ISMB/ECCB 2023 に行ってきました、リヨンはあらゆるメシが美味い最高の街
• Sapporo RO-crate 対応をやります https://github.com/sapporo-wes/sapporo-service/pull/32
  • thx to Suecharo-san we’re almost done!
• A solution for running batch jobs and interactive apps like Jupyter notebook on a slurm based HPC cluster?
  • https://openondemand.org/ !!!
• IIBMP 2023 @ 柏 で LLMs のセッション座長をやるのでその仕事もします
• 科研費の申請書も書きます

末竹

• ISMB/ECCB 2023 -> メシうまい
• https://github.com/sapporo-wes/sapporo-service/pull/32
  • Context -> Fixed
  • stdout, stderr -> Fixed
  • Workflow Run-Crate profiles -> Fixed
  • Link to from the rootdata entity to the CreateAction -> Fixed
  • License -> The Crate MUST specify a license. The license is assumed to apply to any content of the crate, unless overriden by license on individual File entities. これってどうなん？ (license overwrite 問題)、聞いてみる
  • description -> Workflow docs の parse はしない、WES form に description などのそれはない、じゃあ omit する
  • main workflow の実体がない問題 -> Sapporo に手を入れる
  • default の input params -> wf docs を parse しないといけない問題 (WES (Sapporo) としてはやらない)
  • output params -> wf docs を parse しないといけない問題 (WES (Sapporo) としてはやらない)
• raw.githubusercontent.com への request が時々死ぬ問題
  • 何が起こっているか
    • “docker network + 弊社のネットワーク (フレッツ光クロス) + raw.githubusercontent.com” という条件下のみ 30 回に 2, 3 回 ssl handshake が失敗して、request が落ちる
  • 試したこと
    • curl を使わないでやる (i.e., python requests などでやる) -> OK (問題が発生しない)
    • docker を使わないでやる (i.e., host 環境でやる) -> OK
    • OS を変えてみる (i.e., macOS など) -> 問題が再現した
    • 別の docker image (i.e., using ubuntu:latest) -> 問題が再現した
    • docker run –network host -> OK
    • IPv6 の docker network を使う -> 問題が再現した
    • 別のネットワーク (WAN) を使う -> OK
    • google.com や github.com への request -> OK
  • script and log
    • script -> https://gist.github.com/suecharo/0d327b3634e625a2ec47ce47d7017533
    • log -> https://gist.github.com/suecharo/0d327b3634e625a2ec47ce47d7017533

松尾

• 夕方、打ち合わせのため退席します。
• 先月、業務の隙間時間でAzure Solutions Architect Expertを獲りました
  • AzureとRed Hatのアーキテクトで食っていこう。。。
• 積み残していたAzureの紹介記事を書きます https://qiita.com/t_matsuo/items/641b16b5d68317ba8046

那須野

• CloudWeek2023@Hokkaido University で、OCS のハンズオンを開催します。これの準備をしていました。
  • 今回の演習テーマは、 「OpenHPCクラスタ (Slurm) + Open OnDemand 環境を OCS で構築」 です。
    • ８月30日（水）9:30-12:30に、国立情報学研究所「学認クラウド・オンデマンド構築サービスセミナー（OCSセミナー）」が、北海道大学 学術交流会館第3会議室で開催されます。こちらへの参加申し込みは、国立情報学研究所のサイトをご覧ください。（https://cloud.gakunin.jp/）

石井

• debug with snakemake and PBS professional.
• debug with toil and Slurm.
  • I think finally I could solve this problem.

Russell

• Debugging 木槌 workflow deployment on PBS Professional
  • will try debugging rule-by-rule (thanks, @manabu!)
• Test deployment on Slurm, perhaps?

池田

• vue2 で記述したprogramをvue3に引っ越し中