events

Pitagora Meetup 2023-03

概要

• 日時： 2023年3月10日（木） 10:00 〜 18:00
• 場所：
  • オンライン会場:
    • Discord: Pitagora / Workflow Meetup Japan サーバ

問い合わせ

• 幹事: 大田 t.ohta [at] dbcls.rois.ac.jp

タイムテーブル

途中参加、途中退出は自由です。初めて参加される方はぜひ 過ごし方ガイド をご覧ください。

Time
10:00-10:15	今日の作業確認
10:15-13:00	開発とディスカッション
13:00-14:00	ランチ
14:00-17:30	開発とディスカッション
17:30-18:00	ラップアップ
19:00-	有識者会議

ミートアップの主旨

• データ解析ツール・ワークフローを共有する
  • ソフトウェアをコンテナ化する
  • Galaxy や CWL などを使ってツール定義、ワークフロー定義を書く
  • ドキュメントを書いて GitHub で公開する
• 共有されたツールやワークフローを実行する
  • うまくいったこと、うまくいかなかったことを記録する
• 技術情報を共有する
  • twitter に post する
  • ブログを書く
• 関連OSSプロジェクトにコミットする
  • SNSで質問する
    • hashtag をつけて twitter で
  • プロジェクトの Gitter channel があればそこで聞く
  • Issueを立てる
  • Pull Request を送る
• その他データ解析に関わる人々の日々の暮らしが豊かになる開発を進める

まとめ

次回は新年度明けましてVentura祭り（予定）Monterey とか Big Sur のままになっている M1 Mac を持ってきましょう

大田

• BioHackathon-MENA 2023 in サウジアラビアに行ってきました
  • めちゃ楽しかった
  • 酒がなくてもハッカソンは楽しい
  • 現地のマームールというデーツのフィリングが入ったクッキーにハマる
  • 中東スパコン事情などを聞けたので大変有意義だった
    • 石油会社がでかいHPCを持っているがアカデミアにはあんまりない
    • でもKAUSTのスパコンはめちゃでかい
• 今日は（も）論文書きをやります、、
  • 最近は paperpal.com と perplexity.ai と chatGPT と DeepL に頼りっきりです
• 4月から移籍します

末竹

• with sinkai-san 博士審査よもやま話
• with tanjo-san 考古学について
• お仕事頑張るぞい
  • 人のお気持ちを考えたり、考古学をしたりすることが多い
  • コーディング的なサムシングしたみ

山中

• CWL User Guide をやっています！
  • どこかで有識者にレビューいただく

丹生

• お仕事の方針を末竹さんと相談
  • 考古学と歴史の勉強がしたいわけではない
• DDBJ でスパコン連携とかクラウド連携周りをやってくれる人募集中
  • スパコン連携周りとは？
  • 国内の病院や研究機関で解析環境共有などをしたいよね、ということをしている
  • DDBJ の都合でいうと、そもそも計算資源が足りないのでクラウドなどにうまいことオフロードしたい
  • 人を探せと言われたが当てがない…
• schema-salad-d いじり
  • CWLCon 2023 の schema salad のエラーメッセージ改善の発表に「もっとエラーメッセージ改善できそう」とかコメントした手前、schema-salad-d でもある程度メッセージをちゃんとしようとした次第
  • 修正前:

    formattest.cwl(4): Unknown record type: CommandLineToola
    

  • 修正後:

    formattest.cwl(4): Unknown class field: `CommandLineToola` (canditates: `CommandLineTool`, `ExpressionTool`, `Workflow`)
    

  • schema-salad-tool でも同様のことは実現可能だが、かなり腕力が必要そう
• shaft が Github Actions 上の macOS でビルドできなくなった件
  • njs を組み込むために使っている dpp の macOS サポートが drop されている…
• core-wire がそろそろネットワークリソースでも動きそう
  • 動作確認に使いやすい s3 上のファイルってなにかご存じですか？

那須野

• mdx.jp の API を駆使して利用事例を作る系の作業に専念
  • mdx の募集

  • 概念設計から詳細設計までの一連のソフトウェア設計、ソフトウェア開発・テスト、インストール・設定、調達・運用、ユーザーサポート等に貢献して頂きます。大型の実運用システムにおけるデータベース設計・開発、Web フロントエンド・バックエンド、ネットワーク構成管理、仮想化基盤の知識・経験及びチームのおける開発経験が必要

  • https://www.itc.u-tokyo.ac.jp/wp-content/uploads/2023/01/6c27afad9017c4780d96104e62dc8dc1.pdf
• M2 Mac mini を確保したが、まだ使いみちがない。。

石井

• Macを修理に出すときのTIPSって何かありますか？
  • FileValutをONにする？
  • FindMy を切っておく, iTunes や AppStore のログアウトをしておく（おおた、古いかも）
• mdx.jp 興味あり
• 2年近くfishへの以降に失敗している
  • 2 年近く fish 使ったけど、結局 bash でいいのではと最近戻ってきている (suecharo)
• yevisをやろうとおもっていたが、その前に、自分のターンのボールをすすめていた。
  • 現状
    • なんとかyevisにたどりつく
    • validate, testを通した
    • pull-requestを実行中
  • 気になったところ
    • github actionsがまわりきらないといけないとすると、メモリの制限などは結構きついかも
    • 公式にあるスペックよりデフォルトは以下

    • 2 コア CPU (x86_64) 7 GB の RAM 14 GB の SSD 領域

    • データ置き場としてはやはり、gistがおすすめですかね？
      • test 時にzenodoは遠い。
      • githubにおけるものは、github
      • やはりzenodoか、figshare
        • Google drive
          • raw fileのパスがある。UIからは、2段階だが、rawのパス。
        • Dropbox
          • Dropboxで直リンクのURLを取得する方法石井追記
        • https://figshare.com/
        • https://qiita.com/rot-z/items/299ac40361690c51ce1d
        • https://stackoverflow.com/questions/24834877/google-drive-raw-data
    • Zenodo upload の時に github actions instance にデータがダウンロードされるのでそこで容量制限に引っかかってしまうが解決策がイマイチない (memo)
• anker のタグデバイスを試した。（役に立ってほしくないが、とりあえずいれてみた）

新海

• 博士課程やらお仕事やらで色々やってました

松尾

• 年度末で忙しくしてます、来月こそは来たい

池田

• slurmd のエラーの理由がわからずちょっと悩んでいる
  • slurmd[1051]: slurmd: error: Security violation, ping RPC from uid 64030

AWSにあるslurmrestdの説明、Securityの項目で https://aws.amazon.com/jp/blogs/hpc/using-the-slurm-rest-api-to-integrate-with-distributed-architectures-on-aws/

• M1 dockerでx86_64のコンテナを起動する際に、Rosseta2を利用して高速動作する事を確認

Docker with qemu

   FLOPS C Program (Double Precision), V2.0 18 Dec 1992

   Module     Error        RunTime      MFLOPS
                            (usec)
     1     -7.6739e-13      0.1020    137.3157
     2     -5.7021e-13      0.0578    121.1794
     3     -2.4314e-14      0.1260    134.9569
     4      6.8501e-14      0.1223    122.6099
     5     -1.6320e-14      0.2258    128.4165
     6      1.3961e-13      0.2256    128.5728
     7     -3.6152e-11      0.0991    121.0495
     8      9.0483e-15      0.2309    129.9111

   Iterations      =  256000000
   NullTime (usec) =     0.0000
   MFLOPS(1)       =   125.3634
   MFLOPS(2)       =   126.8598
   MFLOPS(3)       =   129.0093
   MFLOPS(4)       =   129.1172

Docker with Rosetta2

   FLOPS C Program (Double Precision), V2.0 18 Dec 1992

   Module     Error        RunTime      MFLOPS
                            (usec)
     1      4.0146e-13      0.0027   5242.5713
     2     -1.4166e-13      0.0004  16522.2202
     3      4.7184e-14      0.0035   4812.0806
     4     -1.2557e-13      0.0031   4770.2219
     5     -1.3800e-13      0.0059   4923.7740
     6      3.2380e-13      0.0057   5062.7111
     7     -8.4583e-11      0.0036   3290.2911
     8      3.4867e-13      0.0061   4936.7321

   Iterations      =  512000000
   NullTime (usec) =     0.0000
   MFLOPS(1)       =  9201.6917
   MFLOPS(2)       =  4275.1809
   MFLOPS(3)       =  4757.3020
   MFLOPS(4)       =  4923.6206