目的:実行する

大量データを一括処理する

「数万件以上を一気に処理したい」

この目的で選ぶときに見る軸

  1. 並列度
  2. 実行時間上限
  3. 途中失敗からの再開

下の表の「主要制約」は各ツールで最も先に当たる制約。軸ごとの値はツール詳細の制約表で確認する。

この目的に使える手段(5件)

大量データを一括処理する を持つツールの比較
ツール分類種別学習料金成熟主要制約検証
GitHub Actions
GitHub リポジトリの push・PR・スケジュールで動く CI/CD 実行基盤
開発基盤・CI/CDマネージドサービス無料枠あり安定ジョブ実行時間の上限:6時間 / ジョブ(GitHub ホストランナー)、5日 / ジョブ(セルフホストランナー)。ワークフロー全体は 35日でキャンセル
Python
読みやすさを優先した動的型付け言語。データ処理・自動化・AI分野の共通語
言語・実行環境言語無料安定スレッド並列の上限(GIL):CPython では同時に1スレッドしか Python バイトコードを実行しない。I/O 中は解放される
AWS Lambda
サーバー管理なしでコードをイベント駆動・従量課金で実行するAWSの基盤
実行基盤・ホスティングマネージドサービス従量課金安定1回の実行時間の上限:900秒(15分)/ 実行。Lambda Managed Instances の非同期・イベントソース呼び出しのみ 5,400秒(90分)
Go
単一バイナリに固めて配布できる静的型付け言語。並行処理と配布が軽い
言語・実行環境言語無料安定旧バージョンのサポート期間:各メジャー版は、その後2つ新しいメジャー版が出るまでサポート。メジャー版は2月と8月の半年ごと(実質約1年)
Rust
メモリ安全性をコンパイル時に保証する、GCを持たない静的型付け言語
言語・実行環境言語無料安定安定版のリリース周期:6週間ごと(nightly→beta→stableのトレインモデル)。バージョンごとの長期サポート(LTS)はない