大量データを一括処理する
「数万件以上を一気に処理したい」
この目的で選ぶときに見る軸
- 並列度
- 実行時間上限
- 途中失敗からの再開
下の表の「主要制約」は各ツールで最も先に当たる制約。軸ごとの値はツール詳細の制約表で確認する。
この目的に使える手段(5件)
| ツール | 分類 | 種別 | 学習 | 料金 | 成熟 | 主要制約 | 検証 |
|---|---|---|---|---|---|---|---|
| GitHub Actions GitHub リポジトリの push・PR・スケジュールで動く CI/CD 実行基盤 | 開発基盤・CI/CD | マネージドサービス | 低 | 無料枠あり | 安定 | ジョブ実行時間の上限:6時間 / ジョブ(GitHub ホストランナー)、5日 / ジョブ(セルフホストランナー)。ワークフロー全体は 35日でキャンセル | |
| Python 読みやすさを優先した動的型付け言語。データ処理・自動化・AI分野の共通語 | 言語・実行環境 | 言語 | 低 | 無料 | 安定 | スレッド並列の上限(GIL):CPython では同時に1スレッドしか Python バイトコードを実行しない。I/O 中は解放される | |
| AWS Lambda サーバー管理なしでコードをイベント駆動・従量課金で実行するAWSの基盤 | 実行基盤・ホスティング | マネージドサービス | 中 | 従量課金 | 安定 | 1回の実行時間の上限:900秒(15分)/ 実行。Lambda Managed Instances の非同期・イベントソース呼び出しのみ 5,400秒(90分) | |
| Go 単一バイナリに固めて配布できる静的型付け言語。並行処理と配布が軽い | 言語・実行環境 | 言語 | 中 | 無料 | 安定 | 旧バージョンのサポート期間:各メジャー版は、その後2つ新しいメジャー版が出るまでサポート。メジャー版は2月と8月の半年ごと(実質約1年) | |
| Rust メモリ安全性をコンパイル時に保証する、GCを持たない静的型付け言語 | 言語・実行環境 | 言語 | 高 | 無料 | 安定 | 安定版のリリース周期:6週間ごと(nightly→beta→stableのトレインモデル)。バージョンごとの長期サポート(LTS)はない |