大量データを集計・分析する
「GB〜TB級のログを集計したい」
この目的で選ぶときに見る軸
- スキャン量課金
- クエリ遅延
- 取り込み方法
下の表の「主要制約」は各ツールで最も先に当たる制約。軸ごとの値はツール詳細の制約表で確認する。
この目的に使える手段(2件)
| ツール | 分類 | 種別 | 学習 | 料金 | 成熟 | 主要制約 | 検証 |
|---|---|---|---|---|---|---|---|
| DuckDB 1プロセスに組み込んで動く、列指向の分析(OLAP)用 SQL エンジン | データ処理・分析 | ツール | 低 | 無料 | 安定 | 同時アクセスの制限:書き込みできるプロセスは1つ。読み取り専用なら複数プロセスで開ける。同じ行を同時に変更するトランザクションは競合エラーになる | |
| BigQuery サーバーレスで TB 級のデータを SQL で集計する、Google Cloud のデータウェアハウス | データ処理・分析 | マネージドサービス | 中 | 無料枠あり | 安定 | オンデマンド課金の単価と最低課金:処理(スキャン)量 1 TiB あたり $6.25(料金ページの既定表示リージョン。リージョンで異なる)。毎月最初の 1 TiB は無料。1クエリあたり、および参照テーブルごとに最低 10 MB を課金。エラーになったクエリとキャッシュヒットは無課金 |