表形式データを変換・集計する
「CSV を整形・集計したい」
この目的で選ぶときに見る軸
- メモリ上限
- 処理速度
- 対応形式
下の表の「主要制約」は各ツールで最も先に当たる制約。軸ごとの値はツール詳細の制約表で確認する。
この目的に使える手段（4件）
| ツール | 分類 | 種別 | 学習 | 料金 | 成熟 | 主要制約 | 検証 |
|---|---|---|---|---|---|---|---|
| DuckDB 1プロセスに組み込んで動く、列指向の分析（OLAP）用 SQL エンジン | データ処理・分析 | ツール | 低 | 無料 | 安定 | 同時アクセスの制限：書き込みできるプロセスは1つ。読み取り専用なら複数プロセスで開ける。同じ行を同時に変更するトランザクションは競合エラーになる | |
| Python 読みやすさを優先した動的型付け言語。データ処理・自動化・AI分野の共通語 | 言語・実行環境 | 言語 | 低 | 無料 | 安定 | スレッド並列の上限（GIL）：CPython では同時に1スレッドしか Python バイトコードを実行しない。I/O 中は解放される | |
| SQLite サーバー不要、単一ファイルで動く組み込み型の関係データベース | データの保存 | ツール | 低 | 無料 | 安定 | 同時書き込み数：1 ライター / 瞬間（読み取りは無制限）。WAL モードでも書き込みは同時に1つ | |
| pandas Python で表形式データをメモリ上で整形・集計・可視化する標準ライブラリ | データ処理・分析 | フレームワーク | 中 | 無料 | 安定 | メモリ内処理の前提：データセットは1台のメモリに収まる必要がある。メモリのかなりの割合を占めるデータでも、操作が中間コピーを作るため扱いにくくなる |