LLMデータキュレーションパイプライン（エルエルエムデータキュレーションパイプライン）
LLMデータキュレーションパイプラインとは、ファインチューニング用データセットの収集・クリーニング・フィルタリング・重複排除・品質スコアリング・多様性確保を体系的に管理するワークフローである。Argilla・Label Studio・Lilac等のツールが主流で、データ品質がモデル品質を決定する。
LLMデータキュレーションパイプラインは、ファインチューニングの成功を左右する最も重要な工程であり、「データがモデルの上限を決める」という原則に基づく体系的なデータ品質管理ワークフローである。2026年現在、Stanford LIMAの研究（1,000件の高品質データ > 50,000件の低品質データ）が広く認知され、データ品質への投資が産業標準となっている。
概要
データキュレーションパイプラインは6段階で構成される。第1段階のデータ収集では、社内文書・会話ログ・APIレスポンス・Webスクレイピング等から原始データを取得する。第2段階のクリーニングでは、HTMLタグ除去・エンコーディング正規化・PII（個人情報）マスキングを行う。第3段階のフィルタリングでは、品質スコア・長さ制約・言語判定・毒性フィルタを適用する。第4段階の重複排除では、完全一致・近似重複（MinHash/SimHash）・セマンティック重複を検出する。第5段階の品質スコアリングでは、LLM-as-a-Judge（GPT-4o・Claude 3.5）やIFEval・AlpacaEval等のベンチマークで品質を定量評価する。第6段階の多様性確保では、タスクカテゴリ・難易度・長さ・言語のバランスを調整する。
主な特徴・仕組み
- データ収集: ShareGPT形式の会話ログ、Stack Overflow QA、GitHub Issues、社内ナレッジベース、合成データ（Self-Instruct）
- PII除去: Microsoft Presidio・AWS Comprehend・spaCy NERで個人情報を自動検出・マスキング。GDPR/CCPA準拠
- 言語判定: fastText lid.176.bin（176言語対応・精度99%+）でデータの言語を判定・分類
- 毒性フィルタ: Perspective API（Google）・Detoxify・LlamaGuard 3で有害コンテンツを除外。閾値0.5-0.7が一般的
- 重複排除: MinHash（Jaccard類似度0.8以上を重複判定）+ セマンティック重複（埋め込みコサイン類似度0.95以上）
- 品質スコアリング: GPT-4o-as-a-Judge で1-5段階評価。スコア4以上のみ採用（フィルタ率30-50%が典型）
- 多様性制御: DPP（Determinantal Point Process）・クラスタリングベースのサンプリングでデータの偏りを解消
- バージョン管理: DVC（Data Version Control）・Hugging Face Datasetsでデータセットのバージョン追跡
データキュレーションツール比較
| ツール | 主な機能 | UI | 対応形式 | ライセンス | 料金 |
|---|---|---|---|---|---|
| Argilla | アノテーション・品質評価・FT統合 | WebUI | JSON/CSV/HF | Apache 2.0 | OSS無料 |
| Label Studio | マルチモーダルアノテーション | WebUI | 全形式 | Apache 2.0 | OSS無料 |
| Lilac | 自動品質分析・クラスタリング | WebUI | JSON/Parquet | Apache 2.0 | OSS無料 |
| Snorkel AI | プログラマティックラベリング | WebUI+API | 企業向け | 商用 | 要問合せ |
| Scale AI | 人間アノテーション・RLHF | API | 全形式 | 商用 | $0.10-2.00/タスク |
データ品質の定量評価
データ品質の定量化には複数の指標を組み合わせる。指示の明確性（Instruction Clarity）はLLM判定で1-5段階、応答の正確性（Response Accuracy）はドメイン専門家またはLLM-as-a-Judgeで評価する。応答の完全性（Completeness）は指示の全要件をカバーしているか、フォーマット準拠（Format Compliance）は指定形式（JSON・Markdown・箇条書き等）に従っているかを検証する。
自動評価パイプラインの構築には、GPT-4oに5段階のルーブリックを与えて各サンプルを評価させ、スコア4以上のみをFTデータとして採用する方法が効率的である。この自動フィルタリングにより、人手レビューのコストを80-90%削減しつつ、データ品質を維持できる。
よくある質問（FAQ）
Q1: データキュレーションにどの程度の工数が必要ですか？ A: 全体のファインチューニングプロジェクト工数の60-70%をデータキュレーションに費やすのが業界標準。5,000サンプルの高品質データセット構築に、2-4週間（収集1週間・クリーニング1週間・品質レビュー1-2週間）が目安。自動化ツール導入で30-50%短縮可能。
Q2: 合成データ（GPT-4生成）だけでファインチューニングしても良いですか？ A: 合成データのみでも実用レベルの品質は達成可能だが、いくつかの注意点がある。生成元モデルの知識限界がそのまま反映される、均質な応答スタイルに偏りやすい、特定の誤りパターンが増幅されるリスクがある。実データ30-50%+合成データ50-70%の混合が推奨される。
Q3: PII除去はどの程度厳密に行うべきですか？ A: 業界とデータソースによる。医療・金融データはHIPAA/GDPR準拠が必須であり、Microsoft Presidioで高精度NER（F1 95%+）を適用し、人手レビューで漏れを補完する。社内チャットログは氏名・メールアドレス・電話番号の正規表現パターンマッチング+NERの二重チェックが推奨。過検出はFTデータの有用性を下げるため、閾値調整が重要。
まとめ
- データキュレーションはFTプロジェクト工数の60-70%を占める最重要工程
- 6段階パイプライン: 収集→クリーニング→フィルタリング→重複排除→品質スコアリング→多様性確保
- Argilla・Label Studio・Lilacが主要OSS ツール、GPT-4o-as-a-Judgeで品質自動評価
- 1,000件の高品質データが50,000件の低品質データに勝つ（LIMA原則）
- PII除去・毒性フィルタ・重複排除はコンプライアンス・品質両面で必須