選好データ（Preference Data）（センコウデータ）

選好データ（Preference Data）とは

選好データ（Preference Data）は、同一プロンプトに対する複数のLLM応答を人間またはAIが比較し、品質の優劣を記録したデータセットである。報酬モデル訓練やDirect Preference Optimization（DPO）等の選好最適化手法において、「良い応答」と「悪い応答」を識別する教師信号として使用される。

RLHF パイプラインの品質は選好データの品質に直結するため、データ収集の設計・アノテーション品質管理・バイアス対策が極めて重要である。2026年現在、UltraFeedback・HH-RLHF・Chatbot Arena など複数の大規模選好データセットが公開されており、研究・商用の両面で活用されている。

選好データの形式

ペアワイズ比較（Pairwise Comparison）

最も一般的な形式。同一プロンプトに対する2つの応答（chosen / rejected）のペアを記録する。

{
  "prompt": "Pythonでフィボナッチ数列を生成する関数を書いてください",
  "chosen": "def fibonacci(n):\n    if n <= 1:\n        return n\n    a, b = 0, 1\n    for _ in range(2, n + 1):\n        a, b = b, a + b\n    return b",
  "rejected": "フィボナッチ数列は1, 1, 2, 3, 5, 8, 13...という数列です。"
}

K-wise ランキング

4〜8個の応答を品質順にランク付けし、C(K,2)個のペアワイズ比較を生成する。1回のアノテーションから多数のペアが得られるため、情報効率が高い。

多次元評価

単純な優劣だけでなく、複数の品質軸（正確性・有用性・安全性・流暢さ等）で個別にスコアリングする。ArmoRM では19次元の品質軸を使用している。

主要な公開選好データセット

アノテーション品質管理

Inter-Annotator Agreement（IAA）

複数のアノテーター間の一致度を測定する指標。Cohen's κ（カッパ）または Fleiss' κ が一般的に使用される。

• κ > 0.8: 優良（excellent agreement）
• 0.6 < κ ≤ 0.8: 良好（substantial agreement）
• 0.4 < κ ≤ 0.6: 中程度（moderate agreement）
• κ ≤ 0.4: 不十分 → データ品質に問題あり

InstructGPT の訓練データでは IAA = 0.72 が報告されており、これが実用的な基準値として参照されている。

アノテーターバイアス

• 冗長性バイアス: 長い応答を無条件に高評価する傾向（対策: 文字数を隠す、長さペナルティ導入）
• 位置バイアス: 最初に提示された応答を高評価する傾向（対策: ランダム化、A/Bテスト形式）
• スタイルバイアス: Markdown書式・箇条書きを高評価する傾向（対策: プレーンテキスト変換後に評価）
• 同意バイアス: ユーザーの意見に同意する応答を高評価する傾向（対策: 事実確認タスクの混入）

AI 生成選好データ（RLAIF）

2026年現在、人間アノテーションに代わり LLM 自体が選好判定を行う AI フィードバック（RLAIF）が急速に普及している。

• コスト効率: 人間アノテーションの 1/50〜1/100（GPT-4o: 約$0.01/件、Claude 3.5 Sonnet: 約$0.003/件）
• スケーラビリティ: 100万件以上の比較データを24時間以内に生成可能
• 精度: UltraFeedback（GPT-4生成）で訓練した RM が人間アノテーションベースの RM と同等性能を達成
• 課題: 評価 LLM 自身のバイアス伝播、自己強化ループのリスク

よくある質問（FAQ）

Q1: 選好データはどのくらいの量が必要ですか？ A: 用途によって異なるが、報酬モデル訓練には最低10,000ペア、DPO 訓練には最低5,000ペアが推奨される。Chatbot Arena のように100万件以上の大規模データセットはモデルランキングの精度向上に特に有効だが、研究用途では1〜5万件で十分な成果が得られる。

Q2: 人間アノテーションと AI フィードバックはどちらが良いですか？ A: 品質の上限は人間アノテーションが優れるが、コストとスケーラビリティでは AI フィードバックが圧倒的に有利である。2026年の実務では、少量の高品質人間データ（1,000〜5,000件）で AI 評価器をキャリブレーションし、大量の AI 生成データで補完するハイブリッド方式が主流である。

Q3: 選好データの品質をどう検証すればよいですか？ A: IAA（κ > 0.6）の測定、既知の正解ペア（ゴールドスタンダード）の混入によるアノテーター精度監視、および少数の人間評価者による AI 生成データのスポットチェック（100件中90%以上一致）が標準的な品質管理手法である。

まとめ

• 選好データは RLHF/DPO パイプラインの品質を左右する最重要リソース
• ペアワイズ比較が標準形式だが、K-wise ランキングや多次元評価も活用される
• UltraFeedback・HH-RLHF・Chatbot Arena 等の公開データセットが充実
• RLAIF により選好データ収集コストが大幅に低下（人間の1/100以下）
• IAA 測定とバイアス対策がデータ品質管理の鍵