LLM引用生成（エルエルエムインヨウセイセイ）
LLM引用生成（Citation Generation）とは、大規模言語モデルが回答を生成する際に、各主張や事実に対して出典情報（引用元URL、文書名、段落番号等）を自動的に付与する技術である。Attributable LLM、Attributed QA等とも呼ばれ、ALCE（Automatic LLMs' Citation Evaluation）ベンチマークにより引用精度が定量評価される。
LLM引用生成とは
LLM引用生成は、LLMの応答に出典情報を明示的に紐付ける技術であり、ユーザーが回答の根拠を検証可能にすることで信頼性を向上させる。2024年以降、企業向けLLMアプリケーションでは「根拠のない回答は許容されない」という要件が一般化し、引用生成は必須機能として位置づけられている。
概要と技術的アプローチ
引用生成には主に3つのアプローチがある：
- Post-hoc Attribution（事後帰属）: LLMが生成した回答に対して、後から関連ソースをマッチングして引用を付与
- Inline Citation（インライン引用）: 生成時にリアルタイムで引用マーカー（[1], [2]等）を挿入
- Retrieve-then-Cite（検索後引用）: RAGパイプラインで取得したドキュメントを参照しつつ、引用付きで生成
代表的な研究と実装
- ALCE（Gao et al., 2023）: 引用精度を自動評価するベンチマーク。ASQA（曖昧な質問）、QAMPARI（多答質問）、ELI5（説明質問）の3タスク構成
- Attributed QA（Bohnet et al., 2022）: Google Researchが提案。Natural Questions上で帰属付き回答を評価
- WebGPT（Nakano et al., 2021）: OpenAIがBing検索と統合し、引用付き回答を生成するシステム
- Perplexity AI: 商用の引用付き検索AIで、2025年時点で月間1億以上のクエリを処理
引用精度の評価指標
| 指標 | 定義 | 計算方法 |
|---|---|---|
| Citation Precision | 引用された出典が実際に主張を裏付ける割合 | 正確な引用数 / 全引用数 |
| Citation Recall | 裏付けが必要な主張のうち引用が付いている割合 | 引用付き主張数 / 全主張数 |
| Citation F1 | PrecisionとRecallの調和平均 | 2PR / (P+R) |
| Fluency | 引用マーカーを含む文の自然さ | 人間評価（1〜5スケール） |
ALCEベンチマークでの各モデルの性能（2025年時点）：
| モデル | ASQA Citation F1 | QAMPARI Citation Recall | ELI5 Citation Precision |
|---|---|---|---|
| GPT-4 Turbo | 67.2% | 48.3% | 72.1% |
| Claude 3.5 Sonnet | 65.8% | 46.7% | 70.5% |
| Gemini 1.5 Pro | 63.4% | 44.2% | 68.3% |
| Llama 3.1 70B | 55.1% | 38.6% | 61.2% |
| Mistral Large | 58.7% | 41.3% | 64.8% |
実装パターン
パターン1: RAG + Inline Citation
1. ユーザークエリを受信
2. ベクトルDBで関連ドキュメントをtop-5検索
3. 各ドキュメントにID（[1]〜[5]）を付与
4. LLMプロンプト: 「以下の情報源を参照し、引用マーカー[1]等を付けて回答してください」
5. 生成結果: 「LLMの精度は約73%です[1]。これはGPT-4の場合で[2]...」
6. 引用マーカーとドキュメントIDのマッピングをレスポンスに含める
パターン2: Post-hoc NLI Attribution
生成後にNLI（Natural Language Inference）モデルで各文と出典の含意関係を判定：
- Entailment（含意）: 出典が主張を裏付ける → 引用付与
- Neutral（中立）: 関連はあるが裏付け不十分 → 弱い引用
- Contradiction（矛盾）: 出典と矛盾 → 引用なし、要修正
NLIモデルにはDeBERTa-v3-large（精度91.3%）やFlan-T5-XXL（精度89.7%）が使用される。
商用サービスの引用機能
- Perplexity AI: 全回答にインライン引用を自動付与。月間1億クエリ、引用精度約78%
- Google SGE / AI Overview: 検索結果からの自動引用。2025年から段階的に展開
- Microsoft Copilot: Bing検索結果との統合引用。Office文書からの内部引用にも対応
- You.com: RAG + 引用のハイブリッド。開発者API提供（月額$100〜）
- Anthropic Claude: 長文コンテキスト（200K）内での引用位置を構造化出力で返却
よくある質問（FAQ）
Q1: 引用生成は全ての応答に必要ですか？ A: 事実に基づく主張（数値、日付、固有名詞等）には引用が必要だが、一般的な常識や定義的な説明には不要である。実装では、NLIモデルで「検証可能な主張」を自動分類し、必要な箇所のみ引用を付与するのが効率的。
Q2: 引用の正確性をどう保証しますか？ A: 生成後にNLIモデルで出典と主張の含意関係を検証する。Citation Precisionが80%以上であれば実用レベルとされる。さらに、ユーザーフィードバック（引用が正しかったか）を収集して継続的に改善する仕組みが推奨される。
Q3: 引用生成はレイテンシにどの程度影響しますか？ A: インライン引用方式ではRAGと同等の追加レイテンシ（200〜500ms）。Post-hoc帰属方式ではNLI判定に追加で100〜300msが必要。合計でも1秒以内に収まるため、ストリーミング出力と組み合わせれば体感的な影響は軽微。
まとめ
- LLM引用生成は事実の検証可能性を担保する重要技術
- ALCE等のベンチマークでGPT-4が67%のCitation F1を達成、改善の余地あり
- RAG + Inline CitationとPost-hoc NLI Attributionの2方式が主流
- Perplexity AI等の商用サービスが引用付き応答の標準を確立
- 引用精度80%以上が実用水準の目安