LLMロングコンテキスト（エルエルエムロングコンテキスト）
LLM（大規模言語モデル）が一度に処理できる入力トークン数の上限を拡張する技術群の総称。コンテキストウィンドウが大きいほど、長文書の要約・多文書比較・長い対話履歴の保持が可能になる。
LLMロングコンテキストとは
LLMロングコンテキストとは、大規模言語モデル（LLM）が一度の推論で処理できるトークン数（コンテキストウィンドウ）を大幅に拡張する技術の総称である。2023年以前の主要モデルは4,096〜8,192トークンが標準だったが、2025〜2026年には100万トークン超のモデルが実用化されている。
コンテキストウィンドウの進化
コンテキストウィンドウの拡大は、LLMの実用性を飛躍的に高めた。GPT-3（2020年）の2,048トークンから、GPT-4 Turbo（2023年）の128Kトークン、さらにGemini 1.5 Pro（2024年）の最大10Mトークンまで、わずか4年で約5,000倍に拡大した。この進化により、書籍1冊分（約10万トークン）の全文を一度に入力して要約・質問応答ができるようになった。
主な技術的ブレークスルーは以下の通り:
- RoPE（Rotary Position Embedding）: Llama系モデルで採用された回転位置埋め込み。周波数ベースのエンコーディングにより、訓練時より長いシーケンスへの外挿が可能
- ALiBi（Attention with Linear Biases）: MPT-7Bなどで採用。位置埋め込みを使わず、注意スコアに線形バイアスを加算することで長系列への汎化を実現
- YaRN（Yet another RoPE extensioN）: RoPEの拡張手法。NTK-aware interpolationとAttention Scalingを組み合わせ、品質を維持したまま32K→128Kへの拡張を達成
- Ring Attention: 複数GPUにシーケンスを分割し、リング状にKVキャッシュを回覧することで、事実上無制限の系列長を実現
主要モデルのコンテキスト長比較
| モデル | コンテキスト長 | 位置エンコーディング | 発表年 | 備考 |
|---|---|---|---|---|
| Gemini 1.5 Pro | 10,000,000 | 非公開（独自手法） | 2024 | 動画・音声も含むマルチモーダル対応 |
| Claude 3.5 Sonnet | 200,000 | 非公開 | 2024 | 200K全域で高い検索精度を維持 |
| GPT-4 Turbo | 128,000 | 改良型位置埋め込み | 2023 | JSON Modeと組み合わせた構造化出力 |
| Llama 3.1 405B | 128,000 | RoPE | 2024 | オープンウェイトで最大級のコンテキスト |
| Mistral Large 2 | 128,000 | RoPE + Sliding Window | 2024 | 32言語対応のマルチリンガル |
| Command R+ | 128,000 | 非公開 | 2024 | RAG特化のGrounded Generation |
| Qwen2.5-72B | 131,072 | YaRN | 2024 | 中国語・英語バイリンガル最強クラス |
| Yi-34B-200K | 200,000 | NTK-aware RoPE | 2023 | 200Kコンテキストの先駆者 |
ロングコンテキストの応用分野
ロングコンテキストLLMの主要なユースケースは以下の通り:
- 書籍・論文の全文要約: 10万トークン超の学術論文やレポートを一度に処理し、構造化された要約を生成
- コードベース全体の理解: 数万行のソースコードを入力し、アーキテクチャ分析やバグ探索を実行
- 長時間会議の議事録処理: 数時間分の会議音声（テキスト変換後）から要点抽出・アクションアイテム生成
- 多文書クロスリファレンス: 複数の契約書・法律文書を同時に入力し、矛盾や不整合を検出
- 長期対話の文脈維持: チャットボットが数百ターンの会話履歴を保持し、一貫した応答を提供
- リポジトリ全体のコードレビュー: Git差分だけでなく関連ファイルすべてを含めた包括的レビュー
- 特許調査: 数百件の特許文書を一括入力して類似性分析・先行技術調査を実行
コスト・性能のトレードオフ
ロングコンテキストの利用には注意すべきトレードオフがある:
- 計算コスト: Self-AttentionはO(n²)の計算量。128Kトークンの処理は4Kトークンの1,024倍のAttention計算が必要
- メモリ消費: KVキャッシュは系列長に比例して増大。128Kトークンでは数十GBのGPUメモリを消費
- Lost in the Middle問題: コンテキスト中間部の情報検索精度が低下する現象。先頭と末尾に重要情報を配置する工夫が必要
- レイテンシ: 長い入力はTime to First Token（TTFT）を増大させる。100Kトークンの入力で数十秒のTTFTが発生する場合がある
- 料金: API従量課金モデルでは入力トークン数に比例してコストが増加。GPT-4 Turboで128K入力時は約$1.28/リクエスト
RAGとの使い分け
| 観点 | ロングコンテキスト | RAG（検索拡張生成） |
|---|---|---|
| 精度 | コンテキスト内の情報は高精度 | 検索品質に依存 |
| コスト | 入力トークン課金が大きい | 検索インフラ＋少量トークン |
| レイテンシ | TTFT増大 | 検索ステップ分の遅延 |
| 適用範囲 | コンテキスト長以内 | 理論上無制限 |
| 実装複雑度 | シンプル（全文投入） | チャンキング・インデックス構築が必要 |
| 更新性 | 毎回全文入力 | インデックス差分更新可能 |
2026年現在の実務的な判断基準: 10万トークン以内の固定文書ならロングコンテキスト、それ以上またはリアルタイム更新が必要ならRAGが推奨される。両者を組み合わせたハイブリッドアプローチ（RAGで候補を絞り、ロングコンテキストで精読）も普及している。
よくある質問（FAQ）
Q1: コンテキストウィンドウが大きいモデルほど性能が高いのか？ A: 必ずしもそうではない。コンテキスト長が大きくてもLost in the Middle問題でコンテキスト中間部の検索精度が低下するモデルがある。Needle-in-a-Haystack テストで全域にわたり高精度を維持するモデル（Claude 3.5やGemini 1.5 Pro）を選ぶことが重要である。
Q2: ロングコンテキストLLMを使えばRAGは不要になるのか？ A: 不要にはならない。コスト面では100Kトークンの毎回入力よりRAGの方が安価で、数百万文書規模のナレッジベースはロングコンテキストでもカバーしきれない。最適解はタスクの文書量・更新頻度・精度要件に応じた使い分けである。
Q3: オープンソースモデルでロングコンテキストに強いモデルはどれか？ A: Llama 3.1（128K）とQwen2.5-72B（131K）が代表的である。特にQwen2.5はYaRN位置拡張を採用し、128K全域で安定した性能を発揮する。コミュニティではGGUFフォーマットで量子化し、llama.cppやvLLMで高速推論する運用が一般的である。
まとめ
- LLMロングコンテキストは、モデルが一度に処理できるトークン数を拡張する技術群
- 2026年現在、Gemini 1.5 Proの10Mトークンが最大。実用域は128K〜200Kが主流
- RoPE・YaRN・Ring Attentionなどの位置エンコーディング技術が拡張を支える
- Lost in the Middle問題やO(n²)計算コストなどのトレードオフに注意が必要
- RAGとの組み合わせ（ハイブリッドアプローチ）が2026年のベストプラクティス