LLM（大規模言語モデル）が一度に処理できる入力トークン数の上限を拡張する技術群の総称。コンテキストウィンドウが大きいほど、長文書の要約・多文書比較・長い対話履歴の保持が可能になる。
LLMロングコンテキストとは、大規模言語モデル（LLM）が一度の推論で処理できるトークン数（コンテキストウィンドウ）を大幅に拡張する技術の総称である。2023年以前の主要モデルは4,096〜8,192トークンが標準だったが、2025〜2026年には100万トークン超のモデルが実用化されている。
コンテキストウィンドウの拡大は、LLMの実用性を飛躍的に高めた。GPT-3（2020年）の2,048トークンから、GPT-4 Turbo（2023年）の128Kトークン、さらにGemini 1.5 Pro（2024年）の最大10Mトークンまで、わずか4年で約5,000倍に拡大した。この進化により、書籍1冊分（約10万トークン）の全文を一度に入力して要約・質問応答ができるようになった。
主な技術的ブレークスルーは以下の通り:
| モデル | コンテキスト長 | 位置エンコーディング | 発表年 | 備考 |
|---|---|---|---|---|
| Gemini 1.5 Pro | 10,000,000 | 非公開（独自手法） | 2024 | 動画・音声も含むマルチモーダル対応 |
| Claude 3.5 Sonnet | 200,000 | 非公開 | 2024 | 200K全域で高い検索精度を維持 |
| GPT-4 Turbo | 128,000 | 改良型位置埋め込み | 2023 | JSON Modeと組み合わせた構造化出力 |
| Llama 3.1 405B | 128,000 | RoPE | 2024 | オープンウェイトで最大級のコンテキスト |
| Mistral Large 2 |
| 128,000 |
| RoPE + Sliding Window |
| 2024 |
| 32言語対応のマルチリンガル |
| Command R+ | 128,000 | 非公開 | 2024 | RAG特化のGrounded Generation |
| Qwen2.5-72B | 131,072 | YaRN | 2024 | 中国語・英語バイリンガル最強クラス |
| Yi-34B-200K | 200,000 | NTK-aware RoPE | 2023 | 200Kコンテキストの先駆者 |
ロングコンテキストLLMの主要なユースケースは以下の通り:
ロングコンテキストの利用には注意すべきトレードオフがある:
| 観点 | ロングコンテキスト | RAG（検索拡張生成） |
|---|---|---|
| 精度 | コンテキスト内の情報は高精度 | 検索品質に依存 |
| コスト | 入力トークン課金が大きい | 検索インフラ＋少量トークン |
| レイテンシ | TTFT増大 | 検索ステップ分の遅延 |
| 適用範囲 | コンテキスト長以内 | 理論上無制限 |
| 実装複雑度 | シンプル（全文投入） | チャンキング・インデックス構築が必要 |
| 更新性 | 毎回全文入力 | インデックス差分更新可能 |
2026年現在の実務的な判断基準: 10万トークン以内の固定文書ならロングコンテキスト、それ以上またはリアルタイム更新が必要ならRAGが推奨される。両者を組み合わせたハイブリッドアプローチ（RAGで候補を絞り、ロングコンテキストで精読）も普及している。
Q1: コンテキストウィンドウが大きいモデルほど性能が高いのか？ A: 必ずしもそうではない。コンテキスト長が大きくてもLost in the Middle問題でコンテキスト中間部の検索精度が低下するモデルがある。Needle-in-a-Haystack テストで全域にわたり高精度を維持するモデル（Claude 3.5やGemini 1.5 Pro）を選ぶことが重要である。
Q2: ロングコンテキストLLMを使えばRAGは不要になるのか？ A: 不要にはならない。コスト面では100Kトークンの毎回入力よりRAGの方が安価で、数百万文書規模のナレッジベースはロングコンテキストでもカバーしきれない。最適解はタスクの文書量・更新頻度・精度要件に応じた使い分けである。
Q3: オープンソースモデルでロングコンテキストに強いモデルはどれか？ A: Llama 3.1（128K）とQwen2.5-72B（131K）が代表的である。特にQwen2.5はYaRN位置拡張を採用し、128K全域で安定した性能を発揮する。コミュニティではGGUFフォーマットで量子化し、llama.cppやvLLMで高速推論する運用が一般的である。