Long Context LLM（ロングコンテキストエルエルエム）
100K〜100万トークン以上の長いコンテキストを処理できる大規模言語モデルの総称。Gemini 1.5 Pro(100万)・Claude 3(200K)・GPT-4 Turbo(128K)が代表例で、コードベース全体や長編文書の一括処理が可能。
概要
Long Context LLMは、100,000トークン(約7.5万語)以上の入力を一度に処理できる大規模言語モデルの総称である。2022年まではGPT-3の4,096トークンが標準だったが、2024〜2025年にかけてGemini 1.5 Pro(100万トークン)やGemini 2.0(200万トークン)が登場し、コードベース全体・長編小説全巻・数時間の会議録を1回のプロンプトで処理できる時代が到来した。
技術的には、通常のTransformerのO(n²)の注意機構コストを効率化するFlashAttention/Ring Attention、位置エンコーディング拡張のYaRN・LongRoPE、KVキャッシュ最適化などの組み合わせで実現されている。
主要モデル・スペック
- Gemini 1.5 Pro: 1,000,000トークン(2024年)。動画1時間・音声11時間・コード3万行を同時処理
- Gemini 1.5 Flash: 1,000,000トークン。低コスト・高速版。入力1Kトークン$0.075
- Gemini 2.0 Pro: 2,000,000トークン(2025年)。同クラス最大
- Claude 3.5 Sonnet: 200,000トークン。コード・推論タスクで高精度
- Claude 3 Opus: 200,000トークン。最高品質推論
- GPT-4o: 128,000トークン。マルチモーダル対応
- Llama 3.1 405B/70B/8B: 128,000トークン(OSS)
- Mistral Large 2: 128,000トークン
技術基盤比較表
| 技術 | 採用モデル | 効果 | 課題 |
|---|---|---|---|
| Ring Attention | Gemini 1.5系 | 分散処理でコスト削減 | 実装複雑度高 |
| YaRN RoPE | Mistral-128K, Llama 3.1 | 追加学習少量で拡張 | 長距離劣化あり |
| Sliding Window Attention | Mistral 7B(初期) | メモリ効率 | 全体参照不可 |
| FlashAttention-2/3 | 多数 | I/O最適化でVRAM削減 | GPU依存 |
具体的なユースケース
コードベース全体解析: 10万行のPythonプロジェクトをGemini 1.5 Proに投入し、バグ検出・リファクタリング提案・ドキュメント生成を一括実行。RAGより高精度で見落としが少ない。
法律・契約文書: 1,000ページのM&A契約書をClaude 3 Opusで一括分析。リスク条項の抽出・比較レビューを数分で完了。
動画・音声: Gemini 1.5 Proは1時間動画(約85万トークン)をネイティブ処理。場面検索・要約・タイムスタンプ付きQ&Aが可能。
コスト比較(2025年)
- Gemini 1.5 Flash: 入力$0.075/1K、出力$0.30/1K(128K超は3倍)
- GPT-4o: 入力$2.50/1K、出力$10.00/1K
- Claude 3.5 Sonnet: 入力$3.00/1K、出力$15.00/1K
- Gemini 1.5 Pro: 入力$1.25/1K(128K以下)、$2.50(128K超)
Lost in the Middle問題
長コンテキストの最大の課題。Stanfordの研究(2023)によれば、入力の中央部にある重要情報はLLMに見落とされやすく、先頭・末尾に比べて精度が30〜50%低下することがある。対策として重要情報を先頭/末尾に配置するプロンプト設計が推奨される。
よくある質問(FAQ)
Q1: Long Context LLMはRAGを置き換えますか? A: 部分的にはYes。コンテキスト内に全情報が収まる場合はLong Contextの方が検索ミスがなく高精度です。ただし100万トークンを毎回送信するとコストが高く、数百万文書規模ではRAGが依然有利です。
Q2: ローカルでLong Context LLMを動かせますか? A: Llama 3.1 8Bなら128KをRTX 4090(24GB)でFlashAttention使用時に約32Kまで実用的に動作します。YaRN設定で拡張可能ですが、KVキャッシュのメモリが律速となります。
Q3: 日本語文書は何ページ処理できますか? A: Claude 200Kで約15万〜20万文字(A4換算約800〜1,000ページ)が目安です。Gemini 1.5 Pro 1Mなら約50〜70万文字(約3,000〜4,000ページ)相当の処理が可能です。
まとめ
- Long Context LLMは2025年時点でGemini 1.5 Pro(1M)・Gemini 2.0(2M)・Claude 3(200K)・GPT-4o(128K)が主力
- コードベース・法律文書・動画を一括処理できるユースケースで急速に普及
- Lost in the Middleとコスト増大が主要課題、キャッシュ機能を活用して対策
- ローカル運用ではLlama 3.1 128Kが現実的な選択肢