AI・機械学習
上級
LLMLingua-2 プロンプト圧縮（エルエルエムリングアツープロンプトアッシュク）
Microsoftが開発したLLM向けプロンプト圧縮フレームワークの第2世代。トークン分類による情報保持判定で元プロンプトを最大20倍圧縮しながら推論精度を維持する。低コスト・低レイテンシのRAGパイプラインに有効。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
プロンプト圧縮
LLMLingua
Microsoft
RAG
トークン削減
推論コスト削減
LLMLingua-2 プロンプト圧縮
LLMLingua-2はMicrosoft Researchが2024年に発表したプロンプト圧縮フレームワーク。LLMのコンテキストウィンドウ使用量とAPIコストを削減しながら推論精度を維持することを目的とする。
プロンプト圧縮の課題
LLMへの入力が長くなるほど：
- APIコスト増大（入力トークン課金）
- レイテンシ増加（KVキャッシュ計算コスト）
- コンテキストウィンドウの浪費
- Lost-in-the-middle問題（中間部の情報が見落とされやすい）
プロンプト圧縮はこれらを「重要でない部分を削除」することで解決する。
LLMLingua-2のアーキテクチャ
第1世代（LLMLingua）との違い
| 比較項目 | LLMLingua | LLMLingua-2 |
|---|---|---|
| 判定方法 | Perplexity計算 | トークン分類 |
| エンコーダ | 自己回帰モデル | 双方向エンコーダ |
| 速度 | 遅い | 3〜5倍高速 |
| モデルサイズ | 7B+ | 125M〜570M |
処理フロー：
- GPT-4でオリジナルプロンプトに「保持/削除」ラベルを付与したデータセット生成
- XLM-RoBERTaをそのデータで教師あり学習
- 推論時は各トークンを分類し閾値以上のもののみ保持
圧縮率と精度のトレードオフ
| 圧縮率 | 精度維持 | 推奨用途 |
|---|---|---|
| 2〜4倍 | 高 | 重要文書・法務・医療 |
| 5〜10倍 | 中 | RAG検索結果・FAQ |
| 10〜20倍 | 要検証 | 粗いサマリー・キーワード抽出 |
RAGパイプラインでの活用
RAG（検索拡張生成）では検索結果チャンクが長くなりやすい。LLMLingua-2を検索結果とLLM呼び出しの間に挟むことで：
- 検索結果5,000トークン → 500〜1,000トークンに圧縮
- GPT-4o等高価なモデルへの入力コスト削減
- レスポンス速度向上
from llmlingua import PromptCompressor
llm_lingua = PromptCompressor(
model_name="microsoft/llmlingua-2-xlm-roberta-large-meetingbank",
use_llmlingua2=True,
device_map="cpu",
)
compressed = llm_lingua.compress_prompt(
context,
rate=0.33,
force_tokens=["\n", "?"],
)
まとめ
LLMLingua-2は「高品質なプロンプト圧縮を低コスト・高速に実現する」フレームワーク。RAGや長文処理を含むLLMアプリケーションのコスト最適化に実用的な選択肢。