FrugalGPT（フルーガルジーピーティー）
Stanford大学が提案したコスト効率的なLLM利用戦略。複数のLLM APIをカスケード式に利用し、安価なモデルから順に試行して品質基準を満たせば強モデルへのエスカレーションをスキップすることで、GPT-4同等の品質をコスト98%削減で実現できることを示した。
FrugalGPT — カスケード型コスト効率LLM戦略
FrugalGPT は、2023年5月に Stanford University の Chen Lingjiao らが発表した論文「FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance」で提案されたフレームワークです。GPT-4 と同等以上の性能を達成しながら API コストを最大98%削減できるアプローチを示し、LLM コスト最適化研究の先駆けとなりました。
問題の背景
2023年当時、GPT-4 API の料金は GPT-3.5 の約20倍でした（現在も高性能モデルほど高価）。HellaSwag・MMLU・CommonSenseQA 等のベンチマークでの実験では、全クエリを GPT-4 で処理した場合のコストに対し、適切な戦略を取れば同等精度を1〜2%のコストで達成できることが示されました。
3つの最適化戦略
戦略1: Prompt Selection（プロンプト選択）
- 同じクエリに対して複数のプロンプトテンプレートを用意
- ルーターが最適なプロンプトを動的に選択
- プロンプト品質の差が20〜40%の性能差につながることを実証
戦略2: LLM Approximation（近似）
- 高コストな LLM の出力を低コストな「近似モデル」で代替
- 類似クエリのキャッシュを活用（セマンティックキャッシュ）
- 事前に生成した回答データベースとのマッチング
戦略3: LLM Cascade（カスケード） FrugalGPT の核心機能。モデルを安価な順に並べ、品質スコアが閾値を超えれば次に進まないカスケード構造：
クエリ → [ChatGPT $0.002/1K] → 品質スコア判定
↓ 不十分
[Claude-v1 $0.008/1K] → 品質スコア判定
↓ 不十分
[GPT-4 $0.06/1K] → 最終回答
品質スコアリングには以下の指標が使われます：
- 回答の自信度（ロジット・確率）
- 回答の長さと構造的完全性
- 訓練した品質予測モデル
実験結果
論文の主要実験（2023年5月時点のAPI価格で計測）：
| データセット | GPT-4全利用コスト | FrugalGPTコスト | 性能差 |
|---|---|---|---|
| HellaSwag | 基準 ($100) | $1.0 (1%) | -0.2% |
| MMLU | 基準 ($100) | $2.0 (2%) | ±0% |
| CommonSenseQA | 基準 ($100) | $1.5 (1.5%) | +0.5% |
特にHellaSwag では GPT-4 の1%のコストで同等性能を実現しました。
RouteLLM との比較
| 観点 | FrugalGPT | RouteLLM |
|---|---|---|
| 提案者 | Stanford University (2023) | UC Berkeley/LMSYS (2024) |
| 主な戦略 | カスケード（順次試行） | バイナリルーティング（直接選択） |
| ルーター | 品質スコア予測モデル | 勝率推定・分類モデル |
| 実用実装 | 論文・研究コード | 商用利用可能なOSSライブラリ |
| 特徴 | プロンプト最適化含む広範なフレームワーク | ルーティングに特化・OpenAI互換 |
FrugalGPT の考え方を実装したツール
FrugalGPT 自体は直接インストールして使えるライブラリではなく、設計思想・フレームワークとして位置づけられています。2024〜2025年にかけて以下のツールが FrugalGPT の原理を実装：
- RouteLLM（UC Berkeley）: カスケードよりも直接的なルーティング
- LiteLLM: フォールバック設定でカスケード的動作
- Portkey AI: コスト追跡 + 自動フォールバック
- GPTCache: セマンティックキャッシュで LLM Approximation を実現
よくある質問
Q1: FrugalGPT は今でも有効？ A: 原理は有効で、2025年現在もコスト最適化の基礎として参照されます。ただし RouteLLM 等の実装が進んでおり、実用には後継ツールを使うのが現実的です。
Q2: セマンティックキャッシュとはなにか？ A: 意味的に類似したクエリを同一グループとして扱い、一方の回答をもう一方にも返す技術。GPTCache・Momento Semantic Cache 等のライブラリが実装しています。
Q3: カスケードのデメリットは？ A: 低品質モデルが答えを生成してから高品質モデルに渡す分、レイテンシが増加します。リアルタイム性重視のアプリケーションには向きません。