LLMアウトプットルーティング（LLM Output Routing）とは、ユーザーのプロンプトやタスク特性に応じて最適なLLM（大規模言語モデル）を動的に選択・切り替えするルーティング技術の総称である。単一モデルへの固定的なAPI呼び出しではなく、品質・コスト・レイテンシ・専門性といった複数の評価軸に基づき、リクエスト単位でモデルを振り分けることで、システム全体のコストパフォーマンスと応答品質を最適化する。Martian、Not Diamond、Unify.ai、OpenRouter、LiteLLM等のルーティングプラットフォームが代表的な実装例である。
LLMアウトプットルーティング（LLM Output Routing）は、複数のLLMモデルを束ね、各リクエストの内容・難易度・コスト制約に応じて最適なモデルへ動的に振り分ける技術体系である。2023年後半からのLLM多様化（GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama 3.1、Mistral Large等）に伴い、「すべてのタスクに万能なモデルは存在しない」という認識が広まり、タスク単位でのモデル選択が現実的な最適化手法として注目を集めている。
従来のアプローチでは、開発者が手動でモデルを選定し、APIキーをハードコードしていた。しかし、モデル数の爆発的増加（2024年時点でHugging Faceに80万以上のモデルが登録）、価格改定の頻繁さ（OpenAIは2023-2024年で4回の大幅値下げ）、新モデルのリリースサイクル短縮により、手動管理は現実的でなくなった。LLMアウトプットルーティングは、この「モデル選択の複雑性」を自動化・抽象化するミドルウェア層として機能する。
ルーティングの基本アーキテクチャは以下の通りである。
ユーザーリクエスト → ルーター（分類・スコアリング） → 最適モデル選択 → API呼び出し → レスポンス返却
ルーターは入力プロンプトを受け取り、以下の要素を評価してモデルを決定する。
| 評価軸 | 内容 | 具体例 |
|---|---|---|
| タスク複雑度 | 推論の深さ・ステップ数 | 単純QA → Haiku、複雑推論 → Opus |
| ドメイン適合度 | 各モデルの得意分野 | コード生成 → Claude Sonnet、数学 → GPT-4o |
| コスト制約 | 1リクエストあたりの予算上限 | 月額$500以内でトークン最大化 |
| レイテンシ要件 | 応答速度の許容範囲 | リアルタイムチャット → 500ms以内 |
| コンテキスト長 | 入力トークン数 | 128Kトークン超 → Gemini 1.5 Pro |
| 安全性要件 | コンテンツフィルタリングの厳しさ | 医療・法務 → 高フィルタモデル |
LLMアウトプットルーティングは、その判断メカニズムによって大きく4つの方式に分類される。
最もシンプルな方式で、事前に定義した条件分岐に基づいてモデルを選択する。if-then-else形式の静的ルールであり、実装が容易だが柔軟性に欠ける。
# ルールベースの例
if token_count > 100000:
model = "gemini-1.5-pro"
elif task_type == "code_generation":
model = "claude-sonnet-4-6"
elif budget == "low":
model = "claude-haiku-4-5"
else:
model = "gpt-4o"
入力プロンプトの意味的内容を解析し、埋め込みベクトル（Embedding）の類似度に基づいてモデルを選択する。事前にタスクカテゴリごとのプロトタイプベクトルを定義し、入力との距離が最も近いカテゴリに紐づくモデルへルーティングする。
小型・低コストモデルから順に試行し、品質が閾値を下回った場合にのみ大型・高コストモデルにエスカレーションする方式。FrugalGPT（2023年、Stanford大学）で提唱された代表的手法である。
機械学習モデル（メタモデル）がプロンプトの特徴量からどのLLMが最高品質の回答を返すかを予測する方式。Not Diamond、Martianなどのサービスがこの方式を採用している。
| 方式 | 精度 | コスト効率 | 実装難易度 | レイテンシ |
|---|---|---|---|---|
| ルールベース | △ 低 | ○ 中 | ◎ 簡単 | ◎ 最速 |
| セマンティック |
| ○ 中 |
| ○ 中 |
| ○ 中 |
| ○ 速い |
| カスケード | ◎ 高 | ◎ 最高 | △ 複雑 | △ 遅い |
| 予測ベース | ◎ 高 | ○ 高 | △ 複雑 | ○ 速い |
2024-2025年にかけて、LLMルーティングを専門とするプラットフォームが急速に台頭している。
| プラットフォーム | 方式 | 対応モデル数 | 特徴 | 価格モデル |
|---|---|---|---|---|
| Martian | 予測ベース（Model Router） | 20+ | リアルタイムでモデル品質をスコアリング、独自ベンチマーク | API使用量ベース |
| Not Diamond | 予測ベース | 15+ | プロンプト特徴からの最適モデル予測、A/Bテスト統合 | フリーミアム+従量課金 |
| Unify.ai | ハイブリッド | 50+ | コスト・品質・速度の三軸最適化、リアルタイムベンチマーク | 従量課金 |
| OpenRouter | パススルー+統計 | 100+ | 統一API、モデル間の価格比較、フォールバック | 手数料上乗せ |
| LiteLLM | ルールベース+フォールバック | 100+ | OSS、OpenAI互換API、ロードバランシング | 無料（OSS） |
| Portkey.ai | ルール+カスケード | 50+ | ゲートウェイ型、キャッシュ・リトライ・フォールバック | フリーミアム |
| Helicone | 分析+ルーティング | 30+ | オブザーバビリティ重視、コスト追跡 | フリーミアム |
予測ベースルーティングの内部では、以下のようなパイプラインが実行される。
Step 1: プロンプト特徴量抽出 入力プロンプトから以下の特徴量を抽出する。
Step 2: モデルスコアリング 各候補モデルに対して、品質予測スコアを算出する。これは過去の評価データ（数万〜数百万のプロンプト-レスポンスペア）で訓練されたメタモデルが担当する。
score(model_i, prompt) = α × quality_pred + β × (1 / cost) + γ × (1 / latency)
ここで α, β, γ はユーザーが設定する重み係数であり、品質重視・コスト重視・速度重視のバランスを調整できる。
Step 3: モデル選択とフォールバック 最高スコアのモデルを第一候補として選択し、API呼び出しを実行する。レートリミット・タイムアウト・エラー発生時は、次点スコアのモデルに自動フォールバックする。
LLMアウトプットルーティングの実運用での効果を示す事例を紹介する。
| 企業/プロジェクト | 導入前 | 導入後 | 効果 |
|---|---|---|---|
| EC企業A（商品説明生成） | GPT-4固定、月額$12,000 | ルーティング導入 | コスト67%削減（$4,000）、品質98%維持 |
| SaaS企業B（カスタマーサポート） | Claude Sonnet固定 | カスケード導入 | 70%のクエリをHaikuで処理、レイテンシ40%改善 |
| 法律事務所C（契約書レビュー） | GPT-4 Turbo固定 | セマンティックルーティング | 定型条項チェックを小型モデルで処理、コスト55%削減 |
| ゲーム会社D（NPC対話生成） | Llama 3固定 | 予測ベース | キャラクター複雑度に応じたモデル切替、ユーザー満足度15%向上 |
Stanford大学のFrugalGPT論文（2023年）では、カスケードルーティングにより最大98%のコスト削減が可能であり、かつ品質はGPT-4単体と同等以上を達成できることが示された。ただし、この数値は特定のベンチマーク条件下での結果であり、実運用では30-70%程度のコスト削減が現実的な期待値とされている。
A1: 月間のLLM API費用が$500を超え、かつ複数の異なるタスクタイプ（コード生成、要約、QAなど）を処理している場合に導入効果が高い。単一タスクで単一モデルが最適な場合はルーティングのオーバーヘッドがメリットを上回る可能性がある。一般的な目安として、3種類以上のタスクを月間10,000リクエスト以上処理している場合に導入を推奨する。
A2: ルーティング方式によって異なる。ルールベースは1ms未満、セマンティックルーティングは5-20ms（埋め込み計算）、予測ベースは10-50ms（メタモデル推論）、カスケードは最悪ケースで2-3倍のレイテンシ増加となる。ただし、カスケード方式では70-80%のリクエストが第一段階（小型モデル）で完結するため、平均レイテンシはむしろ改善されるケースが多い。
A3: チームにMLエンジニアがおり、独自のベンチマークデータを保有している場合は自前構築が有効である。LiteLLM（OSS）をベースにカスタムルーティングロジックを追加するアプローチが初期コストを抑えつつ柔軟性を確保できる。一方、迅速な導入と運用負荷の軽減を優先するならNot DiamondやUnify.aiのSaaSが適している。コスト比較として、SaaSの手数料は通常モデルAPI費用の5-15%程度であり、自前構築のインフラ・人件費と比較して検討すべきである。
A4: 主要な評価指標は以下の3つである。（1）最適モデル選択率（Oracle Accuracy）: 事後評価で最適だったモデルをルーターが選択できた割合。Not Diamondは公称73%以上。（2）コスト効率比: 全リクエストを最高品質モデルで処理した場合と比較したコスト削減率。（3）品質劣化率: ルーティングにより品質が許容閾値を下回ったリクエストの割合。運用上は品質劣化率を5%以下に維持しつつ、コスト効率比50%以上を目標とするのが一般的である。