AI・機械学習
上級

LLM Model Router(エルエルエムモデルルーター)

LLM Model Router(モデルルーター)とは、入力クエリの特性を分析し、複数の大規模言語モデルの中から最適なモデルを自動的に選択・振り分けする仕組みである。ML ベースの分類器やルールエンジンにより、品質を維持しながらコストとレイテンシを最小化する。

0 回閲覧
0 いいね

LLM Model Router は、ユーザーのクエリを受け取り、そのタスク特性(複雑さ・ドメイン・言語・トークン長)を分析して最適な LLM へ自動的にルーティングする中間コンポーネントである。2026年現在、RouteLLM・Martian・Unify.ai が代表的な実装として知られる。

概要

モデルルーターの核心は「すべてのクエリに最高性能モデルを使う必要はない」という洞察にある。実運用のクエリの 60-80% は軽量モデル(GPT-4o-mini・Gemini 2.5 Flash・Claude 4 Haiku)で十分な品質が得られ、残り 20-40% の複雑なクエリのみ高性能モデル(GPT-4o・Claude 4 Opus・Gemini 2.5 Pro)が必要となる。RouteLLM の論文(2024年、UC Berkeley)では、Chatbot Arena の 8万件以上の対戦データから学習した分類器が、品質低下 5% 以内でコストを 50% 削減できることを実証した。

ルーター分類器の種類

学習ベース分類器

  • MFMatrix(Matrix Factorization): RouteLLM が提供する行列分解ベースの分類器。モデルペアの勝率を予測し、強いモデルが必要かを判定する。学習データは Chatbot Arena の ELO レーティング
  • SW-Ranking(Sliding Window): 直近 N 件の応答品質をスライディングウィンドウで追跡し、モデル選択を動的に調整する。コールドスタート問題に強い
  • BERT 分類器: クエリテキストを BERT で埋め込み、二値分類(simple/complex)で振り分ける。RouteLLM のカスタムトレーニングで利用可能

ルールベースルーター

  • トークン長閾値: 入力 500 トークン以下は軽量モデル、以上は高性能モデル
  • キーワードマッチ: 「コード生成」「数学」「推論」を含むクエリは高性能モデルへ
  • 言語検出: 英語以外のクエリは多言語性能の高いモデル(GPT-4o / Gemini)へ優先

ハイブリッドルーター

ルールベースで明確なケースを高速に振り分け、曖昧なケースのみ ML 分類器に委譲する二段構成。実運用では最も推奨される。

主要実装の比較

ルーター方式学習データ分類精度レイテンシライセンス
RouteLLMML 分類器(MF/SW/BERT)Chatbot Arena 80K+85-92%5-10msApache 2.0
Martian品質予測モデル独自ベンチマーク88-95%10-20ms商用
Unify.aiベンチマーク統合MMLU/HumanEval/GSM8K90%+5ms無料枠あり
LiteLLM Routerコスト/レイテンシベースなし(ルールベース)N/A1msMIT
OpenRouter Auto価格/性能スコアOpenRouter 内部データ非公開3ms商用

実装例: RouteLLM

from routellm.controller import Controller

client = Controller(
    routers=["mf"],
    strong_model="gpt-4o",
    weak_model="gpt-4o-mini",
)

response = client.chat.completions.create(
    model="router-mf-0.11593",
    messages=[{"role": "user", "content": "What is quantum computing?"}]
)

閾値 0.11593 は品質とコストのトレードオフを制御する。値が大きいほど強いモデルへの振り分け比率が上がり、品質は向上するがコストも増加する。

コスト削減効果の実測データ

シナリオルーターなしRouteLLM 適用削減率
カスタマーサポート(月 10万クエリ)$2,500/月(GPT-4o 全量)$750/月(70% mini 振分)70%
コードレビュー(月 5万クエリ)$1,250/月(GPT-4o 全量)$625/月(50% mini 振分)50%
文書要約(月 20万クエリ)$5,000/月(GPT-4o 全量)$1,000/月(80% mini 振分)80%

よくある質問(FAQ)

Q1: RouteLLM の分類器はどうやってトレーニングしますか? A: Chatbot Arena のオープンデータセットで事前学習済みのモデルが提供される。自社データでファインチューニングする場合は、(query, preferred_model) のペアデータ 1,000 件以上を用意し、routellm train コマンドで追加学習する。

Q2: ルーターの誤分類でユーザー体験が悪化しませんか? A: 実運用では「簡単なクエリを強いモデルに振る」誤分類は品質上問題ない(コストが無駄になるだけ)。問題は「複雑なクエリを弱いモデルに振る」ケースだが、RouteLLM の MF 分類器ではこの方向の誤分類率は 3-5% に抑えられている。

Q3: 自社ドメインに特化したルーターを作るにはどうすればよいですか? A: 自社のクエリログから品質評価(人手 or LLM-as-Judge)を付与し、RouteLLM のカスタム分類器をトレーニングするのが最も実用的。Unify.ai はドメイン別ベンチマークスコアからルーティングテーブルを自動生成する機能も提供している。

まとめ

  • モデルルーターはクエリ特性に基づいて最適 LLM を自動選択する中間コンポーネント
  • RouteLLM の MF 分類器が OSS で最も成熟しており、品質低下 5% 以内でコスト 50% 削減を実証
  • 実運用ではルールベース + ML 分類器のハイブリッド構成が推奨
  • 導入効果は月間 API コスト $1,000 以上の環境で顕著