LiteLLM（LLMプロキシ）とは？（ライトエルエルエム）意味・特徴をわかりやすく解説

Q: LiteLLM（LLMプロキシ）とは？

OpenAI/Anthropic/Google等100以上のLLM APIを統一OpenAI互換インターフェースで呼び出せるPythonライブラリ兼プロキシサーバー。BerriAI開発・OSSで提供。

LiteLLM（LLMプロキシ）とは

LiteLLMはBerriAI（2023年創業）が開発するオープンソースのLLM統合ライブラリ兼プロキシサーバー。100以上のLLMプロバイダーAPIを統一インターフェースで呼び出せる機能を提供し、マルチプロバイダー対応のAIアプリケーション開発を大幅に簡素化する。

Pythonライブラリとしての使い方

import litellm

# Anthropic Claude
response = litellm.completion(
    model="anthropic/claude-3-5-sonnet-20241022",
    messages=[{"role": "user", "content": "Hello"}]
)

# Google Gemini（コード変更なし）
response = litellm.completion(
    model="gemini/gemini-1.5-pro",
    messages=[{"role": "user", "content": "Hello"}]
)

対応プロバイダー（2025年）: OpenAI / Anthropic / Google Vertex AI / AWS Bedrock / Azure OpenAI / Cohere / Mistral / Groq / Together AI / Ollama 等100以上。

プロキシサーバーモード

LiteLLMをHTTPサーバーとして起動するとOpenAI互換のエンドポイントが立ち上がる。

# プロキシ起動
litellm --model anthropic/claude-3-5-sonnet-20241022 --port 4000

# 既存のOpenAI SDKで接続（base_urlを変更するだけ）
from openai import OpenAI
client = OpenAI(api_key="any-key", base_url="http://localhost:4000")

活用例:

既存のOpenAI SDK製アプリをAnthropicやGeminiに移行する際のブリッジ
企業内でLLMアクセスを一元管理するゲートウェイ
A/Bテスト・フォールバック・ロードバランシングの透明なレイヤー

主要機能（2025年）

フォールバック設定:

response = litellm.completion(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Hi"}],
    fallbacks=["anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"]
)

コスト追跡: トークン使用量と各プロバイダーの料金テーブルからコストを自動計算。

レート制限対応: プロバイダーのレート制限に達した際に自動リトライ・バックオフ。

競合ツールとの比較

LiteLLM: OSS・Python中心・シンプルな統合
Portkey: エンタープライズ向け・観測性重視・UI提供
OpenRouter: 外部サービス・支払い代行・モデルマーケットプレイス

LiteLLM（LLMプロキシ）（ライトエルエルエム）