Portkey AI Gatewayとは？（ポートキーエーアイゲートウェイ）意味・特徴をわかりやすく解説

Q: Portkey AI Gatewayとは？

LLM API管理のための商用AIゲートウェイプラットフォーム。リクエストルーティング・セマンティックキャッシング・プロンプトバージョン管理・リアルタイムオブザーバビリティを統合し、本番LLMアプリケーションの信頼性とコスト効率を向上させる。

Portkey AI Gateway — 本番LLMアプリ向け管理プラットフォーム

Portkey AI Gateway は、Portkey Technologies が提供する LLM API 管理プラットフォームです。オープンソースのゲートウェイコア（Apache 2.0ライセンス）と商用のダッシュボード UI を組み合わせ、本番環境での LLM アプリケーション運用に必要な機能を一元化します。2024年末時点で GitHub Stars は11,000以上です。

Portkey が解決する課題

本番 LLM アプリケーションでは以下の課題が発生します：

信頼性: プロバイダー障害時のフォールバック
コスト: API 費用の増大と予算管理
品質管理: プロンプト変更の影響を追跡できない
可視性: どのリクエストがどのモデルに行ったか不明
レイテンシ: 毎回 API を叩くコールドスタートコスト

Portkey はこれらすべてをゲートウェイ層で解決します。

コアゲートウェイ機能

統一ルーティングとフォールバック

from portkey_ai import Portkey

client = Portkey(
    api_key="portkey-api-key",
    virtual_key="anthropic-vk-xxxx"
)

config = {
    "strategy": {"mode": "fallback"},
    "targets": [
        {"virtual_key": "openai-vk"},
        {"virtual_key": "anthropic-vk"},
        {"virtual_key": "azure-openai-vk"}
    ]
}

セマンティックキャッシュ Portkey の最も差別化された機能の一つ。意味的に類似したリクエストを同一キャッシュエントリとして扱い、API 呼び出しを省略します：

config = {
    "cache": {
        "mode": "semantic",
        "max_age": 86400
    }
}

「Pythonでリストをソートするには？」と「Pythonのリストのソート方法を教えて」は同一の回答キャッシュを返します。ドキュメント生成・FAQ応答等の繰り返しパターンが多いユースケースで70〜80%のコスト削減効果があります。

プロンプト管理

Portkey の商用 UI ではプロンプトレジストリによるバージョン管理が提供されます：

プロンプトテンプレートをバージョン管理（v1.0, v1.1, v2.0...）
A/Bテスト：異なるプロンプトバージョンのトラフィックを分割
ロールバック：品質低下時に前バージョンに即座に戻す
デプロイ承認フロー：変更を本番適用前に承認ステップ

# コード中にプロンプトを書かず、ID で参照
response = client.prompts.completions.create(
    prompt_id="pp-support-bot-v2",
    variables={"user_query": user_input, "context": context}
)

オブザーバビリティダッシュボード

機能	内容
コストトラッキング	プロバイダー別・ユーザー別・プロンプト別のAPI費用
レイテンシ分布	P50/P95/P99 レイテンシのヒストグラム
エラーレート	4xx/5xx エラーのプロバイダー別集計
トークン使用量	入力/出力トークン比・コンテキスト効率
フルリクエストログ	全リクエスト/レスポンスの検索・フィルタリング

LiteLLM との比較

項目	LiteLLM	Portkey
ライセンス	MIT（コア）	Apache 2.0（ゲートウェイ）/ 商用（UI）
ホスティング	セルフホスト主体	クラウドSaaS + セルフホスト選択可
セマンティックキャッシュ	なし	あり（主要差別化機能）
プロンプト管理	なし	あり（バージョン管理・A/Bテスト）
UI ダッシュボード	限定的	フル機能商用 UI
無料枠	無制限（OSS）	月10,000リクエストまで無料

2025年の動向

2025年初頭に Portkey は Anthropic Computer Use・OpenAI Realtime API への対応を追加。RouteLLM との公式インテグレーションにより「シンプルクエリはキャッシュ + 安価モデル、複雑クエリはルーティング + 強モデル」の自動化が実現しました。

よくある質問

Q1: オープンソースゲートウェイだけで無料利用できるか？ A: Gateway コアは OSS（GitHub: Portkey-AI/gateway）で無料。商用 UI は portkey.ai のサービスとして月額課金が発生します。

Q2: データは Portkey のサーバーを経由するか？ A: SaaS モードでは Portkey サーバーを経由します（ログ保存）。セルフホストモードでは完全にオンプレミスで運用可能です。

Q3: Portkey と直接 Anthropic API を使う場合の違いは？ A: セマンティックキャッシュ・フォールバック・ログ管理が自動追加されます。Portkey 自体のレイテンシオーバーヘッドは約10〜20ms（クラウド）〜1ms（セルフホスト）です。

Portkey AI Gateway（ポートキーエーアイゲートウェイ）