LLM APIの利用コストをリアルタイムで追跡・可視化・アラートする仕組み。トークン消費量・モデル別コスト・エンドポイント別コストを監視し、予算超過や異常利用を早期検出する。
LLMコスト監視は、LLM APIの利用状況とコストをリアルタイムで追跡・分析する仕組みである。LLMアプリケーションの本番運用では、プロンプトの変更・トラフィックの増加・バグによる無限ループなどが予期せぬコスト急増を引き起こすことがあり、適切な監視体制がなければ月末の請求書で初めて問題に気づくことになる。
LLMコストの特徴は「使った分だけ課金される」従量制であり、従来のSaaS（月額固定）やインフラ（予約インスタンス）と異なり、コストが予測しにくい。
| リスクシナリオ | 影響 | 検出方法 |
|---|---|---|
| プロンプト肥大化 | 1リクエストあたりのコスト増大 | トークン数/リクエストの監視 |
| トラフィック急増 | 総コストの急増 | リクエスト数/時間の監視 |
| 無限ループバグ | コストの指数的増加 | 異常リクエスト率の検出 |
| モデル設定ミス | 意図せず高額モデルを使用 | モデル別コスト分布の確認 |
| リトライストーム | エラー時の過剰リトライ | エラー率+リクエスト数の相関 |
| プロバイダ | ダッシュボード | 機能 |
|---|---|---|
| OpenAI | Usage Dashboard | 日別/モデル別のトークン消費量、コスト推移 |
| Anthropic | Usage Console | APIキー別/モデル別の利用状況 |
| Cloud Console | Vertex AI利用料金の詳細分解 |
プロバイダ内蔵ダッシュボードは最も簡単に利用できるが、複数プロバイダを横断した統合ビューや細かいアラート設定には対応していない場合が多い。
| ツール名 | 特徴 | 価格帯 |
|---|---|---|
| Helicone | オープンソース、プロキシ型、リクエスト単位の詳細追跡 | 無料〜$150/月 |
| LangSmith | LangChain公式、トレース+評価+コスト一体 | 無料〜 |
| Portkey | マルチプロバイダ対応、ルーティング+監視統合 | 無料〜$99/月 |
| LiteLLM | OSSプロキシ、100+モデル対応、コスト追跡内蔵 | 無料（OSS） |
| Weights & Biases | MLOps統合、LLM実験管理 | 無料〜 |
ミドルウェアレイヤーでAPIリクエスト/レスポンスをインターセプトし、usageフィールド（prompt_tokens, completion_tokens）を記録する。
記録すべきメトリクス:
| アラートレベル | 条件 | アクション |
|---|---|---|
| 注意（Yellow） | 日次コストが平均の150%超 | Slack通知 |
| 警告（Orange） | 日次コストが平均の300%超 | メール+Slack通知 |
| 緊急（Red） | 時間コストが日次予算の25%超 | レート制限発動+緊急通知 |
コスト監視とレート制限を連携させ、予算上限に近づいたら自動的にリクエストを制限する。ハードリミット（完全停止）とソフトリミット（低コストモデルへのフォールバック）の2段階が推奨される。
効果的なダッシュボードに含めるべきチャート:
A1: 最も簡単なのはHeliconeのプロキシ型で、APIのベースURLを変更するだけで導入できる（コード変更1行）。LiteLLMも同様にプロキシとして動作し、100以上のLLMプロバイダのコストを自動追跡する。本格的なカスタムダッシュボードを構築する場合は数日〜1週間程度の開発が必要。
A2: プロキシ型ツールのレイテンシオーバーヘッドは通常1〜5ms程度で、LLMの応答時間（数百ms〜数秒）に比べて無視できるレベル。ストレージコストはリクエストメタデータの保存で月間数GB程度。
A3: LiteLLMやPortkeyのようなマルチプロバイダ対応のプロキシを使えば、OpenAI・Anthropic・Google等の複数プロバイダのコストを統一ダッシュボードで管理できる。各プロバイダのAPIキーを一元管理し、モデルルーティングとコスト監視を同時に実現する。