LLMコスト監視（エルエルエムコストカンシ）
LLM APIの利用コストをリアルタイムで追跡・可視化・アラートする仕組み。トークン消費量・モデル別コスト・エンドポイント別コストを監視し、予算超過や異常利用を早期検出する。
LLMコスト監視とは
LLMコスト監視は、LLM APIの利用状況とコストをリアルタイムで追跡・分析する仕組みである。LLMアプリケーションの本番運用では、プロンプトの変更・トラフィックの増加・バグによる無限ループなどが予期せぬコスト急増を引き起こすことがあり、適切な監視体制がなければ月末の請求書で初めて問題に気づくことになる。
なぜコスト監視が必要か
LLMコストの特徴は「使った分だけ課金される」従量制であり、従来のSaaS（月額固定）やインフラ（予約インスタンス）と異なり、コストが予測しにくい。
| リスクシナリオ | 影響 | 検出方法 |
|---|---|---|
| プロンプト肥大化 | 1リクエストあたりのコスト増大 | トークン数/リクエストの監視 |
| トラフィック急増 | 総コストの急増 | リクエスト数/時間の監視 |
| 無限ループバグ | コストの指数的増加 | 異常リクエスト率の検出 |
| モデル設定ミス | 意図せず高額モデルを使用 | モデル別コスト分布の確認 |
| リトライストーム | エラー時の過剰リトライ | エラー率+リクエスト数の相関 |
主要な監視ツール・サービス
プロバイダ内蔵ダッシュボード
| プロバイダ | ダッシュボード | 機能 |
|---|---|---|
| OpenAI | Usage Dashboard | 日別/モデル別のトークン消費量、コスト推移 |
| Anthropic | Usage Console | APIキー別/モデル別の利用状況 |
| Cloud Console | Vertex AI利用料金の詳細分解 |
プロバイダ内蔵ダッシュボードは最も簡単に利用できるが、複数プロバイダを横断した統合ビューや細かいアラート設定には対応していない場合が多い。
サードパーティ監視ツール
| ツール名 | 特徴 | 価格帯 |
|---|---|---|
| Helicone | オープンソース、プロキシ型、リクエスト単位の詳細追跡 | 無料〜$150/月 |
| LangSmith | LangChain公式、トレース+評価+コスト一体 | 無料〜 |
| Portkey | マルチプロバイダ対応、ルーティング+監視統合 | 無料〜$99/月 |
| LiteLLM | OSSプロキシ、100+モデル対応、コスト追跡内蔵 | 無料（OSS） |
| Weights & Biases | MLOps統合、LLM実験管理 | 無料〜 |
自前実装
ミドルウェアレイヤーでAPIリクエスト/レスポンスをインターセプトし、usageフィールド（prompt_tokens, completion_tokens）を記録する。
記録すべきメトリクス:
- タイムスタンプ
- モデル名
- 入力トークン数 / 出力トークン数
- レイテンシ（TTFT / 総応答時間）
- コスト（トークン数 × 単価で算出）
- エンドポイント / 機能名
- ユーザーID / セッションID
- 成功/失敗ステータス
アラート設定のベストプラクティス
予算ベースアラート
| アラートレベル | 条件 | アクション |
|---|---|---|
| 注意（Yellow） | 日次コストが平均の150%超 | Slack通知 |
| 警告（Orange） | 日次コストが平均の300%超 | メール+Slack通知 |
| 緊急（Red） | 時間コストが日次予算の25%超 | レート制限発動+緊急通知 |
レート制限の連携
コスト監視とレート制限を連携させ、予算上限に近づいたら自動的にリクエストを制限する。ハードリミット（完全停止）とソフトリミット（低コストモデルへのフォールバック）の2段階が推奨される。
コスト可視化のダッシュボード例
効果的なダッシュボードに含めるべきチャート:
- 日別/週別のコスト推移（折れ線グラフ）
- モデル別のコスト割合（円グラフ）
- エンドポイント別のトークン消費（棒グラフ）
- コスト効率（1リクエストあたりの平均コスト推移）
- 異常検出アラートの履歴
FAQ
Q1: コスト監視ツールの導入は難しい？
A1: 最も簡単なのはHeliconeのプロキシ型で、APIのベースURLを変更するだけで導入できる（コード変更1行）。LiteLLMも同様にプロキシとして動作し、100以上のLLMプロバイダのコストを自動追跡する。本格的なカスタムダッシュボードを構築する場合は数日〜1週間程度の開発が必要。
Q2: コスト監視のオーバーヘッドは？
A2: プロキシ型ツールのレイテンシオーバーヘッドは通常1〜5ms程度で、LLMの応答時間（数百ms〜数秒）に比べて無視できるレベル。ストレージコストはリクエストメタデータの保存で月間数GB程度。
Q3: 複数プロバイダを使い分けている場合はどうする？
A3: LiteLLMやPortkeyのようなマルチプロバイダ対応のプロキシを使えば、OpenAI・Anthropic・Google等の複数プロバイダのコストを統一ダッシュボードで管理できる。各プロバイダのAPIキーを一元管理し、モデルルーティングとコスト監視を同時に実現する。