LLMオブザーバビリティとは、本番環境で稼働するLLMアプリケーションの挙動を可視化・トレース・評価するための技術群の総称である。プロンプトの入出力ログ、トークン使用量、レイテンシ、コスト、品質スコアなどを統合的に監視し、LLMアプリケーションの信頼性と品質を継続的に担保する。
LLMオブザーバビリティ（LLM Observability）は、本番環境で稼働する大規模言語モデルアプリケーションの内部状態を外部から観測・理解可能にするための技術体系である。従来のソフトウェアオブザーバビリティ（メトリクス・ログ・トレースの3本柱）をLLM固有の課題に拡張したもので、プロンプトの入出力追跡、トークン消費量の計測、応答品質の自動評価、コスト最適化、ハルシネーション検知などを包括する。
LLMアプリケーションは従来のソフトウェアと異なり、同一入力に対して異なる出力を返す非決定性、プロンプトの微細な変更が出力品質を大幅に左右する敏感性、トークン課金による従量制コスト構造、ハルシネーション（事実と異なる情報の生成）リスクなどの固有課題を持つ。これらの課題に対処するために、専用のオブザーバビリティプラットフォームが2023年以降急速に発展してきた。
2026年現在、LLMオブザーバビリティの主要な構成要素は以下の4本柱に整理される。第一にトレーシング（各LLM呼び出しの入出力・中間ステップの記録）、第二に評価（出力品質の定量的測定）、第三にコスト追跡（トークン消費量と金額の可視化）、第四にプロンプト管理（バージョニング・A/Bテスト・ロールバック）である。
| プラットフォーム | 提供形態 | 主な強み | 料金体系 | LangChain統合 | セルフホスト |
|---|---|---|---|---|---|
| LangSmith | SaaS | LangChainエコシステム深度統合 | 無料枠5,000トレース/月、Plus $39/月 | ネイティブ | Enterprise版のみ |
| Langfuse | OSS + Cloud | セルフホスト可能、OSS透明性 | 無料枠50,000イベント/月、Pro $59/月 | SDK提供 | Docker/Helm |
| Arize Phoenix | OSS + Cloud | ML Observabilityの拡張、評価充実 | 無料枠、Team $500/月 | SDK提供 | Docker |
| Helicone | SaaS | プロキシ型で導入が最も簡単 | 無料枠10,000リクエスト/月、Pro $80/月 | プロキシ経由 | なし |
| Weights & Biases | SaaS | 実験管理との統合 | 無料枠、Team $50/ユーザー/月 | SDK提供 | なし |
| Braintrust | SaaS | 評価・プロンプト最適化特化 | 無料枠、Pro $150/月 | SDK提供 | なし |
| Portkey | SaaS | AIゲートウェイ統合 | 無料枠10,000リクエスト/月、Growth $49/月 | プロキシ経由 | なし |
プロキシ型はAPIエンドポイントのURLを差し替えるだけで導入でき、SDK型はより詳細なトレース情報を取得できる。
LLMオブザーバビリティにおけるトレーシングは、分散トレーシングの概念をLLMパイプラインに適用したものである。1つのユーザーリクエストが複数のLLM呼び出し、ベクトル検索、後処理ステップを経て最終応答に至る過程を、トレース（Trace）とスパン（Span）の階層構造で記録する。
各スパンには開始・終了タイムスタンプ、入力・出力テキスト、トークン数（input_tokens、output_tokens、total_tokens）、モデル名とパラメータ、コスト、ステータスが付与される。
コスト最適化の代表的手法として、プロンプト圧縮（inputトークン削減）、キャッシング（同一・類似クエリの結果再利用で30〜40%削減）、モデルルーティング（タスク難易度に応じてGPT-4o / Claude Haiku等を自動選択）、バッチ処理がある。
プロンプト管理の主要機能はバージョン管理、A/Bテスト、ロールバック、テンプレート変数管理、共有と承認フローである。A/Bテストでは各バリアント200〜500リクエスト以上のサンプルサイズが推奨される。
第一段階（1〜2週間）はログ収集。第二段階（2〜4週間）はトレース構造化。第三段階（1〜2ヶ月）は品質評価パイプライン構築。第四段階（継続）はプロンプト最適化サイクルの確立。スタートアップにはLangfuse Cloud、LangChain利用者にはLangSmith、エンタープライズにはLangfuse OSS + PostgreSQL + Redisが推奨。
従来のAPMは「確定的」なメトリクスを監視する。LLMオブザーバビリティはプロンプト内容・生成テキストの品質・ハルシネーション率・トークンコストなどの「非決定的」かつ「意味的」な指標を監視する点が根本的に異なる。DatadogとLangSmithを併用してインフラ層とLLM層の両方を監視するのが理想的である。
データガバナンスの要件が判断基準になる。医療・金融・法務などの規制業界ではセルフホスト（Langfuse OSS）が推奨される。セルフホストの運用コストはPostgreSQL + Redis + アプリケーションサーバーで月額$50〜200程度が目安である。
A/Bテストには最低30日分、回帰テストには90日以上、コスト分析には12ヶ月分が理想的である。LangSmithの無料枠は14日間、Langfuse Cloudは30日間がデフォルトである。
月間1,000リクエスト以下でも最低限のコスト追跡とエラーログは導入すべきである。LLMのAPIコストは予期せず急増するリスクがあり、Heliconeの無料枠なら導入コストゼロで基本的な監視が可能である。