OpenLLMetry（LLM可観測性）（オープンエルエルエメトリー）

OpenLLMetry（LLM可観測性）とは

OpenLLMetryはTraceloop（2022年創業・イスラエル）が主導するオープンソースのLLMアプリケーション可観測性フレームワーク。OpenTelemetry（OTel）仕様を拡張し、LLM特有のテレメトリ（プロンプト・レスポンス・トークン数・モデル名・コスト）を標準化されたフォーマットで収集する。

なぜLLM専用の可観測性が必要か

従来のAPMはHTTPリクエスト・DBクエリ等を前提に設計されており、LLMの以下の特性を把握できない:

• プロンプトの中身と変化: 同じエンドポイントでも入力が毎回異なる
• トークンベースのコスト: リクエスト数ではなくトークン数がコストを決定
• RAGの文脈情報: どのドキュメントが検索されたかをトレースに含める
• エージェントの実行経路: ツール呼び出しの順序と結果の追跡

セットアップ（Python例）

from traceloop.sdk import Traceloop
from openai import OpenAI

# 初期化（以降は自動計装）
Traceloop.init(
    app_name="my-llm-app",
    exporter_type="otlp"  # Jaeger/Tempo/Datadog/Grafanaに送信
)

client = OpenAI()
# このコールが自動的にトレースされる
response = client.chat.completions.create(model="gpt-4o", messages=[...])
# トレース: model/prompt/response/tokens/latency/cost

収集されるテレメトリ（GenAI OTel標準）

• gen_ai.system: プロバイダー名（openai/anthropic等）
• gen_ai.request.model: 使用モデル
• gen_ai.usage.input_tokens: 入力トークン数
• gen_ai.usage.output_tokens: 出力トークン数
• gen_ai.prompt: 送信プロンプト（オプション）

対応ライブラリ（2025年）

OpenAI SDK / Anthropic SDK / LangChain / LlamaIndex / Haystack / Vertex AI / AWS Bedrock / Cohere / Mistral / Ollama 等20以上。

対応バックエンド（エクスポート先）

• OSS: Jaeger / Grafana Tempo / Prometheus
• 商用: Datadog / New Relic / Honeycomb
• LLM専用: LangSmith / Langfuse / Arize Phoenix