Traceloop / OpenLLMetry (LLM OpenTelemetry標準・2023年)（トレースループオープンエルエルメトリ）
2023年Nir Gazit (元Google Cloud TPM) 創業のTraceloop・OSS Project OpenLLMetryでLLM Tracing OpenTelemetry標準化を推進。Y Combinator S22採択・GitHub OpenLLMetry Star 4k+ (2024年Q4)・Apache 2.0 License・Python/JS/Go/Ruby SDK提供・OpenAI/Anthropic/Cohere/Mistral/Pinecone/Chroma/LangChain/LlamaIndex 30+ integration・Datadog/Honeycomb/Grafana/New Relic 既存OTel backendと完全互換・LLM specific semantic convention草案 (OTel SIG-LLM) のContributor主軸。
概要
Traceloop は、2023年にIsrael Tel Aviv拠点のNir Gazit (元Google Cloud Technical Program Manager) とTomer Friedman (CTO・元Wix) が共同創業したLLM Observabilityスタートアップ。Y Combinator S22バッチ採択・Seed $6.5M (2023年・Khosla Ventures主導)。同社の OSS プロジェクトOpenLLMetry が中核で、LLM Application TracingをOpenTelemetry標準に統合する Apache 2.0 License の Python/JS/Go/Ruby SDK を提供。GitHub OpenLLMetry Star 4,000+ (2024年Q4) ・OpenAI/Anthropic/Cohere/Mistral/Bedrock/Vertex AI/Pinecone/Weaviate/Chroma/Qdrant/LangChain/LlamaIndex/Haystack 30+ integration対応・Datadog/Honeycomb/Grafana/New Relic/Splunk等の既存OTel backendとシームレス連携。CNCF OpenTelemetry SIG-LLM (Semantic Convention作業部会) のActive Contributor で 業界標準 LLM Tracing schema策定を推進。
主な特徴・仕組み
- OpenTelemetry 100%互換: Span/Trace/Metric/Logすべて OTel native + Vendor-agnostic
- 30+ LLM Integration: OpenAI/Anthropic/Cohere/Mistral/Bedrock/Vertex AI/Pinecone/Weaviate/Chroma/LangChain等
- Multi-Backend Export: Datadog/Honeycomb/Grafana Tempo/Jaeger/New Relic/Splunk/Lightstep直結
- LLM Semantic Convention: GenAI specific dimensions (model/prompt/completion/token usage/cost/temperature) 標準化
- Python/JS/Go/Ruby SDK: 主要言語SDK提供・Auto-instrumentation対応
- Traceloop Cloud: 独自Hosted backend ($79/mo Pro・$499/mo Team・Enterprise Custom)
- License: OpenLLMetry SDK Apache 2.0 OSS・Cloud Proprietary・Self-Host可能
スペック比較表
| LLM Tracing | OTel互換 | Multi-Backend | License | GitHub Star |
|---|---|---|---|---|
| OpenLLMetry (Traceloop) | ◎ Native | ○ (10+ backend) | Apache 2.0 | 4k+ |
| Langfuse | ○ (OTel互換) | △ (Langfuse専用) | MIT | 8k+ |
| Helicone | △ (Proxy方式) | × | Apache 2.0 | 3.5k+ |
| LangSmith | × (独自format) | × | Proprietary | N/A |
| Arize Phoenix | ○ (OTel互換) | ○ | Elastic v2 | 5k+ |
具体例・対応製品
- OpenLLMetry SDK (Apache 2.0): pip install opentelemetry-instrumentation-openai でOpenAI auto-trace
- Traceloop Cloud Pro ($79/mo): 月50M spans・基本Eval・Dataset・Prompt Versioning
- Traceloop Cloud Team ($499/mo): 月500M spans・Custom Eval・SSO・SLA
- Datadog backend連携: Datadog APMにLLM Trace送信 + 既存APM dashboardでLLM/non-LLM統合監視
- Honeycomb backend連携: Honeycomb BubbleUp分析でLLM Latency outlierを高速発見
自作PCでの選び方・注意点
Traceloop / OpenLLMetry は「既存OTel/APMスタック保有企業」「Vendor lock-in回避必須」「Datadog/Honeycomb等の既存Observability backend活用」用途の本命OSS。Langfuse (専用backend前提) と異なり、OTel互換でBackend自由選択可・Multi-Backend export対応で Datadog APM上でLLM/non-LLM混在Application全体監視可能。一方LLM特化機能 (Prompt Management・Eval Dataset・LLM-as-Judge) はLangfuse/LangSmith/Humanloop比劣る・Traceloop Cloud側で順次拡充中。OpenLLMetry SDKのみ採用 + 既存backend (Datadog等) 利用パターンで $0でLLM TracingをEnterprise-grade監視に統合可能。CNCF OTel SIG-LLM標準化推進企業のため将来安心。
関連用語との違い
- vs Langfuse: OpenLLMetryはOTel互換で既存backend再利用、Langfuseは専用backend前提でLLM特化機能深い
- vs Helicone: OpenLLMetryはSDK挿入方式・HeliconeはProxy方式 (LLM API前段挿入) で導入難易度Heliconeが楽
- vs Datadog LLM Observability: Datadog純正LLM ObsはDatadog前提・OpenLLMetryはvendor agnostic + Datadogも含む 10+ backend選択可
よくある質問（FAQ）
Q1: OpenLLMetryとOpenTelemetryの違いは？ A: OpenLLMetryはOpenTelemetryのLLM specific extension。OTel SIG-LLM (Semantic Convention作業部会) の作業を先取り実装し、業界標準schemaに早期準拠する OSS SDK集。OpenTelemetry本体に将来統合される方向。
Q2: SDK導入は LangChain アプリでも可能？
A: 可能。@traceloop/node-server-sdk (Node.js) や opentelemetry-instrumentation-langchain (Python) でLangChain Auto-instrumentation対応。LangChain内部のLLM call/Tool call/Agent stepを自動Trace。
Q3: 既存OpenTelemetry Collector構成と統合可能？ A: 完全互換。既存OTel Collector (Datadog Agent/Honeycomb Refinery/Splunk OTel Collector) にOpenLLMetry SpanがそのままRoute可能。新たなAgent追加不要で既存pipeline再利用。
まとめ
Traceloop OpenLLMetry = 2023年Nir Gazit (元Google) 創業のOSS LLM OpenTelemetry標準化Project。Apache 2.0・GitHub 4k Star・YC S22 funded・Datadog/Honeycomb/Grafana/New Relic連携の Vendor agnostic LLM Tracing基盤・CNCF OTel SIG-LLM Contributor主軸の業界標準化推進企業。