Langfuse (OSS LLM Observability・2023年)（ラングフューズ）
2023年Marc Klingen (ドイツ Y Combinator W23) 発表のLangfuse・OSS LLM Application Observability platform。Trace + Span (OpenTelemetry互換) + Prompt Management + Evaluation + Dataset + Playground統合・Self-Host + Cloud両提供・MIT License・GitHub Star 8k+ (2024年Q4)・Y Combinator W23採択・$4M Seed (2023年) + Series A 2024年・LangChain/LlamaIndex/OpenAI/Anthropic SDK直結 integration・LLM Application Production監視主軸OSS。
概要
Langfuse は、2023年にドイツ・ベルリン拠点のMarc Klingen (CEO) とMax Deichmann (CTO) が共同創業したOSSのLLM Application Observability platform。Y Combinator W23バッチ採択・2023年Seed $4M・2024年Q3 Series A $4M ($25M評価額・Lightspeed/La Famiglia主導) でLLM ProductionアプリケーションのTrace監視・Prompt管理・Evaluation実行・Datasetキュレーション・Playground実験を一気通貫で提供する。OpenTelemetry互換のSDK (Python/JS/Java/Go) でLangChain/LlamaIndex/OpenAI/Anthropic/Cohere/Mistral等の主要LLM SDKから自動Tracing可能。Self-Host (Docker Compose・MIT License) + Cloud (SaaS) 両提供で GitHub Star 8,000+ (2024年Q4) ・累計DL 200万+。2024年「LLMOps」分野で最も成長した OSSプロジェクトの一つ。
主な特徴・仕組み
- Tracing: OpenTelemetry互換のSpan/Trace記録・LLM call (model/prompt/completion/token usage/latency/cost) 完全記録
- Prompt Management: Prompt versioning + A/B testing + production-staging環境分離 + rollback対応
- Evaluation: LLM-as-Judge (GPT-4o/Claude判定) + Rule-based + Human Review・自動Eval pipelineトリガー対応
- Datasets: Ground Truth dataset構築 + Regression testing + Eval comparison + Export対応
- Playground: Prompt実験 + Model比較 (GPT-4o vs Claude vs Gemini) + Token Cost計算
- Integration: LangChain (Python/JS) / LlamaIndex / OpenAI SDK / Anthropic SDK / Litellm / Vercel AI SDK / Haystack 等直結
- License: MIT (Self-Host無料・Cloud Hosted Pro $59/mo + Team $499/mo + Enterprise)
スペック比較表
| LLM Observability | License | Self-Host | Trace | Prompt Mgmt | Eval |
|---|---|---|---|---|---|
| Langfuse | MIT (OSS) | ○ | ○ | ○ | ○ |
| LangSmith (LangChain) | Proprietary | × | ○ | ○ | ○ |
| Helicone | Apache 2.0 (OSS) | ○ | ○ | ○ | ○ |
| Arize Phoenix | Elastic v2 | ○ | ○ | × | ○ |
| Braintrust | Proprietary | × | ○ | ○ | ○ |
具体例・対応製品
- Langfuse Cloud (Hobby・free): 月50k traces無料・Self-Host代替・実験用途
- Langfuse Cloud Pro ($59/mo): 月100k traces・Eval/Dataset/Prompt無制限・Team SSO
- Langfuse Cloud Team ($499/mo): 月1M traces・SAML SSO・SLA・Priority Support
- Langfuse Enterprise (Custom): VPC deploy・SOC 2・GDPR/HIPAA・Custom integration
- Self-Host (MIT・無料): Docker Compose + PostgreSQL + ClickHouse (trace store) で構築
自作PCでの選び方・注意点
Langfuse は「LLM Production監視」「Prompt実験・A/B test」「LLM-as-Judge自動Eval」用途の本命OSS。LangSmith (LangChain純正・Proprietary) と比較してOSS / Self-Host可能 / Vendor lock-inなし / 全LLM provider対応 (LangChain依存なし) の優位がある。一方Cloud版はLangSmithの方が機能完成度高く LangChain純正連携の深さで一日の長あり。Self-Host時はPostgreSQL + ClickHouse (Trace store・大量Traceの高速集計) + Redis (queue) の3コンポーネント構成で 8GB RAM以上のVPSが推奨。LLM call 月100M+ scaleではClickHouse専用ノード分離が必要。OpenTelemetry互換のため既存ObservabilityスタックとのIntegrationが容易。
関連用語との違い
- vs LangSmith: Langfuse はOSS/Self-Host・LangSmithはLangChain純正Proprietary・両方Trace/Prompt/Eval対応で機能比は近い
- vs Helicone: 両方OSS・Heliconeはproxy方式 (LLM API前段挿入) でSDK統合不要・LangfuseはSDK直接記録で詳細度高
- vs Arize Phoenix: ArizeはAI/ML全般Observability・Langfuseは LLM Application特化・Eval深度はLangfuse優位
よくある質問（FAQ）
Q1: LangSmithとLangfuse どちらを選ぶべき？ A: LangChain純正・Cloud前提なら LangSmith。マルチLLM provider・Self-Host要件・OSSで long-term lock-in回避なら Langfuse。Hybrid Cloud/On-Prem環境はLangfuse優位。
Q2: Self-Host のリソース要件は？ A: 最小構成: 4GB RAM + 2 vCPU + 20GB Disk (PostgreSQL + ClickHouse同居)。月100k traces想定。月100M traces規模ではClickHouse専用ノード16GB RAM + SSD 500GB分離推奨。
Q3: 既存のOpenTelemetry stackと統合可能？ A: 可能。LangfuseのSDKはOTel Span互換出力対応・Jaeger/Grafana Tempo/Honeycomb等の既存OTel backendに送信併用可能。LLM specific dimensionsはLangfuse側で別途記録。
まとめ
Langfuse = 2023年ドイツ発OSS LLM Observability platform。Trace + Prompt + Eval + Dataset統合・MIT License・GitHub 8k Star・Y Combinator W23・LangChain/LlamaIndex/OpenAI/Anthropic連携でLLM Production監視主軸OSS。Self-Host可能でVendor lock-in回避狙う Enterprise主軸。