Langfuse(ラングフューズ)
MIT ライセンスで公開されているオープンソースの LLM エンジニアリングプラットフォーム。トレーシング・プロンプト管理・評価・コスト分析・データセット管理を提供し、セルフホストと SaaS の両方で利用可能。LangChain・LlamaIndex・OpenAI SDK 等と統合する。
Langfuse とは
Langfuse は、LLM アプリケーションの開発・運用を支援するオープンソースのエンジニアリングプラットフォームです。MIT ライセンスで公開されており、セルフホスト環境で完全にプライベートに運用することも、Langfuse Cloud(SaaS)を利用することもできます。
主要機能
トレーシング
Langfuse のトレーシングは、LLM アプリケーションの実行を「トレース」「オブザベーション(スパン・ジェネレーション・イベント)」の階層構造で記録します。
| オブザベーション型 | 用途 |
|---|---|
| Generation | LLM API コール(入出力・モデル・トークン・コスト) |
| Span | 任意の処理ブロック(検索・前処理・後処理) |
| Event | 単発のイベント記録(ユーザーアクション・エラー) |
プロンプト管理
Langfuse は組み込みのプロンプト管理機能を備えており、プロンプトのバージョン管理・A/B テスト・本番デプロイを一元化します。
- バージョニング: プロンプトの各バージョンを履歴として保持
- ラベリング:
production/staging/latestラベルでデプロイ管理 - 変数テンプレート:
{{variable}}形式の変数を定義し、実行時に差し替え - SDK 統合: Python/TypeScript SDK からプロンプトを動的に取得
コスト分析
各トレースのトークン消費量とモデル別の単価設定に基づき、リクエストごとのコストを自動算出します。ダッシュボードでは日別・モデル別・ユーザー別のコスト推移をリアルタイムで確認できます。
評価
Langfuse の評価機能は以下の3つの方式をサポートします。
- ユーザーフィードバック: エンドユーザーの 👍👎 やスコアをトレースに紐付け
- 手動アノテーション: レビュワーが Langfuse UI 上で品質ラベルを付与
- LLM 自動評価: 外部 LLM を使った自動スコアリングパイプライン
セルフホスト
Langfuse は Docker Compose でのセルフホストが容易で、PostgreSQL をバックエンドデータベースとして使用します。
必要なインフラ:
- PostgreSQL: トレースデータ・プロンプト・評価結果の永続化
- Redis(オプション): キャッシュ・ジョブキュー
- S3互換ストレージ(オプション): 大容量メディアファイル
最小構成では PostgreSQL + Langfuse コンテナの2つで運用可能で、スタートアップや個人開発者でも手軽に導入できます。
SDK とインテグレーション
| 統合方式 | 特徴 |
|---|---|
| Python SDK | @observe() デコレータで自動トレース |
| TypeScript SDK | コールバックハンドラーで LLM 呼び出しを補足 |
| LangChain Callback | CallbackHandler を渡すだけで全チェーンをトレース |
| LlamaIndex Callback | LlamaIndex のコールバック機構と統合 |
| OpenAI SDK ラッパー | openai.OpenAI() のドロップインラッパー |
| Vercel AI SDK | Next.js の AI SDK と直接統合 |
| API | REST API で任意のフレームワークから送信可能 |
FAQ
Q: Langfuse と LangSmith の比較でどちらを選ぶ?
A: データのプライバシーやセルフホスト要件がある場合は Langfuse が有利です。LangChain エコシステムに深くロックインしている場合は LangSmith の統合の深さが強みです。OSS 志向のチームには Langfuse が人気があります。
Q: 無料で使える?
A: セルフホスト版は MIT ライセンスで完全無料です。Langfuse Cloud は Hobby プランで月50,000オブザベーションまで無料で利用できます。
Q: 既存の OTel 基盤と共存できる?
A: Langfuse は独自のトレースフォーマットを使用しますが、OpenTelemetry エクスポーターを介してデータを OTel Collector に転送する統合も可能です。2025年以降、OTel ネイティブサポートの強化が進められています。