LangSmith（ラングスミス）
LangChain 社が提供する LLM アプリケーション向けオブザーバビリティ・評価プラットフォーム。プロンプト実行のトレーシング、デバッグ、A/B テスト、データセット管理、自動評価機能を備え、LLM アプリの品質管理を体系化する。
LangSmith とは
LangSmith は、LangChain 社が開発・提供する LLM アプリケーション向けの統合オブザーバビリティ・評価プラットフォームです。LLM を活用したアプリケーションの開発・テスト・デプロイ・運用の各フェーズで必要な可視化・分析・品質管理機能を一元的に提供します。
主要機能
トレーシング
LangSmith のトレーシング機能は、LLM アプリケーションの各ステップを階層的なツリー構造で記録します。
| トレース項目 | 記録内容 |
|---|---|
| 入出力 | 各ステップのプロンプト・レスポンス全文 |
| レイテンシ | ステップごとの実行時間（ms） |
| トークン使用量 | input/output/total トークン数 |
| メタデータ | モデル名・温度・max_tokens 等のパラメータ |
| エラー情報 | 例外スタックトレース・リトライ回数 |
RAG パイプラインでは、ドキュメント検索→リランキング→プロンプト構築→LLM 生成の各段階が個別のスパンとして記録され、どの段階でボトルネックが発生しているかを即座に特定できます。
評価（Evaluation）
LangSmith の評価フレームワークでは、以下の3つのアプローチを組み合わせた品質管理が可能です。
- ヒューマンアノテーション: 人間の評価者が正解ラベルやスコアを付与
- LLM-as-a-Judge: GPT-4o や Claude などの LLM を評価者として使い、一貫性・正確性・有害性を自動スコアリング
- ヒューリスティック評価: 正規表現マッチ・BLEU/ROUGE スコア・Embedding 類似度による機械的評価
データセット管理
テストケースを「データセット」として集中管理し、プロンプト変更や新モデル導入時にリグレッションテストを自動実行します。Golden データセット（正解付き）と Production サンプリング（実トラフィックから抽出）の両方をサポートします。
アーキテクチャと統合
LangSmith は LangChain ライブラリとネイティブ統合されていますが、LangChain を使用しないアプリケーションでも Python/TypeScript SDK 経由でトレース送信が可能です。OpenTelemetry 互換のエクスポーターも提供されており、既存の監視基盤と統合できます。
| 統合方式 | 対象 |
|---|---|
| LangChain ネイティブ | LANGCHAIN_TRACING_V2=true 環境変数で自動計装 |
| Python SDK | @traceable デコレータまたは RunTree API |
| TypeScript SDK | traceable ラッパー関数 |
| REST API | 直接 HTTP POST でトレース送信 |
料金体系と運用
LangSmith は SaaS（langsmith.com）とセルフホスト版の両方を提供しています。SaaS 版は無料ティアで月5,000トレースまで利用可能で、有料プランはトレース数に応じた従量課金です。セルフホスト版は Docker Compose または Kubernetes でデプロイでき、機密データの外部送信を避けたい企業に適しています。
FAQ
Q: LangSmith と Langfuse の違いは？
A: LangSmith は LangChain 社公式で LangChain エコシステムとの統合が最も深く、評価機能が充実しています。Langfuse は OSS でセルフホストが容易、LangChain 以外のフレームワークでの利用に強みがあります。
Q: LangSmith を使うには LangChain が必須？
A: いいえ、Python/TypeScript SDK や REST API を使えば LangChain を使わないアプリケーションでもトレーシングと評価機能を利用できます。
Q: プロダクション環境でのパフォーマンスへの影響は？
A: トレース送信は非同期バッチ処理で行われるため、アプリケーションのレイテンシへの影響は通常1-2ms以下です。トレースサンプリング率を設定して送信量を調整することも可能です。