Arize Phoenix（アライズフェニックス）
Arize AI 社が開発するオープンソースの LLM オブザーバビリティツール。ローカル環境で LLM トレースの可視化・スパン分析・埋め込みベクトルの UMAP 可視化・評価実験を実行でき、OpenTelemetry ベースの計装で各種 LLM フレームワークと統合する。
Arize Phoenix とは
Arize Phoenix は、Arize AI 社が開発・公開しているオープンソースの LLM オブザーバビリティ・評価プラットフォームです。Apache 2.0 ライセンスで公開されており、ローカル環境やセルフホストサーバーで LLM アプリケーションのトレース収集・可視化・分析・評価実験を実行できます。
主要機能
トレーシングとスパン分析
Phoenix は OpenInference セマンティックコンベンション（OpenTelemetry ベース）に準拠したトレーシングを提供します。
| スパンタイプ | 記録内容 |
|---|---|
| LLM スパン | モデル名・プロンプト・コンプリーション・トークン数・レイテンシ |
| Retriever スパン | クエリ・検索結果ドキュメント・関連度スコア |
| Reranker スパン | 入力ドキュメント・リランク後スコア・並び替え結果 |
| Embedding スパン | 入力テキスト・ベクトル次元数・モデル名 |
| Tool スパン | ツール名・入力パラメータ・実行結果 |
各スパンはウォーターフォールビューで階層的に表示され、ボトルネックの特定やエラーの根本原因分析が容易です。
埋め込みベクトル可視化
Phoenix の最も特徴的な機能は、高次元の埋め込みベクトルを UMAP（Uniform Manifold Approximation and Projection）で2D/3D に射影して可視化する機能です。
- クラスタ分析: ドキュメントや質問のクラスタ分布を把握
- ドリフト検出: 本番データの分布変化を参照データセットと比較
- 異常検出: 分布から外れた異常なクエリやドキュメントを発見
- A/B比較: 異なるエンベディングモデルの出力品質を視覚的に比較
評価（Evals）
Phoenix は組み込みの評価関数を提供し、LLM アプリケーションの品質を定量的に測定します。
- Hallucination Detection: 生成テキストがコンテキストに基づいているかを LLM で判定
- QA Correctness: 質問応答の正確性をリファレンスアンサーと比較
- Relevance: 検索結果の質問に対する関連度を評価
- Toxicity: 有害コンテンツの検出
- カスタム評価: ユーザー定義のプロンプトテンプレートで独自評価
インストールと利用方法
Phoenix は pip install arize-phoenix でインストールでき、phoenix launch コマンドでローカルサーバーが起動します。Jupyter Notebook 内でのインライン実行にも対応しており、データサイエンティストのワークフローに自然に統合できます。
Arize クラウドとの関係
Arize AI 社は商用の Arize プラットフォーム（SaaS）も提供しており、Phoenix はそのオープンソース版という位置付けです。Phoenix で開発・検証したトレースやデータセットを Arize クラウドに送信して本番監視に移行するワークフローが想定されています。
FAQ
Q: Phoenix と LangSmith の違いは？
A: Phoenix は完全 OSS で埋め込みベクトルの UMAP 可視化が特徴的です。LangSmith は SaaS 中心で評価パイプラインの自動化と LangChain との統合が強みです。用途に応じて併用も可能です。
Q: 大規模プロダクションで使える？
A: Phoenix 自体はローカル/小規模向けですが、バックエンドストレージを PostgreSQL に切り替えることでスケールできます。大規模運用には Arize クラウドへの移行が推奨されます。
Q: OpenTelemetry 以外の計装方式に対応している？
A: Phoenix は OpenInference（OpenTelemetry ベース）が標準ですが、手動でのスパン送信 API も提供しています。LlamaIndex・LangChain・DSPy 等の主要フレームワーク用のオートインストルメンターが公式で用意されています。