Arize AI 社が開発するオープンソースの LLM オブザーバビリティツール。ローカル環境で LLM トレースの可視化・スパン分析・埋め込みベクトルの UMAP 可視化・評価実験を実行でき、OpenTelemetry ベースの計装で各種 LLM フレームワークと統合する。
Arize Phoenix は、Arize AI 社が開発・公開しているオープンソースの LLM オブザーバビリティ・評価プラットフォームです。Apache 2.0 ライセンスで公開されており、ローカル環境やセルフホストサーバーで LLM アプリケーションのトレース収集・可視化・分析・評価実験を実行できます。
Phoenix は OpenInference セマンティックコンベンション（OpenTelemetry ベース）に準拠したトレーシングを提供します。
| スパンタイプ | 記録内容 |
|---|---|
| LLM スパン | モデル名・プロンプト・コンプリーション・トークン数・レイテンシ |
| Retriever スパン | クエリ・検索結果ドキュメント・関連度スコア |
| Reranker スパン | 入力ドキュメント・リランク後スコア・並び替え結果 |
| Embedding スパン | 入力テキスト・ベクトル次元数・モデル名 |
| Tool スパン | ツール名・入力パラメータ・実行結果 |
各スパンはウォーターフォールビューで階層的に表示され、ボトルネックの特定やエラーの根本原因分析が容易です。
Phoenix の最も特徴的な機能は、高次元の埋め込みベクトルを UMAP（Uniform Manifold Approximation and Projection）で2D/3D に射影して可視化する機能です。
Phoenix は組み込みの評価関数を提供し、LLM アプリケーションの品質を定量的に測定します。
Phoenix は pip install arize-phoenix でインストールでき、phoenix launch コマンドでローカルサーバーが起動します。Jupyter Notebook 内でのインライン実行にも対応しており、データサイエンティストのワークフローに自然に統合できます。
Arize AI 社は商用の Arize プラットフォーム（SaaS）も提供しており、Phoenix はそのオープンソース版という位置付けです。Phoenix で開発・検証したトレースやデータセットを Arize クラウドに送信して本番監視に移行するワークフローが想定されています。
A: Phoenix は完全 OSS で埋め込みベクトルの UMAP 可視化が特徴的です。LangSmith は SaaS 中心で評価パイプラインの自動化と LangChain との統合が強みです。用途に応じて併用も可能です。
A: Phoenix 自体はローカル/小規模向けですが、バックエンドストレージを PostgreSQL に切り替えることでスケールできます。大規模運用には Arize クラウドへの移行が推奨されます。
A: Phoenix は OpenInference（OpenTelemetry ベース）が標準ですが、手動でのスパン送信 API も提供しています。LlamaIndex・LangChain・DSPy 等の主要フレームワーク用のオートインストルメンターが公式で用意されています。