Arize AI 2024年公開Open-source LLM Eval Platform。Pro 業界Pro Mainstream OTel Trace+RAG Eval+Embedding Drift対応OSS LLM Eval Platform先駆 + Pro Apache 2.0 OSS + Pro Self-Hosted + Pro 累計2020-2026年6年Heritage継承代表機。
Arize Phoenix LLM Eval(アライズ フェニックス エルエルエム イバル)はArize AI(米国SF + 2020-Jason Lopatecki + Aparna Dhinakaran創業 + 累計$70M Funding) 2024年公開v5.x GA Open-source LLM Eval Platformで、Pro 業界Pro Mainstream OTel Trace+RAG Eval+Embedding Drift対応OSS LLM Eval Platform先駆 + Pro Apache 2.0 OSS + Pro OpenTelemetry Trace準拠 + Pro RAG Eval + Pro Embedding Drift + Pro UMAP/HDBSCAN Cluster + Pro openinference-instrumentation + 累計2020-2026年6年Heritage Pro Top独占代表機。Phoenix主要機能: (1)Arize AI主導(米国SF + 2020設立 + Jason Lopatecki + Aparna Dhinakaran + 累計$70M Funding(Battery Ventures/Foundation Capital))、(2)Pro 業界Pro Mainstream OTel Trace+RAG Eval+Embedding Drift対応OSS LLM Eval Platform先駆、(3)Pro Apache 2.0 OSS、(4)Pro Self-Hosted(arize-phoenix Python Package + Docker)、(5)Pro Hosted Cloud(Phoenix Cloud Free)、(6)Pro OpenTelemetry(OTel) Trace準拠(LLM Span標準採用)、(7)Pro RAG Eval(Hallucination/Relevance/Groundedness/Q&A Correctness)、(8)Pro Embedding Drift Detection(Production Drift)、(9)Pro UMAP/HDBSCAN Cluster可視化、(10)Pro Trace UI(Span Hierarchy可視化)、(11)Pro Dataset + Experiment + Annotation(Human Feedback)、(12)Pro Custom Evaluator + LLM-as-Judge Built-in、(13)Pro Inference Tracking(Production監視)、(14)Pro openinference-instrumentation(LangChain/LlamaIndex/OpenAI/Anthropic/Bedrock/Vertex AI Auto-instrumentation)、(15)Pro Python SDK + Phoenix UI(Local Web UI)、(16)Pro Arize AX(Production Enterprise版) + Free Phoenix(OSS)、(17)Pro 採用: Datadog/Slack/Reddit/Adobe等数百社B2B、(18)累計2020-2026年6年Heritage Pro Top独占。
| LLM Eval Platform | OSS | Trace | Eval | Drift |
|---|---|---|---|---|
| Arize Phoenix | Apache 2.0 | OpenTelemetry標準 | RAG: Hallucination/Relevance/Groundedness | Embedding Drift + UMAP/HDBSCAN |
| Langfuse | MIT OSS | 独自Trace | LLM-as-Judge | - |
| LangSmith | Closed | 独自Trace | Custom Evaluator | - |
| Braintrust | Closed | 独自Trace | Eval Dataset |
Phoenix選択ポイント: (1)Pro OTel Trace+RAG Eval+Embedding Drift対応OSS LLM Eval Platform先駆 + 6年Heritage、(2)Pro Arize AI米国SF + Pro 2020設立 + Jason Lopatecki + Aparna Dhinakaran + 累計$70M Funding、(3)Pro Apache 2.0 OSS + Pro Self-Hosted(arize-phoenix Python Package + Docker) + Pro Hosted Cloud(Phoenix Cloud Free) + Pro OpenTelemetry(OTel) Trace準拠(LLM Span標準採用)、(4)Pro RAG Eval(Hallucination/Relevance/Groundedness/Q&A Correctness) + Pro Embedding Drift Detection + UMAP/HDBSCAN Cluster可視化 + Pro Trace UI + Dataset + Experiment + Annotation + Custom Evaluator + LLM-as-Judge Built-in + Inference Tracking、(5)Pro openinference-instrumentation(LangChain/LlamaIndex/OpenAI/Anthropic/Bedrock/Vertex AI) + Python SDK + Phoenix UI + Pro Arize AX Production Enterprise + 採用Datadog/Slack/Reddit/Adobe数百社 + Pro RAG Eval/Embedding Drift/OTel Trace/OSS Self-Hosted重視採用 真価発揮。
LangSmith (2024): LangChain + Pro LangChain統合LLM Eval/Observability Platform先駆 + Pro Closed + Pro Free + Plus + 累計2023-2026年3年Heritage。Phoenix(2024 v5.x GA + Arize AI + Pro OTel Trace+RAG Eval+Embedding Drift対応OSS LLM Eval Platform先駆 + Pro Apache 2.0 OSS + 累計6年Heritage)競合 + 直接競合 + Pro LangSmith → Pro Phoenix + Pro Closed → Pro Apache 2.0 OSS + Pro 独自Trace → Pro OpenTelemetry標準 + Pro LangChain特化 → Pro Multi Framework対応 + 3年 vs 6年Heritage。
Helicone (2024): Helicone + Pro LLM Monitoring Proxy先駆 + Pro OSS Self-Hosted + Pro Proxy型 + 累計2023-2026年3年Heritage。Phoenix(2024 v5.x GA + Arize AI + Pro OTel Trace+RAG Eval+Embedding Drift対応OSS LLM Eval Platform先駆 + Pro Apache 2.0 OSS + 累計6年Heritage)競合 + 直接競合 + Pro Helicone → Pro Phoenix + Pro Proxy型 → Pro OTel Instrumentation + Pro Cost Tracking特化 → Pro RAG Eval+Embedding Drift特化 + 3年 vs 6年Heritage。
Q1: Pro OTel Trace+RAG Eval+Embedding Drift対応OSS LLM Eval Platform先駆 + 6年Heritage 効果? A: 2024 Phoenix v5.x GA + Arize AX GA + OTel Trace標準採用発売Pro Famous Story類無し + Pro 業界Pro Mainstream OTel Trace+RAG Eval+Embedding Drift対応OSS LLM Eval Platform先駆 + 累計2020-2026年6年Pro Mainstream LLM Eval Platform業界Top独占Heritage Pro Reference。
Q2: Pro Apache 2.0 OSS + Pro OpenTelemetry標準 + Pro RAG Eval + Pro Embedding Drift + Pro openinference-instrumentation 効果? A: Pro Apache 2.0 OSS + Pro Self-Hosted(arize-phoenix Python Package + Docker) + Pro Hosted Cloud(Phoenix Cloud Free) + Pro OpenTelemetry(OTel) Trace準拠(LLM Span標準採用) + Pro RAG Eval(Hallucination/Relevance/Groundedness/Q&A Correctness) + Pro Embedding Drift Detection(Production Drift) + Pro UMAP/HDBSCAN Cluster可視化 + Pro Trace UI(Span Hierarchy可視化) + Pro Dataset + Experiment + Annotation(Human Feedback) + Pro Custom Evaluator + LLM-as-Judge Built-in + Inference Tracking + Pro openinference-instrumentation(LangChain/LlamaIndex/OpenAI/Anthropic/Bedrock/Vertex AI Auto-instrumentation) + Pro Python SDK + Phoenix UI + Pro Arize AX Production Enterprise + Free Phoenix OSS Heritage Pro Reference。
Q3: Pro RAG Eval/Embedding Drift/OTel Trace/OSS Self-Hosted重視採用 効果? A: Pro 採用: Pro RAG Eval/Embedding Drift/OTel Trace/OSS Self-Hosted重視 + Pro Arize Phoenix系譜(設立 2020 Jason Lopatecki + Aparna Dhinakaran/ML Observability 2022/Phoenix OSS公開 2023/Phoenix v5.x GA + Arize AX GA + OTel Trace標準採用 2024/Phoenix Cloud GA 2025予定継承) + Pro Multi-Generation Heritage Pro Reference。
| - |
| Helicone | OSS Self-Hosted | Proxy-based | Cost Tracking | - |