LLM API のプロキシゲートウェイとして動作するオブザーバビリティプラットフォーム。ベース URL を1行変更するだけで全 LLM リクエストのロギング・コスト追跡・レート制限・キャッシュ・プロンプトセキュリティを透過的に追加する。OSS でセルフホスト可能。
Helicone は、LLM API コールを透過的にロギング・分析するプロキシゲートウェイ型のオブザーバビリティプラットフォームです。Y Combinator 出身のスタートアップが開発し、Apache 2.0 ライセンスのオープンソースとして公開されています。
Helicone の最大の特徴は、LLM API のベース URL を差し替えるだけで導入できるプロキシ方式です。
導入前:
アプリ → api.openai.com/v1/chat/completions
導入後:
アプリ → oai.helicone.ai/v1/chat/completions → api.openai.com/v1/chat/completions
この方式により、以下のメリットが得られます。
| メリット | 説明 |
|---|---|
| 即座の導入 | ベース URL の1行変更のみ、SDK 不要 |
| 言語非依存 | Python / TypeScript / Go / Rust / curl 等すべてに対応 |
| フレームワーク非依存 | LangChain / LlamaIndex / 独自実装を問わず利用可能 |
| 低レイテンシ | Cloudflare Workers 上で動作、追加レイテンシは通常5ms以下 |
全 LLM リクエスト・レスポンスを自動記録し、ダッシュボードで検索・フィルタリング・分析できます。
モデルごとの最新価格テーブルを内蔵し、リクエストごとのコストを自動算出します。ダッシュボードでは日別・週別・月別のコスト推移、ユーザー別・プロジェクト別の内訳、予算アラートを設定できます。
同一プロンプトに対するレスポンスをキャッシュし、重複する API コールを排除します。
ユーザー別・API キー別のレート制限を設定し、コスト暴走や不正利用を防止します。制限はリクエスト数とトークン数の両方で設定可能です。
リクエスト・レスポンス内の PII（個人識別情報）を自動検出・マスキングする機能を提供します。ログに機密情報が残ることを防ぎ、コンプライアンス要件を満たします。
| プロバイダ | プロキシ URL |
|---|---|
| OpenAI | oai.helicone.ai |
| Anthropic | anthropic.helicone.ai |
| Azure OpenAI | oai.helicone.ai（Azure ヘッダー付き） |
| AWS Bedrock | bedrock.helicone.ai |
| Google Gemini | gemini.helicone.ai |
| Groq | groq.helicone.ai |
| Together AI | together.helicone.ai |
Helicone は Cloudflare Workers 上で動作するように設計されていますが、Docker を使ったセルフホストも可能です。データストアには ClickHouse（ログ）と PostgreSQL（メタデータ）を使用し、S3互換ストレージにログのアーカイブを保存します。
A: Helicone は Cloudflare Workers のエッジネットワーク上で動作するため、追加レイテンシは通常5ms以下です。LLM API 自体のレイテンシ（数百ms〜数十秒）に比べて無視できるレベルです。
A: はい、SSE（Server-Sent Events）によるストリーミングレスポンスを完全にサポートしています。ストリーミング中のトークンも正確にカウントされます。
A: Helicone はプロキシ方式で導入が最も簡単で、コスト管理・キャッシュ・レート制限に強みがあります。LangSmith / Langfuse は SDK 統合で評価・プロンプト管理・データセット機能が充実しています。両者を併用するケースも一般的です。