Helicone（ヘリコーン）

Helicone とは

Helicone は、LLM API コールを透過的にロギング・分析するプロキシゲートウェイ型のオブザーバビリティプラットフォームです。Y Combinator 出身のスタートアップが開発し、Apache 2.0 ライセンスのオープンソースとして公開されています。

プロキシゲートウェイアーキテクチャ

Helicone の最大の特徴は、LLM API のベース URL を差し替えるだけで導入できるプロキシ方式です。

導入前:

アプリ → api.openai.com/v1/chat/completions

導入後:

アプリ → oai.helicone.ai/v1/chat/completions → api.openai.com/v1/chat/completions

この方式により、以下のメリットが得られます。

主要機能

リクエストロギング

全 LLM リクエスト・レスポンスを自動記録し、ダッシュボードで検索・フィルタリング・分析できます。

• プロンプトとレスポンスの全文記録
• トークン消費量（入力/出力/合計）
• レイテンシ（Time to First Token / Total Duration）
• モデル名・温度・max_tokens 等のパラメータ
• HTTP ステータスコード・エラー情報

コスト管理

モデルごとの最新価格テーブルを内蔵し、リクエストごとのコストを自動算出します。ダッシュボードでは日別・週別・月別のコスト推移、ユーザー別・プロジェクト別の内訳、予算アラートを設定できます。

キャッシュ

同一プロンプトに対するレスポンスをキャッシュし、重複する API コールを排除します。

• 完全一致キャッシュ: 同一プロンプトの場合にキャッシュヒット
• Bucket キャッシュ: 類似プロンプトをバケット化してヒット率向上
• TTL 設定: キャッシュの有効期限を設定可能
• コスト削減: キャッシュヒット時はプロバイダへの API コールが発生しないため、コストゼロ

レート制限

ユーザー別・API キー別のレート制限を設定し、コスト暴走や不正利用を防止します。制限はリクエスト数とトークン数の両方で設定可能です。

プロンプトセキュリティ

リクエスト・レスポンス内の PII（個人識別情報）を自動検出・マスキングする機能を提供します。ログに機密情報が残ることを防ぎ、コンプライアンス要件を満たします。

サポートプロバイダ

セルフホスト

Helicone は Cloudflare Workers 上で動作するように設計されていますが、Docker を使ったセルフホストも可能です。データストアには ClickHouse（ログ）と PostgreSQL（メタデータ）を使用し、S3互換ストレージにログのアーカイブを保存します。

FAQ

Q: Helicone を経由するとレイテンシは増える？

A: Helicone は Cloudflare Workers のエッジネットワーク上で動作するため、追加レイテンシは通常5ms以下です。LLM API 自体のレイテンシ（数百ms〜数十秒）に比べて無視できるレベルです。

Q: ストリーミングレスポンスに対応している？

A: はい、SSE（Server-Sent Events）によるストリーミングレスポンスを完全にサポートしています。ストリーミング中のトークンも正確にカウントされます。

Q: Helicone とLangfuse/LangSmith の使い分けは？

A: Helicone はプロキシ方式で導入が最も簡単で、コスト管理・キャッシュ・レート制限に強みがあります。LangSmith / Langfuse は SDK 統合で評価・プロンプト管理・データセット機能が充実しています。両者を併用するケースも一般的です。