推論ログ（スイロンログ）

推論ログとは

推論ログ（Inference Logging）とは、AIモデルが推論（予測・生成）を実行するたびに、入力データ・出力結果・実行メタデータを構造化して記録する仕組みです。Webアプリケーションにおけるアクセスログに相当し、LLMアプリケーションの運用・デバッグ・品質管理の最も基本的な観測手段です。

なぜ推論ログが必要か

LLMは確率的に出力を生成するため、同一入力でも異なる結果が返ります。ユーザーから「おかしな回答が返った」と報告があった場合、推論ログがなければ何が入力され、何が返されたかを再現できません。また、トークン課金のコスト管理にはリクエスト単位の消費量記録が不可欠です。

ログの設計原則

構造化ログの採用

平文ログではなくJSON形式の構造化ログを採用します。検索・集計・フィルタリングが容易になり、ログ分析ツール（Elasticsearch、Loki、BigQuery等）との親和性が高まります。

PIIマスキング

推論ログにはユーザーの入力テキストが含まれるため、個人情報（PII）の取り扱いに注意が必要です。記録前にPII検出・マスキング処理を挿入し、氏名・メールアドレス・電話番号などを自動置換します。GDPRやCCPA準拠が求められる環境ではログ保持期間の設定も必須です。

サンプリング戦略

高トラフィック環境で全リクエストをフルログ記録するとストレージコストが爆発します。通常トラフィックでは10-30%のランダムサンプリングを適用し、エラー応答や品質スコア低下時のみ100%記録に切り替える「アダプティブサンプリング」が実用的です。

実装パターン

ミドルウェア方式

LLMクライアントライブラリのラッパーとして実装する最も一般的なパターンです。呼び出しの前後にフックを挿入し、入力・出力・メタデータを非同期でログバックエンドに送信します。アプリケーションコードへの変更を最小限に抑えられます。

プロキシ方式

LLM APIの手前にリバースプロキシ（Helicone、LiteLLM等）を配置し、全リクエスト/レスポンスを透過的にキャプチャします。既存コードを一切変更せずにログ収集を開始できるのが利点です。

SDK統合方式

Langfuse・LangSmithなどのSDKをアプリケーションに組み込む方式です。ログ記録に加えてトレーシング・評価・ダッシュボードが統合されており、包括的なオブザーバビリティを短期間で構築できます。

ログの活用

記録されたログは以下の分析に活用されます。品質評価の自動化（LLM-as-a-Judge）、コスト最適化（高コストモデルへの不要なルーティング検出）、異常検知（レイテンシスパイク・エラーバースト）、プロンプトエンジニアリングの改善（低品質出力パターンの分析）、コンプライアンス監査（有害出力の事後検出）などです。

FAQ

Q1: ログのストレージコストはどの程度ですか？

A1: LLMの入出力テキストは1リクエストあたり数KB〜数十KBになります。月間100万リクエストで約10-100GBのストレージが必要です。圧縮とサンプリングで実質コストは月額数千円〜数万円に収まることが多いです。

Q2: プロンプト全文をログに残してよいですか？

A2: セキュリティとプライバシーの観点で注意が必要です。PII検出・マスキングを必ず適用し、ログのアクセス制御・暗号化・保持期間設定を行った上で記録してください。社内ポリシーに従い、機密情報を含むプロンプトは別途セキュアストレージに保管する運用も検討します。

Q3: ログの保持期間はどの程度が適切ですか？

A3: 一般的にはフルログを30-90日、集計メトリクスを1-2年保持します。GDPR準拠が必要な場合はデータ最小化原則に従い、PIIを含むログは最短期間（30日以内）で自動削除するのが推奨です。