プロンプトバージョニング（プロンプトバージョニング）
プロンプトテンプレートの変更履歴をバージョン管理し、性能比較・ロールバック・A/Bテストを可能にする運用プラクティス。
プロンプトバージョニングとは
プロンプトバージョニング（Prompt Versioning）とは、LLMアプリケーションで使用するプロンプトテンプレートの変更履歴を体系的に管理する運用プラクティスです。ソフトウェア開発におけるコードのバージョン管理（Git）と同じ概念をプロンプトに適用し、変更の追跡・性能比較・ロールバック・A/Bテストを可能にします。
なぜプロンプトのバージョン管理が必要か
LLMアプリケーションでは、プロンプトの小さな変更が出力品質に大きな影響を与えます。「一語追加したら精度が10%向上した」「フォーマット指示を変えたら出力が壊れた」といった事象が頻繁に発生します。バージョン管理なしでは、どの変更がどの結果を引き起こしたか追跡できず、問題発生時にロールバックもできません。
| シナリオ | バージョン管理なし | バージョン管理あり |
|---|---|---|
| 品質劣化発生 | 原因不明、復旧困難 | diff で変更特定、即座にロールバック |
| 新プロンプト検証 | 本番で直接変更 | A/Bテストで段階的に検証 |
| チーム協業 | 誰がいつ変更したか不明 | 変更履歴と理由が追跡可能 |
| モデル変更時 | 全プロンプトを手動確認 | バージョン別の性能ベースラインと比較 |
バージョニング戦略
Git ベース（シンプル）
プロンプトテンプレートを .txt、.j2、.yaml ファイルとしてリポジトリに含め、コードと同じ Git ワークフローで管理します。プルリクエストでレビュー、CI/CD で自動テストを実行できます。
メリットは追加ツール不要でチームの既存ワークフローに統合できる点。デメリットはプロンプト特有の評価（LLM出力品質の自動測定）が組み込みにくい点です。
専用プラットフォーム
LangSmith（LangChain）、Humanloop、PromptLayer、Braintrust などの専用プラットフォームは、プロンプトバージョニングに特化した機能を提供します。
| プラットフォーム | 主な機能 | 料金モデル |
|---|---|---|
| LangSmith | テンプレートHub、評価パイプライン、トレース連携 | フリーミアム |
| Humanloop | バージョン管理、A/Bテスト、人間フィードバック統合 | SaaS |
| PromptLayer | リクエストログ、テンプレート管理、スコアリング | フリーミアム |
| Braintrust | 評価フレームワーク、プロンプト実験、データセット管理 | フリーミアム |
| Promptfoo | OSSテストフレームワーク、CI統合、多モデル比較 | OSS（無料） |
ハイブリッド
Gitでテンプレートファイルを管理しつつ、評価メトリクスは専用プラットフォームに記録するハイブリッド方式です。テンプレートの「コード」としての管理と「性能」としての管理を分離し、それぞれに最適なツールを使用します。
バージョン番号の付け方
セマンティックバージョニング（SemVer）をプロンプトに適用する方式が一般的です。
- メジャー（v2.0.0）: 出力フォーマットの根本的な変更（後方互換性なし）
- マイナー（v1.1.0）: 新しい指示の追加、Few-shot例の変更
- パッチ（v1.0.1）: 誤字修正、微細な文言調整
タグ方式（production、staging、experiment-xyz）を併用して環境別にデプロイするプロンプトを切り替えるのも有効です。
A/Bテストとの連携
プロンプトバージョニングの真価は A/Bテストとの組み合わせで発揮されます。新旧バージョンのプロンプトを一定割合（例：新90%/旧10%）でトラフィック分割し、出力品質・レイテンシ・コストを統計的に比較します。
評価指標は用途によって異なりますが、LLM-as-a-Judge（別のLLMで出力品質をスコアリング）と人間評価のハイブリッドが信頼性の高い評価方法とされています。
FAQ
Q1: プロンプトのバージョン管理は小規模プロジェクトでも必要ですか？
A1: はい。最低限、Gitでのファイル管理は初日から導入すべきです。プロンプトの変更が品質に影響する以上、「いつ・誰が・なぜ変更したか」を追跡できないリスクはプロジェクト規模に関係なく存在します。
Q2: プロンプトバージョンごとの評価はどう自動化しますか？
A2: Promptfoo（OSS）やBraintrustのCI統合を使い、プルリクエスト時に自動テストを実行します。ゴールデンデータセット（入力と期待出力のペア）を用意し、新バージョンのプロンプトで生成した出力との一致度をスコアリングします。
Q3: モデルを変更した場合、既存プロンプトの互換性は？
A3: モデル変更時は全プロンプトバージョンの再評価が必要です。GPT-4o → Claude 3.5 のようなモデル切り替えでは、同じプロンプトでも出力品質が大きく変わる場合があります。モデル名をプロンプトバージョンのメタデータに含め、モデル×プロンプトの組み合わせで性能を記録するのが推奨です。