A/Bテスト（エービーテスト）
2案比較実験手法。Optimizely・VWO・Google Optimize終了後継Posthog Experiments・Statsig・GrowthBook・Vercel Edge Configが代表で、CVR/離脱率/滞在時間をBaseline vs Variantで比較、統計有意性95%以上で採択。
概要
A/Bテスト（エービーテスト）は、2つのバリエーション（Baseline と Variant）を同時に実行し、ユーザー行動を定量的に比較する実験手法です。
主に CVR（コンバージョン率）、離脱率、滞在時間などを指標にし、統計的有意性を 95％ 以上で検証した上で採択します。
2025年に登場した PostHog 3.0 以降、オープンソースとクラウドの両方で実装が進み、2026年には統計解析エンジンがさらに高速化されました。
最新の実装では、サーバーサイドでの分散計算を利用し、サンプルサイズ 12,000 以上を 7 日間で収集するケースが増えています。
主な特徴・仕組み
- Baseline vs Variant
- Baseline: 現行バージョン
- Variant: 変更点を含むバージョン
- 指標設定
- CVR 2.5％ → 目標 3.0％
- 離脱率 15.3％ → 目標 12.0％
- 滞在時間 45.2秒 → 目標 50.0秒
- 統計解析
- 有意性 97.6％ 以上で採択
- t 検定または Mann‑Whitney U を使用
- サンプルサイズ
- 12,000 以上で 95％ 信頼区間
- 実装フロー
- 目的設定
- バリエーション作成
- トラフィック分配 50:50
- データ収集
- 統計解析
- 結果報告
- 実装決定
- モニタリング
- 次世代テスト設計
- フィードバックループ
スペック/製品比較表
| 製品名 | バージョン | 主要機能 | サンプルサイズ上限 | 解析速度 | 価格帯 |
|---|---|---|---|---|---|
| Optimizely | 10.2 | UIベース設計 | 50,000 | 速い | 12,000円/月 |
| VWO | 2025 | A/B + マルチバリアント | 30,000 | 中 | 9,800円/月 |
| PostHog | 3.0 | オープンソース＋クラウド | 100,000 | 速い | 無料/有料 |
| Statsig | 2.1 | 統計エンジン重視 | 20,000 | 非常に速い | 15,000円/月 |
| GrowthBook | 1.5 | フィーチャーフラグ統合 | 25,000 | 中 | 8,000円/月 |
| Vercel Edge Config | 4.0 | エッジで即時切替 | 10,000 | 速い | 10,000円/月 |
具体例・対応製品
-
Eコマースサイト
- 画像の配置を変えた Variant を 7 日間でテスト。
- CVR が 2.5％ から 3.2％ に上昇。
- PostHog 3.0 でリアルタイムダッシュボードを確認。
-
ニュースアプリ
- ニュースカードの色を変更。
- 離脱率が 15.3％ から 12.8％ に低下。
- Optimizely 10.2 でドラッグ＆ドロップで設定。
-
SaaSプロダクト
- サインアップフローを簡略化。
- 滞在時間が 45.2秒 から 50.5秒 に伸び。
- Statsig 2.1 の統計エンジンで 97.6％ の有意性を確認。
自作PCでの選び方・注意点
- CPU
- 解析速度を左右するため、Intel Core i7 12700K 以上推奨。
- メモリ
- 16GB DDR5-4800 以上で同時実行が安定。
- ストレージ
- NVMe SSD 1TB でデータ書き込み速度を確保。
- ネットワーク
- 1Gbps LAN でデータ送受信を高速化。
- ソフトウェア
- Docker Compose で PostHog をローカルに構築。
- セキュリティ
- TLS 1.3 を必須にし、データ漏洩リスクを低減。
- バックアップ
- 24時間で自動バックアップを設定。
- 監視
- Grafana でリアルタイムメトリクスを可視化。
- スケーラビリティ
- Kubernetes でスケールアウトを検討。
- コスト管理
- 1か月あたり 12,000円 以内に収めるため、無料版を活用。
関連用語との違い
-
A/Bテスト vs マルチバリアントテスト
- A/B は 2 つのバリエーションのみ。
- マルチバリアントは 3 つ以上を同時に比較。
-
A/Bテスト vs ユーザーテスト
- A/B は定量的指標で検証。
- ユーザーテストは定性的フィードバック。
-
A/Bテスト vs コンジョイント分析
- A/B は単一要素の効果測定。
- コンジョイントは複数要素の組み合わせ効果。
よくある質問
Q1: A/Bテストで必要なサンプルサイズはどのくらいですか？
A1: 目安は 12,000 以上で、95％ 信頼区間を確保します。
Q2: どのツールが最も高速ですか？
A2: Statsig 2.1 は統計エンジンが最速で、解析時間を短縮します。
Q3: 解析結果が有意でない場合、どう対処しますか？
A3: バリエーションを再設計し、サンプルサイズを増やすか、期間を延長します。
まとめ
A/Bテストは、Baseline と Variant を比較し、CVR・離脱率・滞在時間などの指標で統計的有意性を確認する手法です。
2025年以降、PostHog 3.0 や Statsig 2.1 などのツールが登場し、解析速度と精度が向上しました。
自作PCで実装する場合は、CPU、メモリ、ストレージ、ネットワークを十分に確保し、Docker や Kubernetes で環境を整備することが重要です。
A/Bテストを適切に運用すれば、ユーザー体験の改善とビジネス指標の向上を同時に実現できます。