Best-of-N Sampling（ベストオブエヌサンプリング）

Best-of-N Sampling とは

Best-of-N（BoN）Samplingは、LLMからN個の独立した候補出力を生成し、報酬モデル（Reward Model）でスコアリングして最高スコアの候補を最終出力として採択するTest-Time Compute手法だ。実装が最もシンプルで、あらゆる推論タスクに適用できる基礎的なアプローチとして広く使われている。

別名と変種

Rejection Samplingは特定の基準を満たさない候補を棄却する文脈での呼称だ。Rerankingは候補を生成した後に並び替える手法として称される場合の名称だ。Best-of-KはKを変数としたより一般的な表記であり、Majority Voteは報酬モデルの代わりに多数決でスコアリングする手法（Self-Consistencyと同義）だ。

基本的な流れ

プロンプトを入力としてLLMをN回並列実行し、N個の出力候補を得る。次に各出力を報酬モデルでスコアリングする。最後に最高スコアの出力を採択して最終回答とする。

報酬モデルのスコアが高い = 正しい推論経路をたどっている可能性が高い、という前提のもとで動作する。コードタスクでは報酬モデルの代わりにテスト実行（pass/fail）を使うことで、より正確なスコアリングが可能だ。

N値と性能の関係

一般にBest-of-Nの性能はlog(N)に比例して向上する（Cobbe et al. 2021・Lightman et al. 2023）。

N=1（ベースライン）の相対コスト1xではGSM8Kの成功率が約80%だとすると、N=4（4x）では約87%、N=16（16x）では約92%、N=64（64x）では約95%となる。逓減する利益があるため、N=16〜64がコスト効率の実用的な上限とされる。

報酬モデルの種類

ORM（Outcome Reward Model）

最終回答のみを評価するシンプルな報酬モデルだ。学習データ作成が容易（正解/不正解のラベルのみ必要）という長所がある一方、中間推論の品質を評価できないという短所がある。

PRM（Process Reward Model）

各推論ステップを評価する詳細な報酬モデルだ。MCTSと組み合わせて木探索が可能という長所がある一方、ステップごとのアノテーションが必要で構築コストが大きいという短所がある。Math-Shepherd（2024）・Qwen2.5-Math-PRM-7Bなどのオープンソースモデルが利用可能だ。

Verifier / Execution

コードの場合はコンパイル+テスト実行で直接検証する。最も信頼性が高い手法だ。

利用シーン

強化学習のコールドスタート

DeepSeek R1等では、RLトレーニングの初期化にBest-of-Nを使用する。SFTモデルからN個の解答をサンプリングし、正解のみを学習データとしてフィルタリングする「Rejection Sampling Fine-tuning（RFT）」として活用される。

API経由の推論強化

モデルへのアクセスが出力テキストのみに限られる場合（OpenAI API等）でも、Best-of-Nは適用可能だ。ファインチューニングやロジット操作が不要なため、どのAPIベースのLLMにも即座に適用できる。

本番環境での品質向上

高精度が求められる本番タスク（医療診断補助・法律文書生成・コード自動補完等）でN=4〜8を使用することで、単一サンプリングより有意な品質向上が得られる。

MCTSやToTとの比較

実装難易度という点では、Best-of-Nは最も低く、Self-Consistencyも低い。MCTSは最も高い。必要な追加モデルはBest-of-Nが報酬モデル、Self-Consistencyはなし、MCTSはPRMだ。計算効率はBest-of-Nが中程度、Self-Consistencyも中程度、MCTSは高い。適用タスクはBest-of-Nが全般、Self-Consistencyが数値回答系、MCTSが数学・コードに特化している。

まとめ

Best-of-N Samplingは複雑さと効果のバランスが最も取りやすいTest-Time Compute手法だ。MCTSのような高度な探索は必要なく、優れた報酬モデルさえあればどんなタスクにも即座に適用できる。強化学習パイプラインの一部として、また本番環境での品質向上手段として、2024〜2026年にかけて最も広く採用されているTTC手法の一つだ。