公開：2026年10月17日, 最終更新：2026年10月17日
Best-of-Nサンプリング（Best-of-N Sampling）は、大規模言語モデル（LLM）の推論時に、同一プロンプトから複数の回答候補を生成し、報酬モデルや評価器によって最もスコアの高い1つを選び出す手法である。モデルのパラメータを変更することなく出力品質を高められる点が特徴で、AIアライメント研究における標準的なベースライン手法として広く定着している。
概要
Best-of-Nサンプリングは、LLMに同一の入力（プロンプト）を与えて$N$個の応答を独立に生成し、報酬モデル（Reward Model）や検証器（Verifier）でスコアリングしたうえで最高評価の1つを出力として採用する推論手法である。OpenAIのStiennon et al.（2020）やCobbe et al.（2021）、AnthropicのAskell et al.（2021）といったRLHF・アライメント研究において、モデルの出力品質や人間の嗜好への適合度を測る比較基準（ベースライン）として広く使われてきた。
推論時の計算リソースを増やすことで品質を向上させる「推論時スケーリング（Test-Time Compute Scaling）」の代表的な手法に位置づけられる。生成したデータをファインチューニング（SFT）の学習データ選別に用いる場合は「リジェクションサンプリング（Rejection Sampling）」と呼ばれることが多く、最終出力の選別に用いる場合が「Best-of-Nサンプリング」と区別される。
仕組み・ポイント
処理の流れは大きく3段階に分かれる。
1. 多候補の生成: LLMに対して温度パラメータ（Temperature）などを設定し、同一プロンプトから$N$個の多様な回答候補を生成する。
2. スコアリング: 生成した$N$個の候補を、ORM（Outcome Reward Model）やPRM（Process Reward Model）などの報酬モデルに入力してスコアを付与する。
3. 最良候補の選択: 最高スコアの回答1つをユーザーへの出力として採用する。
最大の利点はモデル非破壊性にある。LLM本体の重みを更新（追加学習）する必要がなく、推論時の計算量を増やすだけで出力品質を改善できる。
一方で、いくつかの重要な課題と改善技術も知られている。
- 報酬ハッキング（Reward Hacking）: $N$を極端に大きくすると、報酬モデルの採点基準の隙をつく不自然な出力が選ばれ、真の品質がかえって低下するリスクがある（Gao et al., 2022）。
- 計算コスト: $N$個すべてを最後まで生成するオーバーヘッドが大きく、Speculative Rejection / Early Exit（途中打ち切りによる計算効率化）や、正則化付きBest-of-N（RBoN）（報酬ハッキング防止のための制約項導入）、Self-Certainty（LLM自身の確率分布を活用する外部モデル不要の手法）など、複数の改善アプローチが提案されている。
関連手法としては、多数決で解を選ぶSelf-Consistency（Majority Voting）、探索木を用いるTree Search / MCTS、ビーム検索（Beam Search）などがあり、推論時アライメントの主要アプローチ群を構成している。
なぜ今注目されているのか
LLMの能力向上において、モデル規模の拡大（学習時スケーリング）に加え、推論時の計算資源をいかに活用するか（推論時スケーリング）が重要な研究テーマとして浮上している。Best-of-Nサンプリングはその最も基本的な手法であり、より高度な推論時アルゴリズムの比較基準として参照され続けている。
また、LLM推論のコスト削減・効率化への関心が高まるなかで、投機的デコードやメモリ圧縮といった周辺技術の研究が活発化しており、Best-of-Nサンプリングの計算オーバーヘッドを削減するSpeculative Rejectionなどの派生手法も注目を集めている。さらに、「複数の候補で一致した回答が正しいとは限らない」という実証的な問題提起が相次いでおり、候補選択の信頼性そのものを問い直す議論も広がっている。
日本企業への示唆
Best-of-Nサンプリングは追加学習なしで導入できるため、自社モデルの再学習コストをかけずに出力品質を引き上げる現実的な選択肢となる。ただし$N$を大きくするほど推論コストは比例して増大するため、品質改善幅とAPIコスト・レイテンシのトレードオフを事前に定量評価することが重要である。報酬モデルの精度が不十分な場合、報酬ハッキングによって見かけ上のスコアは高いが実際には不適切な出力が選ばれるリスクもあり、評価器の品質管理にも注意が必要だ。自社業務への適用を検討する際は、Speculative Rejectionなど計算効率化の派生手法も含めて比較検討することが望ましい。
※ 本ページはAI News JAPAN編集部が最新の動向を踏まえて解説したものです。内容は随時見直します。
