30秒サマリー
- 強化学習によるLLM後学習は解の多様性を損なうことが論文で示された
- 進化戦略（ES）は重み空間をランダム摂動で直接最適化し、pass@kを一貫して上回る
- 数学・科学など「発見」領域において、解カバレッジの広さが性能改善につながると論じる
何が起きたか
2026年8月13日、Conor F. Hayesら7名の研究者がarXivに論文「Beyond the Best Guess: Improving LLM Solution Coverage with Evolution Strategies」を投稿した。論文は大規模言語モデル（LLM）の後学習手法として広く使われる強化学習（RL）の構造的問題を指摘する。RLは高報酬な出力周辺にモデルの出力分布を集中させる性質があり、結果として解の多様性（ソリューションカバレッジ）が収縮する「分布崩壊」が生じると論じている。
論文が代替として提案するのが進化戦略（ES）だ。ESは集団ベースの勾配フリー後学習手法で、重み空間においてランダム摂動を通じて直接最適化を行う。複数の候補解を生成してその網羅率を評価する指標「pass@k」において、ESはRLを一貫して上回り、出力分布の広さと解カバレッジの高さを維持することが示されたとしている。
さらに、こうしたカバレッジの広さが標準的な数学ベンチマークでの最終的な性能向上にもつながることを論文は示している。研究者らは、数学・科学など多様な解探索が求められる「発見」領域のLLM後学習において、ESがより優れた基盤になりうると結論づけている。
原典ハイライト
「標準的なRLによる後学習は、高報酬出力周辺に分布が集中することでpass@kを制限しうる。ESは一貫してより高いpass@kを達成し、より広い出力分布とより大きな解カバレッジをもたらす」（論文アブストラクトより要約）
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
RLベースの後学習（RLHFなど）は「最良の単一回答」を最大化する方向に最適化されるため、多様な解を探索するユースケースでは性能を損なう可能性がある。本論文は、そのトレードオフを定量的に示すとともに、進化戦略という勾配フリー手法が解多様性の観点で有力な代替となりうることを示唆している。LLMの応用領域が数学的証明・新薬探索・コード生成など「正解が複数存在する発見型タスク」へ拡大するなか、後学習手法の選択が最終性能を大きく左右するという問題提起は重要性が高い。
日本企業への示唆
LLMを研究開発支援・コード自動生成・科学的探索に活用する日本企業にとって、「モデルの後学習をRLで行うと解の多様性が失われる」というリスクは実務上の判断材料となる。自社でファインチューニングやAIエージェントの開発を行う場合、タスクの性質（単一正解か多様解か）に応じて後学習手法を選定する必要がある。進化戦略はまだ研究段階だが、将来的にはRLとESのどちらを採用するかが、AI導入効果を左右する技術選定の論点になるとみられる。外部ベンダーのLLMを利用する場合も、モデルの後学習手法がユースケースに合致しているか確認する視点を持つことが望ましい。
背景・経緯
LLMの後学習手法としてはRLHF（人間フィードバックによる強化学習）やRLAIF（AIフィードバックによる強化学習）が広く普及している。一方、進化戦略はニューラル進化の文脈で研究が続けられてきた手法であり、勾配計算を必要としない点が特徴。本論文は両者の性能を「解カバレッジ」という観点から体系的に比較したものとみられる。著者の一部はEvolutionary AIの研究で知られる組織に所属しているが、所属機関の詳細は原文には明記されていない。
