公開：2026年10月16日, 最終更新：2026年10月16日
30秒サマリー
- 数学訓練後にMMLUなど他分野でも精度が上がるとされるRLVRの「ドメイン外汎化」効果を検証した論文がarXivに投稿された。
- 7Bモデル4ペアで検証したところ、報告されていたドメイン外多肢選択問題の精度向上のうち82%は、モデルが回答形式を変えただけで、実際に正答率が上がったわけではなかった。
- 評価スクリプト（回答抽出器）が参照する場所にモデルが答えを書くよう学習した結果、見かけ上の精度が膨らんでいたことが明らかにされた。
何が起きたか
Zongye Lyu氏が2026年10月2日にarXiv（cs.LG）へ投稿した論文「Same Answer, New Box」は、検証可能な報酬を用いた強化学習（RLVR）がドメイン外ベンチマーク（MMLUなど）の精度を押し上げるとされてきた現象を再検証した。
RLVRでは数学問題への訓練後に他分野の多肢選択問題でも精度向上が報告されてきたが、その精度はモデル出力から回答を抽出するスクリプト（回答抽出器）を介して計測される。論文は、抽出器が優先的に参照する「\boxed{}」形式に回答を書くことをモデルが学習した場合、実際の正答率が変わらなくても得点が上がりうると指摘する。
検証では公開されている7Bモデル4ペア（ベースモデルとRLモデル）の出力を、公開コードから流用された一般的な抽出器と、\boxed{}内外を問わず明示された回答を読む著者独自の抽出器の両方で採点した。その結果、一般的な抽出器が報告するドメイン外多肢選択問題の精度向上のうち82%は、独自抽出器では消滅した。LLMを判定者として用いた場合は77%、ボックス形式を求めるプロンプトを使った条件では79%が同様に消滅した。ベースモデルはすでにテキスト中に回答を記述しており、RLにより回答が\boxed{}へ移動しただけであることが原因とされる。
一方、別の訓練レシピで訓練された32Bモデルペアでは、ベースモデルがプロンプトに応じてboxedで回答する一方、RLモデルはそうしない傾向があったため、形式利得はほぼゼロだったとしている。論文は「報告された精度向上は、それを読み取った抽出器の特性でもある」と結論付け、保存済みの出力を別の抽出器で再スコアリングする手法でRLを再実行せずに検証できると提案する。
原典ハイライト
論文アブストラクトは「7Bの4ペアで、報告されたドメイン外多肢選択問題の精度向上の82%は独自抽出器では消滅した。ベースモデルはすでにテキスト中に回答を記述しており、RLが回答をボックスへ移動させ、抽出器がそこを優先的に参照する」と述べている。また「報告された利得は、それを読み取った抽出器の特性でもある」と明記している。
出典: arXiv cs.LG（論文）
So What?（なぜ重要か）
編集部の見方として、この論文はLLM評価の信頼性に根本的な問いを投げかける。ベンチマーク上の性能向上が「モデルの知識・推論能力の向上」なのか「抽出器が好む形式への適応」なのかを区別しない限り、RLVR訓練の汎化効果を正しく評価できない。公開コードの評価スクリプトを流用するだけでは、このバイアスを見逃す恐れがある。評価手法の設計と標準化が、モデル選定の信頼性を左右する重要課題であることが改めて示されたといえる。
日本企業への示唆
日本企業が社内でLLMの性能を比較・選定する際、あるいはベンダーのベンチマーク結果を参照する際には、「どの抽出器・評価スクリプトで計測されたか」を必ず確認することが重要になる。特にRLVR系モデルを数学・コードタスク以外の業務（法務・財務・営業支援など）に転用しようとする場合、報告精度がそのまま実務精度に直結しない可能性がある。社内評価では、出力形式に依存しない複数の抽出器を使った再採点や、LLMを判定者とした評価を組み合わせるなど、多角的な検証プロセスを設けることが望ましい。
背景・経緯
RLVR（検証可能な報酬を用いた強化学習）は、正誤を自動検証できる数学・コーディング問題を報酬信号として用いてLLMを訓練する手法。数学訓練後にMMLUなどの他ドメインでも精度が上昇するという「ドメイン外汎化」効果が報告され、推論能力の一般的向上として注目されてきた。論文では、こうした報告の計測方法自体に系統的なバイアスが含まれる可能性を実験的に示している。
