30秒サマリー
- 問題の意味を変えずに言い回しを変えるだけで、LLMの正誤が頻繁に逆転することが判明
- 高性能モデルほど言い回し変更による「得点下振れ」が大きく、スコアが問い方に依存しやすい
- どの言い回しが正答を崩しやすいかはモデル間で共通しており、脆弱性は問題側に帰属する
何が起きたか
米arXivに2026年8月12日投稿された論文「The Wording Effect」は、LLMのベンチマークスコアが問題の「言い回し」に強く依存することを定量的に示した。著者はShailja Thakurら4名。
研究チームはBenchDriftと呼ぶフレームワークを開発し、GSM8K・MMLU・MATH-Hardの3ベンチマークについて、問題の意味と正解を固定したまま言語的・参照的・語用論的・構造的の4軸で言い換えを生成した。8つのモデルを対象に評価したところ、言い換えによって正解が不正解になる、あるいは不正解が正解になる「ドリフト」が双方向で頻繁に発生することを確認した。
特に注目すべき発見が2点ある。第1に、モデルの性能が上がっても言い回し感度は消えず、方向が変わる。弱いモデルは言い換えによって得点が上振れしやすい一方、強いモデルは下振れ幅が上振れ幅を大きく上回る。つまり、あるベンチマークで最高スコアを出すモデルほど、たまたま与えられた問い方にスコアが依存している可能性が高い。第2に、どの言い換えが正答を最も崩しやすいかについて、モデル間の見解は概ね一致しており、脆弱性はモデルの個性ではなく言い換えの性質に帰属する。また問題を短くしても長くしても、モデルが自信を持って答えていた問題の正答が崩れることも示された。
原典ハイライト
論文アブストラクトは「ベンチマークスコアは1つの言い回しから生まれるが、その言い回しが同じ問題を表現できる全空間を代表しているわけではない」と明言。強いモデルほどスコアが問い方に最も依存しているという逆説的な知見を報告している。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
これまでLLMの選定根拠として使われてきたベンチマークスコアが、問題の言い回しという偶発的要因に左右されることが実証された。上位モデルの「高スコア」が真の汎化性能を示すとは限らず、選定プロセスそのものの信頼性が問われる。
日本企業への示唆
LLMを業務導入・ベンダー選定する際、公開ベンチマークの数値を鵜呑みにするリスクが浮き彫りになった。自社ユースケースに近いタスクを複数の言い回しで評価する社内PoC（概念実証）を実施し、スコアのばらつき幅を確認することが重要になる。特に法務文書・顧客対応・多言語対応など、表現の揺れが大きい業務では、単一の評価セットによる比較だけでは不十分とみられる。調達・IT部門は評価設計の段階から「ドリフト耐性」を評価軸に加えることを検討すべきだろう。
背景・経緯
LLMのベンチマーク評価を巡っては、テストデータの漏洩（データコンタミネーション）や過学習の問題がこれまでも指摘されてきた。本研究はそれとは別の角度から、言い回し依存性というベンチマーク固有の構造的問題を定量化しようとするものとみられる。コードとデータは論文リンクで公開されている。
