30秒サマリー
- 評価ハーネスの設定変更だけで、同一モデルのスコアが31%〜89%に変動することが判明
- 12モデル中4モデルが特定の設定下でランク1位になれるため、「順位」は設定の産物にすぎない
- ベンチマーク順位を額面通りに信頼することへの根本的疑義を、実験データで示した論文
何が起きたか
V.S. Raghu Parupudi氏が2026年7月17日にarXivへ投稿した論文「There Is No Neutral Harness」は、LLMの多肢選択式ベンチマーク評価において、モデルや問題そのものではなく「評価ハーネス（評価の枠組み）」の設定がランキングを左右することを実験的に示した。
研究では、4ファミリーに属する12のオープンウェイト命令調整済みLLMに対し、ARC・HellaSwag・MMLU・TruthfulQAの4ベンチマークから計3,679問を使用。選択肢の順序、プロンプトの文言、回答の読み取り方式（生成テキスト参照か選択肢ごとの尤度参照か）など、いずれも正当化可能な26通りの設定の組み合わせ（「フラジリティグリッド」と命名）でスコアを計測した。
主な発見として、同一モデル（gemma4-31b）のスコアがハーネス設定のみの違いで31%〜89%の幅を持つこと、隣接する2モデル間のスコア差の平均95.7%が「設定に脆弱なアイテム（config-fragile items）」に起因すること、12モデル中4モデルが何らかの設定下で1位になれることが示された。また、ベンチマーク圧縮手法が最大化する「項目識別力」がフラジリティと0.28の相関を持ち、圧縮によって脆弱な問題が残存しやすい構造も明らかにされた。論文著者は、レコードデータと分析スクリプトを公開しており、CPUで数秒以内に全数値の再現が可能だとしている。
原典ハイライト
「ハーネスの設定を変えるだけで、モデルのスコアは点ではなく帯になる」——論文はフラジリティグリッドを用いて、評価順位が設定次第で入れ替わることを26通りの正当な設定下での実験で実証した。スコアの格差の95.7%は設定依存の脆弱問題に集中しており、採点方式の選択が最も影響の大きい軸だとしている。
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
LLMリーダーボードの「順位」は、モデル固有の能力を反映した客観的指標ではなく、評価設定の選択によって大きく変動し得ることが実験的に示された。業務採用や調達判断の根拠としてベンチマーク順位を単独で用いることのリスクが、データを伴って可視化された意義は大きい。評価コミュニティ全体に対し、設定の透明な開示と「フラジリティチェック」の標準化を促す提言として機能する論文だ。
日本企業への示唆
LLMの導入・切り替えを検討する日本企業は、ベンダーやメディアが提示するベンチマーク順位を鵜呑みにせず、①評価設定（採点方式・プロンプト・選択肢順序）が開示されているか、②自社のユースケースに即した独自評価を実施しているかを確認する体制が必要だ。特に複数モデルの比較選定時には、「同一条件」での評価でなければ比較自体が無意味になるリスクがある。調達仕様書や社内評価プロセスにおいて、評価ハーネスの明示を要件化することが現実的な対策となる。
背景・経緯
LLMの多肢選択式ベンチマークにおけるハーネス感度（評価設定の変化によるスコア変動）の問題は以前から指摘されていたが、論文によれば、既存研究は集計スコアの分散として報告するにとどまり、どの問題に分散が集中するか、またその問題がモデル間の順位差を生む問題と一致するかは検討されていなかった。本論文はその未検討領域を「アイテム単位」で解析した点で新しいアプローチをとるとしている。
