30秒サマリー
- プロンプトの「包み方（ラッパー）」の書式が異なるだけでモデルの評価スコアが大幅に変動し、リーダーボードの順位が逆転し得ることが判明
- 14万件の生成データを分析した結果、モデル間でFSI（書式感度指数）の平均値が最大30倍以上異なることが示された
- 精度スコアを書式ばらつきや出力パース可否なしで報告することは統計的に不確かであると論文は指摘する
何が起きたか
arXivに掲載された論文（著者：Deep Pankajbhai Mehta、2026年5月提出）は、LLMのベンチマーク評価における「プロンプトラッパー」の書式感度を定量化する二つの新指標を提案した。一つは書式の選択によって生じる正解率の幅を表す「FSI（Format Sensitivity Index）」、もう一つは回答のパース可能性の幅を表す「PSI（Parseability Sensitivity Index）」である。
研究では、OpenRouterを通じて7つのQAタスク、5種類のラッパーファミリー、パラメータ規模が7Bから72Bの4つの指示チューニング済みモデルを対象に、合計14万件の生成結果を収集・分析した。その結果、モデル間のFSI平均値は30倍以上の開きがあり、その差異の多くは出力フォーマットへのコンプライアンス（準拠）の失敗によって説明できることが示された。
さらに、タスク・モデル・ラッパーを制御変数とした固定効果回帰分析において、出力のパース可能性が正解率の強力な予測因子であり続けることが確認された。論文はベンチマーク報告および構造化出力の実運用向けに実践的な推奨事項を提示している。
原典ハイライト
「プロンプトラッパーは書式のみが異なるにもかかわらず、リーダーボードの結論を覆すほどモデルスコアを変動させ得る」——書式ばらつきとコンプライアンスを開示せずに精度のみを報告することは統計的に脆弱であると論文は結論付けている。
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
LLMの「性能」はプロンプトの書式設計に強く依存しており、ベンチマーク比較やモデル選定の信頼性が根本から問われる。同じモデルでも、指示の包み方一つで精度が大きく変化するため、社内評価・PoC・ベンダー比較の結果が実態を反映していない可能性がある。特に構造化出力（JSON等）を前提とするシステムでは、出力パース失敗がサイレントな品質低下を招くリスクが高い。
日本企業への示唆
LLMを業務システムに組み込む日本企業は、ベンダーが提示するベンチマーク数値をそのまま採用基準にしないことが重要。自社ユースケースに即したプロンプト書式で独自評価を行い、同一タスクを複数の書式バリエーションでテストして精度のばらつき幅を把握すべき。また、JSON等の構造化出力を要件とするシステムでは、パース成功率を精度と並ぶ主要KPIとして設定し、本番運用前に計測する体制を整えることが望ましい。
背景・経緯
LLMの能力比較にはベンチマークが広く用いられているが、評価設定の違いによってスコアが変動する問題は研究コミュニティで長年議論されてきた。本論文はその中でも「プロンプトの書式」という比較的見落とされがちな変数に焦点を当て、大規模実験によって定量的に問題を示した点に特徴がある。原文には先行研究との詳細な比較は記載されていない。
