30秒サマリー
- プロンプトに誤り数の目安を記載するだけでLLMの誤り検出F1スコアが大幅に上昇する「F1インフレ」現象が確認された
- 実際の誤り箇所の特定精度はほぼ改善しないまま、数値指標だけが最大0.79ポイント上昇するケースが判明
- LLM校正・文書レビューの評価には、件数ベース指標だけでなくスパン（位置）単位の指標の併用が推奨される
何が起きたか
Dekun Yangによるプレプリント論文（arXiv:2607.01240、2026年5月3日提出、査読中）は、LLMの誤り検出性能を測る際に広く使われる「件数ベースF1スコア」が、プロンプトの書き方次第で実態を大きく上回る値を示す「F1インフレ」を引き起こすことを実証した。
研究では「ErrorBench」と名付けた評価プロトコルを構築し、CoNLL-2014データセットの143文書から得た4,290件の応答を対象に、6種類の現行LLMを5種類のプロンプト条件で比較した。プロンプトに誤り数の数値的な目安（アンカー）を付与した条件では、CoNLL-2014 M2スタイルのスコアリングでF1インフレが最大0.79ポイント、厳密マッチング条件では最大0.96ポイントに達した。
100文書を対象にERRANT 3.0.0パイプラインと複数参照スコアリングで追試した結果も同様のパターンを再現した。「情報なし（Blind）」から「アンカーあり」へのプロンプト変更により、6モデル平均で件数ベースF1が+0.21上昇した一方、スパン単位のERRANT F0.5は+0.04しか上昇しなかった。モデル別の傾向として、GPT系・Claude系は指示追従性が高く件数回答が増加しやすく、Geminiファミリーはこのストレステスト条件下で件数回答が小さくなる傾向が見られたと論文は述べている。
原典ハイライト
「Blind-to-Anchored」のプロンプト変更で件数ベースF1は平均+0.21上昇するが、実際の誤り位置精度を示すERRANT F0.5の上昇はわずか+0.04。スコアの改善のほとんどが見かけ上のものであることを定量的に示した点が本研究の核心。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
LLMを校正・文書レビューツールとして評価・導入する際、件数ベースF1だけを見ていると、プロンプト設計の差異を「モデルの能力差」と誤認するリスクがある。実用上の精度（どこが誤りかを正しく特定できるか）はほとんど変わっていなくても、指標が大幅に改善したように見えてしまう。評価設計そのものがバイアスの温床になりうることを示した研究として重要。
日本企業への示唆
LLM校正・文書チェックツールをPoC・調達・ベンダー評価する際、提示されるF1スコアがどのプロンプト条件で計測されたかを必ず確認すること。プロンプトに「誤りは○件程度」などの数値目安が含まれていないか精査し、スパン（誤り箇所の位置・範囲）単位の精度指標も合わせて報告させることを契約・評価基準に盛り込むことを編集部は推奨する。特にGPT・Claude系モデルは指示追従性が高くスコアが過大評価されやすい点に注意が必要。
背景・経緯
文書校正や文法誤り訂正（GEC）の分野ではCoNLL-2014やERRANTといった標準的なベンチマークが使われてきた。LLMの高性能化に伴い、これらのベンチマークでの評価も一般化しつつあるが、プロンプト設計がスコアに与える系統的な影響については十分に検討されていなかった。本論文はその空白を埋める研究と位置づけられる。なお本論文は査読前のプレプリントである。
