30秒サマリー
- LLMが回答を差し控えるべき状況は「誤答リスク」と「質問自体の回答不能性」の2軸に分かれ、従来の単一信頼スコアでは区別できない
- モデルが前提の誤りを内部表現では把握しているのに外部出力に反映しない「盲点」が、モデル規模を拡大しても解消されないことが判明
- 2軸を組み合わせたポリシーにより、正答カバレッジ75%での品質保証が可能となり、単一閾値の31%を大幅に上回った
何が起きたか
arXivに2026年7月9日付で投稿された論文（著者：Benedikt J. Wagner）は、LLMが回答を差し控えるべき状況を「回答の正誤」と「質問の回答可能性」という2つの独立した軸として整理した研究を報告している。対象は3つのモデルファミリーにわたる5種類の命令チューニング済みモデル（パラメータ規模は2Bから14B）。
研究によると、従来広く使われてきた単一の信頼スコアは、モデルが誤った回答をしやすいかどうかを捉えられる一方、質問そのものが回答可能かどうかについてはほぼ感知できないことが示された。逆に、モデルの隠れ状態（hidden states）に対する線形プローブは回答可能性の検出に有効であることも確認された。この「盲点」はモデルの規模を大きくしても縮小しないとしており、特に前提が誤った質問を含む自然発生データセット（CREPE）で顕著であった。
前提の誤りを検出する際、信頼スコアやP(IK)、P(True)、さらにモデルに直接「前提が誤りかどうか」を問う手法はいずれもほぼランダム同水準の性能にとどまったのに対し、隠れ状態プローブはAUROC 0.69〜0.77を達成した。モデルは問題を内部では表現しているにもかかわらず、それを出力に反映しないという構造的な乖離が存在することが示唆されている。
また、モデルに前提を確認するよう指示するアプローチは逆効果であり、正しい前提に対しても57%の頻度で誤った異議を唱えることが確認された。一方、同じ指示をプローブでルーティングすることで異議申し立ての精度を約3倍に向上できるとしている。2軸それぞれに閾値を設けたポリシーは、正答カバレッジ75%の条件下で品質保証が可能であり、単一閾値の31%を大幅に上回った。14Bモデルでは、この2軸ポリシーのみが保証を達成できたと報告されている。
原典ハイライト
「モデルは前提の誤りを隠れ状態として内部表現しているにもかかわらず、それを出力に報告しない。隠れ状態プローブはAUROC 0.69〜0.77を達成したのに対し、既存の信頼スコア手法はすべてほぼランダム水準にとどまった」（論文アブストラクトより要約）
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
LLMの「自己申告型の信頼スコア」だけに頼る現行の信頼性管理手法には構造的な限界があることが示された。特に前提に誤りを含む質問——業務現場では誤解や思い込みを含む問い合わせとして日常的に発生——に対し、モデルが誤情報を自信を持って出力するリスクが、スケールアップだけでは解消されないことが実証研究として示されている点は重要である。
日本企業への示唆
日本企業がLLMを社内業務や顧客対応に導入する際、「モデルが自信を持って答えた内容＝正しい」という前提は危険である。特に規程・法令・製品仕様など前提条件が重要な業務領域では、隠れ状態プローブのような補助機構や2軸の品質ゲートを組み合わせた設計を検討すべき段階に入っている。ベンダー選定やシステム設計の際には、単一の信頼スコア出力だけでなく、「回答可能性の検出機能」を評価項目に加えることが有効とみられる。
背景・経緯
LLMの「ハルシネーション（事実と異なる情報を自信を持って出力する問題）」は、企業導入における主要リスクとして広く認識されている。これまでの対策は主にモデルの信頼スコアや確率的出力の閾値管理が中心だったが、本論文はそのアプローチが回答可能性の次元を見落としていることを実験的に示したものである。原文では研究の査読状況や採択情報については言及がない。
