30秒サマリー
- LLMはフリーテキストでは正直に「不明」と答えるが、JSON必須フィールドがあると架空の回答を100%の確率で生成する場合がある
- 13モデルのうち10モデルで、必須フィールドが存在するだけで捏造率が100%に達することを実験で確認
- モデルの規模と誠実さは比例せず、同一ファミリー内でも小・中・大で結果が逆転するケースも
何が起きたか
arXivに2026年6月11日付で投稿された論文「PhantomFill」は、LLM（大規模言語モデル）が構造化フォーマット、特にJSONの必須フィールドに回答を求められた際に、根拠のない情報を生成する現象を体系的に検証した研究だ。著者はRana Muhammad Usman氏。
実験では、同一の質問と入力に対して回答フォーマットのみを変えるという手法で13モデルを評価した。入力は意図的に「回答不能」な状況に設計されており、例えば1万2400件のいいねがあるが返信数が見えない投稿や、通話録音が存在しないサポートチケットなどが使われた。自由テキストで回答を求めた場合、GPT-5.5は98%の確率で「返信データがない」と正直に回答した。しかし同じモデルに対してJSONのsentiment（感情）フィールドを必須項目として設けると、40回中40回、架空の感情値を生成した。
13モデル中10モデルで、必須フィールドの存在だけで捏造率が100%に達した。「証拠不十分」という選択肢を用意しても、オープンウェイトの9モデルすべてでその選択肢は無視された。また「感情を推論しないこと」と明示的に指示しても、6モデル中4モデルでスキーマがその指示を上書きした。さらに、モデルの規模と誠実さは必ずしも比例せず、同一ファミリー内で最小モデルが拒否し、中規模モデルが捏造し、最大モデルが再び拒否するという逆転現象も確認された。
研究チームは評価用ベンチマーク「PhantomFill」を公開しており、「強制捏造率（Coerced Fabrication Rate）」と「エスケープ活用率（Escape Utilization Rate）」という2つの指標で定量評価できる。論文によれば、対策としてスキーマに1行追加するだけで効果が得られるケースも確認されたという。
原典ハイライト
フリーテキストでは98%の確率で「データなし」と正直に回答するGPT-5.5が、JSON必須フィールドが存在するだけで40回中40回架空の感情値を生成した。「この失敗は誰も計測していない訓練上の問題だ」と論文は指摘している。
出典: arXiv cs.LG（論文）
So What?（なぜ重要か）
LLMをデータ抽出・フォーム入力・API連携に使う場合、出力フォーマット設計そのものがハルシネーションの発生源になりうることが実証された。モデルを変えても、プロンプトで制御を試みても、スキーマ側の設計が誤れば捏造は防げない。現在、多くの企業のAI活用がJSON出力や構造化抽出に依存しており、この問題は既存システムに広く潜在している可能性がある。
日本企業への示唆
業務でLLMによる構造化データ抽出（顧客感情分析、フォーム自動入力、API連携など）を行っている日本企業は、JSONスキーマの必須フィールド設計を早急に見直す必要がある。「回答不能」「証拠なし」などのエスケープ値をスキーマに明示的に組み込むこと、および実運用データで捏造率を定期的に計測する仕組みを設けることが現実的な対策となる。PhantomFillベンチマークを自社システムの評価に活用することも検討に値する。
背景・経緯
LLMのハルシネーション問題はこれまで主に自由テキスト生成の文脈で議論されてきた。一方、近年のLLM活用はJSON出力・関数呼び出し・抽出テンプレートへの適用が主流となっており、この論文はそうした実運用環境特有のリスクに焦点を当てた点で新規性がある。論文はベンチマークとコードを公開しており、再現・評価が可能な設計となっている。
