30秒サマリー
- 意味を変えずに質問文を微妙に変えるだけで、最新LLMでも誤回答が大幅増加することが判明
- RAGを使っていても「内在的幻覚」は防げず、GPT-5-miniでは文脈忠実度が最大50%低下
- COLM 2026発表予定の論文で、オープン・クローズド合計10モデル・3データセットで検証
何が起きたか
2026年8月4日、インペリアル・カレッジ・ロンドン等の研究者らによる論文がarXivに投稿された。著者はAtri Vivek Sharma、Brian Formento、Alessio Lomuscioの3名で、COLM 2026での発表が予定されている。
論文の主題は「内在的幻覚（Intrinsic Hallucination）」と呼ばれる現象だ。RAG（検索拡張生成）などの外部知識源を組み合わせてもLLMが取得済みの証拠を無視し、事実と異なる情報を生成してしまう脆弱性を指す。研究チームは、ユーザーの質問文の意味を変えずに表現だけを微妙に変える「意味的同等な敵対的攻撃」を自動生成するフレームワークを提案し、その手法でモデルの堅牢性を評価した。
評価はオープンソース5モデル・クローズドソース5モデルの計10モデルを対象に、3つのデータセットで実施。ホワイトボックス・グレーボックス・ブラックボックスの各攻撃設定を網羅した。結果として、最先端モデルを含む全モデルが意味を保ったまま表現を変えた質問に対して脆弱であることが示され、GPT-5-miniでは文脈忠実度が最大50%低下したと報告されている。論文のコードは公開されている。
原典ハイライト
論文アブストラクトは「最先端モデルでさえ意味を保った表現の揺れに対して高度に脆弱であり、文脈忠実度をGPT-5-miniで最大50%低下させた」と明示。RAGを用いても内在的幻覚は解消されないとし、クエリの表現形式に依存しない頑牢なグラウンディングを実現するアーキテクチャと学習目標の必要性を訴えている。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
RAGの導入はLLMの幻覚対策として広く採用されているが、本研究はその前提に疑問を投じる。ユーザーが同じ意図でも少し異なる言い回しをするだけで、モデルが提供済みの証拠を無視した誤回答を生成するリスクが実証された。これは企業の業務システムや顧客対応AIにおいて、入力文の表現次第で出力品質が大きく変動するという運用上の不確実性を意味する。
日本企業への示唆
LLMを社内ナレッジベース検索や契約書レビュー、顧客対応に活用する日本企業は、RAGを導入しても「正確性が担保された」と過信しないことが重要だ。具体的な対策として、①本番運用前に多様な表現揺れを含むレッドチームテストを実施する、②重要な判断を伴う出力には人間によるレビューを必須とするワークフローを設計する、③ベンダー選定時に敵対的堅牢性の評価結果を開示要求する、といった対応が検討に値する。また調達・法務など誤情報のリスクが高い用途では、モデルの「文脈忠実度」を定量的に継続モニタリングする仕組みの構築が望まれる。
背景・経緯
LLMの幻覚（ハルシネーション）対策として、外部の文書や検索結果をプロンプトに組み込むRAGが広く普及している。一方、RAGが提供する証拠を無視してモデル自身の知識や推論によって誤情報を生成する「内在的幻覚」は従来から指摘されていたが、その脆弱性を体系的に評価するフレームワークは十分に整備されていなかった。本論文はその空白を埋める試みとして位置づけられる。
