公開:2026年11月3日, 最終更新:2026年11月3日
Mehrdad Ghassabiら4名の研究者が2026年10月29日にarXivに投稿した論文によると、RAG(検索拡張生成)システムにおいて、誤情報を含む「毒入り文書」が検索結果の多数を占めると、言語モデルがその誤情報を見抜けなくなる「同調バイアス」が生じることが示された。
30秒サマリー
- RAGで毒入り文書が少数派のとき検出率25%、多数派になると10%に急落(Gemma-3-12b)
- 統計的に有意な同調バイアスが確認され、多数の合意する偽情報に引きずられるリスクが示された
- RAGを業務利用する企業はデータソース汚染への対策が急務と研究者らは示唆
RAGにおける同調バイアスの実験結果
論文では、SciFact データセットからランダムに選んだ200問を用いて実験を行った。コンテキストを「毒入り文書1件+健全文書6件(少数派条件)」と「毒入り文書6件+健全文書1件(多数派条件)」の2パターンに設定し、Gemma-3-12bの誤情報検出能力を比較した。
結果、少数派条件では毒入り文書の検出率が25%(200問中50問)であったのに対し、多数派条件では10%(200問中20問)に低下した。条件間で結果が異なった38問を分析すると、34問が「検出できた→できなかった」に変化し、逆方向の変化はわずか4問にとどまった(正確マクネマー検定、p = 6.04e-7)。
このパターンは、多数の文書が一致して誤情報を支持する状況に対し、モデルが同調するような振る舞いを示していると研究者らは解釈している。論文はこれをRAGベースの誤情報検出における「同調バイアス(conformity bias)」の初期的な証拠と位置付けており、検索された証拠の大半が毒入りであるとき、Gemma-3-12bは毒入りの主張を見抜く確率が大幅に下がると結論付けている。
出典: arXiv cs.CL(論文)
なぜ重要か(編集部の分析)
編集部の見方では、本研究はRAGシステムの「多数決的な信頼」が攻撃面になり得ることを統計的に示した点で重要度が高い。検索結果の大半を偽情報で埋める「データポイズニング攻撃」を受けた場合、モデルが誤情報をそのまま回答に織り込むリスクが実験レベルで裏付けられた。単にLLMの性能を高めるだけでは不十分で、検索ソースの信頼性検証や多数派文書への盲目的な依存を防ぐ仕組みが必要になることを示唆している。
日本企業への示唆(編集部の分析)
編集部の分析として、社内文書・外部ウェブ・データベースを組み合わせてRAGを構築している日本企業は、データソースの品質管理とアクセス権制御を改めて点検すべき段階に入ったといえる。悪意ある内部者や外部攻撃者が検索インデックスに偽情報を大量投入すれば、従業員が信じてしまうリスクが具体化した。短期的には取り込むデータソースの出所審査と異常検知の強化、中期的には「検索結果の多様性スコア」や「ソース別信頼度」を出力に付加するシステム設計の検討が有効な備えとなりうる。
背景・経緯
RAGはLLMに外部知識を検索して与えることで回答精度を高める手法として広く普及しているが、その検索対象に誤情報が混入する「データポイズニング」のリスクは従来から指摘されてきた。本論文は、毒入り文書の「量的な多数派形成」という具体的な攻撃シナリオがモデルの検出能力に与える影響を実験的に定量化した研究として位置付けられる。
RAGにおける同調バイアスについてよくある質問
Q. RAGにおける同調バイアスとはどのような現象か?
A. 本論文では、検索結果の多数を占める毒入り文書が互いに同じ誤情報を支持する場合、言語モデルがその誤情報を見抜けなくなる現象を「同調バイアス」と呼んでいる。Gemma-3-12bを用いた実験では、毒入り文書が少数派のときの検出率25%が、多数派になると10%に低下した。
Q. RAGの同調バイアス実験で使われたデータセットとモデルは何か?
A. SciFact データセットからランダムに選んだ200問と、Gemma-3-12b モデルが使用された。
Q. RAGへのデータポイズニング攻撃で検出率はどの程度変化するか?
A. 本論文の実験では、毒入り文書が少数派(1件)のときの検出率25%(50/200)が、多数派(6件)になると10%(20/200)に低下し、その差は統計的に有意(正確マクネマー検定、p = 6.04e-7)であった。




