30秒サマリー
- RAGシステムの外部コーパスに悪意ある文書を混入させる「知識ポイズニング」攻撃を検出する新手法が提案された
- 信頼済みコーパスや攻撃ラベル不要で、攻撃成功率を67.4%から14.0%まで低減できると論文は報告している
- クエリ時・コーパス取り込み時の二段階防御を組み合わせることで実用的な保護を実現するとしている
何が起きたか
Xinlong XuらはarXivに投稿した論文（2026年8月13日受理）で、RAG（検索拡張生成）システムを標的とした知識ポイズニング攻撃を検出するフレームワーク「RAGSieve」を提案した。RAGは外部コーパスを推論の根拠として参照する仕組みであるため、攻撃者が意図的に作成した文書をコーパスに混入させることで、LLMに誤った回答を生成させるリスクがある。
RAGSieveは、外部の信頼済みコーパスや攻撃固有のシグナル、グローバルな閾値設定を必要とせず、検査対象システム自身から参照基準を構築する「自己参照型」の設計が特徴とされている。構成要素は二つある。クエリ単位で動作する「RSQ（RAGSieve-Query）」は、検索上位5件とランク6〜20位の文書群を対比し、回答の集中度や文書の性質変化を検出する。コーパス単位で動作する「RSG（RAGSieve-Graph）」は、クエリが来る前の段階で、各文書の意味的近傍と語彙的に異なる近傍を比較し、組織的な文書密度の偏りを検出する。
論文によれば、3つのQAデータセットと6種類のポイズニング手法を用いた評価で、RSQはAUROC 95.2%を達成し、クリーン文書の5%除去という条件下でポイズン文書の82.2%を検出した（比較手法GMTPは81.1%/52.5%）。RSGはAUROC 93.3%・検出率79.8%（比較手法CleanBaseは79.4%/37.6%）を達成。両手法を組み合わせると、攻撃成功率を67.4%から14.0%に低減しつつ、正常なRAG応答のF1スコアを41.3%維持したとされる。ソースコードは公開されているとのことで、論文ではクリプトグラフィ・セキュリティ（cs.CR）や情報検索（cs.IR）分野にもクロスリストされている。
原典ハイライト
論文のアブストラクトは「ポイズンラベルも信頼済みコーパスも不要で、コーパス取り込み時とクエリ時の両段階で実用的な保護を実現した」と主張。攻撃成功率を67.4%→14.0%に抑えた実験結果を示している。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
RAGは社内文書・顧客情報などの機密コーパスと組み合わせて使われることが多く、外部からの文書混入や内部の不正追加によって回答が誘導されるリスクは現実的な脅威として認識されつつある。本論文が提案する手法は、外部の「正解コーパス」を用意しなくても自律的に異常を検知できる点が実用上の利点であり、企業内RAG基盤のセキュリティ設計に新たな選択肢を提示している。ただし本論文は学術プレプリント段階であり、実環境での有効性は今後の検証を要する。
日本企業への示唆
社内RAGを構築・運用する日本企業にとって、知識ポイズニングは「社内文書の改ざん」「第三者コンテンツの混入」「内部不正」などのシナリオに直結するリスクである。RAGSieveのアプローチは既存の参照データベースや攻撃ラベルを必要としないため、自社専用コーパスを持つ企業でも導入障壁が低い可能性がある。情報システム部門・セキュリティ担当者は、RAGパイプラインの設計段階から「コーパス取り込み時の異常検知」と「クエリ時の異常検知」の二重チェックを組み込む構成を検討する価値があるとみられる。まず自社RAGの文書管理フローにおける汚染経路を棚卸しし、本論文の公開コードを試験的に評価することが現実的な第一歩となろう。
背景・経緯
RAGは大規模言語モデルに外部知識ソースを組み合わせる手法として普及が進んでいる。一方でコーパスへの悪意ある文書混入（知識ポイズニング）によりモデルの出力を操作する攻撃も研究されてきた。本論文は既存検出手法（GMTP、CleanBaseなど）を比較対象として挙げており、この分野の先行研究が複数存在することを示唆しているが、各手法の詳細や登場時期について原文では言及がない。
