30秒サマリー
- エージェント型RAGの障害を証拠・ツール・認可・セッションの4層で分類する評価基準が公開された
- スキーマ正規化は一部の障害を解消するが、古い証拠や権限エラーには効果がないことが実証された
- OpenAI・Anthropic・Geminiの9モデルを対象に8業種・240タスクで大規模検証を実施
何が起きたか
独立研究者のMusa Shams氏は2026年7月29日、arXivにエージェント型RAG（検索拡張生成）システムの信頼性を多層的に評価するベンチマーク「LayerRAG-Bench」を発表した。同ベンチマークは8つのエンタープライズ領域、240タスク、9種類の障害シナリオを設定し、OpenAI・Anthropic・Geminiの計9モデルを対象に3万8,880件のタスクレベル記録を収集している。
検証の結果、スキーマ正規化という手法を適用した場合、スキーマずれ（schema-drift）に起因する成功率が0.000から0.913へと劇的に向上することが確認された。一方、古い証拠データ（stale evidence）、ツール出力の欠損、権限拒否、セッション誤認の4種類の障害に対しては、同じスキーマ正規化が有効ではないことも示された。
さらに、回答が情報源に根拠を置いているかどうかだけを評価する「根拠性のみの評価（groundedness-only evaluation）」は、古い証拠や誤ったセッション証拠が存在する状況で偽陽性を大量に生む問題も明らかになった。論文は「ある層に対する信頼性介入は、その対象層の修復のみに評価を帰属させるべきであり、万能の解決策と混同されるべきではない」という層別評価の原則を提唱している。
原典ハイライト
スキーマ正規化により特定の障害は成功率0.000→0.913に改善する一方、古い証拠・権限拒否・セッション誤認は同手法で回復しない。根拠性のみの評価指標は偽陽性を大量発生させることが実証された。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
エージェント型RAGは表面上「根拠のある回答」を返しながら、証拠の鮮度・ツール連携・アクセス権・セッション管理といった別の層で静かに失敗しうる。単一の評価指標や単一の改善施策を「万能」と見なすことが、誤った安心感と導入リスクの見逃しにつながる。
日本企業への示唆
社内文書検索や業務自動化でRAGを導入・評価する日本企業は、「回答が社内文書に基づいているか」だけを確認する現行の品質管理では不十分なリスクがある。本研究が示す層別評価の考え方を参考に、①証拠データの鮮度管理、②外部ツール呼び出し時の契約・出力検証、③アクセス権制御の動作確認、④セッション管理の正確性という4つの評価軸を独立して設けることが望ましい。ベンダー選定やPoC評価のチェックリストに組み込む実践的な指針となりうる。
背景・経緯
RAGはLLMに社内文書や外部データベースの検索結果を組み合わせて回答を生成する技術として企業導入が加速している。エージェント型RAGはさらにツール呼び出しや複数ステップの推論を自律的に行うため、障害の発生箇所が従来より多層にわたる。既存の評価手法は回答の根拠性（groundedness）を中心としたものが主流だったが、本論文はその限界を実証的に示した初期の体系的研究の一つとみられる。
