30秒サマリー
- LLMをAIエージェントとして展開すると安全性が著しく低下する原因が、ツール仕様のスキーマ形式にあることが研究で判明した
- 研究チームが提案する推論時保護機構「SafeKeep」により、有害リクエストの平均拒否率が23.8%から70.6%へと大幅に改善された
- プロンプトインジェクション攻撃の成功率も25.6%から2.5%へ低減、既存の安全対策も上回る性能を示した
何が起きたか
2026年7月31日にarXivに投稿された論文によると、Pan氏ら5名の研究者が、大規模言語モデル（LLM）をAIエージェントとして展開した際に安全性が著しく低下するメカニズムを特定した。研究では、外部ツールとの連携に使われるスキーマ形式のツール仕様（tool specifications）が、モデル内部の有害リクエスト拒否シグナルを弱め、安全でないツール実行を引き起こす主因であることをホワイトボックス表現分析によって示した。
この知見をもとに研究チームは「SafeKeep」と呼ぶ推論時の安全保護機構を提案した。SafeKeepの核心は、安全性判断とツール実行の処理を分離する点にある。具体的には、安全性の評価にはフラット化されたテキスト形式のツール仕様を用い、実際のツール実行には元のスキーマ形式の仕様を維持するという二段構えの構造を採用する。
2つの代表的なベンチマークと、ホワイトボックス・ブラックボックスを含む4つのLLMを用いた評価では、SafeKeepの導入により有害リクエストへの平均拒否率が23.8%から70.6%へ向上した。また、観測レベルのプロンプトインジェクション攻撃に対する平均攻撃成功率は25.6%から2.5%へと大幅に低減した。論文では、SafeKeepは既存の安全対策を上回る性能を示しつつ、通常タスクの処理能力も維持していると報告している。コードとデータは公開されている。
原典ハイライト
論文の核心は「スキーマ形式のツール仕様がモデル内部の拒否シグナルを弱める」という発見にある。SafeKeepはこの問題に対し、安全判断用と実行用でツール仕様の形式を意図的に分離するというシンプルかつ実効的なアプローチで、有害拒否率を約3倍（23.8%→70.6%）、攻撃成功率を約10分の1（25.6%→2.5%）に改善した。
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
AIエージェントが業務システムやAPIと連携する構成は、LLM単体の利用と比較して質的に異なるセキュリティリスクを生む。安全だと思っていたLLMが、エージェント化しただけで有害リクエストを通してしまう構造的な欠陥が実証されたことは、AIエージェントの本格導入を検討する組織にとって看過できない知見だ。特にプロンプトインジェクション攻撃の成功率が大幅に下がる点は、外部データやユーザー入力を処理するエージェントの実運用において直接的な意味を持つ。
日本企業への示唆
日本企業がAIエージェントを業務システムに組み込む際には、LLM単体での安全性評価だけでは不十分であることをまず認識すべきだ。ツール連携の設計段階から、スキーマ形式仕様の取り扱いを含めた安全設計を盛り込む必要がある。SafeKeepのアプローチは推論時に適用できる点で既存システムへの後付けが比較的容易とみられ、PoC後の本番移行フェーズで導入を検討する価値がある。また、外部APIやデータベースと接続するエージェント構成ではプロンプトインジェクション対策を必須要件として調達・開発仕様に明記することを推奨する。
背景・経緯
LLMに外部ツールを組み合わせたAIエージェントは、単なる対話AIを超えてメール送信・データ検索・コード実行など現実世界に影響を与えるアクションが可能となる。その利便性の反面、安全性の低下が課題として認識されていたが、その根本原因は十分に解明されていなかった。本論文はその原因をツール仕様のフォーマットに特定し、実用的な対策も提示した点で研究上の貢献が大きいとみられる。
