公開：2026年10月27日, 最終更新：2026年10月27日
William Jeffriesは2026年10月23日、AIエージェントシステムにおいてツールの出力テキストを整形する「フォーマッタ」の記述不備が、エージェントだけでなく検証AIをも誤った判断に誘導するという研究をarXivに投稿した。ニューヨークのピウスツキ研究所で実稼働していたRAGシステムでの実例を含め、フォーマッタの文言修正のみで検証AIの合否判定が劇的に変化することを実験で示している。
30秒サマリー
- ツールの計算は正しくても、出力テキストの記述不備だけでエージェントと検証AIが誤答を受け入れてしまう
- フォーマッタ修正前は検証AIが90回中90回誤答を受理、修正後は90回中90回拒否——文言変更だけでこれだけ変わる
- オープンソースの著名エージェントシステム「OpenClaw」「Hermes」でも同種の問題を発見、OpenClawへの修正PRは既にマージ済み
Warped Formattersが引き起こす検証失敗の実験結果と実例
William Jeffriesの論文は、AIエージェントシステムにおいてツールが出力するテキストの「フォーマッタ」が不完全な情報しか伝えない場合、ツール自体の計算が正しくても、エージェントが誤った回答を生成し、検証AIがそれを誤って承認するという連鎖的な問題を報告している。論文では「Warped Formatters（歪んだフォーマッタ）」と呼ばれるこの問題を、ニューヨークのピウスツキ研究所が実運用していたRAG調査システムで実際に確認したと述べている。具体的には、検索上限・結果件数の上限・識別子の名前空間といった情報がツール出力から省略されており、エージェントがユーザーに不正確または不完全な情報を提供していたとしている。
研究チームは、問題のある記述不備版と、欠落情報を明示した修正版の2種類のフォーマッタを用意し、同じツール結果をエージェントに与えて応答を比較した。その結果、4種の失敗類型のうち3種で「根拠のないエージェント主張」が大幅に減少した。なかでも顕著なケースでは、検証AIが誤答を受理する回数が90回中90回から0回（拒否90回中90回）に転じたと報告している。また、欠落していた事実を与えたうえで正誤を判断させる制御実験では、検証AIは誤りを正しく検出できており、問題がフォーマッタ側の情報欠落にあることが裏付けられたとしている。
論文はさらに、CodexおよびClaude Codeを用いた監査プロンプトの実践例を紹介している。自システムの欠陥を事前に把握した状態でこのプロンプトを旧バージョンに適用したところ、既知の欠陥を再発見したほか、未カタログの欠陥を12件新たに発見したという。同プロンプトをオープンソースの著名エージェントシステム「OpenClaw」と「Hermes」に適用したところ、両方でWarped Formattersが見つかった。OpenClawへの修正プルリクエストは既にマージされたと原文は述べている。本論文はNeurIPS 2026の「Who Verifies the Agents?」ワークショップにポスターとして採択されている（非アーカイブ形式）。
出典: arXiv cs.AI（論文）
なぜ重要か（編集部の分析）
編集部の見方として、この研究が示す本質的な問題は「ツールが正しく動作していても安全とは言えない」という点にある。エージェントAIの信頼性評価において、従来はモデルの推論能力や検索精度に注目が集まりがちだったが、ツールとエージェントをつなぐ出力フォーマッタという「中間層」が検証機構ごと無効化しうることを実例で示した意義は大きい。検証AIを導入しているからといって誤答が防げるという前提が崩れる可能性があり、AIシステムの品質保証の考え方を根本から見直す契機となりうる。
日本企業への示唆（編集部の分析）
編集部の分析として、RAGシステムやエージェント型AIを業務に導入している日本企業にとって、今後の実装・運用レビューにおいてツール出力フォーマッタの記述内容を明示的な監査対象に加えることが急務とみられる。特に、社内システムや外部ベンダーが提供するエージェント基盤においてフォーマッタの仕様書や出力テンプレートが整備されているか確認し、「ツールが正しく動いている＝出力情報が完全」という思い込みを排除する必要がある。論文が公開している監査プロンプトは、既存システムへの即日適用が可能とされており、自社エージェント基盤の点検ツールとして活用を検討する価値がある。
背景・経緯
AIエージェントは複数のツール（検索・計算・データ取得など）を組み合わせて複雑なタスクを実行し、その結果を別のAI（検証AI）が評価する構成が普及しつつある。ツールの出力テキストはエージェントの判断根拠となるが、その整形処理（フォーマッタ）が正確な情報を伝えているかどうかは、これまで体系的に検証されることが少なかった。本論文はその盲点を実運用事例と実験によって示したものとして位置付けられる。
Warped Formattersについてよくある質問
Q. Warped Formattersとは何か、どのような問題を引き起こすのか？
A. Warped Formattersとは、AIエージェントシステムにおいてツールの出力テキストを整形する処理が、検索上限や結果件数の上限、識別子の名前空間といった重要情報を省略してしまう状態を指す。ツール自体の計算は正しくても、出力テキストの不備によってエージェントが誤った回答を生成し、検証AIもそれを誤って承認してしまうという連鎖的な誤作動を引き起こす。
Q. Warped Formattersの問題は実際のシステムで確認されたのか？
A. 論文によれば、ニューヨークのピウスツキ研究所が実運用していたRAG調査システムで実際に確認されたほか、オープンソースの著名エージェントシステムであるOpenClawとHermesの両方でも同種の問題が発見された。OpenClawへの修正プルリクエストは既にマージされたと原文は述べている。
Q. Warped Formattersの検出に使われた監査プロンプトはどのツールで動作するのか？
A. 論文ではCodexおよびClaude Codeを用いた監査プロンプトの実践例が紹介されており、論文著者は実務者が自社システムに対して同プロンプトを即日適用できると述べている。
