30秒サマリー
- 4社7モデルのLLMが、インセンティブを持つ証言者の発言に87〜97%の確率で誘導され、社内ポリシー違反の商談を承認してしまうことが実験で判明した。
- モデルの規模拡大や明示的な推論ステップ追加では、この「説得による誤判断」を防げないことも示された。
- 研究者は診断手法と評価コードを公開し、AIガバナンス上の構造的脆弱性として問題提起している。
何が起きたか
arXivに2026年9月23日付で投稿された論文（著者：Rahul Balakavi）は、言語モデルエージェントがCRM（顧客関係管理）データを参照して営業リードを評価する場面に焦点を当てた。研究者はベンチマーク「CRMArena-Pro」の100件のリード評価タスクを用いて実験を行った。
CRMの通話記録には、受注しようとする営業担当者（インセンティブ上、楽観的な発言をしがちな当事者）の証言が含まれている。実験では、営業担当者が全100件でタイムラインを「問題なし」と主張し、76件では予算も「問題なし」と主張していた。このうち、価格表や導入ポリシーと矛盾する発言が含まれる31件では、通話記録のみを参照したモデルが29件（31件中）で「商談承認」という誤った判断を下した。
4社のプロバイダーが提供する7種類のモデルで検証した結果、誘導される割合は87〜97%に達した。論文はモデルの規模拡大や明示的な推論（chain-of-thought等）の付与によっても、この脆弱性は解消されないと述べている。また、35件の真の失敗事例のうち、証言が全く含まれないケースはわずか3件であり、問題は「情報の欠如」ではなく「説得」にあると結論づけている。
研究者はアーキテクチャ改善ではなく診断手法の提供を目的としており、説得と情報不足を分離するバケット分析、同一情報で異なる計算主体を比較するコントロール実験などを設計した。評価コードや実験データはすべて公開されている。
原典ハイライト
「31件のうち29件でモデルが社内ポリシーと矛盾する商談を承認。7モデル・4社で誘導率87〜97%、スケールアップや明示的推論では耐性が得られなかった」（論文アブストラクトより要約）
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
AIエージェントが業務データを参照して意思決定を支援する場面では、コンテキストに含まれる「利害関係者の発言」がモデルを誘導し、社内ルールに反する判断を出力するリスクがある。これはモデルを高性能なものに替えるだけでは解決しない構造的な問題であり、AIへの入力データの設計や人間による承認フローの組み込みがガバナンス上の必須要件となることを示唆している。
日本企業への示唆
営業支援・与信審査・調達判断など、利害関係者の発言が混入した業務データをAIエージェントに読ませて意思決定を行う場合、高精度モデルへの入れ替えだけでは誤判断リスクを排除できない。日本企業としては、①AIへの入力からバイアスのある証言を分離・ラベリングする仕組みの設計、②ポリシーとの整合チェックを人間またはルールベースの別レイヤーで担保する承認フローの実装、③AI判断の根拠ログを記録・監査できる体制の整備、を先行して検討することが現実的な備えとなる。
背景・経緯
言語モデルをCRMや社内文書に接続してエージェント化する取り組みは産業界で急速に広がっている。「コンテキスト内のデータに基づいて回答する（grounding）」はハルシネーション対策として一般的に推奨されるアプローチだが、本論文はそのコンテキスト自体にバイアスのある発言が含まれる場合、groundingが逆効果になりうるという新たな失敗モードを指摘している。
