30秒サマリー
- OpenAIが自動レッドチームモデル「GPT-Red」を開発し、プロンプトインジェクション攻撃への耐性をGPT-5.6で6倍改善した
- GPT-Redは人間のレッドチーマーより高い攻撃成功率(84%対13%)を示し、実際のオフィス自販機システムへの攻撃実証にも成功
- 自己対戦型強化学習でAIが攻撃・防御を繰り返す「安全面の自己改善」という新たなアプローチを採用
何が起きたか
OpenAIは2026年7月15日、自動レッドチームモデル「GPT-Red」の開発と、それを活用したGPT-5.6の堅牢性強化を公式ブログで発表した。GPT-Redはプロンプトインジェクション攻撃の自動生成・反復を行うモデルで、メールや外部ファイル、ウェブページなどに埋め込まれた悪意ある指示を用いてAIシステムの脆弱性を突く攻撃を模擬する。同社はGPT-Redの訓練に大規模ポストトレーニング相当の計算資源を投入したと説明しており、GPT-5.5以前の全内部モデル・本番モデルを突破できる攻撃能力を持つとしている。
GPT-Redは自己対戦型強化学習(セルフプレイRL)で訓練される。攻撃役のGPT-Redと防御役の複数LLMが同時にトレーニングされ、防御側が強化されるほど攻撃側はより高度な手口を開発する仕組みだ。外部ベンチマーク(Dziemian et al., 2025の間接プロンプトインジェクションアリーナ)での比較では、人間のレッドチーマーが攻撃成功率13%にとどまった場面でGPT-Redは84%を達成した。
GPT-Redを用いてGPT-5.6の訓練データを生成・強化した結果、同モデルは直接プロンプトインジェクションの最難関ベンチマークで、4カ月前の最良本番モデルと比べ失敗件数を6分の1に削減したと発表されている。また、OpenAIオフィス内のAI搭載自動販売機(Andon Labs製)を対象とした実証実験では、GPT-Redが価格改ざんなど3つの悪意ある目標を全て達成したとされる。なお、GPT-Red自体は非公開とし、悪意ある第三者の手に渡らないよう管理するとOpenAIは説明している。
原典ハイライト
原文では「GPT-Redは人間のレッドチーマーと比較して攻撃成功率が84%対13%」と明記。また、GPT-5.6はGPT-Redを使った対抗訓練により、4カ月前の最良本番モデル比でプロンプトインジェクション失敗を6分の1に低減したと記載されている。さらに「GPT‑Redは訓練された攻撃能力を製品モデルとは分離して管理する」ことが安全上の重要方針として強調されている。
出典: OpenAI News/Research(公式ブログ)
So What?(なぜ重要か)
AIエージェントがブラウザ・メール・外部ファイルを扱う場面が増えるほど、プロンプトインジェクション攻撃のリスクは拡大する。OpenAIはAI自身に攻撃を生成させて防御力を鍛えるという「安全面の自己改善」サイクルを確立しつつあり、人手によるセキュリティ評価だけでは追いつけない時代が到来しつつあることを示す。今後、同様のアプローチが業界標準になる可能性がある。
日本企業への示唆
日本企業がAIエージェントを業務に導入する際、最大の盲点となるのが「外部データ経由のプロンプトインジェクション」だ。たとえばAIが社内ファイル・メール・外部APIを参照するシステムでは、第三者が意図的に悪意ある指示を埋め込むことで情報漏洩や不正操作が起こりうる。今回の事例はその現実性を実証している。導入前のリスク評価では、AIが参照する外部データソースの統制(ドメイン制限・データ検証など)を必須要件として検討すべきだ。また、ベンダー選定の際には自動レッドチーミングや堅牢性テストの実施有無を確認することが、AI調達における新たなデューデリジェンス項目になりうる。
背景・経緯
プロンプトインジェクションは、AIモデルが処理する外部入力に悪意ある指示を混入させ、本来の動作を乗っ取る攻撃手法。AIのエージェント化が進むほど攻撃面が広がる。OpenAIは従来から人間によるレッドチーミングを安全評価の柱としてきたが、モデル能力の向上に伴い既存ベンチマークが飽和しつつあるとして、自動化・スケール化が必要と判断したと原文は説明している。


