30秒サマリー
- AWSが生成AIの過剰な安全拒否を最大54ポイント削減する新技術「rDPO」を公開
- セキュリティ企業や法務チームなど業務上の正当なリクエストをAIが拒否する課題を解消
- モデルの汎用性能はほぼ維持（低下幅2ポイント未満）しつつ柔軟な安全設定を実現
何が起きたか
AWSは公式ブログにて、Amazon Novaモデルに実装した「Customizable Content Moderation Settings（CCMS）」の技術的な詳細を公開した。CCMSは、安全性・センシティブコンテンツ・公平性・セキュリティの4分野について、承認済み顧客が安全ガードの設定を選択的に調整できる仕組みだ。なお、児童保護やプライバシー保護など変更不可の基本ガードは引き続き維持される。
この仕組みの核心技術が、AWSが独自開発した「Reverse Direct Preference Optimization（rDPO）」だ。従来の手法であるNPO（Negative Preference Optimization）が「忘れさせること」のみに特化していたのに対し、rDPOは「忘れさせる」と「質の高い応答に誘導する」を同時に一つの学習シグナルで達成する。学習収束も早く、ステップ数でNPOを大きく上回る効率を示したと原文は説明している。
実装にはLoRA（Low-Rank Adaptation）アダプターを採用。ベースモデルの重みを変更せず、アダプターのみを顧客アカウントに配布する形をとる。評価結果によれば、カスタマイズ後のモデルはRAI各分野の拒否率を最大54ポイント削減（安全分野：86.51%→32.77%）し、一方で指示追従・数学・コード生成の各ベンチマークの性能低下は2ポイント未満に抑えられた。APIのエンドポイントを変更するだけで利用可能で、追加のコード変更は不要だとしている。
原典ハイライト
原文における最重要データは拒否率の変化で、安全カテゴリが86.51%から32.77%へ約54ポイント減少。同時に汎用性能（指示追従94.12%→92.57%、数学86.40%→85.20%、コード生成74.80%→73%）の低下は軽微にとどまる。またrDPOの学習精度がステップ30前後で1に近づく一方、NPOはほぼ改善しない学習ダイナミクスが示されており、技術的優位性の根拠となっている。
出典: AWS Machine Learning Blog（公式ブログ）
So What?（なぜ重要か）
生成AIの「過剰拒否」は企業導入の大きな障壁の一つだった。セキュリティ演習・法律・医療・成人向けメディアなど、業務上必要なコンテンツをAIが拒否するケースでは、プロンプトエンジニアリングでは解決できず、モデルレベルの改変が必要だった。CCMSとrDPOはこの課題をベースモデルを変えずにアダプター単位で解決する枠組みを提示しており、企業が業種特有の要件に応じてAI安全設定をカスタマイズできる現実的な道筋を示した点で意義が大きい。
日本企業への示唆
日本企業にとって特に注目すべきは、法務・セキュリティ・医療・エンターテインメントの各分野だ。たとえばSOC（セキュリティオペレーションセンター）でのフィッシングメール模擬生成や、製薬会社における副作用情報の詳細処理など、デフォルト設定では拒否されがちなユースケースが正規のプロセスで使えるようになる可能性がある。ただしCCMSは「承認済み顧客」向けであり、AWSアカウントチームへの申請が必要と原文は明記している。導入を検討する企業は、まず自社のユースケースが4つのRAIピラーのどれに該当するかを整理したうえで、AWS側との事前協議を進めることが現実的な第一歩となる。また、アプリケーション層の追加制御としてAmazon Bedrock Guardrailsとの併用も推奨されており、多層防御の設計思想は日本企業のコンプライアンス要件とも親和性が高い。
背景・経緯
生成AIモデルはRLHFやDPOといった事後アライメント（Post-training Alignment）により安全性を学習するが、この仕組みが業務上の正当なリクエストまで拒否する「過剰拒否（Over-deflection）」を生む副作用を持つ。プロンプトエンジニアリングではモデルのパラメーター自体に刻まれた回避傾向を変えられないため、アンラーニング（学習の選択的消去）という研究領域が注目されてきた。AWSは今回、この技術をAmazon Novaに実用レベルで実装し、商用サービスとして提供する段階に達したことを示した。
