30秒サマリー
- AWSがAmazon Nova Forgeを使ったマルチターン強化学習の報酬関数設計を公式ブログで解説
- 「コーディング前に質問させる」行動を4要素の複合報酬で訓練する実例をコードとともに公開
- 報酬コンポーネントが学習信号をゼロにする典型的な落とし穴と検出方法も提示
何が起きたか
AWSは、Amazon Nova Forgeを用いたマルチターン強化ファインチューニング（RFT）における報酬関数の設計方法を、公式のAWS Machine Learning Blogで詳説した。本記事はSageMaker HyperPodとNova Forgeのインフラ構成を扱った第1部の続編であり、報酬関数の実装に焦点を当てている。
Nova ForgeのマルチターンRFTは「Bring Your Own Orchestration（BYOO）」機能を通じて、ユーザーが用意したAmazon ECSなどの環境コンテナ内で報酬ロジックを実行する仕組みを採用している。最適化アルゴリズムにはGRPO（Group Relative Policy Optimization）を使用し、同一プロンプトに対してK個のモデル出力をサンプリングして相対的なスコアで優劣を評価する。なお、環境管理を不要とするサーバーレスのマルチターンRFTオプションも一般提供（GA）済みであることが原文に明記されている。
ブログでは「コーディング前に質問させる」という行動目標を持つ実験を例示している。Amazon Nova Lite 2.0を500件のプログラミングタスクで訓練した事例では、報酬を「正答率（重み1.0）」「コーディング前に質問したか（重み0.6）」「即座にコードを推測したペナルティ（重み0.4、ペナルティ値−1.0）」「ループペナルティ（重み0.2、ペナルティ値−0.5）」の4要素の加重和として設計した。行動報酬を正答率に条件付けしない（アンゲート）設計と、失敗モードへの明示的ペナルティが、GRPOが勾配を得るために必要な「グループ内の分散」を生み出す点を強調している。
また、強化学習中にモデルが生成するコードを報酬評価時に実行する際の安全対策として、認証情報やネットワークを生成コードに露出しないこと、リソース制限の適用、ランダムなセンチネル値によるスコア偽造防止なども取り上げられている。
原典ハイライト
「報酬信号は、グループ内の変動を通じてのみ学習に影響する。あるコンポーネントがグループ内のすべての出力で同じ値を返す場合、アドバンテージにも勾配にも一切寄与しない」──原文はこの点を、最も重みの大きいコンポーネントが実際の訓練では学習信号をまったく出していなかった実際の失敗事例とともに警告として提示している。
出典: AWS Machine Learning Blog（公式ブログ）
So What?（なぜ重要か）
編集部の分析として：エージェント型AIの性能は、モデルアーキテクチャよりも報酬関数の設計品質に大きく左右されることが改めて示された。GRPOでは「グループ内に分散がなければ勾配がゼロになる」という制約があるため、一見問題なさそうな学習曲線の裏で特定の報酬コンポーネントが完全に無効化されているリスクがある。複合報酬の各要素を独立にモニタリングする設計が、実用上の必須要件となる。
日本企業への示唆
編集部の分析として：LLMを業務フローに組み込むエージェント開発を検討する日本企業にとって、強化学習の報酬設計は「どんな行動を最終的に獲得したいか」を数値化するエンジニアリング工程として位置づける必要がある。とくに（1）単一スカラー報酬への依存回避、（2）行動報酬と結果報酬の非条件付け設計、（3）ペナルティによる失敗モードの明示的分離、（4）各報酬コンポーネントの学習寄与をリアルタイムで計測する仕組みの実装──の4点は、AWS環境に限らず強化学習ベースのエージェント構築全般に適用できる設計原則として参照価値が高い。AWSのサンプルリポジトリ（aws-samples/sample-nova-multi-turn-rl-infra）が公開されているため、CDKベースのインフラを評価環境として活用できる。
背景・経緯
Amazon Nova ForgeはAmazon Nova系モデルのカスタマイズ基盤として提供されており、監督ファインチューニング（SFT）のほか強化ファインチューニング（RFT）をサポートする。本ブログは第1部（SageMaker HyperPodとNova Forgeのインフラ構成）の続編として位置づけられており、マルチターンRL特有の報酬設計課題を実装レベルで掘り下げた内容となっている。原文では、SFTがOOD（分布外）タスクで性能を低下させる一方、RLがOOD汎化を改善するという研究（Chu et al., 2025）の図も引用されている。
