30秒サマリー
- コード生成AIに実行速度まで学習させる強化学習手法「RLPF」をarXivが公開
- Qwen3-32BへのRLPF適用で、正常稼働率が11.1%から54.6%へ大幅改善
- テスト通過だけでなく実行効率を最適化するAIエージェント実現へ前進
何が起きたか
香港科技大学らの研究チームは2026年7月29日、コード生成AIに実行速度を意識させる強化学習手法「RLPF（Reinforcement Learning from Performance Feedback）」を提案するarXiv論文を公開した。
従来のコード生成モデルは「テストに合格するか否か」という正確性のみを学習シグナルとして使うことが多い。しかし同じテストを通過する2つのプログラムでも、実行時間が大きく異なるケースがある。RLPFはこの課題に対し、段階的な報酬設計を導入する。コンパイル失敗などで実行できないプログラムには「実行の進捗度」に基づく報酬を与え、正常に動くプログラムにはベースラインから専門家参照実装への相対的な効率改善度を報酬として付与する仕組みだ。
Qwen3-32Bモデルにこの手法でファインチューニングを行ったところ、ベンチマーク「PerfCodeBench」において正常稼働するコードの割合が11.1%から54.6%に向上し、相対的な実行効率も8.1%から38.6%へ改善したと論文は報告している。また最適化の効果はベンチマーク「EffiBench-X」にも一定程度転移したとしている。追加分析では、モデル自身が生成した参照コードも教師信号として活用できるが、人間専門家の参照コードより効果は弱いことも示された。
原典ハイライト
論文アブストラクトは「コードエージェントはテストを通過するだけでなく、書いたプログラムを最適化するよう訓練できる」と結論づけている。実行時間という「壊れやすい報酬（fragile reward）」を段階的に扱うことで、正確性と効率性を同時に学習可能にした点が核心だ。
出典: arXiv cs.LG（論文）
So What?（なぜ重要か）
これまでのコード生成AIは「バグなく動く」ことへの最適化にとどまっていたが、RLPFは「速く動く」という運用品質まで学習対象を拡張した。システム開発・インフラ領域でAIが生成するコードの実用性が一段階高まる可能性があり、AI支援開発ツールの品質評価軸が「正確性」から「効率性」を含む多次元評価へ移行する転換点になりうる。
日本企業への示唆
日本のシステムインテグレーターやSaaSベンダーがGitHub CopilotなどAIコーディング支援を本番環境に採用する際、今後はレイテンシやCPU/メモリ効率も含めたコード品質評価が求められるようになる可能性がある。調達・評価基準を「テスト通過率」だけでなく「実行効率スコア」で比較できる仕組みを社内に整備しておくことが有用とみられる。また、PerfCodeBenchやEffiBench-Xといったベンチマーク動向を継続的に追うことで、導入ツールの優劣判断精度を高められる。
背景・経緯
コード生成LLMの強化学習では、実行結果（コンパイル成功・テスト合格）をフィードバックとする手法が主流だった。しかし実行速度は同一テストを通過するコード間でも差異が大きく、かつプログラムが正常動作する前には計測できないという難しさがあった。RLPFはこの「実行時間を報酬に使う難しさ」を段階的な報酬設計で克服しようとするアプローチを取る。
