30秒サマリー
- AIコーディングエージェントの強化学習訓練における環境不整合問題を解決するLEGO-RLを研究者グループが提案
- SWE-bench Verifiedで最大約9ポイント超の精度向上を実証、ロールアウト・訓練間の確率相関は0.99以上を維持
- 既存ハーネスの内部制御フローを変更せず適用できる設計で、実用展開への親和性が高い
何が起きたか
2026年8月18日、Yiming Duら12名の研究者グループがarXivに論文「LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents」を公開した。AIコーディングエージェントの強化学習訓練では、ツール統合・リポジトリ管理・実行フィードバックを担う「エージェントハーネス」が長時間稼働するが、このネイティブ実行環境はポリシー勾配学習と構造的に相性が悪いという課題が背景にある。具体的には、環境クラッシュや報酬ハッキングによる学習シグナルの汚染、ロールアウト挙動とポリシー更新の乖離が問題となっている。
LEGO-RLはこの問題に対し、既存ハーネスの内部制御フローを変更せずにポリシー勾配最適化を可能にするフレームワークとして設計された。三つの柱として、（1）プロセス内LLMプロキシによるトークンレベルの忠実な最適化、（2）画像キャッシュや段階的防御を備えたサンドボックスオーケストレーションによる信頼性の高い実行環境、（3）検証・監視の自動化とリアルタイムUIによる学習の可観測性、を挙げている。
評価実験では、スパースMoEモデル「Qwen3.5-35B-A3B」をGSPOアルゴリズムで訓練し、三つのネイティブコーディングエージェントハーネスで検証した。SWE-bench Verifiedにおいて、OpenHands SDKで64.0%から70.4%、Claude Codeで62.4%から68.2%、OpenCodeで57.2%から66.6%へと精度が向上。ロールアウトと訓練間の確率相関は0.99以上を維持したとしている。
原典ハイライト
論文アブストラクトによれば、LEGO-RLはハーネスの内部制御フローを変更することなくスケーラブルなポリシー勾配最適化を実現し、SWE-bench Verifiedにおいて複数の主要コーディングエージェントハーネスで一貫したスコア向上を達成。ロールアウト・訓練間の確率相関0.99超という高い整合性も同時に実現している点が技術的核心として示されている。
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
コーディングAIエージェントの強化学習において、既存の実行環境（ハーネス）をそのまま活用しながら精度を大幅に改善できる手法の提案は、研究から実用への移行コストを下げる可能性を持つ。SWE-bench Verifiedという実際のソフトウェアエンジニアリングタスクを模した評価基準で最大約9ポイントの向上を示しており、開発自動化の実用水準引き上げに向けた技術的進展とみられる。なお本研究はarXiv掲載の段階であり、査読を経た成果ではない点に留意が必要。
日本企業への示唆
日本企業がAIコーディングエージェントの内製活用や外部ツール導入を検討する際、強化学習による継続的な精度改善が既存開発環境を大きく改変せずに実施できるかどうかは、導入・運用コストに直結する論点となる。LEGO-RLが示すアーキテクチャ設計（ハーネス非侵襲・サンドボックス分離・可観測性確保）は、エンタープライズ環境での安全な強化学習適用を検討する際の参照モデルとして注目に値する。自社の開発支援AI高度化を検討するIT部門・技術戦略部門は、本論文の手法と評価結果を精査しておくことが推奨される。
背景・経緯
AIコーディングエージェントはOpenHands、Claude Code、OpenCodeなど複数のハーネスが存在し、強化学習による性能向上の研究が進んでいる。しかし、長時間稼働するハーネス環境と強化学習の訓練ループの間の技術的ミスマッチが課題として認識されており、本論文はその解決を試みるものである。論文著者の所属機関については原文に明記されていない。
