公開:2026年11月5日, 最終更新:2026年11月5日
NVIDIAは2026年11月4日、公式技術ブログにて、AIエージェントの運用障害をテストケースと改善サイクルに転換するワークフローを解説した。NeMo Compass・NeMo Eval Author・NeMo Relayの3ライブラリを組み合わせた「NemoClaw」ブループリントを用い、エージェントトレースから問題を特定して評価を生成し、ハーネスを修正する一連のプロセスを具体的に示している。
30秒サマリー
- NeMo Compassがエージェントトレースを解析し、繰り返し発生する問題を優先度付きで抽出する
- NeMo Eval Authorがその知見を基にカスタム評価を自動生成し、ハーネス修正の前後を定量比較できる
- Dassault Systèmesの工学エージェント事例では、不正ツール呼び出しをゼロに削減し、評価スコア28%相対改善・ツール呼び出し数35%削減を達成
NeMo Compassを中核とした最適化ループの実装内容と検証結果
NVIDIAの技術ブログ(2026年11月4日公開)は、Patrick Moorhead・Sean Lopp・Moon Chungの3名が共同執筆し、NeMo Compass・NeMo Eval Author・NVIDIA NeMo Relayの3ライブラリで構成される「NemoClaw」ブループリントの活用方法を解説した。
ワークフローは大きく4ステップで構成される。まずNeMo Compassが保存済みエージェントトレースと評価証跡を解析し、問題を優先度付きのバックログとして整理する。次にNeMo Eval Authorが特定した問題を再現するカスタム評価(Harbor形式またはNVIDIA NeMo Gym形式)を生成する。その後、開発者がエージェントのハーネス(例:Hermes AgentのSOUL.mdシステムプロンプト)を修正し、最後に開発タスクと「ホールドアウト」タスクの両方で評価を再実行して改善効果と回帰の有無を確認する。
記事内のHermes企業エージェントのサンプルでは、ユーザー確認なしにsend_messageツールを実行するという障害を対象に最適化を実施した。SOUL.mdに承認フローに関する指示を追記した結果、開発タスク(2タスク×3実行)での合格数が3/6から6/6へ、ホールドアウトタスクでも4/6から6/6へ改善し、ツール呼び出し数も削減された。
より複雑な技術的エージェントへの適用例として、Dassault Systèmesの工学用バーチャルコンパニオン「LEO」を使った自動車ドア設計ワークフローも紹介されている。この事例では、NeMo Compassがツール呼び出し時の引数配置ミスを検出し、コーディングエージェントが検証ステップを追加した結果、不正ツール呼び出しが142件からゼロに減少した。約12時間の無人最適化ループにより、評価スコアが28%相対改善し、6シナリオ計測でツール呼び出し数が35%削減されたと報告されている。
NeMo Compassを中核とした最適化ループの主な仕様・数値
- 推奨OS:Ubuntu 24.04
- 推奨CPUコア数:8 vCPUs
- 推奨メモリ:32 GB RAM
- OpenShellバージョン:0.1.2
- Harborバージョン:0.22.0
- Dassault事例:不正ツール呼び出し削減:142件 → 0件
- Dassault事例:評価スコア改善率:28%相対改善(6シナリオ計測)
- Dassault事例:ツール呼び出し削減率:35%削減(6シナリオ計測)
出典: NVIDIA Technical Blog(公式ブログ)
なぜ重要か(編集部の分析)
編集部の見方として、エージェントの品質管理は「モデルのチューニング」だけでは不十分であることをこの解説記事は明示している。プロンプト・ツール定義・ルーティング・制御フローといったハーネス全体が信頼性に影響するため、本番トレースを起点とした継続的な評価・修正ループが不可欠となる。NeMo Compassによる自動分析とNeMo Eval Authorによる評価自動生成の組み合わせは、人間のレビュー工数を削減しながら、ホールドアウトセットによる過学習防止も組み込んでいる点が実運用で特に重要だと編集部は判断する。
日本企業への示唆(編集部の分析)
編集部の分析として、日本企業がエージェントAIを業務に導入する際、障害発生時の調査コストと改善サイクルの長さが最大のボトルネックになるケースが多い。NemoClaw型のループ——トレース収集→問題特定→評価生成→ハーネス修正→再評価——をCI/CDパイプラインに組み込むことで、エージェントの品質保証を継続的に自動化できる。先行適用が有効なのは、ツール呼び出しのミスが業務フローに直結する社内アシスタントや、設計・製造など高精度が求められる技術系エージェントである。まず自社エージェントのトレースを蓄積する体制を整えることが、このアプローチを活用するための第一歩となる。
背景・経緯
NVIDIAはNeMoブランドのもとでLLM開発・評価・最適化ツール群を提供している。本記事が解説するNemoClaw(NeMo Compass + NeMo Eval Author + NeMo Relay)は、エージェント最適化に特化したブループリントとして公開されている。記事ではHermes AgentおよびDassault SystèmesのLEOとの連携事例が示されており、NVIDIA GTC Berlin 2026でも関連デモが行われたと言及されている。
NeMo Compassを中核とした最適化ループについてよくある質問
Q. NVIDIA NeMo Compassは何件のトレースから問題を検出できるか?
A. 原文によれば、NeMo Compassは数千件規模のトレースデータセットに対してシグナル分析を実行可能とされており、内部ベンチマークでは同様のタスクを担当したコーディングエージェントが見逃した異常を検出できたと報告されている。
Q. NemoClaw ブループリントを試すために必要な環境は何か?
A. 原文では、Dockerが動作するLinux(推奨はUbuntu 24.04・8 vCPUs・32GB RAM)、OpenShell 0.1.2、Harbor 0.22.0、build.nvidia.comで取得したNVIDIA APIキー、およびCodexまたはClaude CodeなどNeMo Eval Authorが対応するコーディングエージェントが必要と明記されている。
Q. NVIDIA NeMo Eval Authorが生成する評価の形式は何か?
A. 原文によると、NeMo Eval AuthorはHarborフォーマットとNVIDIA NeMo Gymフォーマットの2種類のエージェント評価形式をサポートしている。



