30秒サマリー
- AWS公式ブログが、スキル搭載AIエージェントの選択精度と手順遵守を定量評価する方法を詳説
- Strands Evals SDKとAmazon Bedrock AgentCore Evaluationsに新たなスキル評価機能が追加された
- CI/CDへの組み込みや本番トレースの継続サンプリングにより、エージェントの品質ゲートを設けられる
何が起きたか
AWS Machine Learning Blogは2026年9月、「スキル」を装備したAIエージェントの品質評価手法を解説する記事を公開した。スキルとは、契約書の編集や請求書照合といったドメイン固有の手順をSKILL.mdファイルにまとめた再利用可能な命令群であり、エージェントが実行時に必要なスキルだけを読み込むモジュラー構造を持つ。
この設計には固有のリスクが伴う。エージェントが「不適切なスキルを選ぶ」「正しいスキルを選んでも手順を部分的にしか実行しない」という2種類の失敗は、最終的な応答文が流暢で一見もっともらしく見えるため、出力品質指標だけでは検出が難しい。
これに対し、Strands Evals SDKとAmazon Bedrock AgentCore Evaluationsにはスキル特化の評価機能が追加されている。「Skill Selection Accuracy（スキル選択精度）」は選んだスキルがタスクに適切かを二値で判定し、「Skill Instruction Following（スキル手順遵守度）」は規定手順の実行度を5段階で採点する。Strands Evalsにはさらに「Skill Invoked」という決定論的チェックがあり、LLMを呼び出さずに特定スキルがロードされたかを確認できる。
記事ではPython SDKを用いた実装例と、Amazon CloudWatchのOpenTelemetryトレースを対象にAgentCore CLIで評価を実施する手順を、HRアシスタントエージェントの事例を交えて具体的に示している。CI/CDパイプラインへの組み込みでデプロイゲートとして機能させる方法も解説している。
原典ハイライト
原文はSkill Instruction Followingの5段階評価（Fully Followed＝1.0からNot Followed＝0.0）とSkill Selection Accuracyの二値評価を詳述。「エージェントがPTO残日数は確認したが繰越ルールを省略した場合、応答は妥当に見えても規定プロセス違反となる。この実行失敗を切り分けるのがSkill Instruction Followingだ」という具体例を挙げている。また「不適切なスキル選択はスキル説明の曖昧さを示し、不完全な手順遵守はスキル構造の見直しや高性能モデルへの切り替えを示唆する」と、失敗種別ごとに改善の方向性が異なることを強調している。
出典: AWS Machine Learning Blog（公式ブログ）
So What?（なぜ重要か）
「生成AIエージェントの回答が流暢だから正しい」という判断は危険であることを、本記事は技術的に裏付けている。スキルベースのエージェントは手順の省略や誤ルーティングが検出困難なまま本番稼働しうる。スキル評価機能により、この見えにくい失敗を定量的・自動的に捉えCIゲートに組み込むことが可能になる。さらに本番のOpenTelemetryトレースを継続サンプリングすることで、デプロイ後の品質劣化も早期に検知できる体制を構築できる。
日本企業への示唆
社内業務エージェント（稟議審査・コンプライアンスチェック・契約レビューなど）を導入している、または検討中の日本企業にとって、「エージェントが正しい手順を踏んでいるか」の継続的な検証は監査対応・ガバナンス上の急務となりうる。まず開発・検証段階でStrands EvalsをCIパイプラインに組み込み、重要スキルのルーティングと手順遵守を自動テストとして定義すること。本番移行後はCloudWatchのOpenTelemetryトレースとAgentCore Evaluationsを連携させた継続サンプリング体制を構築し、スキル選択精度・遵守度の定期的なモニタリングをエージェント運用標準に組み入れることを検討したい。失敗パターンが「スキル選択ミス（＝スキル説明の曖昧さ）」か「手順遵守ミス（＝スキル設計またはモデル能力の問題）」かで改善施策が異なるため、両評価指標を組み合わせて原因を切り分ける運用設計が重要だ。
背景・経緯
AWSは2025年にオープンソースのエージェントフレームワーク「Strands Agents」を公開しており、Strands Evals SDKはその評価ツールとして提供されている。Amazon Bedrock AgentCoreはAmazon Bedrockの機能群の一部であり、本記事で言及されるAgentCore Evaluationsはその評価機能に相当する。スキルの仕様は「open Agent Skills standard」と呼ばれるオープン標準に準拠しており、Strands AgentsのほかClaude Agent SDK・OpenAI Agents SDK・Google ADKなど複数のフレームワークでのスキル検出に対応していることが原文に示されている。
