30秒サマリー
- AWSがAmazon Bedrock AgentCoreとGitHub Actionsを組み合わせたエージェント評価パイプラインの実装方法を公式ブログで解説
- PRマージ前にエージェントの応答品質を自動スコアリングし、基準未達なら自動ブロックする「品質ゲート」の構築手順を紹介
- OAuth保護されたMCPサーバーをCI環境から認証する三つのアプローチと、それぞれのトレードオフも詳述
何が起きたか
AWS Machine Learning Blogは、Amazon Bedrock AgentCoreランタイムにデプロイしたAIエージェントを、GitHub Actionsパイプラインで自動評価する実装方法を解説した記事を公開した。記事では、システムプロンプトの変更やモデルの入れ替えなどコード変更のたびにエージェントの品質が劣化していないかをPRレビュー時点で自動検証し、スコアが基準（例：1.0点満点中0.8点）を下回った場合にマージをブロックする「品質ゲート」の構築手順を詳述している。
技術スタックとして、Strandsエージェント、MCP（Model Context Protocol）サーバー、Amazon CognitoによるOAuth認証基盤、CDKによるインフラのコード化、AgentCore Evaluate APIを組み合わせる構成が示されている。AgentCore EvaluationsはLLMをジャッジとして利用し、Helpfulness・Correctness・ToolSelectionAccuracyなど複数の評価軸でエージェントの応答をスコアリングする。評価対象はAgentCore Observabilityが収集するOpenTelemetryトレースデータであり、オンデマンド・オンライン・バッチの三つの評価モードが用意されている。
OAuth保護されたMCPサーバーをユーザーコンテキストを持たないCIパイプラインから認証する課題に対しては、（A）事前収集済みトレースを評価する、（B）テスト専用サービスアカウントのリフレッシュトークンをSecrets Managerに保管する、（C）M2M（machine-to-machine）認証でロールチェックをバイパスする、の三つのアプローチが整理されている。本記事の主眼はアプローチCだが、素早く品質ゲートを立ち上げたい場合はアプローチAから始めることを推奨している。実装のリファレンスコードは公式リポジトリで公開されているとされる。
原典ハイライト
「コードを変更するたびに自動でエージェントをデプロイし、評価プロンプトで応答を採点し、スコアが回帰したらPRをブロックする」という一連のCI/CDサイクルを、AgentCore Evaluate APIとGitHub Actionsで実現する具体的な実装パターンを示した点が核心。OAuth課題に対する三アプローチの決定木（ライブ呼び出しの要否・ロールテストの要否などで分岐）も実務上有用。
出典: AWS Machine Learning Blog（公式ブログ）
So What?（なぜ重要か）
AIエージェントの品質管理はこれまで属人的なレビューや本番後のユーザーフィードバック頼みになりがちだったが、このパターンを導入することでソフトウェア開発における通常の自動テストと同等の品質ゲートをエージェント開発にも適用できる。特にシステムプロンプトの微調整やモデルバージョン更新が頻繁に発生する運用フェーズで、品質劣化を本番リリース前に検知できる意義は大きい。LLM-as-a-judgeによるスコアリングをCIに組み込む考え方は、AgentCore以外のエージェント基盤でも応用可能なアーキテクチャパターンと言える。
日本企業への示唆
AWS上でBedrockを活用したエージェント開発を進める日本企業は、本記事のリファレンス実装をベースに品質ゲートをDevOpsプロセスへ早期に組み込むことを検討したい。特に金融・医療・製造など応答の正確性が事業リスクに直結する業種では、スコア閾値の設定とその根拠をステークホルダーと合意したうえで自動化することが、AI品質ガバナンス体制の説明責任にもつながる。また、社内ツール向けエージェントでMCPサーバーを活用している場合は、M2M認証（アプローチC）とロールベースアクセス制御の組み合わせがそのままCI環境への適用モデルになり得るため、認証設計の段階からCI連携を考慮しておくと実装コストを抑えられる。
背景・経緯
Amazon Bedrock AgentCoreはAWSが提供するAIエージェントのホスティング・管理プラットフォーム。AgentCore EvaluationsはLLMをジャッジとして活用するエージェント評価機能であり、AgentCore ObservabilityによるOpenTelemetryトレースと連携して機能する。MCP（Model Context Protocol）はエージェントが外部ツールを呼び出すためのオープンプロトコル。本記事はこれらを組み合わせたCI/CDパターンの解説であり、AgentCore自体の新規リリースを告知するものではない。
