公開：2026年10月4日, 最終更新：2026年10月4日
30秒サマリー
- MicrosoftとHugging Faceが、AIエージェントをバックエンドの実DB状態で評価するベンチマーク「ThinkingBox」を公開した
- 507業務ワークフローを各モデルで20回繰り返し実行し、ツール呼び出しの成否ではなく最終的なデータベース状態で採点する
- 「1回成功」と「20回すべて成功」の間には大きな乖離があり、モデル選定の新たな軸として「一貫性コスト」が浮上した
何が起きたか
MicrosoftとHugging Faceは2026年10月3日、AIエージェントの業務信頼性を評価するベンチマーク「ThinkingBox」をHugging Face上で公開したことを公式ブログで説明した。同ベンチマークはエージェントの最終応答文や個々のツール呼び出しではなく、バックエンドのデータベースに残った最終状態と副作用を採点基準とする点が特徴だ。
ブログでは、顧客対応AIエージェントが9回のツール呼び出しを正確に行い、最終応答も問題がないように見えながら、チケットのステータスを「保留中」ではなく「解決済み」として誤登録した事例が紹介されている。ツール呼び出しを確認するグレーダーには問題が見えず、データベースだけが誤りを示したという。
507のステートフルな業務ワークフロー（小売・自動車保険・旅行・ネオバンク・コンサルティングの5分野）を対象に、18モデル（独自モデル10、オープンウェイト8）をそれぞれ20回繰り返して評価した。全体のpass@1首位はClaude Opus 5.5（67.16%）、オープンウェイト首位はKimi-K3（57.37%）。ただし20回すべて成功した「observed 20/20」では、Claude Opus 5とClaude Opus 5.5がともに241タスクでトップとなり、Kimi-K3は68タスクにとどまった。
コスト面では、成功1回あたりの効率でGPT-5.6 Solが$0.127と最安だが、「20回すべて成功」1タスクあたりのコストではGPT-5.4が$6.80と最安で、GPT-6 Astraが$7.45、Claude Opus 5.5が$7.80と続く。「1回成功の安さ」と「毎回成功の安さ」は別物であることを同ブログは強調している。なお掲載されたコストはOpenRouterのリスト価格を用いた比較指標であり、実際のクラウド請求額ではないと明記されている。
原典ハイライト
「ツール呼び出しは結果ではない。エージェントが正しく聞こえても、残るのは間違ったフィールド値、誤った変更、余分な副作用かもしれない。答えを出すのはエージェントが残したレコードだけだ」——ThinkingBox公式ブログより要約
出典: Hugging Face Blog（公式ブログ）
So What?（なぜ重要か）
AIエージェントの評価軸が「応答品質」から「データ整合性の一貫性」へと移行しつつあることを、実数で示した点が重要だ。失敗した試行の67%超がクリーンに終了し、ツール呼び出しにエラーもなかったにもかかわらず、DBには誤った値が残っていたという数値は、既存のモニタリング手法の盲点を具体的に示している。また「モデルのスコアが上がっても一貫性は変わらない」という知見（Claude Opus 5→5.5で241タスク合格数が同一）は、バージョンアップで信頼性問題が自動解消されないことを示唆する。
日本企業への示唆
業務システムにAIエージェントを組み込む際、「デモ成功率」や「平均精度」だけで採用可否を判断するリスクがある。特に在庫更新・契約登録・決済処理など、誤った状態が残ると業務障害や顧客被害に直結するワークフローでは、20回繰り返し実行して全成功率を確認するThinkingBoxのアプローチを参考に、社内評価基準を整備することを検討すべきだ。またモデル選定では「pass@1コスト」と「一貫性コスト」を分けて試算し、用途に応じた最適モデルを選ぶ必要がある。ThinkingBoxはHugging Face上でOpenEnv経由で実行可能とされており、自社ワークフローへの適用可能性を事前検証する価値がある。
背景・経緯
ブログによれば、ThinkingBoxはMicrosoftと複数大学の研究者による共同研究に基づくもので、評価手法の詳細はThinkingBox論文に記載されている。Hugging Face上での提供開始に伴い、同公式ブログで仕組みと結果が公開された。ベンチマークタスクはMCPツールセッションに対してエージェントを実行する形式で、各タスクは独立した初期状態のバックエンドから繰り返し実行される。
