公開：2026年10月29日, 最終更新：2026年10月29日
George Juraj Salapaは2026年10月26日、AIエージェントの「ハーネス（実行環境）」が知識労働をどこまで自動化できるかを測る新ベンチマーク「kw-bench」をarXivで公開した。監査・税務・デューデリジェンスなど「答えが不完全な証拠の中に隠れている」調査型タスクに特化し、LLMによる採点を排除した決定論的な評価手法を採用している。
30秒サマリー
- 実務の調査型タスク（VAT再構築など）を模したベンチマーク「kw-bench」がarXivで公開された
- フロンティアモデル（Claude Opus 5.5）ではほぼ満点を22〜25分で達成。数週間かかる業務が数分・数ドルで完了できる可能性を示した
- 同一モデルでもハーネスの差で結果が0.00〜1.000と極端に分かれ、モデル単体よりハーネス設計が重要と論文は主張
kw-bench の設計と実験結果
George Juraj Salapaは2026年10月26日、arXivにプレプリント論文「kw-bench: Breaking Frontier Harnesses on Real-World Tasks」を投稿した。論文は、既存のコーディングエージェントベンチマークの多くが「生成型」（メモや財務モデルを一から作る）であり、監査・税務・デューデリジェンス・規制報告などの「調査型」タスク——答えはすでに存在し、不完全で不整合な証拠の中から復元・検証しなければならない——をほとんど評価していないと指摘している。
kw-benchの最初のタスクファミリーは、3世代のSAP環境（レガシーECC・部分移行済みS/4HANA・コンサルタントによる再設計版）にまたがる5年分のVAT再構築である。入力はシステムの生エクスポートのみで、ページヘッダー・ローカル数値フォーマット・不完全なリンクテーブルが含まれ、接続関係のドキュメントは存在しない。採点はLLMジャッジを使わない決定論的方式で行われる。
実験では、同一モデル（DeepSeek v4.1 Flash）に対して4種類のハーネス（Claude Code、Codex、OpenCode、micro-cc）を2時間実行した。モデル非依存の独立ハーネスであるOpenCodeとmicro-ccはそれぞれスコア0.542・0.528を記録した一方、ラボ（開発元）提供のハーネスであるClaude CodeとCodexは自社モデル以外での動作時にスコア0.00を記録した。論文はその敗因を「長いセッション全体にわたって多数の弱いシグナルを生かし続けられないこと（inertia）」と分析している。
一方、フロンティアモデル（Claude Opus 5.5）では、micro-ccが22分でスコア0.9986、Claude Codeが25分でスコア1.000を達成した。論文はこれを「数週間を要する実務エンゲージメントが、数分・数ドルで完了できる」と表現している。
kw-benchの主な仕様・数値
- 論文投稿日：2026年10月26日
- ページ数・図表：26ページ、8図、5表
- 評価対象ハーネス：Claude Code、Codex、OpenCode、micro-cc
- 共通テストモデル（ハーネス比較）：DeepSeek v4.1 Flash
- 実行時間（ハーネス比較）：2時間
- OpenCodeスコア（DeepSeek v4.1 Flash）：0.542
- micro-ccスコア（DeepSeek v4.1 Flash）：0.528
- Claude Code / Codexスコア（DeepSeek v4.1 Flash）：各0.00
出典: arXiv cs.AI（論文）
なぜ重要か（編集部の分析）
編集部の分析として：kw-benchが示す最大の発見は「モデルの能力よりもハーネスの設計が実務成果を左右する」という点である。同一モデルでスコアが0.00から0.542まで開いた事実は、AIエージェントの導入評価において「どのモデルか」だけでなく「どのハーネスで動かすか」が同等以上に重要であることを示唆する。また、フロンティアモデル使用時に数週間の業務が数分・数ドルで完了できる可能性は、監査・税務・法務分野における知識労働コスト構造を根本から変えうる。
日本企業への示唆（編集部の分析）
編集部の分析として：日本企業がAIエージェントを監査・税務・デューデリジェンス業務に導入する際、ベンダーのデモスコアや汎用ベンチマーク値だけを判断基準にすると実態と大きく乖離するリスクがある。kw-benchのような「自社の証拠が不完全・不整合な実務環境」を模したベンチマークで事前評価を行い、ハーネスと使用モデルの組み合わせを検証することが、導入失敗リスクの低減につながる。SAP環境での検証結果が含まれる点は、ERPを基幹とする日本の大企業にとって特に参考になる。
背景・経緯
コーディングエージェントのハーネス（ループ・シェル・ファイルシステム・コード実行環境）を、単なるコーディングツールではなく知識労働のインフラとして活用する研究潮流が拡大している。これに伴い、財務モデルやメモを一から生成させる「生成型」ベンチマークが増えているが、答えが証拠の中に隠れた状態から復元・検証する「調査型」タスクを評価する手法は少なかった。kw-benchはこのギャップを埋めることを目的として設計されたと論文は述べている。
kw-benchについてよくある質問
Q. kw-benchはどのような種類のタスクを評価するのか？
A. kw-benchは、答えがすでに存在し不完全・不整合な証拠の中から復元・検証しなければならない「調査型」知識労働タスクを評価する。第一タスクファミリーは3世代のSAP環境にまたがる5年分のVAT再構築であり、採点はLLMジャッジを使わない決定論的方式で行われる。
Q. kw-benchの実験でラボ提供ハーネス（Claude Code・Codex）がスコア0.00となった原因は何か？
A. 論文は、自社モデル以外で動作させた際に長いセッション全体にわたって多数の弱いシグナルを生かし続けられない「inertia（慣性的停滞）」が原因だと分析している。
Q. kw-benchでフロンティアモデルを使った場合、どのような結果が得られたか？
A. Claude Opus 5.5を使用した場合、micro-ccが22分でスコア0.9986、Claude Codeが25分でスコア1.000を達成した。論文はこれを「数週間を要する実務エンゲージメントが数分・数ドルで完了できる」と表現している。
