公開：2026年10月15日, 最終更新：2026年10月15日
30秒サマリー
- 脅威インテリジェンス処理ベンチマーク「CTI-REALM」で26モデルを比較評価した論文がarXivに投稿された
- オープンウェイトモデルは十分なターン数が与えられれば、高価なクローズドモデルと同等の性能を発揮できると判明
- モデルの価格と能力は相関せず、同程度の性能で1桁以上のコスト差が存在することも明らかになった
何が起きたか
Sahil Gargら4名の研究者は2026年10月9日、セキュリティ用途のAIエージェントにおけるオープンウェイトモデルとクローズドモデルの比較研究をarXivに投稿した。評価にはCTI-REALM（arXiv:2603.13517）というベンチマークを使用。これは脅威インテリジェンスレポートを基に、ライブのテレメトリストアに対してクエリを発行し、機能する検知ルールを生成するタスクを課すものだ。オープンウェイト19モデル、クローズド7モデルの計26モデルを、共通の評価ハーネス・スコアラー・LLMジャッジパネルのもとで評価した。
主な発見として、オープンウェイトモデルはエージェントに十分なターン数（メッセージ数上限）を与えた場合、最強のクローズドモデルと同等の性能をコストの10分の1以下で達成できることが示された。一方、ベンチマークの公開設定にあるメッセージ数上限は結果を歪める要因となっており、上限に達したタスクは既に通過したチェックポイントも含めてスコアがゼロになる仕様であるため、どのモデルが時間内に完了できるかを測る側面があった。
研究チームはまた、既存のチェックポイントスコアに加え、エージェントが実際にテレメトリストアへ送信した検知クエリを実行し、その出力を正解と照合するステージレベルの評価指標も新たに導入した。分析の結果、モデルによって得意なステージが異なることが判明。研究者らは単一モデルを総合スコアで選ぶのではなく、ワークフローの各ステージに最適なモデルを割り当てる「ルーティング」アプローチを提案している。さらに、モデルが出力するトークンのうち「思考」に費やす割合は、最終的な報酬スコアと連動しないことも報告されている。
原典ハイライト
「オープンウェイトモデルは十分なターン数が与えられれば、クローズドモデルの10分の1以下のコストで最強クローズドモデルに匹敵する。価格は能力の指標として不適切であり、同程度の性能を持つモデル間でコストが1桁以上異なる場合がある」
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
セキュリティ領域のAIエージェント導入において、高価なクローズドモデルを使わなくても、オープンウェイトモデルで同等の成果を得られる可能性が示された。加えて、単一モデルへの全面依存より、タスクの各ステージに特化したモデルを組み合わせるルーティング戦略の方が効果的である可能性が示唆されており、AIシステム設計の思想に変化を迫る内容といえる。
日本企業への示唆
セキュリティ運用にAIエージェントの導入を検討する日本企業にとって、クローズドAPIへの依存とコスト・情報漏洩リスクを同時に低減できる選択肢の存在が示されたことは重要だ。自社環境でモデルを運用・監査できるオープンウェイトの優位性は、金融・官公庁など規制の厳しい業界で特に注目に値する。また「総合スコアで1モデルを選ぶ」という調達思考から「ステージごとに最適モデルをルーティングする」設計思想への転換も、AI活用戦略を再考する際の論点となり得る。
背景・経緯
CTI-REALMはサイバー脅威インテリジェンス（CTI）処理を自動化するAIエージェントの評価ベンチマークで、別途arXiv（2603.13517）で発表されたもの。本論文はそのベンチマーク設計上の問題点（エージェントメッセージ数上限による評価の歪み）を指摘しつつ、制約を緩和した条件での追加評価を行っている。
