30秒サマリー
- AIエージェントがデスクトップを操作する際の精度を高めるオープンソースツール「Tactile」が論文発表された
- スクリーンショット座標クリックへの依存を脱し、OSのアクセシビリティ情報やOCRを組み合わせて操作を「意味的・検証可能」にする
- macOSWorldタスクでの成功率が41.1%から50.0%へ向上、複数AIエージェントで一貫した改善を確認
何が起きたか
2026年7月16日、Liu Yong氏ら3名の研究者がarXivに論文「Tactile: Giving Computer-Using Agents Hands and Feet」を公開した。Tactileは、AIエージェントがデスクトップアプリケーションを操作する際の「実行基盤」として機能するオープンソースのツール層だ。
従来のコンピューター操作エージェントは、画面のスクリーンショットを見てピクセル座標を予測し、クリックするという手法が主流だった。この方式は、UI要素の特定・操作の実行・結果確認が一つの曖昧な操作に集約されてしまうため、動作が不安定になりやすいという課題があった。Tactileはこれを解決するため、OSのアクセシビリティAPI（意味情報）、OCRによるテキスト認識、視覚的フォールバック領域という3種類のUI情報を統合し、操作対象の候補・役割・状態・実行可能な操作・検証情報をまとめた「アクショングラウンドなインターフェース状態」を生成する。
評価実験では、macOSWorldスタイルのタスクにおいて、Codexエージェントの成功率（Success@100）がTactile導入前の41.1%から50.0%へ向上した。アクセシビリティ対応タスクに限定した場合は45.2%から55.3%への改善となった。また96タスクのクロスエージェント評価では、Codex、Claude Code、OpenCode、Gooseの複数エージェントで一貫した精度向上が確認されたとしている。
原典ハイライト
論文アブストラクトは「信頼性の高いコンピューター操作には、より強力なモデルだけでなく、ソフトウェアの操作を匿名のスクリーン座標ではなく意味的・検証可能・監査可能なオブジェクトとして公開する、再利用可能な実行基盤が必要だ」と結論づけている。
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
AIエージェントによる業務PC操作の信頼性は、これまでモデル性能の問題とされがちだったが、本研究は「実行基盤（ツール層）」の設計が成否を大きく左右することを実証した。オープンソースであるTactileの普及が進めば、複数のAIエージェントで共通利用できる堅牢な操作基盤が整備され、RPAや業務自動化ツールの信頼性向上が加速する可能性がある。
日本企業への示唆
自社でAIエージェントによるPC業務自動化（書類処理、基幹システム入力、社内ツール操作など）を検討・導入している企業は、モデル選定と並行して「実行基盤」の設計にも注目すべき段階に入った。Tactileのようなセマンティックなツール層を採用することで、操作ログの監査性・再現性が高まり、内部統制やコンプライアンス対応の観点でも有利になりうる。また、複数エージェントで一貫した改善が示された点は、特定ベンダー依存を避けたマルチエージェント戦略の検討材料となる。
背景・経緯
コンピューター操作エージェント（Computer-use agent）は、AIが人間の代わりにGUI操作を行う技術で、近年Anthropic Claude、OpenAIのCodexなど主要AIベンダーが機能を提供している。しかしスクリーンショットベースの座標クリックという基本設計は古くから課題とされており、操作の不安定さが実用展開の障壁となっていた。本論文はその課題に対し、モデル改良ではなくツール層での解決を提案したもの。
