30秒サマリー
- Word・Excel・PowerPointのネイティブ形式を対象とした初の公開LLM評価基準「OCB」が公開された
- 最先端モデルでも業務ドメインQ&Aの正答率は約59.3%にとどまり、思考深度を増やしても改善効果は限定的
- データセット・評価ツール・公開リーダーボードも合わせて公開され、比較検証が可能になった
何が起きたか
2026年5月29日、Firoz Shaikら20名の研究者チームがarXivに論文「Office Comprehension Benchmark（OCB）」を投稿した。OCBはWord（.docx）、Excel（.xlsx）、PowerPoint（.pptx）のネイティブファイル形式に対するLLMシステムの理解能力を統合的に評価する、初の公開ベンチマークとして位置づけられている。
ベンチマークは2つのトラックで構成される。「File Fidelity Q&A」は表・グラフ・埋め込み画像・数式・ヘッダー・スピーカーノート・名前付き範囲といったOffice文書固有の構造・視覚的要素の知覚能力を測定する。「Domain Q&A」は12の業務専門領域における実際の業界文書を用い、複数文書をまたぐ多段階の分析・統合を必要とするエキスパートレベルの推論を評価する。
評価方法として、各正解はアトミックかつ二値採点可能なクレームに分解され、複数のLLMジャッジがそれぞれ独立してスコアリングするアンサンブル方式を採用している。評価結果として、現時点で最も性能の高いフロンティアモデルであっても、デフォルトの推論モードではDomain Q&Aで約59.3%しか達成できないことが明らかになった。また、同一製品ティア内で思考深度を上げても性能はほとんど向上せず、より上位の製品ティアに移行することで若干の改善が得られるにとどまるという知見も示されている。論文と合わせてデータセット、評価ツール、ジャッジプロンプト、公開リーダーボードが公開されている。
原典ハイライト
最強クラスのフロンティアモデルでもDomain Q&Aの正答率は約59.3%にとどまり、「同じモデルで思考を深める」アプローチではほぼ改善しない一方、「より高位の製品ティアへ移行する」ことで若干の向上が見られたと報告されている。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
LLMが日常業務で広く使われるOffice文書を本当に理解できるかを客観的に測る公開基準が初めて整った。現状では最高性能モデルですら業務ドメインでの正答率が約6割にとどまることが定量的に示されており、「LLMを業務に導入すれば自動化できる」という期待と実態のギャップが明確になった。思考深度を増やすだけでは限界があるという知見は、モデル選定と運用設計の両面に影響する。
日本企業への示唆
日本企業がLLMを用いたOffice文書処理（契約書レビュー、財務資料分析、社内報告書の要約など）を検討する際、現段階では最高性能モデルでも約4割の誤答リスクが存在することをシステム設計に織り込む必要がある。OCBのような公開ベンチマークを活用して導入前に自社文書での性能を実測する手順を標準化すること、また思考深度調整よりもモデルティア選択の方が効果的という知見を踏まえてコストと性能のトレードオフを事前に評価することが実務上有効と考えられる。特に誤答が業務上の損失に直結する場面では、人間によるレビュー工程の維持を継続的に検討すべき段階にある。
背景・経緯
LLMの評価ベンチマークはこれまで主にテキスト形式のデータを対象としており、企業の実務で広く使われるOffice文書のネイティブ形式（表・グラフ・数式などを含む複合構造）を統合的に評価する公開基準は存在しなかった。本論文はその空白を埋めることを目的として設計されており、12の専門業務ドメインを対象にしている点でも実務への直結を意識した設計となっている。
