30秒サマリー
- SpiderなどのAI評価基準では見えなかった企業データベース環境での重大な精度劣化を新ベンチマーク「ESQ-Bench」が可視化
- 「実行成功」したクエリの73〜99%が意味的に誤った結果を返す「サイレント乖離」を確認
- GPT-4oやClaude Sonnet 4.6など最先端モデルでも、企業規模の複雑スキーマでは性能が大幅に低下
何が起きたか
Sanjay Mishra氏ら3名の研究者が2026年6月、NL2SQL（自然言語からSQLを生成するAI）の企業環境における実力を評価するベンチマーク「ESQ-Bench」をarXivで公開した。現行の主要ベンチマーク（SpiderやBIRD）では最先端モデルが89%超の実行精度を達成しているが、これらは簡略化されたスキーマとオープンソースのSQL方言を前提としており、実際の企業データベース環境の複雑さを反映していないと研究者らは指摘する。
ESQ-Benchは、Oracle・PostgreSQL・MySQL・SQL Serverの4種類のデータベースに同一データを投入した465テーブル・約16万5千行の6スキーマを構築し、550問のゴールド検証済み質問・クエリペアを3段階の複雑度ティアに分類して提供する。評価指標は完全一致（EM）、実行精度（EX）、セット再現率（SR）、サイレント乖離（SD）の4種類を採用している。
GPT-4oにスキーマ連携プロンプトを用いた場合、実行精度はTier-1で79.8%、Tier-2で60.3%、Tier-3で57.2%と複雑度が上がるにつれて単調に低下した。完全一致精度（EM）は全ティアで7%未満にとどまり、「実行は成功したが意味的に誤った結果を返す」サイレント乖離（SD）は実行成功クエリの73〜99%に達した。Claude Sonnet 4.6はスキーマ連携プロンプト使用時に各ティアで87.4%・74.9%・68.7%を記録し、同条件のGPT-4oを全ティアで上回った。一方、ローカル動作のLlama 3.2は全体の実行精度が13.3%（550問中73問）にとどまり、クローズドAPIモデルとの大きな差が示された。
原典ハイライト
「実行成功」クエリの73〜99%がサイレント意味乖離（正しく動くが誤った結果を返す）を示すという定量データが核心。学術ベンチマークで89%超の精度を誇るモデルも、企業Oracleスキーマでは完全一致精度7%未満に落ち込む。
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
AIが生成したSQLが「エラーなく実行される」ことと「正しい結果を返す」ことは別問題であることが定量的に示された。企業のBI・データ分析業務でNL2SQLを活用する場合、実行成功を精度の証拠とみなすことは危険であり、結果の意味的正確性を別途検証する仕組みが不可欠となる。
日本企業への示唆
Oracle・SQL Serverなどのエンタープライズデータベース環境でNL2SQLツールを導入・評価する際、学術ベンチマークのスコアは参考値に過ぎないと認識すべきである。導入検討時には、自社スキーマの複雑度に近い環境での独自検証を行い、特に「実行成功だが誤答」というサイレント誤答の発生率を評価指標に含めることが重要。本論文のESQ-BenchはOracle環境を主対象としており、Oracle DBを基幹システムに持つ日本企業にとって参照価値が高い。また、コスト削減目的でローカルLLM（オープンウェイトモデル）の採用を検討している場合、現時点では企業規模スキーマへの対応能力に大きな限界があることを念頭に置く必要がある。
背景・経緯
NL2SQLは自然言語の質問をSQLクエリに自動変換する技術で、非エンジニアがデータベースを直接照会できるとして企業のBI・データ活用領域での導入が増加している。従来の評価はSpider・BIRDなどの学術データセットが主流だったが、これらは実際の企業データベースの複雑なスキーマ・方言・結合条件を十分に再現していないとの批判があった。本論文はその課題に対応するOracleを主対象とした企業向けベンチマークとして位置づけられている。
