公開：2026年10月28日, 最終更新：2026年10月28日
Allen Institute for AI（Ai2）は2026年10月27日、大規模言語モデル（LLM）が科学的研究アイデアの新規性をどれほど確実に評価できるかを調べた研究「Old Ideas, Novel Problems」を公開した。論文と合わせて、新規性評価モデルをテストするためのベンチマーク・データ・コードも公開している。
30秒サマリー
- Ai2がLLMによる研究新規性評価の信頼性を検証するベンチマーク「NoveltyBench」を公開した
- プロンプトをわずかに変えるだけで精度が50ポイント以上変動するなど、評価の不安定さが明らかになった
- 専用評価システムより単純なClaude Opus 4.6プロンプトのほうが精度・コストの両面で優れていた
NoveltyBenchが明らかにしたLLM新規性評価の問題点
Ai2は、ICLR 2026の査読コメントを活用した自動パイプラインでベンチマークを構築した。査読者が新規性を明示的に評価したコメントを抽出し、上位10%の採択論文から154件（高新規性）、下位10%の不採択論文から145件（低新規性）の研究アイデアプールを作成。さらに154件のLLM生成アイデアを加えた「Human+Generated」評価セットも用意した。
GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6の6モデルを対象に、プロンプト・推論量・文献検索の有無・フォーマットなどを一要素ずつ変えてテストした結果、最大の性能変動要因はプロンプトの書き方だった。GPT-5.4に対し、同じアイデアペアを異なる2つのプロンプトで評価させたところ、正解率が93.5%から40.9%へと50ポイント超下落し、半数以上のペアで判定が逆転した。同じプロンプト変更がHuman-Onlyデータセットで及ぼした影響は約7ポイントにとどまり、AI生成アイデアの評価が特に不安定であることが示された。
推論量や文献検索を増やしても精度は安定して向上しなかった。arXiv限定の反復検索と高推論予算を与えたGPT-5.6 Solはmacro-F1で0.78を記録したが、Claude Opus 4.6の0.89を11ポイント下回り、APIコストは約10倍だった。専用評価システムとの比較では、Claude Opus 4.6の単純プロンプト（低推論・多数決3回）が評価コスト2.59ドルでmacro-F1 0.854を達成したのに対し、文献検索・再ランク付けを行うIdea Novelty Checkerは30.66ドルで0.642、Sakana AIのAI Scientistの新規性評価器は82.05ドルで0.772にとどまった。単純プロンプトが精度・コストの両面で上回る結果となった。
NoveltyBenchの主な仕様・数値
- 高新規性アイデア数（Human-Only）：154件（ICLR 2026採択論文上位10%）
- 低新規性アイデア数（Human-Only）：145件（ICLR 2026不採択論文下位10%）
- Human+Generated セット：154件の人間著作アイデア＋154件のLLM生成アイデア
- 評価対象LLMジャッジ：GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6
- プロンプト変更による最大精度変動：93.5%→40.9%（50ポイント超、GPT-5.4）
- Claude Opus 4.6単純プロンプトのmacro-F1：0.854（評価コスト$2.59）
- Idea Novelty Checkerのmacro-F1：0.642（評価コスト$30.66）
- AI Scientistの新規性評価器のmacro-F1：0.772（評価コスト$82.05）
出典: Hugging Face Blog（公式ブログ）
なぜ重要か（編集部の分析）
編集部の見方として、LLMを「新規性審査員」として使うAI研究自動化システムは、プロンプト設計次第で評価結果が大きく変わるという根本的な脆弱性を抱えている。推論量や専用ツールへの投資が必ずしも評価精度を高めないという知見は、AI研究支援ツールの品質保証のあり方を問い直すものだ。
日本企業への示唆（編集部の分析）
編集部の分析として、研究開発にAIを活用する日本企業や研究機関にとって、AI生成アイデアの新規性・独自性をLLMに自動判定させる運用には現時点で重大なリスクがある。特に特許調査・先行研究確認・R&D戦略立案への応用を検討する場合、プロンプト設計の違いが判定を逆転させうることを前提に、人間の専門家によるレビューを組み合わせた運用設計が不可欠といえる。また、高コストな専用システムより単純なプロンプトが優れていたという結果は、ツール選定における費用対効果の再検討を促すものだ。
背景・経緯
Ai2はDataVoyager（構造化データ探索）、AutoDiscovery（仮説生成・検証）、Theorizer（文献からの理論合成）、Astaなど、科学的発見を支援するAIシステムを開発している。こうしたシステムが生成する研究アイデアの新規性を自動評価する「ノベルティジャッジ」は研究コミュニティで広く使われているが、その信頼性を体系的に検証するベンチマークは整備されていなかった。本研究はその空白を埋めるために実施された。
NoveltyBenchについてよくある質問
Q. NoveltyBenchはどのようにして評価セットを作成したのか？
A. ICLR 2026の査読コメントを自動解析し、査読者が新規性を明示的に評価した記述を抽出する手法を用いた。採択論文の採否ではなく査読コメント内の新規性言及を根拠とすることで、採否と新規性が必ずしも一致しない問題を回避している。
Q. NoveltyBenchの結果、LLMによる新規性評価で最も信頼性が高かったのはどの設定か？
A. Claude Opus 4.6に対して低推論・多数決（3回呼び出し）を組み合わせた単純プロンプトが、Human+Generatedセットでmacro-F1 0.854を達成し、専用評価システムを含む比較設定の中で最も高い精度と最低コスト（$2.59）を両立した。ただし原文では、いかなる設定も安定して信頼できるとは結論付けていない。
Q. NoveltyBenchのデータやコードは公開されているか？
A. 論文・データ・コード、および新たな評価セット構築に使える自動パイプラインがHugging Face上で公開されている。
