公開：2026年8月30日, 最終更新：2026年8月30日
30秒サマリー
- arXivに投稿された論文が、LLMと人間による文献スクリーニングを実験的に比較した結果を報告した
- 名目上同一の設定でも、GPT-5.4の2回実行間で94件の判定が異なり、適格文献29件で食い違いが生じた
- 高再現率が求められる業務ではLLMの自律的排除より、人間が監督する検証可能なワークフローが適切と結論づけた
何が起きたか
Figalová氏ら3名の研究者は、概念的に複雑なスコーピングレビューを題材に、人間とLLMによるタイトル・アブストラクトスクリーニングのワークフローを比較した論文をarXivに投稿した（2026年8月27日受理）。研究は事前登録された実験として設計されており、保守的なタイトルのみのスクリーニング後に残った1,131件のレコードを対象とした。
人間側では、レビューリード1名と訓練を受けたアシスタント4名が非重複サブセットを担当した。LLM側では、異なるモデルと処理設定の組み合わせ計7回の実行を行い、名目上同一の設定での繰り返し実行も含めた。評価指標は、保持ワークロード、316件の検証済み適格レコードに対する再現率（オペレーショナル再現率）、一致率、実行間の一貫性、手続き的負担とした。
結果として、いずれのワークフローも検証済み適格レコードをすべて回収することはできなかった。人間ワークフローとGPT-5.4のファイルバッチ2実行は、レコードの42.2〜45.0%を保持しつつ82.3〜82.9%の再現率を達成した。Gemini 3.1のファイルバッチは最高再現率83.9%を記録したが、レコードの56.7%を保持する必要があった。また、一括処理（all-at-once）構成はファイルバッチ構成より適格レコードの回収数が少なかった。名目上同一のGPT-5.4ファイルバッチ2回の実行は91.7%のレコードで一致したが、94件で判定が分かれ、そのうち29件は一方の実行のみが保持した検証済み適格レコードだった。
研究チームは、LLMのスクリーニング性能はモデルの種類だけでなく、処理設定・ワークロード・レコード単位のばらつき・人間とLLMの意思決定統合という要因に依存すると結論づけた。高再現率が求められる業務では、LLMは自律的な排除判断より、検証済みで監査可能な人間監督型ワークフローに適しているとした。
原典ハイライト
名目上同一設定のGPT-5.4を2回実行した結果、94件の判定が異なり、うち29件は一方のみが保持した検証済み適格レコードだった。論文はLLMの性能をモデル単体ではなく「デプロイされたシステムの実質的属性」として捉えるべきと主張している。
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
この研究は、LLMを証拠統合・文献レビューといった知識集約業務に活用する際の具体的なリスクを数値で示した点で重要だ。「同じモデルを使えば結果は再現できる」という前提が崩れることを実験的に示しており、モデル選定だけでなく処理設定・実行回数・人間によるチェック体制の設計がアウトカムを左右すると示唆している。AIによるスクリーニング業務を「自動化＝完了」と捉えることの危うさを、定量的根拠で裏付けた研究といえる。
日本企業への示唆
日本企業でも、規制対応・市場調査・学術エビデンス収集などにLLMを活用するケースが増えているが、本研究の知見は実務設計に直接響く。第一に、LLMの判定を単一実行で最終結論とするワークフローは高リスクであり、特に見落としが許容されない業務では複数回実行と差分チェックを組み込む必要がある。第二に、処理設定（一括 vs. 分割バッチ）によって結果が変わることが確認されており、導入前に自社データでの設定検証が不可欠だ。第三に、LLMを「排除の自動化」に使うのではなく、人間が最終判断を担う監督型ワークフローとして位置づける方が品質リスクを抑えられる。コンプライアンス・研究開発・調達審査など、false negativeが重大な影響を及ぼす業務では特に注意が必要だ。
背景・経緯
エビデンス統合（システマティックレビューやスコーピングレビュー）における文献スクリーニングは、大量の論文タイトル・アブストラクトを読んで適格・不適格を仕分けする労働集約的な作業であり、LLMによる自動化への関心が高まっている。一方で、見落とし（false negative）が発生すると後続の全文評価で適格文献が失われるため、再現率の担保が特に重視される領域でもある。本論文はこの課題を事前登録済みの実験デザインで検証した点で、方法論的な信頼性を確保しようとしている。
