30秒サマリー
- GPT・Claudeなど主要LLMが、科学論文の文体に変換されると論理的に優れた解を見落とす傾向が実験で判明
- Claude Opus 5は「生物学的に期待される」結果を優先し、制約を最もよく満たす回答の選択率が27%に低下
- 記述の形式化や明示的な設計情報を加えると選択率が92%まで回復し、プロンプト設計の重要性が示された
何が起きたか
Tal Zeevi氏ら3名の研究者が2026年9月29日にarXivへ投稿した論文「When Scientific Contradictions Are Lost in Translation」は、大規模言語モデル（LLM）が科学的知見の矛盾を判定する際に生じるバイアスを実験的に検証した。論文はNeurIPS 2026の「AI for Science Workshop: Verification in the Age of AI Scientists」に採択されている。
実験では、充足不能なXOR制約系を生成し、その制約を異なる研究室からの科学的報告書の文体に変換するという統制されたタスクを設計した。一方の割り当ては制約を多く満たし、もう一方は制約の充足数は少ないが生物学的に期待される結果と合致するという二択のジレンマを作り出した。
制約を直接的な形式で提示した場合、GPT-5.6 SolとClaude Opus 5はそれぞれ90%・96%の確率で最も根拠に支持された割り当てを選択した。しかし科学的散文の形式に変換すると結果は大きく変わった。Claude Opus 5は生物学的に期待される割り当てを優先する傾向を示し、より根拠に支持された割り当ての選択率は27%まで低下した。この生物学的先入観を除去すると選択率は79%に回復し（p<.001）、さらに形式化要求と明示的な対設計の手がかりを加えると92%に達した（p<.001）。一方、GPT-5.6 Solは同様の操作に対して統計的に有意な変化を示さなかった。
原典ハイライト
論文の核心は「制約を直接提示すれば高精度に解けるLLMが、同じ内容を科学論文の文体に翻訳した途端に生物学的事前知識へ引きずられ、論理的に優れた解を見落とす」という非対称性の実証にある。研究者らは「信頼できる科学的検証は形式的推論だけでなく、モデルがどの知見を比較すべきか・どのような関係を含意するかをどう判断するかにも依存する」と結論づけている。
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
LLMを科学論文の査読補助・矛盾検出・エビデンス統合に活用する動きが加速するなか、本研究はその信頼性に構造的な懸念を示す。モデルが持つ「生物学的に妥当そう」という事前知識が、論理的な制約充足よりも優先される場合があると実験で示された。これはAIによる科学的検証が、文体や表現の違いによって精度を大きく損なうリスクがあることを意味する。
日本企業への示唆
製薬・医療・素材など研究開発にAIを導入する日本企業は、LLMに科学文献の矛盾検出や知見統合を任せる際、出力結果をそのまま正とせず、プロンプト設計と人間によるレビューの二重構造を設けることが求められる。特に、結果を「科学的散文」として提示するだけでなく、明示的な比較設計や形式化指示を組み込むことで精度が大幅に改善されることが本研究で示されており、社内のAI活用ガイドラインや検証プロセスに反映する価値がある。また、モデルごとにバイアスの傾向が異なることも確認されており、用途に応じたモデル選定の重要性も示唆される。
背景・経緯
LLMを科学研究の自動化・加速に活用する試みは急速に広がっているが、モデルが持つ事前知識や学習データのバイアスが推論を歪めるリスクは継続的な研究課題となっている。本論文はその問題をXOR制約系という制御された実験設定で定量的に示した点に独自性がある。NeurIPS 2026のワークショップへの採択は、科学コミュニティがこの問題を重要な検証課題と認識していることを反映している。
