公開：2026年10月2日, 最終更新：2026年10月2日
30秒サマリー
- LLMは医師と比べ、臨床的に不要なケアを推奨する傾向が高く、入力テキストの変化でさらに悪化する
- 性別や文体など臨床的に無関係な記述の揺らぎに対し、LLMの判断は医師より敏感に変動することが判明
- 6,000超の臨床シナリオと22万5,000件のモデル応答を用いた大規模ベンチマークで検証
何が起きたか
MITほかの研究チーム（Gourabathina氏ら5名）は2026年9月29日、大規模言語モデル（LLM）の臨床トリアージにおける信頼性を評価した論文をarXivに投稿した。同論文はEMNLP 2026 Findingsへの採択が確認されている。
研究では6,000件超の臨床シナリオ、7,000件の医師によるアノテーション、225,000件のモデル応答から成るベンチマークを構築。実際の臨床現場を想定したテキストの「摂動（perturbation）」、すなわち臨床的な意味を保ちつつ記述を変化させた条件下で、LLMと現役医師の推奨を比較した。
主な知見は2点。第一に、LLMはベースライン（通常入力）の段階から医師より不必要なケアを推奨しやすく、テキストに摂動を加えると傾向がさらに強まる。第二に、性別や文体の変化という臨床的に無関係な要素に対して、LLMの推奨は医師の推奨より有意に感度が高い。論文は、実際の運用を想定した医師行動基準に基づく評価の必要性を訴えている。
原典ハイライト
「LLMは臨床的に無関係なテキストの変化によって推奨内容が変わりうる。医師の専門的行動を基準とした、運用志向の評価が不可欠だ」と論文は結論づけている。ベンチマーク規模（臨床シナリオ6,000超・モデル応答225,000件）と、性別・文体という具体的バイアス要因の特定が本研究の核心。
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
医療分野でLLMを活用する際、モデルが「過剰診療バイアス」を内包している可能性と、入力文の微細な表現差異（患者の性別表記や文体）が推奨内容を左右するリスクが定量的に示された。精度指標だけでなく、臨床的に無意味な入力変化への頑健性（ロバストネス）を評価しなければ、実運用での安全性は保証できないことが改めて明確になった。
日本企業への示唆
日本の医療機関やヘルスケアAIベンダーがLLMを診断支援・トリアージ補助に導入する際、従来の正答率ベースの評価だけでは不十分であることが本研究で裏付けられた。調達・導入評価基準として、①臨床的に無関係な表現変化（患者性別・文体）に対する推奨の安定性検証、②医師による大規模アノテーションを用いたベンチマーク比較、の2点を要件化することを検討すべきだ。規制当局（PMDAなど）のAI医療機器審査においても、ロバストネス評価の論拠として本論文が参照される可能性がある。
背景・経緯
LLMの医療応用は急速に拡大しているが、実臨床の多様な入力に対する信頼性評価は未整備な部分が多い。本研究はその空白を埋める試みとして、現役医師の判断をゴールドスタンダードに据えた大規模ベンチマークを構築した。論文はEMNLP 2026（自然言語処理の主要国際会議）のFindings部門に採択されており、査読を経た研究成果である。
