公開：2026年9月6日, 最終更新：2026年9月6日
30秒サマリー
- 38モデルを対象に、LLM間の障害相関を予測する新指標「生成プロセス多様性」を提案
- 意味的類似性では捉えられない障害の連鎖を、情報圧縮距離を使い定量化
- マルチLLMシステムの安全設計に実用的な評価軸を提供するとしている
何が起きたか
Ross TiemanとEvan Markou（両氏の所属は原文に記載なし）は2026年9月3日、arXivに論文「Inferred Generative-Process Diversity Predicts Correlated Failure Across Language Models」を公開した。
論文は、複数のLLMを組み合わせたシステムにおいて、各モデルが独立して動作しているように見えても、障害（失敗）が高い確率で相関して発生しうる問題を扱っている。従来の「意味的類似性」による多様性評価は出力テキストの意味の差異しか測れず、モデル間の本質的な相違を捉えられないと著者らは主張する。
そこで著者らが提案するのが「生成プロセス多様性（generative-process diversity）」という概念だ。アルゴリズム情報理論に基づき、モデルの生出力間の「正規化圧縮距離（Normalised Compression Distance, NCD）」をパーミュテーション制御で残差化した値を指標として用いる。38モデル・10の独立したベンチマークファミリーを横断した検証では、この指標がモデルペア間の偶然補正済み連鎖失敗率を有意に予測した。ベンチマーク横断の部分順位相関係数は−0.216（95%信頼区間：−0.309〜−0.122）であり、10ベンチマークすべてで推定値が負、すなわち生成プロセス多様性が高いほど連鎖失敗が少ない傾向が確認されたとしている。
この効果は意味的類似性やモデルペアの能力差とは独立した要因であるとも論文は述べており、安全性に関わる文脈でのマルチモデルシステム評価に実用的な手法を提供するとしている。論文は31ページ・13図で構成される。
原典ハイライト
生成プロセス多様性とNCDを用いた指標は、10ベンチマーク全てで連鎖失敗と負の相関（部分順位相関−0.216）を示し、意味的類似性やモデル能力では説明できない障害リスクを定量化できると論文は報告している。
出典: arXiv cs.LG（論文）
So What?（なぜ重要か）
複数のLLMを並列・直列に組み合わせて信頼性を高めようとするシステム設計において、「異なるモデルを使えば独立性が確保される」という前提が必ずしも成立しないことをこの研究は示唆している。出力の意味が違っていても、内部の生成プロセスが似通ったモデルを組み合わせると、同じ条件で同時に失敗するリスクが残る。この視点はLLMを用いた意思決定システムや自動化パイプラインの冗長性設計を根本から問い直す可能性がある。
日本企業への示唆
金融・医療・インフラなど高信頼性が求められる業務でマルチLLMシステムを導入・検討する日本企業にとって、モデル選定の基準を「性能」「コスト」だけでなく「生成プロセスの多様性」にまで拡張することが今後の課題となりうる。具体的には、ベンダーや学習データ・アーキテクチャが異なるモデルを組み合わせる際に、本論文が提案するNCD基準の多様性評価を導入することでリスク管理の精度向上が期待できる。また、AI調達・ガバナンス担当者は「意味的に異なる回答をするモデル群＝安全」という単純な理解を見直し、障害相関の観点を評価プロセスに組み込む準備を進めることが望ましい。
背景・経緯
LLMを複数組み合わせたアンサンブルやマルチエージェントシステムは信頼性向上の手段として注目されているが、多くのモデルが類似したデータや手法で学習されているため、障害が相関して発生するリスクが指摘されてきた。従来研究では出力テキストの意味的類似性でモデル多様性を評価する手法が用いられてきたが、その限界も議論されている。本論文はアルゴリズム情報理論の枠組みを援用し、より根本的な多様性指標の確立を試みたものとみられる。
