公開：2026年10月3日, 最終更新：2026年10月3日
CoT整合性指標（CoT-Interpretability Alignment / CIA）は、大規模言語モデル（LLM）が出力する「思考の連鎖（Chain-of-Thought: CoT）」の記述と、モデル内部の実際の計算プロセスとの一致度を定量化する評価指標である。ニューヨーク大学などの研究者らによって提案され、ICML 2026の「Mechanistic Interpretability Workshop」にて発表された。
概要
LLMはCoTによって推論の過程を言語化し、人間が理解しやすい「透明性」を提供すると期待されてきた。しかし実際には、モデルが言語化する推論プロセスと内部で行っている計算とが乖離している（不整合・不誠実である）という指摘が相次いでいた。CIAはこの乖離を測定するために提案された指標であり、CoTがモデルのパラメトリックな内部推論をどの程度正確に反映しているか（parametric faithfulness）を定量化する。
仕組み・ポイント
CIAの算出は、以下の手順で行われる。
1. 対象タスクにおける「正解の推論戦略（Gold Strategy $S$）」を定義する。
2. 生成されたCoTがその戦略を明示的に言語化しているかをバイナリ変数（$B^{CoT}_{S} \in \{0, 1\}$）で表す。
3. 解釈可能性ツールを用いて、モデルの内部でその戦略が実際に使用されたかをバイナリ変数（$B^{INT}_{S} \in \{0, 1\}$）で検出する。
4. $B^{INT}_{S}$を参照値（正解）、$B^{CoT}_{S}$を予測値と見なし、両者間のマクロF1スコアをデータセット全体で算出した値がCIAとなる。
内部計算の検出には、線形プローブ（Linear Probes）、Tuned Lens、アテンションパターン分析、因果的介入（振る舞いの破損：Behavioral Corruption）といった複数の解釈可能性ツールがタスクの特性に応じて使い分けられる。評価は「2ホップ質問応答」「ヒント介入」「2桁の整数乗算」の3タスクで実施されており、既存のLLMではすべてのタスクでCIAスコアが低く（44.8%〜75.9%）、CoTと内部計算に顕著な乖離があることが確認されている。
なぜ今注目されているのか
LLMの推論能力の向上とともに、「モデルが本当に示された手順で考えているのか」という問いへの関心が高まっている。CoTはAIの説明可能性・透明性を担保する主要な手段として広く活用されてきたが、CIAの研究はその前提に疑問を呈するものであり、AI解釈可能性（interpretability）分野における重要な論点となっている。また同研究では、タスク正確性とCIAの両方を報酬として用いた事後学習（Rejection Sampling・DPO・GRPOなど）によって、正確性を維持しつつ、最良の手法でCIAを平均44.0%向上できることも示されており、改善の実現可能性が具体的に示された点でも注目される。
日本企業への示唆
LLMをビジネスプロセスの意思決定支援や根拠説明に活用する場合、CoTの出力をそのままモデルの「思考の根拠」として信頼することにはリスクが伴う可能性がある。CIAという観点は、「AIが説明した理由」と「AIが実際に依拠した計算」が乖離していないかを問い直す視点を経営・開発の双方に与える。AI活用の監査や品質保証の枠組みを整備する際には、CoTの出力の整合性を評価する仕組みの導入を検討する価値がある。コードはGitHub（`yihuaihong/CIA-minimal-repro`）で公開されており、技術チームによる検証が可能な状態にある。
※ 本ページはAI News JAPAN編集部が最新の動向を踏まえて解説したものです。内容は随時見直します。
