30秒サマリー
- LLMのChain-of-Thought（CoT）推論が内部計算と乖離している問題を定量化する指標「CIA」を研究者が提案
- 3モデル・3タスクで評価したところ、CoTと内部推論の一致率は44.8〜75.9%にとどまることが判明
- ポスト学習によってCoTの忠実性を大幅改善しつつ、タスク精度も維持できることを実証
何が起きたか
Yihuai Hongら4名の研究者が2026年9月30日、arXivに論文「Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment」を公開した。
論文の中心的問題意識は、LLMが生成するChain-of-Thought（CoT）トレース——モデルが答えに至る過程を文章で示す推論ステップ——が、モデルの内部計算を必ずしも反映していないという点にある。先行研究でもCoTを書き換えても最終回答が変わらないケースが報告されており、CoTの信頼性は自明ではない。
研究チームはこの問題を測定するため、「CoT-Interpretability Alignment（CIA）」と呼ぶ指標を提案した。CIAは、モデルのCoTトレースと、解釈可能性ツールが検出した内部推論戦略との一致度を定量化するものだ。二段階質問応答・ヒント介入・整数乗算の3タスクについて3つのLLMで評価した結果、すべてのタスクでCIAスコアは44.8〜75.9%にとどまり、CoTと内部処理の間に有意な乖離があることが示された。
さらに研究チームは、タスク精度と「パラメトリック忠実性（CoTが内部推論を正確に反映しているかどうか）」の両方を報酬信号とするポスト学習によって、タスク精度を維持または向上させながらCoTの忠実性を大幅に改善できることを実験で示した。論文はコードとデータも公開している。
原典ハイライト
3モデル・3タスクの評価でCoTと内部推論の一致率は44.8〜75.9%。新指標CIAとポスト学習による改善手法を提案し、「CoT監査フレームワーク」と「より信頼できる明示的推論への道筋」を提供するとしている。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
LLMが出力する推論ステップ（CoT）は、説明責任やハルシネーション対策の根拠として活用されることが増えているが、本研究はその前提自体を揺るがす。CoTが内部処理を反映していなければ、それを根拠にした意思決定や監査は実効性を欠く可能性がある。CIAのような定量指標と改善手法の整備は、AIシステムの説明責任を制度的・技術的に担保するうえで不可欠なステップとなりうる。
日本企業への示唆
AI活用を進める日本企業にとって、LLMの推論説明を「そのまま信頼できるエビデンス」として扱うことのリスクが改めて示された。特に金融・医療・法務など説明責任が求められる領域でLLMを導入する場合、CoTの出力を内部監査の根拠とする際には、その忠実性を別途検証する仕組みが必要になる。CIA的な評価フレームワークやポスト学習による忠実性改善は、今後のAIガバナンス要件に組み込まれる可能性があり、ベンダー選定時の評価軸として意識しておくことが望ましい。
背景・経緯
Chain-of-Thoughtプロンプティングはモデルの推論透明性を高める手法として広く使われてきたが、CoTが「本当に」内部処理を反映しているかどうかを疑問視する研究は近年増加している。本論文はその乖離を測定し改善する体系的アプローチとして位置づけられる。解釈可能性（Interpretability）ツールを活用してモデルの内部表現を参照する点が方法論上の特徴で、ポスト学習（post-training）による改善まで踏み込んでいる。
