30秒サマリー
- 多数決投票（自己整合性）が小型LLMの推論精度を多数の問題で低下させることが実験で確認された
- Qwen2.5-7BとLlama-3-8Bで大学院レベル科学問題の過半数において精度が悪化
- モデルの「自信」が正解率を反映しない構造的問題が原因と分析されている
何が起きたか
arXivに2026年8月11日に投稿された論文（Utkarsh Bahuguna著、COLM 2026 Efficient Reasoningワークショップ採択）は、LLMの推論コスト増強手法として広く使われる「自己整合性（Self-Consistency）による多数決投票」が、小型命令チューニングモデルでは逆効果になりうることを実証した。
実験は大学院レベルの科学問題198問で構成されるGPQA Diamondベンチマークを用いた。Qwen2.5-7Bでは56.6%の問題で、Llama-3-8Bでは65.7%の問題で、多数決投票を行うと1回の回答（N＝1）よりも精度が低下した。理論上限を示すグリッドオラクル（各問題に最適なNを事後的に割り当てる手法）はQwenでN＝1比較で14ポイント、Llamaで17ポイント上回るものの、これは正解ラベルが必要な非実用的手法である。
精度改善を狙った代替ゲート手法（複数回答の一致率に基づくゲートやトークンエントロピーに基づくゲート）も検証されたが、いずれもN＝64の固定多数決投票から0.002以上の精度変化をもたらさなかった。著者はこの現象のメカニズムを「モデルの確信度が正解率を追跡していない」ことに求めており、Qwenでは最高一致率ビンでも正解率は約50%、Llamaに至っては最高一致率ビンが最低一致率ビンより精度が低いという結果が示された。なお本研究では推論特化型（reasoning-native）モデルはテスト対象外であり、その挙動は未解決の重要課題として論文内で明示されている。
原典ハイライト
論文は47問の探索的分析で傾向を観察した後、151問の確認的分割で4つの仮説を事前登録し全て確認するという厳格な手順を踏んでいる。「自信度が正解を追跡しない」という構造的問題が多数決の有効性を根本から損なっていると論文は結論付けている。
出典: arXiv cs.AI（論文）
So What?（なぜ重要か）
推論コストを増やせば精度が上がるという前提がモデル規模によっては成立しない可能性を、事前登録付きの実験が裏付けた。小型・中型LLMを実業務に適用する際、多数決投票のようなサンプリング増加戦略が必ずしもコスト対効果に見合わないことを示しており、推論コスト設計の見直しを迫る内容といえる。
日本企業への示唆
コスト重視でQwenやLlamaクラスの小型モデルを自社システムに導入している、あるいは検討している日本企業にとって直接的な影響がある。「複数回生成して多数決をとれば精度が上がる」という設計思想を採用している場合、そのコスト増が無効どころか逆効果になるリスクを評価し直す必要がある。特に医療・法務・理工系など専門知識を要する高難度タスクへの適用には慎重な検証が求められる。一方で、推論特化型モデルでは同様の問題が生じないかどうかは本論文では未検証であり、そうしたモデルへの移行検討も選択肢として挙げられる。
背景・経緯
自己整合性（Self-Consistency）はWang et al.（2022）が提唱した手法で、LLMに複数の思考連鎖を生成させ最多回答を採用することで精度向上を図るもの。推論時計算量を増やす代表的な手法として広く普及しているが、その有効性の限界についての体系的検証はこれまで限られていた。本論文はGPQA Diamondという難易度の高い科学ベンチマークを用い、小型命令チューニングモデルに限定してこの問題を検証している。
