公開：2026年9月22日, 最終更新：2026年9月22日
30秒サマリー
- Multiverse Computingがトランスフォーマーのブロック除去をイジングガラス最適化問題として定式化する手法を発表
- Llama-3.3-70Bを50%深さ圧縮した場合、既存手法比でMMLUスコアが約23ポイント上回る結果を確認
- コードはオープンソース公開済みで、量子インスパイアドソルバーとも組み合わせ可能
何が起きたか
Multiverse Computing（MultiverseComputingCAI）は2026年9月21日、LLM（大規模言語モデル）のブロック除去圧縮手法を論文として公開し、Hugging Face公式ブログで技術解説を行った。この手法は、どのトランスフォーマーブロックを削除するかの選択問題を「制約付き二値最適化（CBO）」問題に定式化し、物理学のイジングガラス（スピン系）として扱うことで、相互作用を考慮した組み合わせ探索を実現するものだ。
従来手法の多くは各ブロックを独立にスコアリングする「平均場的」アプローチを採るが、実際には「ブロック20を削除すべきか」という判断は「ブロック19や24も削除するか」に依存する相互作用（結合）がある。本手法ではモデルの損失関数を二次テイラー展開して得たヘッセ行列の対角・非対角成分をそれぞれブロック単独の重要度と結合係数として扱い、このエネルギー最小化が実際のベンチマークスコアの良さと強く相関することを確認している。
計算コスト面では、ヘッセ行列の計算は小規模な較正データセットでの順伝播・逆伝播一回分で済み、以降の候補評価はエネルギー計算のみで行えるためモデルの実行やベンチマーク測定が不要となる。小規模な問題はGPU上でのブルートフォース探索（数百億通り）で対応し、それを超える規模はタブーサーチ等の古典・量子インスパイアドソルバーに引き渡す設計となっている。
実験結果として、Llama-3.3-70B-Instructの80ブロック中40ブロック（50%）を再学習なしで除去した場合、CBOはMMLUで76.9を記録したのに対し、比較対象の「ブロック影響度」ベースライン手法は54.0にとどまり、約23ポイントの差が生じている。また、NVIDIA-Nemotron-3-Nano-30B（Mamba2・アテンション・MoEが混在するハイブリッドアーキテクチャ）への適用でも有効性が確認されており、コードはGitHubでオープンソース公開されているとしている。
原典ハイライト
Llama-3.3-70Bの50%深さ圧縮（再学習なし）において、CBOはMMLU76.9を維持したのに対し最強の既存ブロック除去手法は54.0に低下。また、最低エネルギー状態（基底状態）ではなく「第17励起状態」が再学習後に最高性能を示したケースがあり、連続ブロック一括削除という従来の仮定を実験的に否定している。
出典: Hugging Face Blog（公式ブログ）
So What?（なぜ重要か）
この研究は、LLM圧縮の精度と推論コストのトレードオフにおける重要な前提を覆す可能性がある。従来は「どのブロックを消すか」を独立に判断していたが、本手法は相互依存を組み込んだ組み合わせ探索を実用的なコストで実現し、特に深い圧縮率（40〜50%削減）で顕著な精度向上を示している。また、量子アニーリング等の量子インスパイアドソルバーが実際の機械学習タスクで効果を発揮できることを示す事例としても注目される。
日本企業への示唆
大規模モデルの運用コスト削減を検討している日本の企業にとって、ブロック除去は量子化や低ランク近似と組み合わせ可能なコスト効率の高い選択肢となりうる。特に50%程度の深い圧縮を検討している場合、従来手法では精度が大幅に低下するリスクがあったが、本手法はその領域で優位性を示しており、モデルの内製運用コストを抑えながら性能を維持できる可能性がある。コードはオープンソースのため、自社モデルへの適用可能性を技術チームが評価する価値がある。
背景・経緯
ブロック除去（深さ剪定）はLLMの推論高速化・メモリ削減手法として既存研究が複数存在する。Multiverse Computingは量子インスパイアドアルゴリズムを機械学習圧縮に応用する取り組みをこれまでも続けており、同ブログでは量子化アウェアな再学習手法（2026年8月）なども公開している。今回の論文はHugging Face上でも公開されており、ブログは技術解説として位置づけられている。
