30秒サマリー
- NVIDIAのNemotron-Labs-Diffusionは、3つの推論モードを1つのモデルに統合しスループットを大幅向上
- 8Bパラメータ版がQwen3-8Bと同等精度を保ちながら、1回の推論で6倍のトークンを生成
- GB200 GPU上でSGLangを使用した実測でスループット4倍を確認、商用展開への現実的な性能
何が起きたか
NVIDIAのNemotron-Labsチームは2026年7月7日、自己回帰（AR）・拡散（Diffusion）・自己投機的デコーディング（Self-Speculation）の3モードを単一アーキテクチャに統合した言語モデル「Nemotron-Labs-Diffusion」をarXivで公開した。著者はYonggan Fuら26名。
モデルはARと拡散の目的関数を同時に学習することで訓練され、展開環境や同時接続数に応じてモードを切り替えて高スループットを維持できるとしている。論文によれば、ARと拡散の目的関数は相補的であり、拡散が先読み計画（lookahead planning）を改善する一方、ARは左から右への言語的事前知識を提供するという。自己投機モードでは拡散がドラフト生成を担い、ARが検証を行う構造となっており、マルチトークン予測（MTP）手法と比較して受容率と実機効率の両方で上回るとしている。
パラメータ規模は3B・8B・14Bの3系列で、ベース・インストラクト・ビジョン言語モデルを含む。代表的な数値として、Nemotron-Labs-Diffusion-8BはQwen3-8Bと同等の精度を保ちながら1フォワードパスあたり6倍のトークンを生成し、GB200 GPU上でSGLangを用いたSPEED-Benchでは4倍のスループットを実現したと論文は述べている。また、最適なサンプラーを用いた理論的上限（speed-of-light analysis）では、自己投機モードと比較して1フォワードパスあたり最大76.5%多くのトークンを生成できる可能性が示されている。
原典ハイライト
論文アブストラクトによれば、Nemotron-Labs-Diffusion-8BはQwen3-8Bに対して「comparable accuracy」を維持しつつ「6x more tokens per forward」を達成し、実機ベンチマーク（SPEED-Bench with SGLang on a GB200 GPU）で「4x higher throughput」を記録。さらに理論分析では自己投機比で最大76.5%の追加トークン生成ポテンシャルが示されている。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
LLM推論コストの大部分はGPU稼働時間に起因する。同等精度で推論スループットが4倍になれば、単純計算でサービス提供コストを最大75%削減できる可能性がある。また単一モデルで3モードを切り替えられる設計は、負荷状況に応じた柔軟な運用を可能にし、インフラ管理の複雑さを低減する点でも注目される。本研究はarXiv段階であり、実製品への搭載時期や条件は原文では言及されていない。
日本企業への示唆
LLMをAPIではなく自社環境（オンプレ・クラウドGPUインスタンス）で運用している日本企業にとって、推論スループット向上はGPUコスト削減に直結する。調達・製造・金融など大量テキスト処理を行う業務ではROI改善効果が大きい。ただし本論文はarXiv公開段階であり、商用モデルとしての提供形態・ライセンス・日本語性能は現時点では不明なため、実導入検討には追加評価が必要。NVIDIAのNeMoやオープンソースモデルの動向を継続的に追跡することを推奨する。
背景・経緯
LLMの推論コスト削減は産業応用拡大の主要障壁の一つとして認識されており、投機的デコーディングや拡散型言語モデルは個別に研究が進んでいた。本研究はこれらを単一アーキテクチャに統合した点が新規性とされる。原文ではQwen3-8Bが比較対象として挙げられており、オープンソースAR系LMとの直接比較で優位性を示す設計となっている。
