30秒サマリー
- NVIDIAの技術ブログが、DenseモデルとMoE（混合エキスパート）モデルの構造上の違いと選択基準を解説した
- MoEモデルはVRAMをパラメータ総数に応じて消費する一方、計算コストは活性化されたエキスパート分のみで済む
- 導入判断の軸はパラメータ数ではなく、メモリ予算・同時リクエスト数・ファインチューニング計画・量子化の挙動の4点
何が起きたか
NVIDIAのデベロッパーアドボケート、Sophia Abbassi氏は2026年9月15日付の公式テクニカルブログで、DenseモデルとMoE（Mixture-of-Experts）モデルの構造的な違い、スループットへの影響、および選択基準を詳しく解説した。
Denseモデルはすべてのトークン処理においてモデル全パラメータを活性化するのに対し、MoEモデルは複数のFFN（フィードフォワードネットワーク）ブロック（エキスパート）を内部で保持しつつ、ルーター機構が各トークンをその一部のみに振り分ける。NVIDIAのNemotron 3.5 Lightningは総パラメータ30Bのうち、1トークンあたり3Bのみを活性化するMoE+Mamba-2ハイブリッド構造を採用している。ブログ掲載の比較表によれば、同じ約30B規模のDenseモデル「Gemma 4 31B」の出力速度が36.9〜222.4トークン/秒であるのに対し、Nemotron 3.5 Lightningは235.7〜494.2トークン/秒を記録し（NVIDIA GPU各社のデータ、2026年8月31日取得）、スループットで大きく上回る。一方で汎用能力ベンチマークスコアはDenseモデルより低い。
MoEの最大の特性として同ブログは「メモリコストと計算コストの分離」を挙げる。全エキスパートをVRAMに常駐させる必要があるためメモリ所要量は総パラメータ数に連動するが、推論時の計算量（FLOPs）は活性化されたエキスパートの分だけで済む。バッチサイズが大きくなるとほとんどのエキスパートが使用されるためMoEのレイテンシ優位は縮小するが、スループット優位は維持されると説明している。
ファインチューニングと量子化についても留意点が示されている。MoEのフルファインチューニングはルーターの偏りを引き起こすリスクがあり、LoRA/PEFTの活用やルーターの凍結が推奨される。量子化ではMoEのルーター層とハイブリッドモデルの再帰的プロジェクション層が精度低下の影響を受けやすく、それらを高精度（BF16等）に保つレシピが紹介されている。
原典ハイライト
「DenseとMoEは、パラメータあたりの能力とトークンあたりの計算量というひとつのトレードオフに対する二つの解答だ。Denseはすべてをシンプルに保ち、MoEはメモリでスループットを買い、その対価として提供の複雑さを払う」とブログは結論付けている。また、同規模（約30B）のDenseモデルとMoEモデルを比べた場合、VRAMは同程度（約60GB）を必要とするが、そのギガバイトで得られるものが「能力」か「スループット」かが根本的な違いだと整理している。
出典: NVIDIA Technical Blog（公式ブログ）
So What?（なぜ重要か）
同じVRAM予算内でもアーキテクチャ選択によってスループットが数倍変わりうることが、実測値付きで示された。「パラメータ数が多いほど高性能」という単純な選び方では、コストとレイテンシの最適化を見誤るリスクがある。特に大量リクエストをさばくエージェントAIの実行層にはMoEが有効な一方、高度な推論が一度のパスで求められるユースケースにはDenseが依然として適切という使い分けの判断軸が明示されている点が重要だ。
日本企業への示唆
自社AI基盤を構築・調達する日本企業にとって、モデル選定の評価軸を「総パラメータ数」から「メモリ予算・同時リクエスト数・ファインチューニング頻度・量子化要件」の4軸に切り替えることが求められる。大量の定型タスクを低コストで処理するエージェントAI層にはMoEを、精度重視の分析・判断業務にはDenseを充てるという二層構成の検討が現実的な選択肢となる。また、MoEモデルをファインチューニングする際はルーター崩壊のリスクがあるため、社内のMLエンジニアがLoRAや量子化レシピの扱いに習熟しているかを事前に確認することが重要だ。
背景・経緯
MoE（Mixture-of-Experts）アーキテクチャはOpenAIのGPT-4やMistralなどの大規模モデルでも採用が進んでいるとされるが、本ブログ原文はその採用状況の詳細には言及していない。NVIDIAはNemotron 3.5 LightningをオープンウェイトのMoEモデルとして位置付けており、重みはHugging FaceやModelScopeで公開され、build.nvidia.comやOpenRouter経由でも利用可能と紹介されている。本ブログは既存モデルおよびアーキテクチャの解説・比較を目的として公開されたものであり、新製品発表の記事ではない。
