公開:2026年11月6日, 最終更新:2026年11月6日
NVIDIAは2026年11月5日付の公式テクニカルブログで、AIファクトリーにおけるメモリ効率を最大化する5つの共同設計手法を解説した。同社によれば、NVIDIA Vera Rubin NVL72はGPU1基あたり288GBのHBMを維持しながら、SemiAnalysis AgentXベンチマーク(ユーザー1人あたり毎秒160トークン条件)においてGB300 NVL72比でメガワットあたりのエージェント向けスループットを最大30倍に向上させるとしている。
30秒サマリー
- NVFP4量子化によりFP16比で約3.5倍のモデル圧縮を実現し、解放されたHBMをKVキャッシュ・大規模バッチに転用
- NVLinkスケールアップドメインと広域エキスパート並列処理(Wide-EP)で72GPU間のメモリを実質的に1プールとして活用
- NVIDIA DynamoのKV対応ルーティング・分離サービング・階層型キャッシュ管理でKVキャッシュをフリート全体のリソースとして共有
NVIDIA Vera Rubin NVL72が実現する5つのメモリ効率化手法の要点
NVIDIAのテクニカルブログ(2026年11月5日付)では、AIファクトリーにおけるHBM(高帯域メモリ)の有効活用を「共同設計問題」と位置づけ、GPU1基あたり288GBという同一容量のままGB300 NVL72に対してVera Rubin NVL72がメガワットあたりスループットを最大30倍に高める理由として、5つの手法を解説している。ベンチマークにはSemiAnalysis AgentXを使用し、ユーザー1人あたり毎秒160トークンの条件で計測したとされている。なお、原文ではGB300からRubinへの世代移行でHBM容量は288GBで据え置かれた一方、帯域幅は19.2TB/sに向上したと記載されている。
第1の手法はNVFP4量子化。4ビットのE2M1要素と2段階スケーリング(16値ブロックごとのFP8スケール係数+テンソル単位のFP32スケール)を組み合わせ、FP16比で約3.5倍、FP8比で約1.8倍のモデル圧縮を実現する。KVキャッシュへの適用ではFP8比で最大50%のキャッシュ容量削減(約2倍の文脈常駐)が得られるとされ、DeepSeek R1においてFP8ベースライン比で同一インタラクティビティにおけるスループットを最大4倍に向上させるとしている。
第2の手法はNVLinkスケールアップドメインを活用した広域エキスパート並列処理(Wide-EP)。TensorRT-LLMにて8GPU以上にエキスパートを分散配置し、DeepSeek-R1のEP64構成ではGPU1基あたり各レイヤー4エキスパート(58MoEレイヤーで232エキスパートブロック)まで削減。GB200 NVL72では130TB/sの集約NVLink帯域幅を活用し、EP32がEP8比でGPU1基あたりの出力トークン数を最大1.8倍向上させるとしている。Vera Rubin NVL72では各Rubin GPUがHBM4を288GB搭載し、NVLink 6の帯域幅は3.0TB/sで、ラック全体では約20.7TBのHBM4を提供する。
第3の手法はNVIDIA Dynamoによるフリート全体でのKVキャッシュ管理。KV対応ルーティング、プリフィルとデコードを分離するdisaggregated serving、GPU・CPU・ストレージをまたぐ階層型KVキャッシュランナー(KVCR)の3機能を組み合わせる。KVCRはNVIDIA Inference Xfer Library(NIXL)を介してストレージ転送を行い、VAST DataとWEKAによる検証ではそれぞれH100 GPU 1基あたり35GB/s、8基の集約読み取りスループット最大270GB/sを達成したと記載されている。第4の手法はNVIDIA Vera CPUによるアイドルKVキャッシュの管理。88個のOlympusコアを搭載し、シングルスレッド性能は1.8倍向上。最大1.5TBのLPDDR5XをNVLink-C2C経由で1.8TB/sの帯域幅でRubinと協調接続し、ツール呼び出し中のアイドルKVキャッシュをCPUメモリへオフロードすることでHBMを解放する。第5の手法はNVIDIA CMX(Cluster Memory Extension)で、BlueField-4 STX、Spectrum-X、DOCA Memos、Dynamoとの連携によるポッドレベルのG3.5ストレージ層を追加し、ノードをまたいだKVキャッシュの共有・再利用を可能にする。
NVIDIA Vera Rubin NVL72の主な仕様・数値
- HBM容量(Vera Rubin NVL72、GPU1基あたり):288 GB(GB300と同一)
- NVLink 6帯域幅(Rubin GPU1基あたり):3.0 TB/s
- ラック全体のHBM4容量(Vera Rubin NVL72):約20.7 TB
- スループット向上(Vera Rubin NVL72 vs GB300 NVL72):最大30倍(メガワットあたり、160トークン/秒/ユーザー条件)
- NVFP4のモデル圧縮率(FP16比):約3.5倍
- NVFP4のモデル圧縮率(FP8比):約1.8倍
- NVFP4 KVキャッシュ削減率(FP8比):最大50%
- Vera CPUのコア数・メモリ・帯域幅:88 Olympusコア、最大1.5TB LPDDR5X、NVLink-C2C経由1.8TB/s
出典: NVIDIA Technical Blog(公式ブログ)
なぜ重要か(編集部の分析)
編集部の見解として、今回の解説で注目すべきは「GPU容量を増やさずにスループットを30倍にする」というアプローチだ。ハードウェアの絶対性能よりも、量子化・並列化・キャッシュ管理・CPU-GPU協調・外部ストレージ連携という多層的な共同設計が推論コスト構造を根本から変えつつある。エネルギー消費あたりの性能が急伸することは、AIファクトリーの電力コストと設備投資の試算を書き換える可能性がある。
日本企業への示唆(編集部の分析)
編集部の分析として、日本企業がAIインフラを設計・調達する際には、GPU搭載メモリの絶対量だけでなく「1バイトあたりの有効活用度」を評価軸に加えることが重要になる。特にエージェント型AIを本番運用する場合、KVキャッシュの再利用率やツール呼び出し時のアイドル損失がTCOに直結するため、DynamoやNIXL対応のストレージ構成を含めたスタック全体での費用対効果試算が求められる。また、NVFP4がMLPerfやオープンベンチマークのデフォルト精度となっている点は、将来のモデル選定・精度要件設定にも影響しうる。
背景・経緯
原文によれば、GB300からRubinへの世代移行でHBM容量は288GBで据え置かれた一方、帯域幅は19.2TB/sに向上した。NVIDIAはこの設計判断を「容量よりも各バイトの有効活用度を高める共同設計」と説明しており、量子化・並列化・ソフトウェアスタック・CPU・ストレージの5層を一体として最適化する方針を示している。同ブログでは関連記事としてRubin GPUアーキテクチャの詳細解説、NVFP4 KVキャッシュ最適化、Wide-EP実装ガイダンスへの参照も示されている。
NVIDIA Vera Rubin NVL72についてよくある質問
Q. NVIDIA Vera Rubin NVL72はGB300 NVL72と比べてどの程度スループットが向上するか?
A. 原文によれば、SemiAnalysis AgentXベンチマーク(ユーザー1人あたり毎秒160トークン条件)においてVera Rubin NVL72はGB300 NVL72比でメガワットあたり最大30倍のスループットを達成するとされている。GPU1基あたりのHBM容量は両世代とも288GBで同一。
Q. NVFP4はFP8やFP16と比べてどれだけモデルサイズを削減できるか?
A. 原文では、NVFP4を重みに適用するとFP16比で約3.5倍、FP8比で約1.8倍のモデルフットプリント削減が得られると説明している。KVキャッシュへの適用ではFP8比で最大50%の削減(約2倍の文脈常駐)が可能とされている。
Q. NVIDIA DynamoのKVキャッシュ管理はどのような仕組みか?
A. 原文によれば、DynamoはKVキャッシュをGPU単位のリソースではなくフリート全体のリソースとして扱う。KV対応ルーティングでリクエストをキャッシュ保持先GPUに誘導し、プリフィルとデコードを分離サービングし、KVキャッシュランナー(KVCR)がNIXLを通じてGPU・CPU・ストレージ間でキャッシュブロックを階層的に管理する。




