30秒サマリー
- NVIDIAのGB300 NVL72がDeepSeek-V3 671Bの事前学習で1,648 TFLOPs/GPUという世界記録を樹立
- 前世代GB200比で約3倍、ソフトウェア改善だけで6カ月間に1.5倍の性能向上も実現
- 256GPUから1,024GPUへのスケールアウト時も各フレームワークで97〜98.5%のスループット維持
何が起きたか
NVIDIAは2026年7月21日付けの技術ブログで、GB300 NVL72システムがDeepSeek-V3 671Bモデルの事前学習において、256GPU構成で1,648 TFLOPs/GPUという世界記録を達成したと発表した。原文によれば、この数値は同社の従来システムGB200 NVL72（初期ソフトウェア版）の606 TFLOPs/GPUと比較して「約3倍（〜3x）」高いデリバードスループットだと明記されている。
GB300 NVL72は72基のBlackwell Ultra GPUをラック単位で統合したシステムで、第5世代NVLinkにより1GPU当たり1.8 TB/sの帯域幅と、ラック内で130 TB/sのノンブロッキング全対全帯域幅を確保している。MoEアーキテクチャ特有のall-to-all通信をラック内で完結させ、ラック間はConnectX-8 SuperNIC（800 Gbps/GPU）とQuantum-X800 InfiniBandまたはSpectrum-X Ethernetで接続する2層構成を採用する。
ソフトウェア面では、NVIDIA Megatron Core・TorchTitan・JAXの最適化が継続的に寄与しており、同じGB300 NVL72ハードウェア上でソフトウェア改善だけで6カ月間に1.5倍の性能向上を達成したと記されている。TorchTitanについては同期間で「約6倍」の性能改善が実現されたと原文は述べている。JAXについては6カ月間のNVIDIA最適化により「ほぼ10倍（nearly 10x）」の性能向上を達成し、最新版で1,025 TFLOPS/GPUに達したと原文に明記されている。スケールアウト特性については、256GPUから1,024GPUへ拡張した際にMegatron CoreはGPU当たりスループットの98.5%、TorchTitanとJAXはそれぞれ97%を維持したとされる。
原典ハイライト
NVIDIAの技術ブログは「世界記録は天井ではない。ハードウェア・インターコネクト・ソフトウェアを一体設計し継続最適化するプラットフォームから生まれた結果であり、今日の記録は明日のさらなる性能向上の土台に過ぎない」と述べており、シリコン出荷後もソフトウェアで性能が伸び続けることを強調している。また、GB200 NVL72比「〜3x」という表現は原文でも「early software version vs latest software version」という条件付きで比較されている点に留意が必要。
出典: NVIDIA Technical Blog（公式ブログ）
So What?（なぜ重要か）
MoEアーキテクチャが大規模LLM事前学習の主流となる中、学習効率のボトルネックが計算からネットワーク通信へと移行している。GB300 NVL72はそのボトルネックをラック単位の一体設計で解消し、同規模のモデルをより少ないハードウェアで、かつソフトウェア更新で継続的に性能向上できる基盤を提供する。これは大規模AI開発のTCO（総所有コスト）計算を大きく変える可能性がある。なお、本記録はNVIDIAの自社検証であり、独立した第三者評価ではない点は留意が必要。
日本企業への示唆
大規模な基盤モデル開発や継続的な事前学習を検討する日本の企業・研究機関にとって、主な示唆は3点ある。①ハードウェア選定時はピークFLOPSではなく「デリバードFLOPS（実効スループット）」とスケール時の効率維持率で比較することが重要になる。②ソフトウェア最適化による性能向上がシリコン出荷後も継続するため、クラウドや共用インフラで定期的にフレームワーク・ドライバーを最新化する運用体制が競争力に直結する。③256〜1,024GPU規模でのスケールアウト効率が97〜98.5%と高いことは、段階的な計算資源の拡張計画が立てやすいことを意味し、初期投資を抑えながら将来の拡張性を確保する調達戦略と相性が良い。
背景・経緯
MoEモデルはDeepSeek-V3（671Bパラメータ・トークン当たり約37Bのみ活性化）に代表されるように、密なモデルと比べてトークン当たりの計算コストを抑えながらフロンティア規模を実現できる。一方でGPU間のall-to-all通信が学習のクリティカルパスに入るため、GPUを増やしても通信遅延がボトルネックになりやすい課題がある。GB300 NVL72はこの課題に対してラック単位の一体設計で対処するアプローチを取っており、原文はその通信効率の確保が「デリバードFLOPS」という指標で測られると強調している。
