30秒サマリー
- NVIDIAはBlackwellプラットフォーム上で約1カ月以内にDeepSeek V4のトークンコストを最大5倍改善したと発表
- ソフト最適化の組み合わせにより、GPUあたりのスループットをベースラインの最大20倍に向上可能
- BasatenやTogether AIなど複数の推論プロバイダーがすでに実運用で成果を確認
何が起きたか
NVIDIAは公式ブログにて、同社の推論ソフトウェアスタックがAIインフラの「コスト・パー・トークン」を大幅に引き下げると発表した。Blackwellプラットフォーム上でDeepSeek V4モデルを対象に、vLLMおよびSGLangフレームワークを通じて約1カ月でトークンコストをおよそ5分の1に削減したとしている。データはサードパーティの調査会社SemiAnalysisのInferenceXベンチマークに基づく。
同社によれば、分散サービング（Disaggregated Serving）、大規模エキスパート並列処理（Large EP）、NVFP4精度、マルチトークン予測（MTP）の各最適化を組み合わせることで、Blackwell GPUのトークンスループットをベースラインの最大20倍に引き上げられるという。これらはNVIDIAのソフトスタックが「生産運用」「アプリケーション高速化」「インフラアクセス」の3層を連携させることで実現する。
実際の導入事例として、BasatenはTensorRT-LLMを活用してDeepSeek V4 Proの推論速度を最大50%向上させたと報告。CognitionはNVIDIA Dynamoフレームワークを用いて強化学習ワークロードのスケールアップをゼロから構築せずに実現。Together AIはTensorRT-LLMをBlackwell上で活用し、Cursorのリアルタイムコーディング体験向けにモデル最適化から本番エンドポイントへの移行を加速したとされる。
オープンソースとの連携も重要な要因として挙げられている。PyTorchは2016年のリリース当初からCUDAネイティブ対応で設計されており、NVIDIAのアーキテクチャと共進化してきた。DFlash speculative decodeは既存ハードウェア上でスループットを最大15倍向上させ、FastVideoは1080p動画を5秒未満で生成できるとしており、いずれもPyTorchを通じてNVIDIA GPU上で即時稼働可能という。
原典ハイライト
NVIDIAの公式ブログは、Blackwellプラットフォーム上で複数のソフト最適化技術を組み合わせることでDeepSeek V4のトークンコストが約1カ月で最大5倍改善されたと述べ、SemiAnalysis InferenceXのデータを根拠として示した。GPUあたりスループットの最大20倍向上は、分散サービング・Large EP・NVFP4・MTPの4技術の複合効果によるものとしている。
出典: NVIDIA Blog（公式ブログ）
So What?（なぜ重要か）
AIの本番運用が拡大するなか、競争優位の焦点はGPUのスペックそのものから「ソフトウェアがどれだけコスト効率を引き出せるか」へと移行しつつある。NVIDIAが示す通り、ハードウェアを固定したままソフト最適化の積み重ねだけでコストを数分の一に圧縮できるなら、AIインフラ投資の評価軸はチップ調達力からソフト活用力へとシフトする。
日本企業への示唆
日本企業がAI推論コストの削減を検討する際、まずTensorRT-LLMやDynamoなどNVIDIAのオープンソースツールを自社の推論パイプラインに組み込めているかを点検すべきだろう。特に生成AIを本番運用に移行済み、あるいは移行検討中の企業は、GPU調達コストを抑えながら同等以上の性能を得られる可能性がある。ベンダー選定時には「ハードウェアスペック」だけでなく「ソフトスタックの最適化頻度・エコシステムとの連携度」を評価項目に加えることが実質的なコスト管理につながる。
背景・経緯
NVIDIAのBlackwellアーキテクチャは同社の最新GPU世代にあたる。DeepSeek V4は中国の研究機関DeepSeekが公開したオープンソースの大規模言語モデル。vLLM・SGLang・PyTorchはいずれも広く使われるオープンソースのAI推論・学習フレームワーク。NVIDIAのCUDAは同社GPU向けの並列計算プラットフォームで、多数のオープンソースプロジェクトの基盤となっている。原文ではBlackwellのリリース時期や価格については言及がない。
