30秒サマリー
- Artificial AnalysisがGroq 3 LPXをGemma 4 31Bモデルで計測し、10万トークンの文脈長で毎秒3,431出力トークンを記録
- コンパイラによる決定論的スケジューリングとチップ間通信の超細粒度オーバーラップが、小バッチ・長文脈推論での高速性を実現
- エージェント型AIの多ターン推論では文脈が数十万トークンに膨張するため、長文脈での高速推論は実用上の重要課題
何が起きたか
NVIDIAは2026年8月24日付の公式技術ブログで、NVIDIA Groq 3 LPXがNVIDIA Vera Rubin NVL72プラットフォームと組み合わせた際の推論速度を報告した。第三者ベンチマーク機関であるArtificial Analysisが、Gemma 4（310億パラメータ）を対象に同社の10万トークン文脈ベンチマークを実施したところ、NVIDIAが自社データセンターで稼働させたGroq 3 LPXシステムが毎秒3,431出力トークンを記録したとしている。ブログ上ではこれを「第三者機関による初の公式ベンチマーク」と位置付けている。
Groq 3 LPXは256基のLP30ローカル処理ユニット（LPU）と合計128GBのSRAMベースメモリ、チップ1基あたり96本・112Gbpsのチップ間（C2C）リンクを備える。最大の特徴は「コンパイラによる決定論的スケジューリング」で、ワークロード開始前にどのデータがどのクロックサイクルにどのC2Cリンクを経由するかを完全に事前計画する。これにより実行時のリアルタイム調停が不要となり、テンソル並列処理に伴う「最初のビット到達までのレイテンシ」を最小化できるとしている。
さらにコンパイラは、320バイトのベクター単位という超細粒度で計算と通信をオーバーラップさせる。行列乗算をドット積の連続として捉え、出力の一部が算出され次第ただちにC2Cリンクで送出することで、行列演算全体の完了を待たずに転送を開始できる。この仕組みが小バッチ・高インタラクティビティ領域でのテンソル並列化の有効性を支えているとNVIDIAは説明している。
ブログではコーディング特化タスクを対象としたSPEED-Benchでの中央値毎秒4,767トークンや、Vera Rubin NVL72との複数の共実行構成（プリフィル・デコード分離、アテンション・FFN分離、投機的外部ドラフターデコード）への対応も言及されている。ただし、これらの数値の詳細な計測条件や比較対象については原文では一部省略されており、全体像の把握には原典の確認が必要な点もある。
原典ハイライト
Artificial Analysisが計測したGroq 3 LPX上のGemma 4 31Bは、10万トークン文脈で毎秒3,431出力トークンを記録。5,000トークンの生成が約1.5秒で完了する計算となり、毎秒100トークンの場合（約50秒）や、現在の主要エージェントツールの実態値とされる毎秒60トークンと比較して大幅に短縮されるとブログは指摘している。
出典: NVIDIA Technical Blog（公式ブログ）
So What?（なぜ重要か）
エージェント型AIは多ターン推論を繰り返す過程で文脈が累積的に拡大し、数十万トークン規模になり得る。この局面で推論速度が遅ければ、モデルの能力や精度に関わらずユーザー体験と生産性が根本的に制約される。Groq 3 LPXが示す毎秒3,000トークン超の速度は、コーディングエージェントや複雑な多段階タスクにおいて「待ち時間」を秒単位に圧縮し、エージェントAIの実運用上の価値を質的に変え得る水準だといえる。ただし今回の結果はNVIDIA自社データセンターでの計測であり、実際の商用サービス環境での再現性については別途検証が必要とみられる。
日本企業への示唆
日本企業がAIエージェントを業務基盤に組み込む際、推論インフラの「長文脈における速度」が選定の核心指標となる局面が近づいている。コードレビュー・契約書解析・カスタマーサポートなど、大量の文書を参照しながら多ターンで応答するユースケースでは、毎秒60〜100トークンと毎秒3,000トークン超では体験品質に決定的な差が生じる。クラウドやAIインフラの調達を検討する経営・IT部門は、スループット（バッチ処理）だけでなく「長文脈でのインタラクティビティ（毎秒出力トークン数）」を評価軸に加えることが重要。また、Vera Rubin NVL72との組み合わせによる複数の共実行構成が示すように、将来の数兆パラメータモデルへのスケールアップを見据えたアーキテクチャ選択の議論を今から始めておくことが望ましい。
背景・経緯
NVIDIA Vera Rubin NVL72は同社が「これまでで最も汎用性の高いマシン」と位置付ける次世代AIインフラプラットフォーム。Groq 3 LPXはそのプラットフォーム向けに設計されたインタラクティブAI推論アクセラレータであり、高スループットと高インタラクティビティの両立を目的として開発されたとされる。ベンチマーク対象のGemma 4は2026年4月にリリースされた310億パラメータの密モデルと原文に記載されている。
