公開：2026年10月21日, 最終更新：2026年10月21日
Googleは2026年10月20日、TPU上でPyTorchをネイティブ動作させる推論エンジン「vLLM-TorchTPU」（Inferactと共同開発）および「SGLang-TorchTPU」（RadixArkと共同開発）を正式に公開した。両エンジンはすでにプレビュー顧客環境およびMetaの本番環境で稼働しており、SemiAnalysis InferenceXベンチマークで100万トークンあたり2.01セントという業界最安水準のコストを達成したとしている。
30秒サマリー
- GoogleがTPU向けPyTorchネイティブ推論エンジン（vLLM・SGLang）を正式公開
- Ironwood TPU上で100万トークンあたり2.01セントの業界最安コストを達成
- MetaやInferact・RadixArkとの共同開発で本番環境での稼働実績あり
vLLM-TorchTPU・SGLang-TorchTPUの発表内容と主要機能
Googleは2026年10月20日付の公式ブログで、TorchTPUを基盤とするPyTorchネイティブの推論エンジン2種を正式公開した。vLLM-TorchTPUはvLLMの開発者が創業したInferactと、SGLang-TorchTPUはSGLangの開発者が創業したRadixArkとの共同開発による。従来、vLLMおよびSGLangはJAXベースのバックエンドでTPU上で動作していたが、開発者からPyTorchでのカスタマイズ・デバッグを求める声が多かったことが開発の背景にあると原文は説明している。
両エンジンはPallaカーネルを活用した最適化と、エージェント型・マルチモーダルワークロードに必要な機能（KVキャッシュのプレフィックス再利用、分散型プリフィル・デコード、ティアードKVオフロードなど）を標準搭載する。KVキャッシュ転送にはオープンソースのC++ライブラリ「TPU Sync」を使用し、ホスト側の余分なステージングコピーを排除しながらPythonスレッドの外で転送を並行実行する設計としている。
公開ベンチマークはコミュニティ標準のSemiAnalysis InferenceXプロジェクトを通じて実施。Ironwood TPU（TPU 7x）上でQwen 3.5を用いた当初の提出をさらに最適化し、100万トークンあたり2.01セントを達成したとしている。また、AgentXトラック（長コンテキスト・マルチターンのエージェント型ワークロード評価）においてもIronwood TPUがParetoフロンティアの大半でトップに立つ結果を公表している。vLLM-TorchTPUについては、2.8兆パラメータのKimi K3モデル向けに高性能なPallasメガカーネルを統合し、Ironwood TPU上で単一ユーザーあたり毎秒700トークン超を達成したと記されている。
SGLang-TorchTPUはMetaの本番環境で現在稼働中であり、Meta・Google・SGLangチームの三者協力で本番投入に至ったとMetaのPyTorch-TPUリードであるZongwei Zhou氏がコメントしている。JAXベースの既存エンジン（vLLM-JAX・SGLang-JAX）は引き続きメンテナンス・提供が継続される。また、vLLMは両エンジンへの活発な貢献者に無償TPU計算資源を提供するコミュニティ貢献TPU容量プールを立ち上げることも発表している。
vLLM-TorchTPU・SGLang-TorchTPUの主な仕様・数値
- 公開日：2026年10月20日
- 共同開発パートナー：Inferact（vLLM側）、RadixArk（SGLang側）
- ベンチマーク最安コスト：100万トークンあたり2.01セント（SemiAnalysis InferenceX）
- 対象TPU：Ironwood TPU（TPU 7x）
- Kimi K3対応スループット：単一ユーザーあたり700トークン/秒超（Ironwood TPU上）
- Kimi K3モデルサイズ：2.8兆パラメータ
- 対応モデルファミリー：Qwen、DeepSeek、GLM、Kimi、GPT-OSS、Gemma4など
出典: Google Developers Blog – AI（公式ブログ）
なぜ重要か（編集部の分析）
編集部の分析：PyTorchエコシステムをそのままTPU上で活用できる環境が整ったことで、GPU前提で構築されてきた推論スタックをTPUへ移行する際の技術的障壁が大幅に低下する。Metaという大規模事業者の本番採用実績と、業界最安水準のコストデータが揃ったことで、LLM推論インフラの選択肢としてTPUの現実性が一段と高まった。JAXエンジンとの併存・継続により段階的な移行も可能な点も、企業の意思決定にとってリスクを抑える材料となる。
日本企業への示唆（編集部の分析）
編集部の分析：日本企業がLLM推論の自社運用やクラウドコスト最適化を検討する際、Google Cloud上のTPUが従来のGPUインスタンスと並ぶ有力な選択肢になり得る。vLLMやSGLangはすでにGPU環境で広く使われているため、同じフレームワーク・PyTorchの知識をそのままTPU移行に転用できる点は実務上の障壁を下げる。100万トークン2.01セントという指標は競合サービスとのコスト比較の基準として使える数値であり、大量推論を伴う用途（コンタクトセンターAI・文書処理・エージェント型サービス）を展開する企業はTPU選択肢を改めて評価する価値がある。
背景・経緯
GoogleのTPUはこれまでJAXベースのバックエンドを通じてvLLM・SGLangをサポートしてきた。しかし開発者コミュニティからPyTorchでの開発・デバッグを求める声が続いたため、GoogleはPyTorchをTPU上でネイティブ動作させるTorchTPUの開発に着手。今回の発表はより広いPyTorchコミュニティ向けのTPU対応強化を図る同日の複数アナウンスの一部と位置づけられている。
vLLM-TorchTPUについてよくある質問
Q. vLLM-TorchTPUはすでに本番環境で使えますか？
A. 原文によれば、両エンジンはプレビュー顧客環境でスケール稼働中であり、SGLang-TorchTPUはMetaの本番環境でも現在稼働している。GitHubリポジトリも公開されており、今日から利用を開始できると記されている。
Q. vLLM-TorchTPUとSGLang-TorchTPUで既存のJAXエンジンはどうなりますか？
A. 原文では、vLLM-JAXおよびSGLang-JAXは引き続き重要なプロジェクトとして維持・サポート・提供が継続されると明記されている。
Q. vLLM-TorchTPUでサポートされているモデルファミリーは何ですか？
A. 原文には、Qwen、DeepSeek、GLM、Kimi、GPT-OSS、Gemma4などの人気オープンモデルファミリーが両エンジンでサポートされていると記されている。新しいオープンモデルへのDay 0サポートも目標として挙げられている。
