公開：2026年10月21日, 最終更新：2026年10月21日
Hugging Faceは2026年10月20日付の公式ブログで、TPUをPyTorchのネイティブバックエンドとして扱えるようにする「TorchTPU」のHugging Faceエコシステムへの統合について詳説した。TransformersおよびDiffusersでTPUが正式サポートされ、従来必要だったtorch_xlaやOptimum TPUを介さずにTPU上でモデルを実行できると説明している。
30秒サマリー
- TorchTPUにより、PyTorchコードをほぼ変更せずTPU上でモデルを実行できるようになった
- Transformersはdeviceマップに「tpu」を指定するだけ、DiffusersはpipeをTPUに送るだけで動作する
- Qwen3-30B-A3BではTPUカーネルを使うとバッチサイズ64でデコードが21.5倍高速化
TorchTPUのHugging Faceエコシステム統合の概要
Hugging Faceは公式ブログ（2026年10月20日付）で、TorchTPUがPyTorchの新しいバックエンドとしてTPUを追加し、通常のPyTorchコードをほぼそのまま実行できることを解説した。従来、PyTorchでTPUを使うにはtorch_xla（PyTorch/XLA）を経由する必要があり、遅延評価（lazy tensor）に起因するデバッグの難しさやグラフ再コンパイルの問題があった。TorchTPUはこれを解消し、Hugging Faceが独自に提供していたOptimum TPUも不要になるとしている。
Transformers v5ではdevice_map=”tpu”を指定するだけでモデルをTPUにロードでき、eager modeのほかtorch.compileや分散学習にも対応する。Diffusersでもpipe.to(“tpu”)の1行追加でTPUを利用でき、コンパイルモードを使えばコンパイル済みグラフが同一画像サイズの後続呼び出しで再利用される。複数チップへのモデル分割にはTensorParallelConfigをfrom_pretrainedに渡す方式をサポートする。
Kernels Hubには、Pallas言語で記述されたTPU向けカーネルが用意されており、ToKamaxライブラリのカーネルも利用可能。TPU v6e-8上でのベンチマークでは、Hubカーネルを使用した場合、Qwen3-30B-A3Bではバッチサイズ64でデコードスループットが21.5倍、Gemma 4 26B-A4Bでは12.8倍向上したと報告されている。
TransformersのテストスイートをTPU上で継続的に実行しており、現時点でTPU上のテストの96.5%がパスしているとしている。発見された不具合はTorchTPUリポジトリにissueとして報告しており、ブログ公開時点で34件を報告、うち19件が修正済みだという。StaticCacheおよびQwen3のテンソル並列プランに関するTransformers本体のバグもこの過程で発見・修正されたと説明している。
TorchTPUの主な仕様・数値
- インストールコマンド：pip install torch-tpu –extra-index-url https://download.pytorch.org/whl/cpu
- テストパス率（TPU上）：96.5%
- 報告済みissue数：34件（うち19件修正済み）
- デコードスループット向上（Qwen3-30B-A3B、バッチ64）：21.5倍（TPU v6e-8、Hubカーネル使用）
- デコードスループット向上（Gemma 4 26B-A4B、バッチ64）：12.8倍（TPU v6e-8、Hubカーネル使用）
- 動画生成例の実行環境：Cloud TPU v6e-4、TP=4、bf16、バッチ1
- MiniMax-H3動画生成時間（1344×768、5.2秒、49ステップ）：コンパイルモード188秒、eagerモード262秒
- Qwen-Image-2.1画像生成時間（1024×1024、40ステップ）：コンパイルモード3.5秒、eagerモード8.0秒
出典: Hugging Face Blog（公式ブログ）
なぜ重要か（編集部の分析）
編集部の見方として、TorchTPUはAIワークロードのインフラ選択肢を実質的に広げる変化点とみられる。これまでTPUはTensorFlow・JAX寄りの環境であり、PyTorchユーザーには高いスイッチングコストがあった。TorchTPUはその障壁をコード変更ほぼゼロに引き下げ、Google Cloud TPUをNVIDIA GPU代替の現実的な選択肢として浮上させる可能性がある。特にバッチ処理スケールでのスループット向上幅は、推論コスト削減を検討する企業にとって無視しにくい水準だ。
日本企業への示唆（編集部の分析）
編集部の分析として、日本企業がAIシステムの推論・学習インフラを検討する際、GPU調達難やコスト高への対策としてTPUを選択肢に加えやすくなったといえる。Transformers・Diffusersとの統合により、既存のPyTorchベースのコードベースや社内MLエンジニアのスキルをほぼそのまま活かしてTPUへ移行できる点は、試験導入のハードルを下げる。大規模バッチ推論を行う企業は、Kernels Hubのカーネルを活用したスループット改善の試算を行う価値があるとみられる。
背景・経緯
GoogleのTPUはTensorFlow・JAX向けに設計されてきた経緯があり、PyTorchユーザーがTPUを使うにはPyTorch/XLA（torch_xla）を経由する必要があった。Hugging FaceはこれをカバーするためOptimum TPUを開発してきたが、TorchTPUがPyTorch本体のバックエンドとしてTPUをネイティブサポートしたことで、その必要性がなくなったと説明されている。Hugging FaceとGoogle Cloudは2024年7月にCloud TPUをHugging Faceユーザーへ提供開始するパートナーシップを締結している（ブログ末尾の関連記事として言及）。
TorchTPUについてよくある質問
Q. TorchTPUを使うと既存のPyTorchコードをどの程度変更する必要があるか？
A. TorchTPUは通常のPyTorchコードをそのまま実行できる設計で、Transformersではdevice_map=”tpu”、DiffusersではpipeをTPUに送る1行追加で動作すると説明されている。
Q. TorchTPUのTransformersサポートはどの程度安定しているか？
A. 公式ブログによると、TPU上で実行されるTransformersのテストの96.5%がパスしている。TorchTPUリポジトリに34件のissueが報告され、うち19件は修正済みとしている。
Q. TorchTPUのKernels Hubカーネルを使うとどのくらいの速度向上が得られるか？
A. TPU v6e-8上のバッチサイズ64での計測では、Qwen3-30B-A3BでデコードスループットがデフォルトのKernels Hubカーネル比で21.5倍、Gemma 4 26B-A4Bでは12.8倍高速化したと報告されている。
