30秒サマリー
- Hugging Face HubのデータをどのクラウドのGPUからでも転送コストなしで読み込める新機能が登場
- SkyPilotが20以上のクラウド・Kubernetes・オンプレミス環境で同一ジョブを実行可能に
- ストレージ単価はAWS S3比で最大半額相当、かつ読み取り時のエグレス料金は無料
何が起きたか
Hugging FaceとSkyPilotは2026年7月7日、両サービスを統合した新機能「store: hf」を発表した。これにより、Hugging Face Hub上に保存されたモデルやデータセットを、`hf://`というURL形式と既存のHF_TOKENのみで、SkyPilotが管理する任意のクラウド・クラスター上のAIジョブにマウントできるようになった。対応環境はAWS、GCP、Azure、Lambda等20以上のクラウドに加え、Kubernetes、Slurm、オンプレミスにも及ぶ。
Hugging Face Storageはデータの読み取り（エグレス）に課金しない方針を採用しており、どのクラウド上のGPUからデータを読み込んでもコストは発生しない。ストレージ価格は月額12〜18ドル/TBとされており、原文によればAWS S3の約23ドル/TBにエグレス料金（約0.09ドル/GB）が加わるコスト構造と比較して優位性があるとされている。
検証として、Qwen/Qwen3.5-4BモデルをAWS、GCP、Lambdaの3クラウドでファインチューニングした結果、モデルの読み込み速度は最大約500MB/s、チェックポイントの書き込み速度はAWSで約168MB/s、GCPで約123MB/s、Lambdaで約112MB/sを記録したと報告されている。なお、データの読み取りはLazy方式（実際にアクセスした部分のみ転送）で行われるため、大規模ファイルでも処理開始までのウェイト時間を短縮できるとされる。
また、Hugging Face BucketsはXetと呼ばれるコンテンツ定義チャンキング技術を採用しており、チェックポイントや派生モデルの差分のみを保存・転送する重複排除機能を備える。原文によれば、10万行のParquetファイルへの1万行追記時に転送データ量が約106MBから約10MBに削減されたとされており、8.43GBのデータを再アップロードした際も初回の24秒から約8秒に短縮されたと記載されている。
原典ハイライト
「Hugging FaceはエグレスもCDN料金も課金しないため、SkyPilotがジョブをどのクラウドに配置しても、同一バケットからモデルとデータセットをコストゼロで読み込める」という点が本発表の核心。認証は既存のHF_TOKEN一つで完結し、クラウドごとのバケットキー管理が不要になる点も強調されている。
出典: Hugging Face Blog（公式ブログ）
So What?（なぜ重要か）
GPU確保のために複数クラウドを併用する「マルチクラウド戦略」が現実的な選択肢になる中、これまでデータのエグレスコストや管理の複雑さがボトルネックとなっていた。今回の統合により、データの置き場所によって計算リソースの選択が縛られる構造的な制約が緩和される可能性がある。特に、大規模モデルの繰り返し読み込みや長期にわたる学習ジョブではコスト差が累積しやすく、インフラ設計の見直しを促す契機となりうる。
日本企業への示唆
複数クラウドでGPUリソースを確保している、あるいは今後検討している日本企業にとって、データ転送コストの試算を改めて行う価値がある。特にAWS以外のクラウドやオンプレGPUを併用している組織では、Hugging Face Hub＋SkyPilotの構成がデータパイプラインの簡素化とコスト削減の両面で選択肢となりうる。一方、社内セキュリティポリシー上、モデルや学習データをHugging Faceのような外部サービスに置くことの可否を事前に確認することが必須となる。オープンソースモデルの活用やファインチューニングを行っているMLOpsチームは、既存のS3/GCSベースのストレージ構成との費用対効果を具体的な転送量で試算してみることが現実的な次のステップとなる。
背景・経緯
SkyPilotはもともとAWS S3、GCS、Azure Blob、Cloudflare R2など主要クラウドのオブジェクトストレージをマウントする機能を持っており、Hugging Face Storageが新たにそのバックエンドの一つとして追加された形となる。今回の機能はNikhil Jha氏の貢献を起点に、Hugging FaceとSkyPilotの両チームが共同で開発。Hugging FaceチームはFUSEマウントを非特権コンテナ内で動作させるための修正をオープンソースとして公開している。
