30秒サマリー
- AWSがSageMaker HyperPodでLLM推論の2フェーズを別GPUプールに分離する「DPD」機能を公式ブログで解説
- EFA／RDMAによる高速KVキャッシュ転送で、長文プロンプトが他リクエストの応答遅延に影響しない構成を実現
- vLLM・LMCache・NIXLを組み合わせた専用オペレーターで、最短2ノードから導入可能
何が起きたか
AWSは公式Machine Learning Blogにおいて、Amazon SageMaker HyperPod上でLLM推論の「Disaggregated Prefill and Decode（DPD）」を実装する手法を詳細に解説した。LLM推論にはプリフィル（入力プロンプト全体を並列処理してKVキャッシュを生成するコンピュート律速フェーズ）とデコード（1トークンずつ生成するメモリ帯域律速フェーズ）という性質の異なる2段階がある。従来の共存（コロケーション）構成では、長文プロンプトのプリフィルがGPUを占有し、他リクエストのデコード中にレイテンシスパイクが発生する問題があった。
DPDはこの2フェーズを別々のGPUプールで実行し、Elastic Fabric Adapter（EFA）とRDMAを介してKVキャッシュを転送することで干渉を排除する。アーキテクチャはインテリジェントルーター・プリフィラーポッド・デコーダーポッドの3コンポーネントで構成され、KVキャッシュ転送にはLMCache PD → NIXL → libfabric → EFAという4層スタックを使用する。ルーターは設定可能なトークン数閾値に基づき、長文リクエストを分離パスへ、短文リクエストは直接デコーダーへ振り分けることで、混在トラフィックも自動処理する。
原文によると、ml.p5.48xlarge（EFA帯域3,200Gbps）においてLlama 3.3 70Bの8,000トークン分のKVキャッシュ転送は一桁ミリ秒台で完了するとされており、転送コストはプリフィル計算時間に対して無視できるレベルと説明されている。本機能はHyperPod Inference Operatorバージョン3.2以降で利用可能で、新規のHyperPod EKSクラスターではデフォルトインストール済み。対応インスタンスとしてP5・P6ファミリーが明示されており、同一アベイラビリティゾーン内への配置が必須条件とされている。
原典ハイライト
原文は、ml.p5.48xlarge環境でLlama 3.3 70Bの8,000トークンKVキャッシュ転送が「一桁ミリ秒」で完了すると明示。また、トークン数閾値を下回る短文リクエストはプリフィラーをバイパスして直接デコーダーへ送られるため、単一エンドポイントで長文・短文の混在トラフィックを自動処理できる点を核心的な設計として説明している。
出典: AWS Machine Learning Blog（公式ブログ）
So What?（なぜ重要か）
LLM推論の応答品質はTTFT（最初のトークンが届くまでの時間）とITL（トークン間隔）の両立が課題だが、コロケーション構成では長文処理が全ユーザーのITLを悪化させるトレードオフがあった。DPDはこの干渉を構造的に排除し、スループットと安定したストリーミング応答を同時に追求できる基盤を提供する。チャットアシスタント・エージェント・RAGといった本番ユースケースへのスケールアウトにおける実運用上の障壁が低減される。
日本企業への示唆
4,096トークンを超える長文プロンプトを扱うRAGシステム、マルチターン会話、ドキュメント分析APIなどを本番運用している企業はDPD導入の優先度を検討すべきだ。特に複数ユーザーが同時利用するサービスでは、1件の長文リクエストが他ユーザーの体験を劣化させるリスクを低減できる。一方、バッチ処理や低並列・短文のみのワークロードではコロケーション構成の方がシンプルであり、原文もその点を明示しているため、自社のトラフィックパターンに照らした適切な構成選択が重要となる。導入にはP5またはP6インスタンスと同一AZ内の2ノード以上、およびOperatorバージョン3.2以降が前提条件となる点も事前確認が必要。
背景・経緯
vLLMはシングルノード効率をcontinuous batchingとPagedAttentionで改善してきたが、マルチノードスケールでのルーティング最適化と運用自動化は別課題として残っていた。AWSはHyperPod Inference Operatorにより、vLLM・LMCache・NIXLのオープンソースコンポーネントとEFAハードウェアスタックを統合管理できる仕組みを提供している。本機能はLMCacheのvLLM Production Stackルーターを基盤としており、オープンソースエコシステムとのアライメントを維持しながらマネージドサービスとして提供している。
