30秒サマリー
- AWSとNVIDIA・Heidi Health共同検証：CUDA MPSでGPUインスタンスを16台→4台に削減
- 1リクエストがSMの15〜20%しか使わない非効率をMPSの並列実行で解消、92.1RPS達成
- ONNX Runtime＋TensorRT＋Tritonの3層構成をDocker Composeで展開する実装リポジトリも公開
何が起きたか
AWSのMachine Learning公式ブログは、AWS・NVIDIA・Heidi Healthの共同検証として、自動音声認識（ASR）推論におけるGPUコスト最適化の実装方法を解説する記事を公開した。
Heidi Healthは週240万件以上の臨床診察を190カ国で処理するAIサービスで、サブ秒の転写レイテンシを維持するために従来は16台のGPUインスタンスを必要としていた。原因はASR推論の1リクエストがGPUのストリーミングマルチプロセッサ（SM）を15〜20%しか使用しない一方、CUDAのデフォルト動作が各プロセスにGPUへの排他アクセスを与える「タイムスライシング」であり、残りの80%が遊休状態になる点にある。
解消策として採用したのがNVIDIA CUDA MPS（Multi-Process Service）だ。MPSは単一のGPUコンテキストを複数プロセスで共有し、カーネルを並列実行できる。転写ワークロードでは1GPUを25%ずつ4分割し、4プロセスを同時実行することで、1GPU当たりのスループットを約62RPSから92.1RPSに引き上げ、GPUインスタンス数を16台から4台（75%削減）に抑えながらp99レイテンシ1秒未満を維持したとされる。
システムは3層で構成される。①FastAPIゲートウェイ（音声デコードとgRPC転送）、②NVIDIA Triton推論サーバ（動的バッチング・シーケンスバッチング）、③CUDA MPSデーモン（SM割り当て管理）をDocker Composeで統合し、Amazon EC2（g6e.4xlarge／g7e.4xlarge、NVIDIA L40S 48GB）上で動作させる。モデルレベルではConformerエンコーダをONNX Runtime＋TensorRT EPでFP16に最適化し、デコーダはPyTorch CUDAで処理するハイブリッド構成を採用している。ブログには実装リポジトリへの参照も含まれており、Dockerfile・Tritonモデルバックエンド・FastAPIゲートウェイ・設定ファイル一式が公開されているとされる。
原典ハイライト
「1リクエストがSMの15〜20%しか使わない状況でCUDAタイムスライシングを使い続けると、GPUの80%が遊休になる。MPSで4プロセスを25%ずつ並列実行することで、同じレイテンシSLAを保ちながらGPU台数を16→4に削減できた」というHeidi Healthの実運用データが核心。GPU共有3方式（タイムスライシング・MIG・MPS）の比較も示され、小規模モデルを高頻度実行するASRワークロードにはMPSが最適と説明されている。
出典: AWS Machine Learning Blog（公式ブログ）
So What?（なぜ重要か）
GPUリソースが過小利用されたまま台数でスループットをカバーする構成は、生成AI・音声認識を問わずインフラコストを膨らませる典型パターンだ。CUDA MPSはコード変更不要でGPU共有を実現し、今回の検証では同レイテンシSLAを保ちつつインフラ費用を4分の1に圧縮できることが示された。GPUクラウドコストが高止まりする中、「台数を増やして対処」ではなく「1台の利用率を上げる」アーキテクチャ設計が経済合理性を持つことを、実測値で裏付けた点が重要だ。
日本企業への示唆
音声認識や小〜中規模の推論モデルをGPU上で本番運用している日本企業にとって、まず自社ワークロードのSM利用率を計測することが出発点になる。利用率が20%前後に留まっているなら、CUDA MPSの適用で同等のスループットをより少ないインスタンス数で達成できる可能性がある。AWS EC2 g6e/g7eシリーズ上での構成はDocker Composeレベルで再現可能なため、PoC障壁は低い。一方でMPSはメモリ保護が「ソフト分離」（共有コンテキスト）であり、テナント分離が厳格に求められる医療・金融データを扱う場合は、ハード物理分離のMIGとの使い分けを検討する必要がある点にも留意したい。
背景・経緯
Heidi Healthは事前のAWSブログ記事でNVIDIA Parakeet TDT 0.6B V2モデルの臨床音声認識向けファインチューニング方法を紹介しており、今回の記事はその続編として「ファインチューニング後の効率的なサービング」にフォーカスした位置付けとなっている。GPU共有技術としてはタイムスライシング（デフォルト）・MIG（物理分割）・MPS（論理共有）の3方式が存在し、小規模モデルを高頻度で実行するASRワークロードではMPSが最も適合するとAWSは説明している。
