公開：2026年10月21日, 最終更新：2026年10月21日
NVIDIAは2026年10月20日、臨床的な胆嚢摘出術（コレシステクトミー）の録画映像とロボットキネマティクスデータから学習した外科手術向け生成シミュレーター「Cosmos3-H-Dreams」をHugging Face公式ブログで発表した。単一のNVIDIA RTX PRO 6000 GPU上でリアルタイムのインタラクティブ生成が可能とされる。
30秒サマリー
- NVIDIAがCMR Surgical Versiusプラットフォームの臨床手術データで学習した外科手術生成シミュレーター「Cosmos3-H-Dreams」を発表
- 160億パラメーターのCosmos 3基盤モデルと独自の高速推論ライブラリ「FlashDreams」を組み合わせ、単一GPUでリアルタイム動作を実現
- 研究用途に限定されており、患者ケアへの臨床適用が検証されたシステムではないと原文は明示
Cosmos3-H-Dreams の発表内容と技術的要点
NVIDIAは2026年10月20日付けのHugging Face公式ブログで、Cosmos3-H-Dreamsを紹介した。同モデルはCMR SurgicalのVersiusプラットフォームを用いた臨床的な胆嚢摘出術の映像とロボットキネマティクス記録から学習しており、原文によれば「臨床的コレシステクトミー録画で学習したリアルタイム生成外科シミュレーターとしては初」とされる。
モデルの基盤はCosmos3-H-Embodied-Nano（160億パラメーター、Open-H-Embodimentで事前学習済み）。28次元のアクション入力（両アームのポーズ・グリッパー情報、エネルギー制御、サムスティック軸・ボタン）を受け付け、832×480の動画を10Hzでアクションと同期して学習する。推論はFlashDreamsによって高速化され、単一のNVIDIA RTX PRO 6000 GPU上でインタラクティブ動作が可能とされる。
学習パイプラインは双方向ティーチャーモデルから因果的スチューデントモデルへの蒸留で構成される。公開チェックポイントは「4ステップ」と「2ステップ」の2種類で、ステップ数が少ないほど推論は高速だが視覚品質は低下する。長時間ロールアウト時のアテンション履歴管理にはFadeMem（Key/Valueキャッシュ統合）モジュールが利用される。
NVIDIAは原文の末尾で、Cosmos3-H-Dreamsはあくまで研究用シミュレーターであり、患者ケアを目的とした検証済みシステムではないと明記している。今後の研究方向として、手術全フェーズへの対応拡大、数値シミュレーションとの統合、外科医による評価ベンチマーク構築、対応器具の拡充、自律外科ポリシーの開発などを挙げている。
Cosmos3-H-Dreamsの主な仕様・数値
- 基盤モデル：Cosmos3-H-Embodied-Nano（160億パラメーター）
- 事前学習データ：Open-H-Embodiment
- 学習対象手術：臨床的胆嚢摘出術（コレシステクトミー）
- 使用プラットフォーム：CMR Surgical Versius
- アクション次元数：28次元
- 学習動画解像度：832×480
- アクション同期レート：10 Hz
- 動作確認GPU：単一のNVIDIA RTX PRO 6000
出典: Hugging Face Blog（公式ブログ）
なぜ重要か（編集部の分析）
編集部の見立てでは、生成AIが「数値物理シミュレーション」の代替として外科ロボット開発に組み込まれる道筋を、NVIDIAが実証しようとしている点が重要だ。これまで手術シミュレーターは精緻な物理モデルを手作りする必要があったが、映像とキネマティクスデータから視覚ダイナミクスを直接学習するアプローチが成立すれば、データさえ揃えればドメイン固有のシミュレーター構築コストが大幅に下がる可能性がある。ただし原文が強調するとおり、視覚的リアリズムは生体力学的精度の証明ではなく、臨床応用までには外科医による評価や数値モデルとの統合が不可欠な段階にある。
日本企業への示唆（編集部の分析）
編集部の分析として、医療機器メーカーや手術ロボット開発企業にとって注目すべきは、NVIDIAがコード・モデル・学習レシピをオープンに公開している点だ。自社の手術映像とロボットログが存在すれば、公開された教師モデルのファインチューニングと蒸留パイプラインを使って独自シミュレーターを構築できる可能性がある。一方で、薬機法や医療機器規制の観点から「研究用」と「臨床用」の境界は厳しく、規制当局への申請プロセスとは別に、外科医によるベンチマーク評価の仕組みを早期に設計しておくことが現実的な備えとなる。
背景・経緯
NVIDIAはCosmos3-H-Dreamsの前身として、dVRKテーブルトップ縫合タスクを対象にしたCosmos-H-Dreams（Cosmos-Predict2.5ベース）を公開していた。今回のCosmos3-H-Dreamsはそれを臨床手術シーンへ拡張したものと位置付けられる。原文によれば、世界基盤モデル（WFM）としての同シリーズは、シーンジオメトリや組織変形を明示的にモデル化する従来の数値シミュレーションに代わる手法として開発されている。
Cosmos3-H-Dreamsについてよくある質問
Q. Cosmos3-H-Dreamsは臨床現場で使用できますか？
A. 原文は明示的に「Cosmos3-H-Dreamsは研究用シミュレーターであり、患者ケアを目的とした検証済みシステムではない」と述べている。臨床適用を目的とした規制上の検証は行われていない。
Q. Cosmos3-H-Dreamsを自分のデータで再学習することはできますか？
A. 原文によれば、同期済み映像と互換性のあるアクション表現を持つデータセットがあれば、公開されている教師モデルのファインチューニングとSelf-Forcing蒸留のレシピを用いて他のデータセットや機器構成に適応させることができるとされる。
Q. Cosmos3-H-Dreamsの4ステップモデルと2ステップモデルの違いは何ですか？
A. 原文によれば、2ステップモデルは4ステップモデルをそのまま少ないステップで動かしたものではなく、別途学習された独立したチェックポイントである。ステップ数が少ないほど推論が高速になる一方、視覚品質は低下するとされる。
