英伟达Cosmos-H-Dreams：实时生成仿真赋能手术机器人

NVIDIA 发布 Cosmos-H-Dreams：实时生成式手术模拟器，让机器人训练告别昂贵物理实验 手术机器人正在从远程操控向更智能的视觉-语言-动作策略快速演进，但训练和评估这些系统始终是个难题。物理机器人平台运行成本高昂，实验难以快速复现，一次失败就可能损坏精密器械甚至生物组织。传统模拟器虽然更安全，但手术场景极其复杂——可变形组织、精细的器械交互、反光表面、缝合线、针具、烟雾和遮挡物，每一个细节都难以手工建模。NVIDIA 此前推出的 Cosmos-H-Surgical-Simulator 提供了一条新路径：它不依赖人工构建每个物体和物理交互，而是直接从同步的视频和机器人运动数据中学习视觉动态，能够根据初始场景和一系列机器人动作生成未来的手术视频，实现比物理实验更快的评估和合成数据生成。 今天，NVIDIA 发布了这一技术的升级版 Cosmos-H-Dreams，一个实时、基于动作条件的手术机器人生成式模拟器。它将 Cosmos-H-Surgical-Simulator 的能力蒸馏成一个因果性的少步学生模型，并通过 NVIDIA 的加速流式推理库 FlashDreams 提供服务。在单张 NVIDIA RTX PRO 6000 GPU 上运行，就能创造一个交互式环境，人类操作员或学习策略可以闭环控制。核心变化在于从离线评估走向实时交互：Cosmos-H-Dreams 从多形态手术先验知识出发，专门针对 da Vinci Research Kit（dVRK）桌面缝合场景进行优化，蒸馏成一个自回归生成场景的因果模型。输入一张初始 RGB 帧和实时机器人运动数据流，模型就能生成下一段帧，然后继续处理下一个动作块。NVIDIA 还与 CMR Surgical 和 Cambridge Consultants 合作，将 Cosmos-H-Dreams 集成到 Versius 外科医生控制器中，在 Versius 平台上实现了实时操作。 实现实时生成的关键在于保留有用手术动态的同时降低生成成本。Cosmos-H-Dreams 采用教师-学生训练流程，专为长时间自回归生成设计。教师模型从 Cosmos-H-Surgical-Simulator 的 Open-H 检查点出发，使用统一的 44 维动作表示。对于发布的 dVRK 桌面模型，双机械臂的 dVRK 动作内容（包括末端执行器相对平移、旋转和夹爪状态）被映射到这个通用表示中。教师模型在 JHU dVRK 桌面混合数据集上微调，不仅包含成功演示，还涵盖了失败和分布外场景，如针掉落、抛接失误和打结失败。这种训练方式让模型能够理解手术中的各种可能情况，而不仅仅是理想状态下的操作。对于中国跨境电商卖家和 AI 从业者而言，这项技术的意义在于：它大幅降低了机器人训练的门槛和成本，未来可能催生更多基于生成式模拟的手术机器人应用，同时也展示了世界基础模型在专业垂直领域的落地潜力——从通用视频生成转向特定场景的实时交互，这或许是 AI 商业化的重要方向。