英伟达Cosmos3-H-Dreams：生成式模拟让临床手术栩栩如生

英伟达在HuggingFace博客上发布了Cosmos3-H-Dreams，一个能在单张RTX PRO 6000 GPU上实时运行的手术生成模拟器。这套系统学习了真实临床胆囊切除术的录像和机器人运动数据，能根据手术器械的操作指令实时生成人体内部的手术画面——移动抓钳、夹住胆囊、向上提拉，这些动作在生成的手术场景中会得到即时响应。按照研究团队的说法，这是首个基于临床胆囊切除录像训练、支持实时运动学控制的生成式手术模拟器。 这件事的背景是手术机器人训练长期依赖数值模拟，需要显式建模组织形变、器械几何和物理交互，建模成本高且难以还原真实手术的视觉复杂度。英伟达此前的Cosmos-H-Dreams已经用桌面缝合任务验证了另一条路径：不建模物理，直接从同步视频和机器人运动数据中学习视觉动态。但桌面环境背景简单，进入人体后难度陡增——组织在牵拉下延展、反光不断变化、结构相互遮挡、烟雾影响能见度，器械的微小移动会牵动整个画面。更关键的是，生成画面必须真正响应控制指令，平移、旋转、夹取都要产生合理的解剖学后果，否则再逼真也无法作为交互训练环境使用。Cosmos3-H-Dreams通过针对胆囊切除手术的专门训练和蒸馏压缩解决了实时性问题，把动作条件交互带入了复杂解剖场景。对手术机器人行业来说，这意味着训练环境有可能从手工搭建的数值模拟转向由真实临床数据驱动的生成式模拟；对关注世界模型落地的AI从业者而言，这也是生成式模型从视觉逼真走向可交互、可控制的一次具体验证。