Cosmos 3 Edge 正式发布

英伟达发布Cosmos 3 Edge：4B参数开源世界模型，让机器人看懂物理世界并实时决策 7月20日，英伟达在Hugging Face上正式开源了Cosmos 3 Edge，这是一个拥有40亿参数的“开放世界模型”，专为边缘设备上的机器人和视觉AI代理设计。该模型能够帮助机器人在工厂、仓库、医院等真实环境中理解场景变化、预测下一步可能发生的事件，并生成相应的行动指令，实现数据中心级别的性能，却运行在内存受限的边缘系统上。英伟达将其定位为“紧凑型开放模型”，既能作为小型视觉语言模型（VLM）提供高吞吐量和实时推理，也能作为“世界行动模型（WAM）”直接输出机器人控制指令。 Cosmos 3 Edge的核心突破在于其独特的双Transformer架构。模型包含两个“塔”：自回归塔负责处理视觉和文本token，用于理解和推理；扩散塔则处理视觉、音频和行动token，用于预测、生成和神经模拟。两个塔共享多模态注意力层，从而在语言、视频、音频和行动之间对齐信息。这种设计让模型在生成输出前能先对场景进行推理，例如机器人抓取物体时，不仅能识别物体，还能理解其空间位置、机械臂运动轨迹、接触后可能发生的情况，并选择最可能成功的行动。在性能上，Cosmos 3 Edge在机器人控制分辨率（640×360）下，能在NVIDIA Jetson Thor上以15Hz的频率实现实时控制，每次推理生成32个行动指令。在VANTAGE-Bench视觉分析基准测试中，它在同等规模（4B参数）模型中排名第一，并在机器人策略学习领域达到业界领先水平。 对中国跨境电商卖家和AI从业者的影响：首先，对于从事智能仓储、自动化分拣、物流机器人等领域的卖家，Cosmos 3 Edge的开源意味着可以更低成本地部署具备实时环境理解能力的边缘AI系统，无需依赖云端算力。其次，该模型支持多种英伟达边缘计算硬件（包括RTX PRO GPU、Jetson T2000/T3000模块），降低了硬件门槛。最后，作为开源模型，开发者可以基于其共享表示能力进行二次开发，例如训练机器人理解货架布局、预测商品移动轨迹等，从而提升仓储和物流效率。不过，需要注意的是，该模型目前主要面向机器人控制场景，对于纯视觉分析任务，其性能优势可能不如专门优化的视觉模型。