这批检查点通过HuggingFace放出,分别是Cosmos3-Nano-Transfer-Auto、Cosmos3-Nano-Sim-Auto、Cosmos3-Nano-Sim-Transfer和Cosmos3-Nano-Sim-Bimanual。交互式世界仿真由此正式进入自动驾驶和机器人两条赛道。四个模型各有160亿可训练参数,发布许可为Linux基金会监管的OpenMDW-1.1,商业与非商业用途都允许,前提是附上"Built on NVIDIA Cosmos"署名。
Cosmos 3家族自2026年5月31日GTC台北/Computex主体发布以来,这次是规模最大的一轮扩展。NVIDIA首席执行官Jensen Huang当时在主题演讲里把Cosmos 3称作"物理AI的开放前沿基础模型",同时放出了Super(640亿参数)和Nano(160亿参数)两个规格的权重;4B参数的Edge版则在同年7月跟进落地。
从"多模型流水线"到"单模型全覆盖"的架构逻辑
四个新检查点的价值,得先从Cosmos 3的架构改了什么说起。技术分析显示,以往的物理AI系统一般走链式调用:场景理解交给一个模型,世界生成交给另一个,机器人动作预测再交给第三个,每个接口处都会产生集成损耗。Cosmos 3改用Mixture-of-Transformers双塔架构,把这条流水线替掉了。
两座塔各有分工。Reasoner Tower是自回归视觉语言模型,管理解和推理;Generator Tower是扩散Transformer,负责生成物理感知视频和未来帧。两者共享三维旋转位置嵌入,Generator必须跑在Reasoner的上下文输出之上,推理先于生成,这是设计上定死的约束。整个系统的训练数据约为20万亿token,覆盖图像、视频、音频和动作。
11月5日放出的四个检查点,都是在Nano基础上针对特定任务做过后训练的版本,训练遵循"双向适应→教师强迫→一致性蒸馏→自强迫"四阶段方案,重点解决自回归生成里历史误差累积的问题。也就是说,开发者拿到的不是通用底座,而是已经按目标场景调好、能直接接进仿真流水线的专用模型。
四个检查点,两条产业赛道
按功能划分,这四个模型覆盖的是两个应用层。
自动驾驶这边,Transfer-Auto生成多视角驾驶数据,天气、光照和时段各有不同;Sim-Auto输出同步的摄像头图像与LiDAR点云,能直接接入驾驶仿真器;Sim-Transfer把仿真器控制信号和文字提示转成照片级真实视频,用来处理仿真场景与现实分布之间的域偏移。
机器人这边,Sim-Bimanual支持YAM和AgiBot两种双臂机器人体态的交互仿真,策略模型可以控制它,人也能通过手柄实时操作。这个接口设计意味着,研究人员不用实际部署硬件就能采集双臂操作数据,或者用真人遥操作来填充边缘场景的训练集。
开放的任务专用世界模型检查点,让生成稀有驾驶场景和机器人训练数据的成本降了下来,不必在现实中逐个采集每种极端工况。这其实是仿真换真实数据这条逻辑的直接延伸,对自动驾驶团队尤其有用——雪天夜间的突发切入场景可以在仿真里大量生成,不用等真实路测碰运气。
开放许可背后的硬件现实
许可策略上,Cosmos 3在当前大模型生态里算相对友好的一档:OpenMDW-1.1允许商业使用和衍生模型,只要求署名。Llama系列对商业规模有限制,部分模型则完全封闭,相比之下这个口径确实给初创公司和研究机构留了空间。
硬件门槛则是另一回事。技术指南显示,Nano(160亿参数)至少要96GB显存,对应RTX PRO 6000工作站级别或多卡配置;Super(640亿参数)必须跑在H100、H200或B200数据中心GPU上。面向嵌入式部署的Edge(40亿参数)硬件要求更低,针对Jetson设备,但覆盖的能力也相应收窄。
于是"开放权重"的可及性在实践中明显分层:学术团队和大型自动驾驶公司的基础设施够用,多数机器人创业公司想直接本地推理Nano仍有门槛。云端推理能绕开显存约束,NVIDIA为此提供了Cosmos NIM微服务接口,支持GPU加速的托管调用。
生态聚合与10M下载的信号意义
节奏上看,NVIDIA官方论坛的数据表明,Cosmos系列在2026年7月27日已经突破10M次下载。不到8个月积累到这个体量,说明开发者社区对物理AI基础设施的需求确实存在,而且在快速扩大。
NVIDIA同时在推"Cosmos Coalition",想把世界模型构建者、AI开发者和物理AI领域的企业拢成一个生态联盟。Figure AI和Boston Dynamics等机器人公司正在探索用Cosmos 3做类人机器人和自动驾驶的世界模型训练。这套生态打法和当年CUDA的路径很像:先用开放工具链让开发者产生依赖,再靠硬件把整个价值链拉回来。
这次发布的战略意图不复杂:开放权重扩大生态,任务专用检查点降低接入成本,硬件分层引导企业用户往数据中心配置迁移。布局结构是完整的,但物理AI的真实价值,最终还得在现实工况的机器人和车辆上兑现。