NVIDIA Cosmos 3上线四款开放模型:96GB显存门槛成落地难题?
2026年11月5日,NVIDIA在HuggingFace发布四个Cosmos 3 Nano开放权重检查点,涵盖自动驾驶多视角仿真与双臂机器人交互模拟。每个模型含160亿参数,采用OpenMDW-1.1许可支持商业使用。这是继5月31日Computex主体发布后的重要扩展,但Nano级别要求96GB显存的硬件门槛,让"
2026年11月5日,NVIDIA在HuggingFace上线了Cosmos 3 Nano系列的四个开放权重检查点,交互式世界仿真能力就此覆盖自动驾驶与机器人两条赛道。这四个检查点分别是Cosmos3-Nano-Transfer-Auto、Cosmos3-Nano-Sim-Auto、Cosmos3-Nano-Sim-Transfer和Cosmos3-Nano-Sim-Bimanual,各自包含160亿可训练参数,统一按Linux基金会监管的OpenMDW-1.1许可发布,商业和非商业用途都可使用,前提是附上"Built on NVIDIA Cosmos"署名。
这是Cosmos 3家族自2026年5月31日GTC台北/Computex主体发布之后规模最大的一轮扩展。NVIDIA首席执行官Jensen Huang当时在主题演讲中把Cosmos 3称作"物理AI的开放前沿基础模型",一同放出Super(640亿参数)和Nano(160亿参数)两个规格的权重,4B参数的Edge版到同年7月才跟进落地。
从"多模型流水线"到"单模型全覆盖"的架构逻辑
要看清这四个新检查点的价值,得先弄明白Cosmos 3的底层架构改了什么。技术分析显示,以往的物理AI系统一般靠链式调用:一个模型管场景理解,另一个管世界生成,第三个管预测机器人动作,每个接口处都有集成损耗。Cosmos 3用Mixture-of-Transformers双塔架构把这条流水线替换掉了。
两塔各管一段:Reasoner Tower是自回归视觉语言模型,负责理解与推理;Generator Tower是扩散Transformer,负责生成物理感知视频和未来帧。两者共享三维旋转位置嵌入,Generator必须跑在Reasoner的上下文输出之上,推理先于生成是设计上写死的约束。整套系统在约20万亿token的图像、视频、音频和动作数据上训练而成。
11月5日放出的四个检查点,都是在Nano基础上针对特定任务后训练的版本,训练遵循"双向适应→教师强迫→一致性蒸馏→自强迫"四阶段方案,重点解决自回归生成中历史误差累积的问题。也就是说,开发者拿到的并非通用底座,而是已经按目标场景调好、可以直接接进仿真流水线的专用模型。
四个检查点,两条产业赛道
按功能划分,这四个模型对应两个应用层,界限相当清楚:
自动驾驶这边,Transfer-Auto负责生成不同天气、光照和时段下的多视角驾驶数据;Sim-Auto输出同步的摄像头图像与LiDAR点云,能直接接入驾驶仿真器;Sim-Transfer则把仿真器控制信号和文字提示转成照片级真实视频,用来消解仿真场景与现实分布之间的域偏移。
机器人这边,Sim-Bimanual支持YAM和AgiBot两种双臂机器人体态的交互仿真,既可由策略模型控制,也能让人通过手柄实时操作。这个接口设计意味着,研究人员不用真把硬件部署起来就能采集双臂操作数据,或者用真人遥操作来填充边缘场景的训练集。
这类开放、任务专用的世界模型检查点,压低了生成稀有驾驶场景和机器人训练数据的成本,不必再到现实中逐个采集每种极端工况。说到底,这就是用仿真换真实数据那套逻辑的延伸,对自动驾驶团队尤其管用——雪天夜间突然切入的场景可以在仿真里大量生成,不用等真实路测碰运气。
开放许可背后的硬件现实
Cosmos 3的许可策略在当前大模型生态里算相对友好的一档:OpenMDW-1.1允许商业使用和衍生模型,只要求署名。Llama系列对商业规模有限制,另一些模型干脆完全封闭,相比之下这个许可口径确实给初创公司和研究机构留了空间。
硬件门槛却是另一回事。技术指南显示,Nano(160亿参数)至少要96GB显存,对应RTX PRO 6000工作站级别或多卡配置;Super(640亿参数)则必须跑在H100、H200或B200数据中心GPU上。面向嵌入式部署的Edge(40亿参数)硬件要求低一些,针对Jetson设备,但覆盖的能力也相应收窄。
也就是说,"开放权重"的可及性在实践中明显分层:学术团队和大型自动驾驶公司的基础设施够用,多数机器人创业公司想在本地直接推理Nano仍有门槛。云端推理能绕开显存约束,NVIDIA为此提供了Cosmos NIM微服务接口,支持GPU加速的托管调用。
生态聚合与10M下载的信号意义
从节奏上看,NVIDIA官方论坛数据显示,Cosmos系列在2026年7月27日已突破10M次下载。不到8个月攒下这个体量,说明开发者社区对物理AI基础设施的需求确实存在,而且在快速扩大。
NVIDIA还在推"Cosmos Coalition",想把世界模型构建者、AI开发者和物理AI领域的企业拢成一个生态联盟。Figure AI和Boston Dynamics等机器人公司正在探索把Cosmos 3用于类人机器人和自动驾驶的世界模型训练。这套生态打法和当年CUDA的路径很像:先用开放工具链养成开发者的依赖,再靠硬件把整条价值链拉回来。
NVIDIA这次发布的意图不难读:开放权重扩大生态,任务专用检查点压低接入成本,硬件分层引导企业用户往数据中心配置迁。布局结构完整,但物理AI的真实价值,最终还得在现实工况的机器人和车辆上兑现。