NVIDIA Cosmos 3新增四款开放模型:96GB显存门槛如何落地?

资讯 AI 科技快讯 作者:赢政天下 全文 2358 字 · 约 6 分钟读完 分类英伟达模型发布开源自动驾驶机器人

2026年11月5日,NVIDIA在HuggingFace发布四个Cosmos 3 Nano开放权重检查点,涵盖自动驾驶多视角仿真与双臂机器人交互模拟。每个模型含160亿参数,采用OpenMDW-1.1许可支持商业使用。这是继5月31日Computex主体发布后的重要扩展,但Nano级别要求96GB显存的硬件门槛,让"

所属频道 模型发布算力与芯片开源生态机器人与具身智能智能汽车与出行
2026年11月5日,NVIDIA在HuggingFace上线了四个Cosmos 3 Nano开放权重检查点,应用方向包括自动驾驶多视角仿真和双臂机器人交互模拟。每个模型都是160亿参数,采用OpenMDW-1.1许可、可商用。这是5月31日Computex主体发布之后的一次重要扩展,不过Nano级别对硬件的要求是96GB显存。

这批检查点通过HuggingFace放出,分别是Cosmos3-Nano-Transfer-Auto、Cosmos3-Nano-Sim-Auto、Cosmos3-Nano-Sim-Transfer和Cosmos3-Nano-Sim-Bimanual。交互式世界仿真由此正式进入自动驾驶和机器人两条赛道。四个模型各有160亿可训练参数,发布许可为Linux基金会监管的OpenMDW-1.1,商业与非商业用途都允许,前提是附上"Built on NVIDIA Cosmos"署名。

Cosmos 3家族自2026年5月31日GTC台北/Computex主体发布以来,这次是规模最大的一轮扩展。NVIDIA首席执行官Jensen Huang当时在主题演讲里把Cosmos 3称作"物理AI的开放前沿基础模型",同时放出了Super(640亿参数)和Nano(160亿参数)两个规格的权重;4B参数的Edge版则在同年7月跟进落地。

从"多模型流水线"到"单模型全覆盖"的架构逻辑

四个新检查点的价值,得先从Cosmos 3的架构改了什么说起。技术分析显示,以往的物理AI系统一般走链式调用:场景理解交给一个模型,世界生成交给另一个,机器人动作预测再交给第三个,每个接口处都会产生集成损耗。Cosmos 3改用Mixture-of-Transformers双塔架构,把这条流水线替掉了。

两座塔各有分工。Reasoner Tower是自回归视觉语言模型,管理解和推理;Generator Tower是扩散Transformer,负责生成物理感知视频和未来帧。两者共享三维旋转位置嵌入,Generator必须跑在Reasoner的上下文输出之上,推理先于生成,这是设计上定死的约束。整个系统的训练数据约为20万亿token,覆盖图像、视频、音频和动作。

11月5日放出的四个检查点,都是在Nano基础上针对特定任务做过后训练的版本,训练遵循"双向适应→教师强迫→一致性蒸馏→自强迫"四阶段方案,重点解决自回归生成里历史误差累积的问题。也就是说,开发者拿到的不是通用底座,而是已经按目标场景调好、能直接接进仿真流水线的专用模型。

四个检查点,两条产业赛道

按功能划分,这四个模型覆盖的是两个应用层。

自动驾驶这边,Transfer-Auto生成多视角驾驶数据,天气、光照和时段各有不同;Sim-Auto输出同步的摄像头图像与LiDAR点云,能直接接入驾驶仿真器;Sim-Transfer把仿真器控制信号和文字提示转成照片级真实视频,用来处理仿真场景与现实分布之间的域偏移。

机器人这边,Sim-Bimanual支持YAM和AgiBot两种双臂机器人体态的交互仿真,策略模型可以控制它,人也能通过手柄实时操作。这个接口设计意味着,研究人员不用实际部署硬件就能采集双臂操作数据,或者用真人遥操作来填充边缘场景的训练集。

开放的任务专用世界模型检查点,让生成稀有驾驶场景和机器人训练数据的成本降了下来,不必在现实中逐个采集每种极端工况。这其实是仿真换真实数据这条逻辑的直接延伸,对自动驾驶团队尤其有用——雪天夜间的突发切入场景可以在仿真里大量生成,不用等真实路测碰运气。

开放许可背后的硬件现实

许可策略上,Cosmos 3在当前大模型生态里算相对友好的一档:OpenMDW-1.1允许商业使用和衍生模型,只要求署名。Llama系列对商业规模有限制,部分模型则完全封闭,相比之下这个口径确实给初创公司和研究机构留了空间。

硬件门槛则是另一回事。技术指南显示,Nano(160亿参数)至少要96GB显存,对应RTX PRO 6000工作站级别或多卡配置;Super(640亿参数)必须跑在H100、H200或B200数据中心GPU上。面向嵌入式部署的Edge(40亿参数)硬件要求更低,针对Jetson设备,但覆盖的能力也相应收窄。

于是"开放权重"的可及性在实践中明显分层:学术团队和大型自动驾驶公司的基础设施够用,多数机器人创业公司想直接本地推理Nano仍有门槛。云端推理能绕开显存约束,NVIDIA为此提供了Cosmos NIM微服务接口,支持GPU加速的托管调用。

生态聚合与10M下载的信号意义

节奏上看,NVIDIA官方论坛的数据表明,Cosmos系列在2026年7月27日已经突破10M次下载。不到8个月积累到这个体量,说明开发者社区对物理AI基础设施的需求确实存在,而且在快速扩大。

NVIDIA同时在推"Cosmos Coalition",想把世界模型构建者、AI开发者和物理AI领域的企业拢成一个生态联盟。Figure AI和Boston Dynamics等机器人公司正在探索用Cosmos 3做类人机器人和自动驾驶的世界模型训练。这套生态打法和当年CUDA的路径很像:先用开放工具链让开发者产生依赖,再靠硬件把整个价值链拉回来。

这次发布的战略意图不复杂:开放权重扩大生态,任务专用检查点降低接入成本,硬件分层引导企业用户往数据中心配置迁移。布局结构是完整的,但物理AI的真实价值,最终还得在现实工况的机器人和车辆上兑现。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. NVIDIA Cosmos 3上线四款开放模型:96GB显存门槛成落地难题?

    2026年11月5日,NVIDIA在HuggingFace发布四个Cosmos 3 Nano开放权重检查点,涵盖自动驾驶多视角仿真与双臂机器人交互模拟。每个模型含160亿参数,采用OpenMDW-1.1许可支持商业使用。这是继5月31日Computex主体发布后的重要扩展,但Nano级别要求96GB显存的硬件门槛,让"

    来源 AI 行业观察
  2. Kimi K3.1 Pro权重开放:漏洞利用率降至81%,数据仍待外部核验

    2026年11月4日,月之暗面在HuggingFace发布Kimi K3.1 Pro完整权重(2.8T参数/104B激活,1M上下文)。发布前,公司从训练数据和强化学习环境中移除网络攻击相关内容,据内部测试,漏洞利用成功率从90.5%降至81%。这是中国开源大模型首次公开量化安全自律效果,但这份数据来自未公开的内部基准

    来源 AI 科技快讯
  3. NVIDIA 全栈协同设计破解 AI 内存瓶颈

    IT之家 11 月 6 日消息,英伟达昨日(11 月 5 日)发布技术解读,指出随着大模型参数规模、上下文长度和智能体应用快速增长,GPU 显存正面临前所未有的压力,HBM 供应趋紧、价格上升,在可以预见的未来仍将持续。为了破解当前 AI 内存瓶颈,英伟达探索引入了“全栈协同设计”理念,将 GPU、CPU、网络、存储和

    来源 腾讯网
  4. MLCommons上线AILuminate安全与越狱基准,27个系统结果公布

    MLCommons近日发布AILuminate Safety 1.2.1和Jailbreak 1.1两项基准,开发者可通过Candela服务自测AI系统产生有害内容的风险及抗攻击能力。基准由80多家机构共识构建,覆盖12类危害场景,并采用确定性评估器提升准确性。公开结果显示27个系统表现差异显著,开放权重模型从第4到9

    来源 AI 行业观察
  5. MiniMax H3被英伟达、Pika采用:估值160亿美元的fal也拿它做底座

    最近最火的风口,非AI视频莫属。 11月3日,专注生成式媒体推理的fal宣布完成最新一轮融资,估值达到160亿美元,较今年4月翻倍,由顶级VC Bessemer领投,英伟达作为战略投资方参与跟投。在Bessemer 的对外分享中,出现了一个中国开源模型的名字。 fal基于中国开源模型MiniMax H3打造的H3 Ma

    来源 AI 行业观察
  6. 雷军晒小米机器人做家务视频,Xiaomi-Robotics-1支撑长程任务

    小米创办人、董事长兼CEO雷军近日在微博发布视频,展示小米机器人在家庭场景中的最新测试进展。该机器人在小米青年公寓试运营,可完成垃圾清扫、物品分类归位等家务任务,视频中清扫瓜子壳、收拾遗落手机充电器等场景引发网友关注。 这套机器人依托Xiaomi-Robotics-1具身基座模型,搭建完整自动执行系统,实测能够连续运行

    来源 AI 开发者社区
  7. 腾讯 Hy4 正式版亮相:挤进最强开源阵营,主打"真干活"

    腾讯混元 11 月 4 日发布最新一代大模型 Hy4 正式版。比起 8 月底推出的 preview 版,这回不仅显著扩大预训练与后训练规模,还首次引入视觉能力——能结合感知、推理与工具调用,做图像处理、图表分析与数学视觉推理。更难得的是 Hy4 首次支持"电脑操作",可混用命令行与图形界面;腾讯还针对 Blender、

    来源 AI 开发者社区
  8. 英伟达AI内存策略:HBM容量仅增3%,Agent吞吐量每美元最高涨30倍

    美东时间11月5日周四,英伟达发布公司博客文章,详解其AI内存全栈协同设计策略,强调随着大模型参数规模、上下文长度和智能体(Agent)应用持续扩张,AI基础设施的内存压力正在加剧,单纯增加GPU内存容量已不足以解决问题。英伟达提出,通过协同设计GPU、CPU、网络、存储和软件,并结合模型权重量化、KV Cache压缩

    来源 腾讯网
  9. Box 联手英伟达:智能体内容检索提速4倍

    企业内容管理平台 Box 推出了一套采用“智能体优先”思路的内容检索系统,其核心基于英伟达 Nemotron 开源模型。据称,新系统响应查询的速度提升至原来的四倍,错误率降低 20%,而消耗的 token 数量减少 90%。这标志着企业搜索正从“检索增强生成”的单轮问答,转向由模型自主规划、多步执行任务的智能体检索架构

    来源 AI 行业观察
  10. Anthropic开源FlashProve:17秒验明模型真身,还能抓调包

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月4日消息,今天凌晨,Anthropic开源大模型可证明推理系统FlashProve,详细技术报告于11月2日发布。服务商可通过该系统为模型回答生成密码学证明,用户无需获取模型权重或自行运行大模型,就能在CPU上核验输出是否符合指定模型的计算结果

    来源 腾讯网
  11. MiniMax H3开源模型走红:英伟达、Pika先后接入并谈授权

    智东西(公众号:zhidxcom)作者 | 江宇编辑 | 漠影硅谷AI公司,开始站在中国开源模型的肩膀上造模型了。最近,出手的不仅有英伟达的技术团队,还有美国AI视频明星公司Pika。它们不约而同地选择了同一个中国视频模型——MiniMax H3。英伟达相关技术团队基于MiniMax开源的视频模型H3,将低分辨率视频再

    来源 腾讯网
  12. 英伟达AI内存全栈设计:Agent吞吐量升30倍,HBM只增3%

    快科技11月6日消息,英伟达发布博客文章,详解其AI内存全栈协同设计策略。文章强调,随着大模型参数规模、上下文长度和智能体(Agent)应用持续扩张,AI基础设施的内存压力正在加剧,单纯增加GP

    来源 快科技
  13. 招商局狮子山实验室推Lion-ER:350亿参数模型如何理解物理世界

    招商局狮子山实验室推出「驭物™ Lion-ER-35B-A3B」具身推理模型。该模型总参数35B,推理时仅激活3B,却在十项基准测试中全线提升。其核心突破在于摒弃盲目堆砌数据的传统路径,转而采用“能力牵引”的数据引擎:先拆解具身智能所需的39项细粒度能力,再通过评测发现短板,定向合成或筛选训练数据。这种闭环迭代机制让模

    来源 AI 应用前沿
  14. 混元 Hy4 实测:腾讯的产品基因,模型继承了几分?

    11 月 4 日,腾讯混元正式发布新一代大语言模型 Hy4。腾讯表示,随着模型能力全面提升,Hy4 首次跻身最强开源模型梯队。模型权重将于近期开放,同时发布模型 System Card,重点关注网络安全、生物安全等潜在风险,推进负责任的开源。 相比此前的 Hy4 Preview,Hy4 在预训练和后训练阶段进一步扩大了

    来源 AI 行业观察
  15. 英伟达详解AI内存全栈协同设计:HBM容量增3% 每美元吞吐量最高升30倍

    美东时间11月5日周四,英伟达发布公司博客文章,详解其AI内存全栈协同设计策略,强调随着大模型参数规模、上下文长度和智能体(Agent)应用持续扩张,AI基础设施的内存压力正在加剧,单纯增加GPU内存容量已不足以解决问题。英伟达提出,通过协同设计GPU、CPU、网络、存储和软件,并结合模型权重量化、KV Cache压缩

    来源 腾讯网
  16. 扣子企业版、腾讯元器接连下线:大厂AI产品整合提速

    近日,字节旗下AI应用开发平台扣子(Coze)发布《扣子企业版下线公告》,企业标准版与企业旗舰版将于2026年11月30日起停止接受新客户购买,存量套餐最晚于2027年12月31日全面下线,超期未使用部分将自动退款。 一位自称是字节前Coze员工称,Coze这种工作流产品不是被AI淘汰的,而是被“模型自己会规划”淘汰的

    来源 AI 行业观察
  17. 中科大团队发布开源RNA序列基础模型structRFM,成果登上《自然》

    从中国科学技术大学获悉,该校科研团队发布一款开源核糖核酸(RNA)序列基础模型structRFM,提高了模型在RNA结构预测与功能推断一系列下游任务中的性能,有望助力人工智能驱动的科学研究、生物学机制理解、药物发现等。5日,相关研究成果发表于国际学术期刊《自然》。(央视新闻)

    来源 AI 行业观察
  18. 英伟达GR00T:机器人动作生成为何要迭代十次?

    你有没有想过,为什么现在最先进的机器人,想要做一个拿杯子的动作,脑子里却要"想"十次才能动一下?这不是夸张。目前主流的机器人基础模型,无论是英伟达的GR00T,还是各家实验室的具身智能方案,内部用的都是一种叫"流匹配"的技术来生成动作。这套技术的工作方式有点像老式相机的多次曝光:先给机械臂的动作轨迹撒上一层...

    来源 腾讯网
  19. Hugging Face谈开源AI:低准入不等于低总成本,账单藏在哪

    开源AI模型正从边缘走向主流,企业、政府和初创公司都对其低成本、高控制和灵活性寄予厚望。然而,随着能力越来越强的模型免费开放,商业价值如何捕获?中国开源力量崛起,美国玩家能否守住优势?Hugging Face政策负责人围绕成本、风险与权衡展开深度剖析,为开源AI的可持续发展提供关键思考。

    来源 AI 科技快讯
  20. Husk从AI挑刺网红变合作对象:OpenAI、Anthropic为何主动找他

    Husk是一位以揭露AI聊天机器人缺陷而走红的网红,短视频动辄百万播放。令人意外的是,OpenAI、Anthropic及马斯克旗下SpaceX等顶级AI实验室,如今都主动向他抛出橄榄枝。这一转变背后,是AI行业日益严峻的信任危机——与其让批评者在暗处开火,不如把最有影响力的批评者拉到牌桌上。本文深度解析这位“AI黑粉”

    来源 AI 科技快讯
  21. Kimi K3.1 Pro权重开放:1561GB可自部署,MaaS转售划红线

    21世纪经济报道记者 雷晨 11月5日,Kimi K3.1 Pro完整权重正式对外公开,配套模型卡同步披露架构参数、六模型对标评测结果与自研许可证全文。 此前的10月24日凌晨,月之暗面先放出跑分与API定价,模型仅在自有产品与开放平台提供调用。第三方评测机构Artificial Analysis当时给出55分智能指数

    来源 腾讯网
向下滚动自动加载更多