NVIDIA Cosmos 3上线四款开放模型:96GB显存门槛成落地难题?

资讯 AI 行业观察 全文 2202 字 · 约 6 分钟读完 分类英伟达模型发布开源自动驾驶机器人

2026年11月5日,NVIDIA在HuggingFace发布四个Cosmos 3 Nano开放权重检查点,涵盖自动驾驶多视角仿真与双臂机器人交互模拟。每个模型含160亿参数,采用OpenMDW-1.1许可支持商业使用。这是继5月31日Computex主体发布后的重要扩展,但Nano级别要求96GB显存的硬件门槛,让"

所属频道 模型发布算力与芯片开源生态机器人与具身智能智能汽车与出行

2026年11月5日,NVIDIA在HuggingFace上线了Cosmos 3 Nano系列的四个开放权重检查点,交互式世界仿真能力就此覆盖自动驾驶与机器人两条赛道。这四个检查点分别是Cosmos3-Nano-Transfer-Auto、Cosmos3-Nano-Sim-Auto、Cosmos3-Nano-Sim-Transfer和Cosmos3-Nano-Sim-Bimanual,各自包含160亿可训练参数,统一按Linux基金会监管的OpenMDW-1.1许可发布,商业和非商业用途都可使用,前提是附上"Built on NVIDIA Cosmos"署名。

这是Cosmos 3家族自2026年5月31日GTC台北/Computex主体发布之后规模最大的一轮扩展。NVIDIA首席执行官Jensen Huang当时在主题演讲中把Cosmos 3称作"物理AI的开放前沿基础模型",一同放出Super(640亿参数)和Nano(160亿参数)两个规格的权重,4B参数的Edge版到同年7月才跟进落地。

从"多模型流水线"到"单模型全覆盖"的架构逻辑

要看清这四个新检查点的价值,得先弄明白Cosmos 3的底层架构改了什么。技术分析显示,以往的物理AI系统一般靠链式调用:一个模型管场景理解,另一个管世界生成,第三个管预测机器人动作,每个接口处都有集成损耗。Cosmos 3用Mixture-of-Transformers双塔架构把这条流水线替换掉了。

两塔各管一段:Reasoner Tower是自回归视觉语言模型,负责理解与推理;Generator Tower是扩散Transformer,负责生成物理感知视频和未来帧。两者共享三维旋转位置嵌入,Generator必须跑在Reasoner的上下文输出之上,推理先于生成是设计上写死的约束。整套系统在约20万亿token的图像、视频、音频和动作数据上训练而成。

11月5日放出的四个检查点,都是在Nano基础上针对特定任务后训练的版本,训练遵循"双向适应→教师强迫→一致性蒸馏→自强迫"四阶段方案,重点解决自回归生成中历史误差累积的问题。也就是说,开发者拿到的并非通用底座,而是已经按目标场景调好、可以直接接进仿真流水线的专用模型。

四个检查点,两条产业赛道

按功能划分,这四个模型对应两个应用层,界限相当清楚:

自动驾驶这边,Transfer-Auto负责生成不同天气、光照和时段下的多视角驾驶数据;Sim-Auto输出同步的摄像头图像与LiDAR点云,能直接接入驾驶仿真器;Sim-Transfer则把仿真器控制信号和文字提示转成照片级真实视频,用来消解仿真场景与现实分布之间的域偏移。

机器人这边,Sim-Bimanual支持YAM和AgiBot两种双臂机器人体态的交互仿真,既可由策略模型控制,也能让人通过手柄实时操作。这个接口设计意味着,研究人员不用真把硬件部署起来就能采集双臂操作数据,或者用真人遥操作来填充边缘场景的训练集。

这类开放、任务专用的世界模型检查点,压低了生成稀有驾驶场景和机器人训练数据的成本,不必再到现实中逐个采集每种极端工况。说到底,这就是用仿真换真实数据那套逻辑的延伸,对自动驾驶团队尤其管用——雪天夜间突然切入的场景可以在仿真里大量生成,不用等真实路测碰运气。

开放许可背后的硬件现实

Cosmos 3的许可策略在当前大模型生态里算相对友好的一档:OpenMDW-1.1允许商业使用和衍生模型,只要求署名。Llama系列对商业规模有限制,另一些模型干脆完全封闭,相比之下这个许可口径确实给初创公司和研究机构留了空间。

硬件门槛却是另一回事。技术指南显示,Nano(160亿参数)至少要96GB显存,对应RTX PRO 6000工作站级别或多卡配置;Super(640亿参数)则必须跑在H100、H200或B200数据中心GPU上。面向嵌入式部署的Edge(40亿参数)硬件要求低一些,针对Jetson设备,但覆盖的能力也相应收窄。

也就是说,"开放权重"的可及性在实践中明显分层:学术团队和大型自动驾驶公司的基础设施够用,多数机器人创业公司想在本地直接推理Nano仍有门槛。云端推理能绕开显存约束,NVIDIA为此提供了Cosmos NIM微服务接口,支持GPU加速的托管调用。

生态聚合与10M下载的信号意义

从节奏上看,NVIDIA官方论坛数据显示,Cosmos系列在2026年7月27日已突破10M次下载。不到8个月攒下这个体量,说明开发者社区对物理AI基础设施的需求确实存在,而且在快速扩大。

NVIDIA还在推"Cosmos Coalition",想把世界模型构建者、AI开发者和物理AI领域的企业拢成一个生态联盟。Figure AI和Boston Dynamics等机器人公司正在探索把Cosmos 3用于类人机器人和自动驾驶的世界模型训练。这套生态打法和当年CUDA的路径很像:先用开放工具链养成开发者的依赖,再靠硬件把整条价值链拉回来。

NVIDIA这次发布的意图不难读:开放权重扩大生态,任务专用检查点压低接入成本,硬件分层引导企业用户往数据中心配置迁。布局结构完整,但物理AI的真实价值,最终还得在现实工况的机器人和车辆上兑现。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. NVIDIA Cosmos 3新增四款开放模型:96GB显存门槛如何落地?

    2026年11月5日,NVIDIA在HuggingFace发布四个Cosmos 3 Nano开放权重检查点,涵盖自动驾驶多视角仿真与双臂机器人交互模拟。每个模型含160亿参数,采用OpenMDW-1.1许可支持商业使用。这是继5月31日Computex主体发布后的重要扩展,但Nano级别要求96GB显存的硬件门槛,让"

    来源 AI 科技快讯
  2. 英伟达Cosmos 3开源四模型:160亿参数赋能自驾与机器人仿真

    英伟达发布了Cosmos 3系列的四个新开源权重模型,涵盖自动驾驶多传感器数据生成、实时流式仿真、模拟器渲染及双手机器人动作预测。这些160亿参数模型基于OpenMDW1.1协议,允许商业使用,旨在帮助开发者构建更真实的交互式世界模拟环境,降低自动驾驶和机器人训练的数据成本。

    来源 AI 应用前沿
  3. 百度开源ERNIE-5.5-Flash-Base:280B参数MoE,预训练权重开放

    IT之家 11 月 5 日消息,百度文心大模型今日发布 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点的权重。这是一个稀疏 MoE 语言模型,总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零完成预训练;最长训练上下文为 128K,微调与推理

    来源 腾讯网
  4. Box联合英伟达推智能体检索系统:速度提4倍,token降90%

    企业内容管理平台 Box 推出了一套采用“智能体优先”思路的内容检索系统,其核心基于英伟达 Nemotron 开源模型。据称,新系统响应查询的速度提升至原来的四倍,错误率降低 20%,而消耗的 token 数量减少 90%。这标志着企业搜索正从“检索增强生成”的单轮问答,转向由模型自主规划、多步执行任务的智能体检索架构

    来源 AI 科技快讯
  5. 英伟达发布Realtime-Bench:GPT-6-Astra实时任务成功率仅44%

    人工智能大模型在文本创作、代码编写和图像生成等静态任务上已经展现出惊人的实力,但在瞬息万变的实时交互场景中,它们的真实表现究竟如何?近日,英伟达携手得克萨斯大学奥斯汀分校(UT-Austin)等顶尖机构正式发布了全新的实时交互任务基准——Realtime-Bench。该基准的诞生,旨在为评估人工智能在动态环境下的综合表

    来源 AI 开发者社区
  6. ERNIE-5.5-Flash-Base开源:280B总参数,激活仅14B

    今天,我们发布 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点的权重。 它是一个稀疏 MoE 语言模型,总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零完成预训练;最长训练上下文为 128K,微调与推理支持 1M tokens 上下文。本次

    来源 AI 开发者社区
  7. 特斯拉停产Cybertruck:马斯克转向Cybercab与Optimus,股价已跌15%

    特斯拉计划于2027年年中逐步停产Cybertruck,转而扩大Cybercab产能。受销量疲软、频繁召回影响,该车型今年前三季度销量同比下滑28%,仅售出1.16万辆。特斯拉未来将聚焦Cybercab、Optimus及电动重卡Semi,推动业务向AI与自动驾驶转型。

    来源 华尔街见闻
  8. 英伟达AI内存全栈设计:Agent吞吐量升30倍,HBM只增3%

    快科技11月6日消息,英伟达发布博客文章,详解其AI内存全栈协同设计策略。文章强调,随着大模型参数规模、上下文长度和智能体(Agent)应用持续扩张,AI基础设施的内存压力正在加剧,单纯增加GP

    来源 快科技
  9. NVIDIA纪念8800 GTX与CUDA 20周年:Steam Demo重温2006

    11 月 5 日,NVIDIA 庆祝 GeForce 8800 GTX 诞生 20 周年,致敬其在开启 CUDA 时代中的重要作用,推出全新可玩 Steam Demo,带领 PC 玩家重返 2006 年。 2006 年 11 月 8 日发布 的 GeForce

    来源 快科技
  10. 门罗风投报告:美企开源模型支出89%流向中国AI

    (文/赖家琪 编辑/吕栋)在美国企业日益增长的人工智能(AI)开源模型需求中,中国模型已经占据绝对主导地位。美国知名风险投资机构门罗风投(Menlo Ventures)当地时间11月3日发布的《2026年企业AI现状报告》显示,在美国企业开源AI模型支出中,中国模型占比高达89%。其中,月之暗面的Kimi以61%的份额

    来源 腾讯网
  11. Pangram Image 1.0发布:99.96%准确率识别AI图像

    IT之家 11 月 6 日消息,Pangram Labs 是一家专注人工智能生成内容识别的 AI 实验室。其在本月 4 日正式发布了 Pangram Image 1.0 模型。该模型可通过热力图定位 AI 生成的内容。 Pangram Labs 利用 12 种前沿 AI 图像生成器,基于 100 张真实图片制作了一个

    来源 AI 行业观察
  12. Gemini Omni 1.2 Flash发布:原生15秒生成,价格较1.1降30%

    IT之家 11 月 6 日消息,谷歌正式推出 Gemini Omni 1.2 Flash 视频生成模型,并在 Gemini API 与 Gemini for business 平台全面开放使用。 新版模型实现了原生 15 秒视频生成、多轮对话式编辑、更强的参考遵循能力,同时较 1.1 版本降价 30%,720p 视频生

    来源 AI 行业观察
  13. 机器人离真正干活还差几毫米:乌镇峰会透露的物理AI现状

    ◎记者 郭成林 杨翔菲 每10分钟下线一台人形机器人——这是优必选在2026年世界互联网大会乌镇峰会(下称“乌镇峰会”)上披露的最新制造能力。 完成连续的30分钟以上、覆盖3个房间、包含50多种任务的长程任务链——这是小米具身基座模型在小米青年公寓的“试运营”。 上述两组在乌镇峰会上发布的数据,展示了机器人产业正在..

    来源 腾讯网
  14. iOS 27.3代码现线索:HomeView将支持ChatGPT等应用

    IT之家 11 月 5 日消息,代码显示,苹果计划在 iOS 27.3 测试版中为 HomeView 增加对 ChatGPT、Claude 等第三方 AI 聊天机器人的支持。 IT之家注意到,本月初,爆料者 pdfu 发现系统中存在一个尚未启用的 ConversationalApps 标记,因此推测 ChatGPT、C

    来源 AI 行业观察
  15. 软银收购ABB机器人业务遇阻:中国监管机构禁购

    据媒体报道,ABB机器人业务在全球工业机器人市场位居第二,与发那科、安川电机、库卡并称“四大家族”。中国是ABB全球最大的机器人交付市场,约占其机器人业务30%的份额。ABB在中国设有约30家企业,业务覆盖近130个城市。这笔交易最初于2025年10月宣布,软银计划以53.75亿美元的企业价值收购ABB的机器人业务,原

    来源 TechWeb
  16. 软银收购ABB机器人业务:中国审查否决,53.75亿美元交易遇阻

    据媒体报道,ABB机器人业务在全球工业机器人市场位居第二,与发那科、安川电机、库卡并称“四大家族”。中国是ABB全球最大的机器人交付市场,约占其机器人业务30%的份额。ABB在中国设有约30家企业,业务覆盖近130个城市。这笔交易最初于2025年10月宣布,软银计划以53.75亿美元的企业价值收购ABB的机器人业务,原

    来源 TechWeb
  17. 从一次滑移到可复用经验:大晓“双脑协同”如何让机器人少走弯路

    为什么需要“双脑”协同?三个递进闭环第一是自主执行闭环,让机器人更可靠完成当前任务。双脑协同希望建立的,正是任务推理与物理预测通过真实反馈相互校正、执行认识经过验证进入后续学习、学习与研发方法持续改进的路径。让一台机器人付出的探索,为更多机器人省下重复试错的代价——这是大晓双脑协同试图推动的进步。

    来源 TechWeb
  18. 智元灵犀 X2 焕新版发布:31 个本体自由度,覆盖导览导购等场景

    IT之家 11 月 6 日消息,智元今日发布灵犀 X2 焕新版机器人,拥有 31 个本体自由度,2 个头部自由度,膝关节峰值扭矩 120Nm,电池容量约 500Wh。 这款机器人拥有 31 个本体自由度(头部 2 个、手臂共 14 个、腰部 3 个、腿部共 12 个),搭配选配灵巧手,整体可达 47 个自由度。 据介绍

    来源 AI 行业观察
  19. Kimi K3.1 Pro权重开放:1561GB可自部署,MaaS转售划红线

    21世纪经济报道记者 雷晨 11月5日,Kimi K3.1 Pro完整权重正式对外公开,配套模型卡同步披露架构参数、六模型对标评测结果与自研许可证全文。 此前的10月24日凌晨,月之暗面先放出跑分与API定价,模型仅在自有产品与开放平台提供调用。第三方评测机构Artificial Analysis当时给出55分智能指数

    来源 腾讯网
  20. 谷歌Meta开源TorchTPU:PyTorch原生跑上TPU

    在圣何塞举行的 2026 年 PyTorch 北美大会上,谷歌和 Meta 开源了 TorchTPU——这是谷歌张量处理单元(TPU)的原生 PyTorch 后端。在 10 月 21 日的主题演讲中,Meta 软件工程师 Zongwei Zhou 表示,Meta(该公司于 2016 年创建了 PyTorch)计划利用该

    来源 AI 行业观察
  21. 软银53.75亿美元买ABB机器人业务,中国监管层说不

    【TechWeb】11月6日消息,据外媒报道,ABB集团官网11月5日发布的《ABB机器人业务剥离进展更新》声明称,ABB已获软银告知,中国外商投资安全审查工作机制办公室已禁止软银收购ABB在中国的机器人业务。声明同时表示,ABB与软银正保持密切对话,并以建设性态度推进该交易。据媒体报道,ABB机器人业务在全球工业机器

    来源 腾讯网
  22. 美股一夜蒸发2.8万亿,中国开源模型拿下美企89%支出

    今天凌晨,美股被血洗了。 纳斯达克指数暴跌5.52%,创下2025年4月以来最大单日跌幅,正式跌入技术性修正区间。费城半导体指数狂泻12.3%,这是2020年3月疫情崩盘以来最惨的一天。 英伟达跌9.26%,一天蒸发近4500亿美元市值;AMD跌17%,闪迪跌22%,博通跌10%。 从芯片、服务器、光模块到数据中心的电

    来源 AI 行业观察
  23. Gemini Omni 1.2 Flash上线:原生15秒视频,价格降30%

    感谢IT之家网友 愚公骑马、乌蝇哥的左手 的线索投递! 谷歌正式推出 Gemini Omni 1.2 Flash 视频生成模型,并在 Gemini API 与 Gemini for business 平台全面开放使用。 新版模型实现了原生 15 秒视频生成、多轮对话式编辑、更强的参考遵循能力,同时较 1.1 版本降价

    来源 AI 开发者社区
向下滚动自动加载更多