英伟达Cosmos 3开源四模型：160亿参数赋能自驾与机器人仿真
英伟达发布了Cosmos 3系列的四个新开源权重模型，涵盖自动驾驶多传感器数据生成、实时流式仿真、模拟器渲染及双手机器人动作预测。这些160亿参数模型基于OpenMDW1.1协议，允许商业使用，旨在帮助开发者构建更真实的交互式世界模拟环境，降低自动驾驶和机器人训练的数据成本。
英伟达Cosmos 3平台新增了四款开源模型。
2026年11月，英伟达对旗下 Cosmos 世界模型开发平台做了更新，四款新检查点（Checkpoints）同步在 Hugging Face 社区上线。它们都归属 Cosmos 3 Nano 系列，可训练参数为160亿，采用 OpenMDW1.1 许可协议，商用和非商用均可。
这次更新想解决的，是机器人和自动驾驶领域一个老问题：高质量、可交互的仿真环境数据，怎样低成本造出来。过去做仿真，要么手工建模，要么花大价钱采集真实数据。Cosmos 3 的新模型走的是生成式 AI 这条路，试图把这块空白补上。
四款模型分别如下：
- Cosmos3-Nano-Transfer-Auto：面向多视角驾驶数据生成，天气、光照条件可以多变。
- Cosmos3-Nano-Sim-Auto：把驾驶控制指令流式转成同步的摄像头画面和激光雷达（LiDAR）观测值。
- Cosmos3-Nano-Sim-Transfer：接收模拟器控制信号和文本提示，输出逼真的 RGB 视频。
- Cosmos3-Nano-Sim-Bimanual：依据机器人或摄像头的动作预测后续画面，针对双臂机器人做了专门优化。
这些模型为什么有必要？
自动驾驶和机器人研发里，数据是燃料，也是瓶颈。真实世界采集成本高，长尾场景难得一见，特定危险工况更难复现。现有仿真软件有物理引擎，可视觉表现常常不够真，传感器数据之间也缺少同步。
Cosmos 3 的新模型从两个方向入手：外观与几何的一致性，交互的实时性。
放到自动驾驶场景里，摄像头拍到的图像，必须和激光雷达探到的3D结构在空间上严丝合缝。仿真画面里车辆位置一旦和点云对不上，训练出来的感知算法就会失灵。Sim-Auto 就是冲着这一点设计的，它生成的相机视频和 LiDAR 数据是同步的，视觉观测与3D传感信息能对得上。
机器人这边，双臂操作任务尤其如此：环境对动作的反馈得连续，还得符合物理规律。Sim-Bimanual 允许研究人员输入机器人动作序列，直接生成环境变化的视频反馈。“动作-观察”能形成闭环，这是训练强化学习策略的关键。
这些模型还用了流式生成（Streaming Generation）技术。整段视频不再一次生成，而是结合当前控制指令和历史状态，一块一块吐出下一帧或下一小段视频。仿真过程因此能实时响应外部输入，比如方向盘角度突然变化、机械臂轨迹临时调整，交互式仿真才谈得上真正实现。
Transfer-Auto：离线合成驾驶数据
Cosmos3-Nano-Transfer-Auto 是个双向模型，主要用来离线合成驾驶数据。给定场景结构控制和文本提示，它能生成多达11个摄像头视角的同步视频，鱼眼镜头视角也在其中，RGB 图像与 LiDAR 点云还能联合生成。
场景结构和交通流动态由“世界场景地图”（World Scenario Map, WSM）控制。道路布局、车辆位置这些几何信息来自 WSM，天气、时间、光照等外观细节则由文本提示定义。开发者调整这些控制变量，雨天夜间、强光逆光之类的极端工况训练数据就能顺手生成。
这个模型还有一个重要用途：作为领域适配的基础。测试车传感器布局特殊，或者要在特定城市环境里测试，可以先用自有数据对 Transfer-Auto 做后训练（Post-training）。适配完的模型，能直接拿去生成离线数据，也能进一步蒸馏成支持实时流式仿真的 Sim-Auto。
实际操作时，开发者可以拿初始 RGB 图像当锚点，让生成场景的外观保持一致。要生成 LiDAR 数据，模型还需要对齐的高精地图范围图（HD-map range-map）作为控制输入。多模态控制之下，生成的数据不光视觉上逼真，几何结构也相当准确。
Sim-Auto：实时流式驾驶仿真
打个比方，Transfer-Auto 是批量生产数据的“工厂”，Cosmos3-Nano-Sim-Auto 则是实时交互的“引擎”。后者是前者的因果蒸馏（Causal Distillation）版本，针对快速流式生成做了优化。
Sim-Auto 只需极少的去噪步骤，就能生成同步的摄像头视频和 LiDAR 数据块。它靠生成的历史帧加上最新的驾驶控制指令，支撑长时间的交互式 rollout（推演）。封闭环路（Closed-loop）的自动驾驶测试离不开这一点：车辆决策会直接影响下一时刻的环境观测，环境观测又反过来作用于决策。
用 Sim-Auto 时，每个摄像头的描述文本和同步的 WSM 控制信号都得提供。要生成 LiDAR 数据，还要给出与摄像头控制对齐的高精地图范围控制。模型会参照滚动历史记录，逐块生成后续观测值。
不过，Sim-Auto 本身不带物理引擎。完整的封闭环路仿真，得配一个仿真运行时环境和 WSM 渲染器。驾驶策略输出转向、加速等控制指令后，仿真环境更新车辆状态和周围交通参与者的位置，生成新的 WSM 控制信号，再喂给 Sim-Auto 生成对应的传感器数据。
如果换到新的传感器配置，或者进入新的驾驶领域，建议先对 Transfer-Auto 做适配，再蒸馏成 Sim-Auto。分两步走，数据质量有保障，推理速度也能做到实时。
Sim-Transfer：把模拟器控制信号变成逼真视频
像 NVIDIA Isaac Sim 或 Unity 这类传统物理模拟器，算运动、碰撞和物理状态很在行，可一旦要渲染逼真图像，算力开销就上去了。Cosmos3-Nano-Sim-Transfer 换了个思路：模拟器给出空间控制信号，再配上文本提示，它直接生成彩色视频观测值，供策略网络使用。
具体流程是这样跑的：
- 智能体先执行动作。
- 模拟器随之更新物理状态。
- 接着模拟器输出空间控制信号，包括深度、分割图、边缘、模糊图等。
- Sim-Transfer 拿到这些控制信号和文本提示，生成逼真的 RGB 视频。
- 这段视频就作为下一时刻的观测值，回传给智能体。
空间控制信号具体包含以下几类：
- 深度图：反映物体到摄像机的距离。
- 分割图：标出不同区域和物体的边界。
- 边缘图：给出场景的轮廓信息。
- 模糊图：提供粗略的外观和布局。
文本提示管的是外观风格，比如“晴天”“黄昏”。物理事实和真实状态仍由模拟器掌握，Sim-Transfer 只做视觉表现上的“渲染”。物理模拟的准确性保住了，生成式模型带来的视觉逼真度和灵活性也拿到了。
Sim-Bimanual：预测双臂机器人的动作
Cosmos3-Nano-Sim-Bimanual 管的是模拟环境如何响应双臂机器人的动作。YAM、AgiBot 等双臂机器人构型都能做交互式仿真，控制方可以是策略网络，也可以是人拿摇杆操作。
用户先给一张初始图像，再发机器人或摄像头的动作指令，模型就生成下一时刻的观测视频。同一个控制序列里，视角变化和物体操作可以切换着来。比如先移动摄像头看清物体，再控制机械臂去抓。
这个模型处理的是混合动作输入，含 59 个控制值（训练时填充至 64）。坐标帧、旋转、夹爪校准、有效性掩码和控制域，都由这些控制值定义。输入数据必须严格遵循数据契约（Data Contract）和动作模式（Action Schema），生成结果才准。
Sim-Bimanual 和 Sim-Transfer 的差别在于：前者直接根据场景和机器人动作生成下一观测值，后者要靠外部模拟器提供更新后的状态。也就是说，Sim-Bimanual 在一定程度上把物理动态学进了模型里，那些传统物理引擎难以精确建模的复杂接触场景，正适合它。
流式生成背后的技术原理
Cosmos 3 的核心架构是基于 Transformer 的混合模型（Mixture-of-Transformers），文本处理网络和视觉生成网络靠注意力机制连起来。流式生成的过程可以概括成：控制信号加历史状态，生成数据块，解码图像，再更新历史状态。
模型跑在压缩后的视频表示（Latents）上。初始图像之后，每个潜在时间步对应四帧 RGB 图像。Transfer 模型每个数据块预测一个时间步，优化后的 Bimanual 设置能预测两个。数据块尺寸小了，新控制信号就能更频繁地介入生成过程，交互的实时性随之提高。
训练分四个阶段进行：
- 阶段 0 为双向适配，模型从完整录制片段中习得领域知识，以及控制信号到视频的映射关系。
- 阶段 1 是教师强制，模型依据早期观测值和控制信号预测每个数据块，干净答案与未来目标在这一阶段被屏蔽。
- 阶段 2 采用一致性蒸馏，用一个冻结的教师模型来训练学生模型，目标是让学生模型在四个去噪步骤内生成每个数据块。
- 阶段 3 为自强制，训练在学生模型自己生成的历史记录上展开，冻结的教师模型与辅助评分模型负责提供分布匹配信号。
四个阶段里，第四阶段最关键。生成长序列时，微小的预测误差会累积，进而影响后续帧。自强制训练把模型放到它自己生成的历史中，让它学会纠正或适应这些误差，长程生成的一致性因此提高。蒸馏和缓存机制则把每次观测生成的计算成本压了下来。
怎样用自有数据做适配
围绕上述四个阶段，英伟达给出了完整的后训练食谱（Recipes）。开发者可从 Cosmos3-Nano 或兼容的基础权重起步，按自己的传感器配置和领域数据做适配。
- Transfer-auto 面向驾驶数据。在后训练阶段引入自有数据后，模型能适应特定的摄像头布局、LiDAR 配置和目标环境，用来生成离线合成数据。
- Sim-auto 建立在适配后的 Transfer-Auto 模型之上，再应用因果训练和蒸馏，得到快速流式仿真能力。
- Sim-Transfer 针对特定环境做后训练，需要准备本地数据，并配置各阶段参数。
- Sim-Bimanual 针对特定机器人构型做后训练，流程包括数据验证、阶段配置、检查点交接和导出。
实际操练时，建议先拿小规模数据集跑通训练流程和重启机制，确认执行无误，再投入长时间训练。评估要用保留的测试集 episodes，看的是生成质量，而不只是收敛指标。
硬件上，跑这些模型需要 Linux 环境、NVIDIA GPU、Docker 以及 NVIDIA Container Toolkit。官方测试环境用的是一台 GB200，不过这并非最低内存要求，具体需求取决于模型大小和并发量。
结语
Cosmos 3 此次新开放的四个模型，让世界模型从“观看”往“交互”走了一大步。它们既能生成高质量的合成数据，也借流式生成技术实现了实时闭环仿真。对自动驾驶和机器人研究者来说，构建测试场景会更灵活，验证算法策略也更高效，从仿真到现实世界的部署进程有望加快。
随着开源社区参与进来，这些模型有望在更多细分领域得到适配和优化，具身智能和自动驾驶技术也会随之往前推。
