百度ApolloWorld发布：首个物理AI世界模型，萝卜快跑端到端已上车

新智元报道  

百度Apollo把压了两年多的底牌打了出来。名为「ApolloWorld」的世界模型正式亮相，按官方的说法，这是首个面向物理AI、由Agent驱动的全模态世界模型。

整座城市的路网、多模态传感器、车流之间的博弈，都被它搬到了云端。毫秒级实时交互能做到，连续几十分钟的完整接单推演也能跑完。过去世界模型只模拟「几十秒孤立片段」、只能「单向放录像」，这两个瓶颈被它一并捅破。

有了这座虚拟「大考场」，无人车在云端平均能做到「日行十万公里」。1天跑下来的虚拟里程，相当于1辆配安全员的真车连续测试约3年，自动驾驶测试效率因此提升了数百倍。

萝卜快跑L4级全无人端到端大模型如今已经正式上车，靠的就是ApolloWorld在云端24小时陪练。上百辆没有安全员的真车，每天用端到端大模型上街跑单。全球走到这一步的，只有它和特斯拉两家。

云端特训出来的本事，上了真路也照样能打。这次在深圳街头实测打车，这位不带安全员的「AI司机」就露了一手老练功夫。

大晚上视线不佳的路段，左边快车道忽然有黑衣路人占道，右边又塞满单车和电瓶车；路口左转时，外卖骑手从车头前1秒闪过去。新手司机碰上这些早就慌了，无人车却总能提前预判、平顺减速让行。夜间多车流掉头、窄道连续避障，它的绕行和会车也顺得像开了十年车的「老司机」。

左右滑动查看

无人车在街头能把复杂路况处理得这么老练，很大程度上靠的是世界模型在幕后的高强度特训。

最近一个多月，全球世界模型赛道相当热闹。李飞飞团队World Labs的三维空间模型、谷歌DeepMind的Genie系列，还有Waymo基于Genie 3推出的自动驾驶世界模型，后者甚至把龙卷风、洪水和大象都塞进了虚拟测试场。

只生成一段炫目的街头视频，看起来是挺爽。可要拿它当L4无人车的训练场，就差得远了。

说到底，现在大多数抓人眼球的演示还停在「视频渲染器」的阶段：镜头在动、景色在变，但外部世界不会因为你做了什么而跟着变。

大会现场，百度智能驾驶事业群组首席架构师、技术委员会主席王亮博士把话说得很直：世界模型不能只当「生成炫酷视频的画师」，它还得是检验无人驾驶安全性的「考官」。

所以百度这回没去比画面特效。Apollo World从立项起盯的就是能交互、能推演路况变化的世界模拟器，用途只有一个——给无人车搭云端训练场。

这道坎非跨不可，因为无人车一上街，面对的是容错率极低的真实物理世界。

家务机器人在屋里叠衣服、做饭，失手摔个碗，大家笑笑也就过去了。换成一辆近两吨重、时速几十公里的汽车跑在马路上，碰上行人突然横穿或者旁车加塞，压根没有试错的空间。

正因如此，训练无人车用的世界模型不能是单向放录像的「电影院」，它得是一场随时能接戏的「舞台剧」：你稍微减点速，旁边的车立马插进来；你往前探出半个车头，对方也许就踩刹车让开了。

想在真车上路之前把罕见险情都练熟，百度给出的解法是「用AI训练AI，让AI教AI开车」。

• 车端是「学生」：萝卜快跑新一代L4端到端AIDriver基础模型（ADFM）装在无人车上，直接输入多模态传感器信号，输出驾驶轨迹。云端是「AI教练」：具身世界模型ApolloWorld，专门在云端搭建闭环仿真环境，负责出题、陪练、打分。

  
  

• 
  

训练过程中，「教练」会生成逼真的街景和雷达点云，再依据「学生」每一次打方向、踩刹车的动作，实时推演周围车流下一步怎么走，一秒接一秒地闭环过招。

只要「学生」在某个罕见险情里反应慢了，或者发生了擦碰，「教练」立刻就能揪出短板，变着花样造出上千道同类长尾难题反复特训，直到练成「老司机」才装上真车。

对比来看，当前主流的世界模型大多集中在静态3D空间漫游、局部场景模拟或者单一视觉推演上。

Apollo World的不同之处在于，它是业内首个把「全员独立Agent交互博弈、相机与点云全模态同步生成、城市级完整订单闭环」三样同时打通的L4实战训练场。

在这座云端虚拟城市里，旁车随时可能变道加塞，路口会冷不丁冲出外卖电瓶车。现实街头最让人头疼的复杂路况，24小时不间断地换着花样给无人车出题。

王亮博士表示，「开放世界容错空间几乎为零，安全决策周期要严格限定在1/30秒内」。

「世界模型」这个词如今被用得越来越泛，可始终没有一个统一的定义。

这个训练场到底好不好用，需要一个衡量的尺子；这个新概念要真正「做对」，也得先把标准立起来。百度走的是想清楚再动手的正向设计路子，先提出了一套世界模型「2+3」标准。

前两项「2」，是划开「视频生成器」与「真世界模型」的基石门槛。

• 因果性：依托因果自回归机制，严格遵循时间单向性，只能依据过去和当前状态推演下一秒，不允许提前知道结局再倒推画面。

  
  

• 交互性：支持动作条件生成（Action-Conditioned），无人车每次打方向或踩刹车，周围车流都得跟着实时改变。

  
  

跨过这道门槛，后面还有三项「3」，用来检验L4训练场的实战成色：

• 物理准确性：光学成像和车辆力学规律都得对得上真实世界；

• 持久性：几十分钟的完整行程要能连贯跑完，长时不断片；

• 实时性：毫秒级响应，推演速度要快过驾驶系统的决策时间。

  
  

这套「2+3」标准落到实际路测里，对应的就是物理规律、车流博弈和长途连贯性三道关卡。下面结合实测画面，逐项看看ApolloWorld的表现。

第一关考的是物理常识：它究竟只给画面套了层滤镜，还是真懂现实世界的物理规律。

同一段城市道路依次切到晴天、暴雨、雪天和夜晚，变化最明显的地方在激光雷达点云图里。

切到暴雨模式，摄像头画面里有了积水和反光，激光雷达点云也因为雨水散射一下子少了一大半；左前车后轮溅起的水花、前车后方激光无回波区，都看得清清楚楚。

换成雪天，路边的落叶树会自动掉光绿叶；到了夜晚，车辆连续驶过路灯，车身下的阴影还会随光源位置周期性拉长、缩短。

这些光学或自然公式，工程师一行代码都没写；模型学了超10亿帧真实数据后，自己摸清了这套物理规律。

雨天路滑还会直接改变刹车距离。两辆无人车以同样速度同时踩下刹车，晴天干地上的那辆稳稳停在前方货车后面，雨天湿滑路面上的那辆则会继续往前滑出一段才停下。

真实路测中还碰到过这样一幕：洒水车喷出的高压水柱把路边锥桶冲到了马路中间，正好挡在无人车正前方。

传统模拟器里锥桶固定不动，这种意外根本算不出来；懂物理规律的ApolloWorld则能把「水柱冲走锥桶」的全过程推演出来，专门训练无人车遇到突发障碍时及时避让。

物理细节这一关过了，第二关要面对的是路上随时改主意的其他车辆和行人。

传统仿真测试大多用「实车日志回放」，把真车录下的历史数据重放一遍。无人车一旦临时决定提前变道，录像里的旁车不会配合，依旧照着原来的死路线往前开，测试结果自然就失真了。

为了让周围环境真正响应无人车的动作，ApolloWorld搭了「智能体驱动（Agent-Driven）」的推演架构，场景里每辆车、每个骑手和行人都被建模成有独立感知与决策能力的AI智能体。

测试人员还能在系统里直接调高车流密度，或调高旁车抢道的激进程度，实时生成不同风格的交通博弈分布，主动给无人车加考试难度。

高架匝道口就是一处例子：无人车若选择上高架、给右侧腾出足够空间，支路那辆白车便会顺势汇入主路。

反过来，无人车改走地面辅路，右侧白车判断会车空间不足，就会停在支路口等着。

路口骑行者「鬼探头」的高压测试里，有个骑车人突然从路侧遮挡处冲了出来，无人车当即急刹停住。

更耐人寻味的是，这名骑车人眼见车头已到跟前，竟像真人一般往后挪了一小步，主动让开安全距离，之后无人车才重新起步。

另一组测试中，骑车人只是沿路边平行骑行，无人车就不再猛踩刹车，稍稍减速便平顺驶过。

仅躲过一次险情并不够。真实打车常常要连续跑几十分钟，前一个路口怎么变道，会直接改变后面整趟行程碰上的路况。

于是第三道关卡浮出水面：长时间连续推演能不能稳住、能不能实时。

行业里此前的世界模型，多数只模拟几十秒的单一独立场景；一旦拉长到跨路段连续行驶，画面细节和道路结构就容易漂移，甚至崩塌。

Apollo World则能让无人车在虚拟城市任意起终点之间连续行驶十分钟以上，从接单、载客到送达，一整趟行程一口气跑完。

实测时，4辆虚拟无人车从香港机场附近万豪酒店的同一出发点驶出，目的地分别是航站楼、购物中心、机场行政大楼和停车场。

前半程路线接近，过了岔路口就拐上不同道路，各自面对不同的红绿灯与车流，最后全部平稳跑完整趟行程，画面自始至终没有崩塌。

同一条路线上，系统还可以同时设定低、中、高三种车流密度，做倍速并行测试。

车流稀疏，无人车就快速通过；车流密集，它就耐心跟周围车辆博弈、找机会汇入，早晚高峰等不同路况下的连续通行能力因此得到充分检验。

虚拟世界里之所以能一直稳定开下去，靠的是两项关键技术突破：

其一是「多模态联合生成」与「三维静态地图先验」。

普通视频模型只生成2D平面画面，跑久了车道和街景就会走样。ApolloWorld在生成多视角相机画面的同时，同步联合生成3D激光雷达点云，还引入了高精度三维道路结构先验。

连续跑上几十分钟再经过同一地点，街景建筑也不会变形漂移；两车在三维空间里一旦擦碰，系统会当场判定测试失败，不像普通视频模型那样「穿模」混过去。

其二是基于因果自回归架构的「多步知识蒸馏」实时加速。

无人车每走一帧，模型都要同步渲染多路环视相机的超千万像素画面与数十万级三维激光点云。

把多步扩散大模型蒸馏成少步推理的轻量学生模型后，系统将实时响应压到33毫秒（约1/30秒）以内，虚拟路况的生成速度因此完全跟得上车载控制信号的响应节拍。

三道难关全部打通之后，Apollo World给实际业务带来的改变就非常直观了。

自动驾驶对安全的门槛摆在那里：模型每做一次大版本迭代，平均要跑完超70万公里、车上配安全员的真实路测，才敢推到线上。就算让专职安全员天天轮班上路，刨去吃饭和休息，也得连着跑好几个月。碰上高速急刹、盲区横穿这类高危场景，现实中更没法拉真人去冒这个险。

现在Apollo World号称「日行十万公里」，绝大多数路测和高危场景都能搬到云端并行大规模跑，真车只负责收尾的实车验证。原本几个月的测试周期，由此被压缩到几天之内。

这套「云端先探路」的路子，在开新城时同样顶用。香港走的是「右舵左行」，路窄弯多、环岛扎堆，实车测试管得又极严，靠真车一点点磨根本走不通。百度团队拿着高精地图和前期采集的部分道路数据，在云端搭出一个「虚拟香港」，让无人车在里面反复练环岛让行、窄路会车，几个月内就拿到了香港首个右舵左行全无人测试牌照。

虚拟考场要越建越像真的，也少不了真实路测数据持续喂进来。萝卜快跑眼下已落地全球28座城市，累计提供超2300万次出行服务，自动驾驶总里程突破3.5亿公里，其中全无人驾驶里程超过2.4亿公里，也是全球唯一在左右舵市场都开展无人驾驶实践的平台。

上千辆无人车每个月带回上千万公里真实路况，虚拟考场因此越来越接近现实；反过来，ApolloWorld能把真实运营中碰到的偶发险情扩成海量测试题，在云端24小时训练车端的L4驾驶大模型。

「真车收集数据、云端强化训练」这个双向循环跑通之后，自动驾驶底层的技术范式也跟着彻底换了一轮。以前这套东西普遍靠人工编写专家规则，每进一座新城市，工程师都得对着当地路况一行行改代码，扩展起来很僵，碰上规则之外的未知场景还容易卡住。

萝卜快跑新一代AI Driver基础模型（ADFM）换了打法：端到端自回归架构，把多模态感知直接转成转向和加减速动作，靠吸收海量人类优质驾驶数据，学会在不同城市的复杂车流里自然博弈。

端到端大模型最难的那道「黑盒安全验证」题，则由ApolloWorld在云端以千万公里级的极限施压来解，百辆级无安全员车队直接上路运营的底气也来自这里。

「AI教AI开车」这套体系带来的变化更深远：困住无人驾驶十年的「安全、智能、规模」不可能三角被一举打破，整个赛道的竞争壁垒也随之改写。过去外界衡量一家自动驾驶公司，常看它买了多少测试车、招了多少安全员、在马路上熬了多少年。说到底，那门生意靠堆人力、堆重资产，扩张速度慢。

ApolloWorld把这套重资产试错整体搬进机房，转成由「真实运营数据+云端算力」驱动的规模化训练。

就像AlphaGo在棋盘上左右互搏，往后谁手里的真实数据更多、云端「AI教练」更强，谁的模型迭代和规模化落地就会以指数级拉开差距。

想象空间还不止于车：Apollo World这套技术底座除了教汽车开车，也能广泛适配机器人等各类物理AI场景。Grand View Research预测，全球物理AI市场规模会从2025年的约816亿美元涨到2033年的约9604亿美元，成为一条近万亿美元的庞大赛道。

世界模型不再停在「生成画面」，而是真正去「验证行动」，无人驾驶乃至整个物理AI产业等了很久的「AGI时刻」，就此到来。