百度ApolloWorld世界模型:跑一天虚拟路测抵真实三年
连路人都有自己的想法
100万公里,这个数字约等于地月平均距离的2.6倍,沿着赤道绕地球能绕25圈。
一套L4无人驾驶系统要跑完这么大规模的真实路测,代价是什么?按单车每天150公里算,得连续开6600多天。就算上百辆测试车一起上路,也要两个多月。何况真实道路上的复杂状况,往往不按测试计划来。
很长时间里,这都是无人驾驶规模化发展绕不开的现实难题。车队运营范围每扩大一次、驾驶系统每更新一版,通常都跟着大量待验证的交通场景。

如今,这种在真实世界里费时费力的验证方式,有了新路子。百度Apollo刚刚正式公开了全新世界模型ApolloWorld。它能用AI搭建持续变化的虚拟交通环境,让无人车在里面经历不同天气、道路和交通参与者,完整跑完一趟Robotaxi行程。
无人车加速、减速或者变道,都可能改变周边交通参与者的选择,进而演化出不同结果。看起来,这像是一款自由度很高的交互式游戏。
而这座虚拟城市,眼下已经派上了实际用场。据介绍,ApolloWorld已投入萝卜快跑无人车的全球化测试与验证,把更多原本要在真实道路上做的训练和验证,搬到了云端。
最直观的改变是效率。百度披露的数据显示,ApolloWorld一天跑完的虚拟路测里程,相当于一辆配安全员的真实测试车连续行驶约三年。

这意味着,过去要靠大量车辆、人员和时间堆出来的部分测试任务,现在用计算资源就能并行推进。
配合它的车端技术也有新进展。百度新一代L4端到端模型架构,已在国内一定规模的车辆上投入实际运营,正在逐步替代此前的传统方案。世界模型提供虚拟训练和验证环境,驾驶模型在里面反复接受考验,再上真实道路运行。直观理解,就是用AI来教AI开车。
萝卜快跑的业务覆盖全球28座城市,这套技术体系出现的时点,恰好赶上全球化扩张加快的阶段。无人车开进更多城市,研发要应对的交通环境越来越复杂。可在真实道路上,最值得研究的那些意外,偏偏最难碰上。
一座没有剧本的虚拟城市,跑一天抵三年
看过电影《黑客帝国》的人,大概都记得那个由程序构成的世界。街道、建筑、车辆、行人,看上去和真实世界没什么两样,背后却是一套庞大的计算系统在支撑。没想到才过去二十多年,电影里的这套虚拟世界,真从银幕走进了现实。
百度展示的ApolloWorld,生成的就是各种供无人车行驶的虚拟城市。不同在于,虚拟城市里的交通参与者会依据环境自己作出判断。

比如无人车开到高架入口,旁边支路上的汽车正准备汇入主路。如果无人车选择驶上高架,支路车辆得到足够空间,就会顺势开进主路。
可要是无人车临时改道,顺着右侧辅路往前开,把原本留给支路车辆汇入的空间占住,那辆车同样会跟着变主意,踩下刹车等一等:

百度智能驾驶事业群组杰出架构师、世界模型负责人杨泽博士表示,这套系统里,世界模型团队走的是多智能体驱动的路子——虚拟道路上的车辆、行人这些交通参与者,统统被建成具备决策与互动能力的AI智能体。每个智能体都带着自己的行动目标和行为逻辑,也会看着别人的动作来调整自己的决定。
交通参与者之外,虚拟城市的交通状况同样能自己调,比如把车流设成稀疏、适中或者密集,也可以改其他车辆的驾驶风格,让它开得更谨慎或者更激进。

过去这类复杂交互,往往得靠无人车一遍遍上路、等特定情况自己冒出来;现在可以直接把它们组织进虚拟环境里。但真要跑完Robotaxi任务,光会看环境做变道、避让还差得远。
真实情况下,一趟行程可能持续二三十分钟,中途要经过数十个路口。无人车每做一次决策,都可能改变后面遇到的交通情况;它得在连续变化的环境里跑完整段驾驶任务,和大量交通参与者打交道,前一次的决策还可能影响后面的行程。
ApolloWorld这次展示的,就是完整行程级别的虚拟路测。在深圳滨海大道、香港机场附近等不同场景里,几辆无人车能从同一地点出发,开往不同目的地;周围交通参与者怎么动、道路环境怎么变,还有相机、激光雷达的观测数据,都由世界模型持续生成。

杨泽博士提到,撑起这套系统的是智能体交互建模、多视角多模态生成以及完整驾驶闭环等技术的配合。通俗点说,世界模型根据已有的环境状态和车辆动作,推断下一时刻交通会怎么变;驾驶模型读到生成的传感器数据后,决定转向、加速还是制动,再把动作回传给世界模型。
为了让生成速度跟得上驾驶决策,百度还用知识蒸馏等办法加快模型推理,让虚拟环境能实时响应车辆动作。一套AI负责搭道路环境、不断给出新的驾驶考验,另一套AI在里面反复练手,两者像教练和学员。这么循环下去,无人车就能在持续变化的环境里跑完驾驶任务。
驾驶系统要是在某个场景里判断错了,研发人员还能保留同样的初始条件复现一遍,调整周围车辆的行为,看系统在不同情况下怎么表现。没有固定剧本、可交互、可纠错、可溯源,这样的虚拟城市也就有了当无人车训练场的条件。
不过,能一直转起来只是前提之一。更关键的是,什么样的世界模型才真正担得起无人驾驶的训练与验证?
给世界模型一个可验证的标准
仿真技术本来就是无人驾驶研发里的一块重要内容。早在生成式世界模型成为行业热点之前,工程师就习惯把真实道路上的交通场景记下来,搬进虚拟环境里反复测试。
可这种研发方式有个长期没解开的难题。自动驾驶仿真里常见的一类做法,长期依赖真实道路数据的非响应式回放。说白点,就算无人车改了驾驶策略,周围车辆还是按原先记录的轨迹走,交通环境不会跟着调整。
问题恰恰就出在这儿。
无人车上路其实是一个持续互动的过程:它做出动作,周围车辆也可能随之调整自己的决定。测试环境如果对这些动作没有反应,就很难验证驾驶系统在动态交通里到底表现如何。
生成式世界模型针对的正是这一点。虚拟交通参与者会依据无人车的动作重新做判断,驾驶系统因此能在不断变化的环境里接受考验。
百度智能驾驶事业群组首席架构师、IDG技术委员会主席王亮博士把这件事概括成“可交互的生成”。
这也是百度站在无人驾驶实际需求的立场上,对世界模型给出的一种理解。
不过放到整个AI领域看,“世界模型”这个说法用得越来越宽。
能生成逼真视频的模型,被叫作世界模型;能搭出三维空间、让人自由漫游的系统,也被叫作世界模型;能跟随外部动作持续推演环境变化的技术,同样被叫作世界模型……
这几类技术表面上都在造虚拟世界,真正具备的能力却分属不同层次。
李飞飞团队曾把世界模型分成渲染器、模拟器、规划器三类,各自侧重视觉生成、环境状态推演和行动规划。换个角度看,这也说明该概念覆盖的技术范围有多广。
边界越扩越大,麻烦也跟着来了。生成的世界够逼真,就等于模型真的懂物理规律吗?能连着生成交通画面,就等于它能根据无人车的动作推演出不同的驾驶结果吗?
对无人驾驶研发来说,这些差别并非无关紧要的技术分类。
模型要是无法准确响应车辆动作,或者生成的交通变化不符合真实物理规律,画面再逼真,也很难拿它当可靠的训练与验证依据。
百度之所以看重世界模型的标准,恰恰来自这种实际需求。
在百度的技术思路里,世界模型该具备什么能力,先要看它最终要承担什么任务。目标既然是训练没有安全员的L4无人车,那就必须明确:模型要理解怎样的交通关系、遵守哪些物理规律,以及能不能撑住长时间、实时交互的驾驶任务。
先把目标任务、能力边界和工程要求想明白,再围绕这些要求搭建技术体系。这种正向设计的做法,让百度此次提出的世界模型从一开始就有清晰的目标指向。
这种思路背后也有现实背景。
李飞飞曾把无人驾驶汽车比作一个做二维避障的方盒子,用来说明汽车和能完成复杂三维操作的机器人有何区别。
王亮博士的看法是,无人驾驶的难处远不止驾驶动作本身。
没有安全员的Robotaxi跑在完全开放的道路上,要不断面对大量各有独立意图的交通参与者。一次看似普通的变道决策,背后可能牵涉多辆车之间的判断与博弈。
比动作复杂度更关键的,还有安全责任的变化。
王亮博士用纪录片《徒手攀岩》打了一个比方。
片中的攀登者挑战的是一面高约900米、近乎垂直的岩壁。为了完成挑战,他经历了漫长而枯燥的练习。
在王亮博士看来,L2辅助驾驶就像有保护绳的攀岩。攀岩者可以尝试漂亮、惊险的动作,因为保护措施还在;辅助驾驶车辆的主驾上也有人,关键时刻能够接管。
而L4无人驾驶则像无保护攀登——“保护绳”被撤掉,主驾空空如也。
开车的样子还是老一套,可风险和安全要求早已今非昔比。那些没人看的反复训练、每个细节的验证,说到底都得替整套系统的可靠性兜底。
王亮博士既参与过L2量产研发,也长期扎在L4纯无人系统里,这两者之间的鸿沟,他体会很深。在他看来,世界模型能不能真用在L4训练上,得有一套更严、更明确的判断办法。
面向物理AI,百度拿出了一个“2+3”世界模型评价框架。

“2”是两项基础条件:因果性和交互性。因果性说的是,模型要能根据已知状态往下推演变化;交互性则要求外部动作能持续改变环境,让不同的决定带来不同结果。
“3”分别是物理准确性、持久性和实时性,用来衡量模型能不能真扛起物理世界里的任务。世界模型画得再像,一旦对真实物理规律的理解偏了,测试结果就可能没了参考价值。
雨天就是个典型例子。路面湿滑,车辆的制动距离会变;雨滴还会干扰激光雷达的回波,点云里冒出大量噪点。虚拟世界里要是只下着雨、车辆却照晴天的条件去制动和感知,这种虚拟测试也就没意义了。

那些看着不起眼的细节,恰恰是世界模型研发里最难啃的骨头。
王亮博士的判断是,世界模型这个概念本身不稀缺,各家都投得起研发,真正可能变成壁垒的,是渲染速度、长时记忆、物理真实性这些靠长期积累的工程能力。
就说激光雷达,激光打到雨滴上的反射干扰,牵扯的物理现象相当复杂。世界模型要准确学会这些变化,比生成一场视觉上逼真的大雨费功夫得多。
这类工程打磨,王亮博士管它叫“dirty work”。技术壁垒往往也是这样,得等这些问题一个个被解决掉,才会慢慢显出来。
百度这套“2+3”框架,其实给世界模型进入L4研发划出了具体的能力门槛,也把这项技术该怎么设计、怎么验证的工程路径讲清楚了。在世界模型定义还模糊、技术路线不断分化的当下,能拿出这样一套面向真实任务的判断方法,本身就说明长期做L4攒下的东西有价值。
再说,一趟完整的Robotaxi行程可能跑上数十分钟。世界模型得在长时间推演里保持环境连贯,还得及时响应车辆动作。
物理准确性、持久性、实时性,最后都会落到虚拟训练值不值这个点上。
百度这次提的“2+3”,也给一项定义还在不断外扩的技术,标出了面向真实L4任务的工程坐标。
这条路不只百度在走,全球无人驾驶的头部企业眼下都在探。
今年2月,Waymo正式发布Waymo World Model。它基于Google DeepMind的Genie 3适配而来,能按驾驶动作、场景布局和自然语言调整虚拟环境,并生成相机和激光雷达数据。
把两家最新披露的世界模型摆到一起,ApolloWorld面向完整Robotaxi任务的特点就更清楚了。

△
比下来,要是把世界模型当成无人车的考场,Waymo更强调怎么造出复杂的考题,百度拿出的则是一套覆盖完整出行任务的考试体系。
而且ApolloWorld已经进了萝卜快跑的实际测试与验证流程。背后的“2+3”工程评价框架,对虚拟环境的因果性、交互能力和工程性能都提了明确要求。
无人驾驶的测试,就这样开始慢慢少依赖真实道路上随机冒出来的复杂交通情况。
可新问题也跟着冒了出来:突发状况那么多,究竟哪一种才真的该被认出来、弄明白,再一遍遍去验证?
有些偶发情形,比里程数更难复现
百度方面向量子位讲了一个真实路测里碰上的例子,情况相当特殊。
当时一辆洒水车正开过施工路段,水一冲,路边的锥筒就滑到了无人车的行车道上。洒水车、施工锥筒,单拎出来都是再普通不过的道路元素,可凑到一块儿,就拼出了一个谁也很难提前料到的局面。
这种偶发场景,工程师想把它提前写进测试脚本都难;就算真碰上过一次,也没法照着原来的条件再摆一遍。
百度想做的,是让世界模型把类似情形还原出来,好让无人车一遍又一遍地接受检验。
这个例子牵出的,其实是无人驾驶研发里一道还没解开的题。
真实道路上的风险五花八门,可并非所有交通情况都同样值得投入研发。有些极罕见的意外,背后可能压着严重的安全风险;另一些平平常常的场景,却会反复拖累通行效率和乘坐感受。
虚拟城市能造出大量交通情况,问题反倒来了:哪些该重点研究?这个判断直接决定了哪些场景能真正进入训练和验证环节。
那怎么筛?
靠的只能是经验。
百度披露的数据显示,其业务已落地全球28座城市,累计提供超过2300万次出行服务,累计行驶里程突破3.5亿公里,其中全无人驾驶里程超过2.4亿公里。
3.5亿公里是什么概念?拿时速300公里的高铁来比,得连着跑133年才跑得完。
这些数字是百度无人车十年攒下来的家底,里面沉下了不同地区的道路环境、交通习惯,还有长期运营中碰到的大量复杂交互经验。
百度地图多年积累的道路与地理信息,同样为不同区域的虚拟场景搭建打了底。
车队规模越大,这些真实交通经验就越会源源不断进入世界模型,经过筛选、整理和推演,变成更多训练与验证任务。
同一段真实经历,研发人员可以调整车速、改动周围交通流或者道路条件,看驾驶系统在不同情形下怎么应对。反复训练验证之后,新的驾驶模型再投回实际运营;车队开进更多城市,又会带回从前没遇到过的情况。
这样一来,那些原本只发生过一次的交通经历,就有了被反复研究、持续利用的价值。
真实运营不断积累,模型就能拿到更多训练材料;驾驶能力往上走,又有机会推动更快的部署,数据来源随之进一步扩大。
运营积累越深,模型得到的有效训练材料就越多;世界模型能力一提,驾驶系统的迭代效率又有机会跟着提高,实际运营规模也就进一步铺开。
规模与模型能力互相推着走,Scaling Law的增长逻辑就这样慢慢显出来。百度十余年的无人驾驶积累,到了世界模型时代也正显出新的价值。
放眼全球,真正把新一代端到端驾驶模型推到百辆级纯无人运营的,只有百度和特斯拉两家。
对百度来说,ApolloWorld加进来之后,这套真实运营体系又多了持续积累虚拟训练经验的本事,成了下一轮技术迭代能一直用下去的资源。
规模优势带来的头一个变化,是扩张效率。
有了世界模型,已有经验可以复用到更多区域,新城市不用再从头验证一遍——无人驾驶也就有机会甩开过去一城一城硬啃的扩张路子,走进效率更高的规模化阶段。

已有经验能覆盖到更多区域,是这套世界模型带来的直接变化。一部分测试工作提前挪到云端完成,新城市落地时,重复试错的空间也就小了。
如果技术迭代提上来的速度,能顺畅转成开城扩区的节奏,受影响的就不止一家公司的研发效率,整个无人驾驶产业的扩张步伐也会跟着变。
与此同时,资本市场对这类技术和产业能力的兴趣仍在上升。
今年2月,Waymo完成160亿美元融资,投后估值达到1260亿美元,随后发布Waymo World Model。到了9月,AMD宣布以约82亿美元的全股票交易收购李飞飞创办的World Labs。
这两笔交易里,一家已经有大规模无人驾驶运营的底子,另一家则专攻AI对物理世界的理解、生成与模拟。商业路径并不相同,却都指向同一件事:AI向物理世界延伸,正在产生产业价值。
真正跨时代的突破,通常不只是一项新技术冒出来,更在于它把整个行业的做事方式换了一遍。
iPhone改写了智能手机,GPT改写了AI应用。落到无人驾驶身上,类似的分水岭,可能出现在驾驶能力被更高效地迁移、复制,足以支撑越来越多城市规模化运营的时候。
世界模型撑开的想象空间,也会给无人驾驶补上更具体的技术底子,让它等来属于自己的产业质变时刻。
到那个时候,真实道路上十多年的积累,就不只是开过的里程数,还可能变成下一轮增长的起点。
无人驾驶的新一轮产业变革正在酝酿。百度不光在现场,也正在成为把它往前推的一股重要力量。