百度Apollo World:无人车日测10万公里虚拟路测
AI开始教AI开车!无人驾驶的下一场竞赛,在虚拟世界打响
无人驾驶领域已经卷到这种程度了?
现在无人车不只跑真实道路,还能开进由 AI 搭建的虚拟城市,一天就能跑完 10 万公里虚拟路测。
虚拟城市里,前车说刹就刹,旁边的车随时可能并线,行人也会从遮挡物后面冒出来。无人车得看清四周,再决定往哪走。它一减速、一加速或者一变道,周围的车和人也会跟着改动作。
11 月 3 日,百度 Apollo 第一次对外公开具身世界模型 Apollo World。有了它,无人车能在虚拟环境里跟 AI 智能体控制的交通参与者一直互动,同一类驾驶场景可以反复经历。
有行业人士分析,Apollo World 每天的虚拟路测里程能到十万公里。折算一下,一天虚拟测试的量,差不多等于一辆带安全员的真实路测车连跑约三年。
这好比给无人车请了一位 AI 教练,还配了一位随时换考题的考官。
Apollo World 管的是搭建虚拟城市:道路环境不断切换,车流和交通参与者的行为不断调整,为萝卜快跑的端到端驾驶系统出不同的驾驶任务。无人车在里面一遍遍出发,碰上变化的路况就作判断、采取动作,再照环境反馈改下一步策略。平时通行也好,突发状况也好,都能反复拿来练、拿来验。
无人驾驶的经验获取方式,正随着「AI 在自己造的世界里教 AI 开车」出现新的可能。
无人驾驶技术面前横着一个「不可能三角」,得靠 AI 来破局。
表面上看,开车有清晰的道路、车道和交通规则可循。可对一辆去掉安全员的无人车而言,规模化运营的第一道门槛就是安全。光安全还不够,它得足够聪明:既要读懂周围交通参与者的意图,也要随路况变化作出合理判断。车队规模一大、开进更多城市,系统还得应付更复杂的道路环境和交通状况。
安全、智能、规模三者构成「不可能三角」,靠真实路测去填,投入和速度都跟不上。长尾场景另有一道天然难关——出现频率太低。一辆车跑完几十万公里,重复的普通路况见了一大堆,研发人员想测的特殊交互却可能一次都没撞上。里程数往上加,智能水平未必跟着涨。
百度智能驾驶事业群组 (IDG) 首席架构师、IDG 技术委员会主席王亮博士
传统仿真其实已经替无人驾驶企业分担了一部分难题。回放式仿真把真实道路场景录下来,让不同版本的驾驶系统一遍遍跑。问题在于场景始终沿历史轨迹走,无人车就算改了动作,周围车辆也不会跟着变。还有一类方案用预设规则去驱动其他车辆,开放道路里那些复杂多变的交通交互,它很难覆盖。
「AI 创造驾驶经验」要解的正是这个。世界模型把 AI 智能体拉进来,跟着无人车的每个动作实时调整交通环境。一个真实路口,能推演出多种不同的交通局面,无人车也就有了反复试不同驾驶策略的机会。
这套虚拟驾驶要站得住,先得回答一个问题:无人驾驶到底需要什么样的世界模型。近一两年,视频生成、三维场景构建、环境模拟、智能体交互,各路技术都挂上了世界模型的名头。可画面逼真不等于真懂世界,能还原场景也不等于能推演交互之后会怎么变。
概念越铺越宽,百度的做法是从无人驾驶的实际需求倒推:先明确世界模型该达到哪些要求,再拿它指导系统设计和技术验证。「2 +3」判断标准就是这么来的——因果性、交互性是两个基石门槛,物理准确性、持久性、实时性则是三项增益属性,由此给无人驾驶世界模型划出一套更清晰的能力标准。
踩下刹车,得能推演出后面会发生什么;踩下油门,得能牵动周围车辆一起变。这两样,考的是因果性和交互性。雨天里制动距离被拉长,连续经过多个路口时状态还不能断,这考的是物理准确性和持久性。所有变化还得跟得上驾驶节奏,实时性不能掉链子。
五项标准归到一处,问题只有一个:无人车开进这座虚拟城市之后,整个世界能不能像真实道路那样转起来?百度 Apollo World 围绕的就是这件事。
AI 造了一座城
无人车进去练车
一辆无人车驶进 Apollo World,一堂特别的「教学」就开场了:
造一座会自行运转的虚拟城市
Apollo World 先要做的,不是把城市「画出来」就完事,而是让它自己转起来。
车辆、行人这些角色,被它建模成有感知、能决策的 AI 智能体,各自带着行为逻辑和目标行动,并非按预设脚本跑动的背景角色。
效果一眼能看出来:换一个驾驶动作,整个交通局面都可能跟着变。无人车选择驶上高架,旁边车辆可以汇入;无人车要是走地面道路,旁边车辆则可能停下来等待。
同一段路,只因为无人车做了不同选择,后面的交通局面就可能走向不同结果。支撑这一点的是 Apollo World 对自车和周围交通参与者的联合建模:
模型拿到无人车的方向盘、油门、制动等控制信号和当前场景信息,推演下一步动作,再据此生成新的交通状态,当作下一轮交互的起点。
更关键的是,这套环境并非一成不变。工程师能继续往上抬难度:车流调密一些,周边车辆设得更激进一些;反过来也行,让它们更保守、更守规矩。这样一来,同一条路线、同一个起点,也能跑出截然不同的交通压力。
在这座虚拟城市中,无人车要应对的,其实是一场更贴近真实道路的连续博弈。
让萝卜快跑开进虚拟世界
Apollo World 先做的是把一座虚拟城市「跑起来」,下一步则是让萝卜快跑的端到端驾驶系统「开进去」。
真实无人驾驶系统靠摄像头和激光雷达感知道路,Apollo World 也得配一套能直接上手的「感官系统」:相机画面和激光雷达点云。
拿到这套观测,驾驶系统就能像在真实道路上一样干活。它读取相机画面和激光雷达数据,判断周围路况,再输出加速、制动、转向等动作。这些动作又回灌给 Apollo World,推着虚拟环境继续往前走:道路状态刷新,周围车辆和行人的行为随之改变,新的相机画面和点云也生成出来,重新交回驾驶系统手中。
这个世界还能随时「换皮」。
同一段道路,一键就能切到完全不同的外部环境:热带雨林、沙漠、极光道路、海岸、隧道,甚至雪林。道路本身相对稳定,变的是周边环境、光照条件、天气氛围,连感知信号也跟着变。
这样一来,结构相似的道路上,无人车能反复碰到完全不同的驾驶条件。原先只够测一种环境的路线,转眼就成了难度各异的多个考场。驾驶系统因此积累起更多不同条件下的经验,价值不难想见。
要稳定地生成这个世界,Apollo World 底层用的是因果自回归的多模态生成模型。按时间顺序一帧一帧把未来往前推,是它的做法:上一刻的世界状态,叠加当前输入的驾驶动作,决定下一刻发生什么。它并非把未来直接「拼」出来,而是在持续演化一个有因有果的过程。
更直白地说,不同传感器在 Apollo World 里能共同「看见」同一个未来。做到这一步,萝卜快跑才不只是停在虚拟世界里「看一看」。
从一个路口,开完一整趟 Robotaxi 行程
不过,能在一个路口应对突发情况,离真正学会开车还差得远。
一辆 Robotaxi 真正的任务,是把乘客从 A 点安全送到 B 点。途中要经过几十个路口,碰上不同的车辆和行人,各种交通变化也得持续应对。一次变道做得漂亮,不代表后面都能开得稳。
所以世界模型得记住之前发生过什么,让交通参与者和道路状态在长时间推演中保持连贯。世界模型的「持久性」意义正在这里:生成时间和空间上都连贯的未来状态,让周围车辆的状态接得住此前的动作,再继续影响后续场景。
如今,工程师能给萝卜快跑安排一整趟 Robotaxi 任务:从虚拟城市里任意一个起点出发,穿过不同道路和交通环境,把接单、接乘客、送达目的地全程走完。无人车于是能在一趟完整行程里,接受连续的驾驶训练和检验。
还有更有意思的:多辆虚拟车辆可以同时跑不同的出行任务,凑成一支虚拟车队,并行做路测。
这套本事不只对某座城市、某类道路管用。测试路线铺到了不同城市和区域,海滨道路、机场附近、林荫大道、学校周边都跑过,让无人车早早在各类区域接受规模化测试。Waymo 与百度
虚拟世界,两家各造各的
各家团队造虚拟世界的路数并不一样。Apollo World 搭出来的虚拟世界是什么样,前面应该已经有了直观感受;放到整个世界模型行业里看,方向和方法却各家有别。
一类长于生成画面,代表是 OpenAI 已经关停的 Sora;一类能交互式模拟,代表是 Google DeepMind 的 Genie 3。
还有一类专做三维空间构建。李飞飞 World Labs 的首款产品 Marble 就属此类,生成的三维空间高保真、观感酷炫,人也能在其中自由探索。Apollo World 的能力又往前走了一步:虚拟世界里的车、行人这些主体能自己行动,还能实时交互、实时响应。
李飞飞 Marble 的展示
Waymo World Model 同样盯着无人驾驶这个垂直方向,也是此次 Apollo World 的重要参照。
不过两家的技术切入点并不相同。
Waymo World Model 是在 Google DeepMind 的 Genie 3 基础上做无人驾驶适配的,借通用世界模型的生成能力,再针对 Waymo Driver 的传感器和驾驶任务做优化。
它最抓眼球的,是把现实中很难碰上的场景搬进虚拟世界。车辆撞上龙卷风、道路被洪水淹没,甚至大象、狮子冷不丁出现在路上,都算。这些情况日常运营里极少遇到,更不会为了测试专门去造。
场景控制上,Waymo 也给了多种方式。工程师用自然语言 Prompt 就能改天气、改时间、改周边环境,也能调道路布局、交通信号,以及其他道路参与者的位置和行为。
但从公开的资料看,Waymo 的场景交互还是靠工程师来设定居多,完整订单行程的推演也尚未展示出来。
左边是 Waymo World Model,右边是 Apollo World。
Waymo 的长处在于给无人车出新的难题,百度 Apollo World 的着力点却在另一头:虚拟世界里的交通参与者要自己拿主意,而非照着工程师预设的轨迹走。
和 Waymo 比,Apollo World 还多一层优势——无人车要过一场覆盖完整任务流程的「上岗考试」。
虚拟城市还得够真,光靠模型凭空生成不行,要有真实道路作参照。萝卜快跑已经落地全球 28 座城市,累计完成超过 2300 万次出行服务,无人驾驶总里程突破 3.5 亿公里,其中全无人驾驶里程超过 2.4 亿公里。这些跑在真实道路上的经历,成了 Apollo World 的场景素材库。
真实道路上的驾驶经历就这样进了虚拟世界,变成能反复推演的考题;虚拟测试里发现的问题再回到车端,推着驾驶系统迭代。改好的系统重新投入真实运营,又带回新的数据。真实道路和虚拟世界来回「喂养」,转成一个持续运转的数据飞轮。
Robotaxi 正走向规模化运营,Apollo World 的这套做法因此更有现实意义:世界模型进一步嵌入无人驾驶的实际研发链条,虚拟测试的价值也落到了驾驶系统的持续进步上。
无人驾驶的下一场较量。
在虚拟世界
把视线从 Apollo World 挪开,放到整个无人驾驶行业来看,世界模型首先可能改变的,是研发环节的做法。以前系统出了问题,工程师得去真实道路记录里翻线索,再想办法复现、设计实验、验证改动是否有效。碰上那些出现频率低、风险又高的场景,想等它再出现一次,往往要耗上很久。
世界模型给出的新路子是:测试条件可以由研发人员主动造出来,同一个问题能反复做对照实验。过去只能等真实道路送上门的驾驶经验,如今有机会在虚拟世界里主动生成、慢慢攒起来。
安全验证的路径同样会变。大批重复性测试和高风险场景的验证,可以挪到虚拟世界里先做完,真实道路则留着做最后那道检验。这一变化还会牵动商业化的节奏:无人车开进一座新城市,如果能先把当地的虚拟环境搭起来,驾驶系统就能提前在里面认路、经历复杂交互,再针对暴露的问题迭代。真到运营那天,企业拿到的就不是一张完全陌生的卷子,前期测试成本和部署风险都有望降下来。
再往远处看,这套打法还能用到无人驾驶之外的物理 AI 领域,机器人就是一例。它们面对的难题很像:智能体在真正接手复杂任务之前,怎么拿到更多可控、可重复的训练和验证机会,又怎么把攒下的经验带回现实世界。
换句话说,世界模型的产业价值未必止于生成场景。模型在交互、预测和物理模拟上越做越强之后,它有可能成为物理 AI 研发的一层基础设施,把真实世界的数据、虚拟环境里的训练与测试,以及最后的现实验证串到一起。