14个AI模型开上特斯拉:Gemini“龟速”过关,机器人模型栽在急转弯
文|傲然 编辑|杨布丁 11月18日,AI驾驶测试项目DrivingBench公布了第二轮真实车辆测试报告。研究人员让8个通用AI大模型和6个机器人(VLA或WAM)模型,分别驾....
文|傲然
编辑|杨布丁
11月18日,AI驾驶测试项目DrivingBench公布了第二轮真实车辆测试报告。研究人员让8个通用AI大模型和6个机器人(特斯拉Model 3,在停车场内挑战两条由路锥组成的路线。
从最终结果看,研究团队认为,这两种模型目前都还不是优秀的驾驶员。Tesla Model 3 DrivingBench v2测试
具体来看,在相对简单的A路线上,3个机器人模型连续5次测试全部成功,最快一分多钟就能跑完全程;在更复杂的B路线上,6个机器人模型没有一个能成功。从通用大模型的表现看,Google的
DrivingBench项目由Aditya Ramabadran、Simon Mahns和Tobias Gessler三人开展。他们做测试的目的是想知道,像GPT、
Gemini、Claude这样的通用AI大模型,能不能像人一样,通过观察道路情况来开车。
此次特斯拉Model 3测试已经是他们第二次实验,今年9月,他们用一辆2022款丰田卡罗拉,在美国旧金山湾区的一个空停车场做过类似实验。第一次参加测试的是4个通用大模型,包括
报告显示,研究人员通过第三方设备(
(注:AI大模型通过星链网络和第三方设备控制特斯拉Model 3)
在今年9月公布的报告中,只有
其他3个模型都没能完成路线,大多数尝试甚至没有通过第一个弯道。研究人员在报告中称,模型开车失败的一个重要原因是无法准确判断路锥之间的道路边界,前沿大模型已经发展到能够在足够低的速度下驾驶真实汽车的程度,但模型的驾驶能力和安全性仍然需要进一步研究。
第二次测试,他们决定增加难度。研究人员把丰田卡罗拉换成了一辆2021款特斯拉Model 3,与丰田相比,这辆特斯拉在测试系统下的方向盘转动速度提高了约2.5倍,能够完成更急的转弯。
在第二次测试中,研究人员设计了两条新路线。A路线长约141米,包含左转、连续右弯、
参加第二轮测试的AI也增加到14个。其中,8个是GPT、Gemini、Claude和Grok等通用大模型,另外6个是经过专门驾驶训练的机器人模型,包括
两组模型的区别是,通用大模型直接上车测试,没有提前进行专门的驾驶训练,6个机器人模型先接受了一轮学习和训练。研究人员先自己开着特斯拉,在4个停车场内反复练习不同的路线,录了108分钟的驾驶数据,包括摄像头拍摄的画面、汽车速度和转弯情况等。其中94分钟的数据被用于训练6个机器人模型,总行驶距离约10公里。
这些模型相当于先看了一段人类驾驶汽车的视频,学习遇到不同弯道应该如何打方向盘、控制车速,然后再自己上车考试。为了避免AI只是记住路线,研究人员特意选择了一个没有出现在训练数据中的停车场,重新布置了考试路线。
机器人模型在两条路线的成绩明显不同。
在A路线,
但换到更复杂的B路线,6个模型合计测试30次,没有一次成功抵达终点,其中29次在第三个弯道前就卡住了。研究人员发现,很多模型的问题出在连续转弯上。例如,车辆刚刚完成左转,接下来应该立刻右转,但有些模型仍在继续向左打方向。
通用AI大模型的成绩也出现了明显分化。
Gemini 4 Carbon
不过,Gemini虽然能够完成路线,速度非常慢。报告显示,它5次成功完成路线,分别需要26至49分钟,平均大约每两分半钟才发送一次驾驶指令。
造成这种差异的一个原因,是两种AI开车的方式不同。通用大模型需要先观察道路,判断应该往哪里走,再发出驾驶指令。机器人模型能够根据摄像头画面,连续生成车辆的转向和速度指令,反应速度更快。
研究人员还安排了一名人类驾驶员参加测试,但要求他和通用大模型一样,只能通过软件工具控制汽车,不能正常操作方向盘和踏板。最终,人类驾驶员完成了A路线,但没能完成B路线。
研究团队提醒,此次测试的次数有限,两种AI模型的测试方式也存在差异,不能简单根据排名判断模型的全部驾驶能力。
在报告最后,研究人员总结,机器人模型需要学会把已有的驾驶经验应用到更多陌生道路中,通用大模型需要提高反应速度。他们认为,未来一种值得探索的方向,是让反应迅速的模型负责控制车辆,同时由推理能力更强的模型负责判断道路情况、发现驾驶错误。