英伟达Alpamayo 2 Edge落地车端:20亿参数VLA模型怎么省算力?
智驾芯片还要堆多少算力?先看看车上的模型需要什么|甲子光年
围绕智驾模型,业内眼下同时抓两头:一边把它做得更强,一边让它更省。
11月10日,英伟达发布技术博客,公开了面向车端部署的Alpamayo 2
Edge模型权重,并介绍了部署上的技术细节。就在这之前,黄仁勋正深陷婚外情风波。这款为车端开发的VLA模型,语言模型组件约20亿参数,搭配视觉编码器和动作专家生成驾驶轨迹,再靠按需推理砍掉常规驾驶中的计算量。更早时候,英伟达还推出过340亿参数的Alpamayo 2 Super,用于离线教师、评估和数据生成等任务。从能力探索走到车端部署,计算的安排已经变了。国内车企也在应对同样的问题。
今年8月,小鹏讲第二代VLA升级时,一头强调端侧模型参数量变大,一头又讲Token压缩与蒸馏,想把基座模型的能力放到算力更低的平台上。
今年9月,零跑高级副总裁周洪涛在与「甲子光年」的对话中说,他给团队定的目标是:把世界模型下放到算力更低的平台,“甚至在100TOPS的算力上也要跑出来一个比较好的效果。”
问题也就来了:智驾能力的增长,到底有多少非得靠车端硬件升级来接?
更大的模型,未必需要原封不动搬上车。“让大模型定义芯片,让芯片承载大模型的下一次进化。”
这句话出自10月29日苏州的一场发布会,说话的人是XHEART新芯航途CEO李宗霖,他用它来概括公司的技术路线。同场活动上,Momenta CEO曹旭东也给出了一个判断——“大模型定义芯片”。
Momenta CEO曹旭东,图片来源:新芯航途
但在聊“大模型定义芯片”之前,有件事得先说清楚:训练体系里跑的模型,和真正上路开车的模型,可能并不是同一个。
Waymo在2025年12月发布的技术Blog里讲过这套做法:其基础模型分别用于驾驶、仿真和评估,各自形成大型教师模型,再蒸馏为效率更高的学生模型。教师模型体量太大,车端实时决策这类任务没法直接扛。
换句话说,一辆车能沾到更大模型的光,却不必把它整个塞进去。大模型负责产出训练信号、找出难例、评判驾驶行为,然后把能力交到更精简的模型手上。
英伟达的Alpamayo同样是一组智驾模型加配套工具,并不是装上车就能跑的完整智驾系统。体量偏大的模型可以去做离线研发的活,Edge模型则给车端的微调和部署打底。
NVIDIA Alpamayo 2 Edge,图片来源:英伟达
小鹏今年两条路一起走:一边把端侧模型的参数规模做大,一边靠Token压缩和蒸馏,把基座模型的能力搬到算力更低的平台上。按照小鹏方面的说法,基座模型变强之后,蒸馏出来的图灵VLA 2.0 Lite也拿到了明显的能力提升。
小鹏物理AI Infra体系,图片来源:小鹏
从这些行业实践里能看出来一件事:模型能力往上走,并不意味着每辆车的参数量和算力都得跟着同步涨。训练端照旧去探能力的天花板,部署端要琢磨的是更省钱的落地办法。
蒸馏当然做不到无损。低频场景、复杂场景以及Corner Case里的表现,都还要再验证。但它在产业上的意义已经摆在那里:研发资源可以先沉淀成模型和数据资产,再用不同版本去服务多档硬件。能力迭代和硬件换代之间,因此多出了一块调节余地。
基座模型参数变大,不能直接拿来当新车硬件升级的理由。消费者要弄明白的是部署版本多了哪些能力;车企要算清楚的是,这些能力到底要吃掉多少车端资源。
只把模型换个名字、加个版本号,不该成为车端硬件成本上涨的借口。
2.算力需求,也是模型团队选出来的
比起蒸馏和压缩,还有另一条路:在模型设计阶段就把哪些计算值得做定下来。
摄像头拍到的画面并不是方向盘和刹车指令,模型得从中找出跟驾驶相关的信息——车在哪、往哪动、道路边界在哪、交通参与者之间是什么关系。这些信息用什么形式存下来、怎么连起来,就是模型的“表征”。表征怎么选,决定模型沿着哪条路去理解环境,也决定要花多少计算。
VLA路线想借视觉语言模型已经学到的知识,帮系统看懂驾驶场景。比如碰上施工人员的手势或者特殊道路提示,模型不光要知道物体在哪,还得明白它们是什么意思。把语言相关的能力引进来,能提供知识底子;可相应的编码、跨模态交互,还有部分方案里的语言推理,同样要吃算力。
问题在于:哪些驾驶问题值得调用语言知识,哪些直接看视频和空间关系就能学会?
零跑世界模型智驾负责人冯铭月对这个问题的判断很明确。他跟「甲子光年」说,语言对齐未必是理解驾驶环境最有效的路子,团队更看重视频里的变化和空间信息。
据冯铭月介绍,零跑的做法是通过预测未来视频和3D占据做自监督预训练,分别学场景语义和空间关系,再把学到的表征拿去做轨迹预测。它想直接从视觉经验里学驾驶,而不是让所有信息都先围着语言转。
语言在模型里起什么作用之外,零跑还换了空间信息的组织方式:团队取消显式BEV表征,直接从图像学动作,图的是省掉视角转换那笔开销。
冯铭月说:“人类开车没有BEV,就不花算力做BEV视角转换,这样可以把视角转换的算力用在其他地方。”
零跑的工程取舍很清楚:空间信息照样要学,但拿到它、用上它的路径可以另做设计。砍掉一个环节,为的是把有限的资源留给对驾驶更有用的计算。
这么看,车端要多少算力,也是技术路线带出来的结果。模型用什么表征、留多少历史信息、走哪些处理环节,都会改变硬件的负担。先把模型组件越加越多,再把部署上的困难一股脑归到芯片不够强,就把架构本身能优化的地方盖住了。
不过,计算量降下来之后,剩下的活还得靠芯片高效干完。
一位主机厂的智驾模型技术负责人对「甲子光年」说:“智驾芯片的大模型定向优化,本质上就是Transformer或者说Attention算子的优化,不管是VLA还是世界模型,都是差不多的,厂家都会去做。”
可同样是优化这类算子,各家芯片跑起来的效率并不一样。算子运行时,一边要算,一边要读输入、存结果,还得跟后面的操作接上。所以优化不能只盯着计算单元有多快,数据能不能及时送到、中间结果能不能被高效复用,同样得看。
新芯航途的做法就是把这些路径尽量压短。据李宗霖介绍,该公司用上超大核NPU,把一部分跨核交互收进核内,同时针对求和、转置、Layer Norm等操作做了硬件适配,让访问外部DDR内存的次数降下来。
新芯航途X7 Ultra的参数,图片来源:新芯航途
哪些工作值得做,由模型团队来定;这些工作放在哪里执行、数据怎么送过去,则归芯片团队管。两边怎么取舍,一起决定实际效率高低。
所谓“大模型定义芯片”,说到底就是:硬件还没定型,算法需求就得先进入设计环节。
协同越往深处走,对未来的押注也越具体。地平线副总裁吕鹏接受《每日经济新闻》采访时提到,一颗芯片从定义走到上车,起码要两三年,技术范式得提前判断。
X7流片之前,新芯航途就和Momenta一起做了量产模型的全芯片仿真,把软硬集成和优化提到前面。交付周期因此有望缩短,同时也会攒下大量围绕这一平台的工程经验。
提前合作能少走部署阶段的弯路,可另一面是,芯片资源已经按某些需求分好了。模型一迭代,原来的专用单元还能顶多少用、新算子交给谁跑、工具链能不能继续高效调度,这些都决定了这次优化能撑多久。
所以,想用“通用”和“专用”给行业划一条线,并不容易。
有价值的芯片,得让当下的模型少等、少搬,也得给下一轮模型变化留出调整余地。算力竞争走到最后,比的是对计算任务的理解,以及围绕这些任务怎么取舍。
3. 算力之外,还要比什么?
智驾芯片行业有个毛病越来越明显——产品数字一个比一个好看,想横向比一比却越来越费劲。峰值算力、模型实测性能、计算利用率,摆出来眼花缭乱。问题是,这些数字可能来自不同精度、不同稀疏条件、不同测试模型,根本没法直接排成一张性能榜。宣传时这些区别又常被抹平,最后只留下谁的TOPS更高。
地平线创始人余凯最近就公开表达了对智驾芯片行业算力口径不一的不满。
余凯微博内容
口径不统一,最直接的后果就是数字之间的落差容易被读成产品性能的落差。一颗芯片,不光要看理论上能跑多少次运算,还得看具体模型能调用多少资源,以及在给定功耗和时延下能完成多少有效计算。
在一个模型上跑出高效率,只能证明一次优化奏效。对智驾芯片供应商来说,让更多模型都能高效运行,才算平台能力。这也是“大模型定义芯片”必须回答的下一道题:芯片可以围着代表性模型来设计,但不能假定所有客户的模型结构和运行特征都一样。模型一换,需要多少适配、性能还能剩多少,和首发数字同样要紧。
元戎启行的一位技术人员对「甲子光年」表示,芯片算力哪怕只有一百多TOPS,只要模型优化到位,整车智驾体验同样不至于太差。
这话点出了规格竞争的局限:同样的硬件资源,不同团队能兑现的能力并不一样。车企买芯片,最终买的是自家模型的运行效果,不是别人模型上的最好成绩。
性能高低不只体现在硬件本身,适配环节同样会拉开差距。车企在某一平台上投入的工程越多,模型与芯片结合得越紧密,日后转投其他平台时,这部分付出也得计入成本。
李宗霖提到新芯航途与Momenta的合作时说过,两家在架构、设计、商务层面都没有绑定关系,合作并不排他。
可没有排他协议,不代表换平台就不用花钱。模型要装车,算子适配、量化、编译、调优和整车验证一样都省不了。一旦更换芯片,其中有些环节得从头再做一遍。新芯片到底便宜多少,得把迁移所需的人力、周期和项目风险放在一起算。
芯片厂商面对的题目也跟着变了。跟一家算法公司联手调优,能帮首个项目先跑起来;想把市场做大,就得把这些经验做成更多客户都能上手的工具链和平台。每来一家新客户都要重新砸进大量工程资源,规模效应就会被适配开销一点点吃掉。
所以,行业该比的至少有三样:在给定成本下能交出多少驾驶能力;换一个模型要搭进去多少开发投入;模型更新之后,还能不能接着高效部署。
发布会上,各家可以争夺对性能的解释权;到了量产项目上,最后结算的无非是效果、成本和交付。
算力数字能招来客户,只有持续把客户的模型跑好,客户才留得住。