英伟达发布Alpamayo 2 Edge：端到端自动驾驶模型，推理闭环提升48.9%

这是一款端到端自动驾驶模型，英伟达11月10日刚把它发出来。VLM 骨干约 2.45B，动作专家约 0.2B，运行在车规级芯片 DRIVE AGX Thor 上。

不过“懂端到端”这几个字，还真不是标题党在蹭流量。各路 AI 忙着当“嘴替”、大模型自顾自说个不停的当下，英伟达力挺的这姑娘（划掉）这模型，算是真·人间清醒。

Alpamayo 2 Edge 想做到的是：车里的 AI 不光看得懂路，还能理清复杂的交通关系、判断潜在风险，再依据场景自己生成驾驶动作。说白了，就是让 AI 从会看、会理解，再往前走一步，到会开车。

当然，让 AI 在服务器里推理，跟让它在高速行驶的车里推理，完全是两码事。车载算力就那么多，响应时间也卡得很死，模型既得在复杂场景下想得明白，又不能把大量算力耗在没完没了的思考上。

针对这个矛盾，Alpamayo 2 Edge 做了一套新设计：普通端到端模型是输入图像、直接输出轨迹，中间过程是黑箱。Alpamayo 2 Edge 则被要求生成 Chain-of-Causation（因果链）推理——不光要会开，还得说出为什么这么开。

那么，汽车到底需要怎样“懂端到端”的 AI，才能既想得清楚、又开得及时？这套新 VLA 给出的技术方案挺有意思。

01

推理开销，交给模型自己控制

Alpamayo 2 Edge 的一个核心思路，是让模型自己学会什么时候该展开完整推理。自回归语言模型下，推理文本越长，生成就越耗时，而车载系统还得给视觉编码和轨迹生成留出算力。

为此 NVIDIA 引入了 Adaptive Reasoning，并设计了特殊标记 <NOMINAL>。模型判断当前属于常规驾驶状态时，直接输出这个标记，显式推理文本的生成就此结束；碰上复杂交通交互，再生成完整的 Chain-of-Causation（CoC）推理链。

实现上还有一点不能忽略：<NOMINAL> 并不是把视觉网络关掉，模型后面照旧要做动作计算。变的是语言模型怎么输出——常规场景下少花一些推理 Token。公开架构里没提到单独的外置风险分类器；至于两种输出模式如何取舍，只能靠训练让模型自行掌握。

那模型怎么知道什么场景需要推理？这就牵扯到 CoC 的数据构建了。

NVIDIA 的自动标注流程是这么走的：先从车辆轨迹里提取 Meta-Action，也就是自车的高层运动行为；再按行为发生变化的时间点定位关键帧；然后调用 VLM，生成场景因素与驾驶动作之间的因果解释。标注还得过一道验证，看解释有没有画面依据，描述的动作跟实际轨迹对不对得上。

这里有个重要的设计取舍：驾驶视频里连续画面一大把，可不是每一帧都会产生新的驾驶决策。要是逐帧生成推理文本，训练集里很容易堆满重复描述。

以 Meta-Action 变化为锚点，监督就能集中在车辆行为发生变化的时刻，让模型去学障碍物、交通参与者和道路条件是怎么影响自车动作的。

NVIDIA 用 Alpamayo 2 Super 生成 CoC 自动标注，再通过离线蒸馏训练 Edge 模型。公开数据约含 115,000 小时多摄像头驾驶视频，以及 370 万条 CoC 推理标注。

举个例子，前方车辆减速时，模型得结合左侧来车、道路边界和自身速度，判断能不能绕过去。CoC 要讲清这些因素跟减速、等待或转向之间的关系，同时不能引用决策发生之后才出现的信息。

这样一来，模型学到的东西分两层：复杂场景下怎么组织因果解释，常规场景下什么时候可以省掉显式解释。前者提供驾驶推理监督，后者控制文本生成的成本。

不过，自动生成的 CoC 仍可能带着教师模型的偏差，解释跟实际驾驶动作到底一不一致，还得在后续训练里检验。

02

场景分析做完，接下来的一步是把判断落成车辆能执行的运动轨迹。

这项任务在 Alpamayo 2 Edge 里由单独的 Diffusion Action Expert 承担，参数量约 0.2B；它与约 2.45B 参数的 VLM 骨干组成双模块架构。

输入设计同样贴着驾驶场景来做。每轮模型处理 6 路摄像头、22 帧图像：前向广角和长焦各给 5 帧，分别对应过去 2 秒、1 秒、0.5 秒、0.1 秒和当前时刻；左右侧向与后向四路各给 3 帧，对应过去 1 秒、0.1 秒和当前时刻。

前向摄像头留下更密的历史信息，用来判断道路变化和前方交通参与者的运动状态；侧后方画面则补上周边车辆的情况。模型还接收 20 个历史 Ego Pose，按 0.1 秒间隔覆盖过去 1.9 秒，并统一转换到当前自车坐标系。

Ego Pose 在这里很关键。摄像头给的是外部环境的视觉信息，Ego Pose 描述的是车辆自身位置和姿态的变化。两类信息经过统一的时间和坐标处理，模型才能结合自车运动历史，理解道路上其他参与者的相对运动。

视觉与运动信息编码完成后，VLM 提供场景语义、导航条件和 CoC 推理，动作专家接收这些条件，生成连续控制量。

动作专家输出每个时间步的加速度和曲率，再经 Unicycle Model 积分得到车辆轨迹。加速度对应纵向速度变化，曲率决定路径弯曲程度。比起让语言模型直接吐出大量坐标，这种控制量表达更贴近车辆运动学。

模型最终给出 64 个 Waypoints，覆盖未来 6.4 秒，每 0.1 秒一个点，含 XYZ 位置和 3×3 旋转矩阵。这里还把车辆后轴的实际行驶路径与车身朝向分开表达：车辆侧滑时，车身航向和路径切线之间可能存在角度差，两类信息不能混在一起。

连续动作以 Flow Matching 训练，公开推理配置默认执行 10 步 Euler 积分。训练阶段，VLM 接受未来轨迹 Token 和 CoT 文本监督，动作专家接受加速度与曲率的 Flow Matching 监督。

动作专家会接收 VLM 给出的条件特征，但动作损失不会反过来去更新 VLM——Detach 梯度隔离正是这里的关键做法。这样一来，连续控制目标对语言视觉骨干的梯度干扰就少了，语义理解和运动生成也就能各管各的优化。

问题也随之而来：VLM 对场景的理解一旦有偏差，动作专家没法靠自己的训练损失直接修正上游表征。模型因此还需要一套独立评价机制，检查推理文本有没有场景依据，生成的轨迹是否符合对应的驾驶意图。

03

让推理质量进入训练反馈

NVIDIA 为此引入 AlpaJudge，把 CoC 推理质量转成可评估的训练信号。它有两个版本：Reference-Based（RB）和 Reference-Free（RF）。

RB 的输入是问题、参考解释和模型生成的候选解释，判断两段文本的对齐程度，但不读取图像。它适合已有专家标注的样本，却没法独立判断解释是否符合实际画面。

RF 评价推理质量时不用参考解释，看的是五个维度：动作匹配、安全性、场景依据、要素完整性、因果一致性；输入则涵盖前向广角与长焦摄像头画面、自车 Meta-Action 的历史与未来，还有模型生成的 CoC。

在 RF 里，动作匹配与安全性合并为动作评分，占综合评分的 60%；场景依据、要素完整性和因果一致性构成另外 40%。驾驶行为与语言解释被放进同一套评价框架，只凭文本是否流畅来判断推理质量的做法被排除在外。

因为要调用未来的 Meta-Action，RF 不参与车辆实时决策，主要用在离线评估和训练上。它要查的是两件事：模型给出的解释跟场景证据对不对得上，解释里表达的驾驶意图跟实际动作是否一致。

训练数据筛选也有 AlpaJudge 的份。NVIDIA 的实验显示，评分筛选之后，中间分数样本在精选数据里占到 81%，而原始数据中这个比例是 27%。这类中间分数样本往往还有更多可学的空间；低分样本则可能是标注出了错，也可能对应模型还没掌握的困难场景，所以还是得人工复核。

评分机制还用到了后训练环节。模型先产出候选 CoC 和轨迹，训练流程再把推理质量、轨迹误差和驾驶舒适度合起来算奖励，同时保留轨迹质量约束，防止模型只顾着把解释文本写好。

NVIDIA 在一组基于 Alpamayo 2 Super 的后训练实验中发现：使用 AlpaJudge 奖励时，模型评分提升 10.2%，人工评价提升 11.4%；使用基线奖励时，模型评分提升 13.4%，人工评价只提升 1.8%。两组结果说明，模型自身评分与人工判断之间可能存在偏差，推理奖励需要经过人工校准。

不过，AlpaJudge 只能评价模型生成的解释，连续驾驶中的动作后果无法完整衡量。NVIDIA 于是又把模型接入 AlpaGym 和 AlpaSim，做闭环强化学习。

在仿真环境里，模型接收摄像头画面、自车状态和路线信息，生成轨迹后由仿真车辆执行，环境返回新的画面和运动状态，模型再作下一轮决策。训练过程因此能看到当前动作如何影响后续场景，并根据连续驾驶结果更新策略。

NVIDIA 披露，Alpamayo 2 Edge 经过闭环强化学习后，驾驶表现较未使用该轮 RL 的较优检查点提升 48.9%。在 AlpaSim 的 875 个场景中，每个场景执行三组 rollout，平均每发生一次责任事故或驶离道路事件前行驶约 15.15 公里。

开放环这边，用的是1,392条样本，在5秒处测得的minADE₆是0.52米。两组数据说的并不是一回事：闭环结果看的是模型在持续交互里怎么开，开放环结果量的是固定输入下的轨迹误差。解释质量由AlpaJudge把关，动作后果由AlpaGym检验，训练反馈因此落在不同层面上。

训练结束之后，还得面向DRIVE AGX Thor做推理优化。NVIDIA给出的部署流程里有FP8量化校准、ONNX导出和TensorRT Engine构建，另外还配合了TensorRT Edge-LLM插件和DFlash2 speculative decoding。

DFlash2的做法是让轻量Draft模型并行提出候选Token，再交给目标模型验证，自回归解码的等待时间由此缩短。再加上NOMINAL对常规场景推理文本的压缩，计算开销在文本生成长度和解码执行两头都被管住了。

参考配置为DRIVE AGX Thor-X、DRIVE OS 7.2.7.0、CUDA 13.4和TensorRT 11.3.1.9，NVIDIA公布的Pixel-to-Trajectory时延是160–190 ms，具体看CoC文本有多长。

这个数字指的是模型从图像输入到轨迹输出的推理耗时。传感器采集、定位、控制器执行和安全监控组成的整车响应周期，并不算在里面。

04

“会说话”不难，“说得起”才难

传统端到端模型被诟病，核心不在开得好不好，而在说不清为什么这么开。Alpamayo 2 Edge的因果链推理正面回应了这个问题：它输出的不是“前方有车→刹车”，而是一整套因果解释。

从Alpamayo 2 Edge展示的技术路线看，自动驾驶VLA的研发已经推进到更具体的阶段：模型得根据道路状况调整推理深度，还得把场景理解转成符合车辆运动学的连续动作。

这套设计的逻辑很直白：既然说自己懂因果，那就让评分器来判。英伟达也特别提醒，推理分高不等于车开得好，必须和碰撞、偏离车道、轨迹误差等指标一起报告。

于此同时，模型被提出了两方面要求。一头要判断当前交通环境里哪些因素会影响驾驶决策，另一头要控制推理过程带来的计算开销，让后续轨迹生成能及时完成。

工程上的矛盾很现实。模型对复杂场景判断不充分，就可能过早进入NOMINAL模式，漏掉需要处理的交通因素；频繁展开长CoC，语言解码又会多占时间，整条推理链路的执行效率跟着受影响。

所以自适应推理的效果，不能只盯文本质量，还要结合模式选择、轨迹质量和实际响应时间来看。连续交通交互中尤其如此：模型能不能及时识别场景变化、必要时调整推理策略，会直接影响后面的驾驶动作。

回到开篇那个问题：我们需要的是AI"真懂"，还是"表现得懂"到足以通过AlpaJudge？

从目前公布的结果看，NVIDIA已经展示了模型架构、自动标注、强化学习和车载部署之间的完整技术路径。不过仿真环境里的表现，仍要经过不同道路条件、传感器组合和车辆动力学环境的检验。

对自动驾驶来说，模型生成轨迹只是决策链路中的一环。Alpamayo 2 Edge把推理过程也纳入计算资源分配和训练优化，VLA的工程设计空间因此又宽了一些。

接下来，这套架构能不能在真实车辆上稳定处理复杂交通交互，将决定其技术方案能走多远。

参考链接：https://developer.nvidia.com/blog/running-av-reasoning-models-within-onboard-compute-and-latency-limits