华为诺亚方舟论文：机器人为何走安全路却卡在原地

有个场景很难想象，却天天在机器人实验室里发生。机器人被派去拿苹果，它走的每一步都“安全”：不撞墙、不碰坏东西、不违反任何安全规则。可它就是到不了苹果那儿。同一个方向反复挪，一遍遍失败、一遍遍重试，安全成本累计到23分，任务最终宣告失败。

另有一种更让人哭笑不得的情形：某款“安全解码器”一心把安全成本压到最低，索性提前收工，只花了3分成本，机器人压根没走到苹果旁边。

把这两种失败摆在一起看，会让人意识到：我们对“安全”这个词的理解，可能从一开始就窄了。

**动作安全，不等于动作有用**

这是整篇论文最核心的洞察，也是研究的出发点。

作者来自华为诺亚方舟实验室和华为海森堡研究中心。他们在研究视觉-语言-动作模型时，发现了一个被广泛忽视的漏洞。这类模型能看懂画面、听懂指令，然后直接控制机器人动作。

VLA（视觉-语言-动作模型）：接收摄像头画面和文字指令、直接输出机器人动作指令的AI系统，RT-2、OpenVLA、π0 都属于这一类。

这类模型通常“冻结”部署——训练好之后参数不再变化，执行任务时只根据当前画面和指令算出下一步怎么动。问题恰恰出在这：模型当下挑的动作看着完全合规，不碰撞、不违反任何安全约束，但它可能把机器人带进死胡同，而这条死胡同，模型自己走不出来。

论文给这种现象起了个名字：“可行性-似然性鸿沟”。

可行性-似然性鸿沟：模型认为“最可能选”的动作，和“真能安全完成任务”的动作，未必是同一个，两者之间的落差就是这道鸿沟。

这话听着有点绕，换个说法更直观。把模型的“似然性”想成一个人站在十字路口凭直觉挑方向，他挑的是感觉上“最顺眼”的那条。而“可行性”问的是另一回事：顺着这条路走，你真能到目的地吗？还是再往前十米就是一堵墙，退路已经没了。

只会凭直觉选路、不肯多往前看几步的人，早晚撞上死胡同。冻结VLA策略面临的正是这个处境。

**从“整条轨迹”倒推“这一步怎么选”**

研究者没有停在指出问题上。他们做了件更难的事：为“怎样才算好动作”找到一个数学上站得住脚的标准答案。

思路是这样：与其直接问“下一步做什么”，不如先问个更大的问题——“一条完整、能安全完成任务的轨迹该长什么样”，再反过来推，在这个标准下当前这一步最该选哪个动作。

好比盖房子先画整体设计图，再决定第一块砖往哪儿放，而不是抓起砖就随手一搁、走一步看一步。不这么倒推，只凭眼前这一步的局部判断砌砖，房子盖到一半很可能发现地基歪了，前面砌的全得推倒重来。机器人决策同理：只看当下这步合不合规，不管它会把未来的路堵死多少，正是前面那个失败案例的根本原因。

论文借助一套叫KL正则化控制的数学工具，把“未来所有可能安全完成任务的轨迹”压成一个能直接作用在“下一步选择”上的分数。推导得出一个关键结果，论文称之为“可行未来质量”。

可行未来质量（Feasible-Future Mass）：衡量“选了该动作后，模型自己未来还能不能安全完成任务”的量化指标，含两层意思，一层是“有没有可能”（支持性），一层是“可能性多大”（量级）。

有个细节值得停下来想想：论文把“支持”和“量级”这两件事分得很清楚。

**支持性是0和1，量级是多和少**

一个动作选下去，未来还有没有安全完成任务的可能，这是“是非题”，有就是有，没有就是没有。可即便有可能，这个可能性到底多大、模型会不会真朝那个方向走，这是“程度题”。

论文用了个很精巧的数学处理：某动作背后彻底没有安全完成任务的可能时，它对应的分数被设成负无穷。不是给个低分，是直接判死刑。

这个设计透着一种狠劲。想象挑股票：一支“未来大概率涨不动、但理论上还有涨的可能”，另一支“公司已破产清算、根本不存在涨的可能”，两者在风险评估上根本不是一回事。前者只是分数低，后者该被直接踢出候选池，表面再诱人也不行。若只用连续的、有限的分数给两者打分，破产股票可能因为某些局部指标好看，意外混进推荐名单——论文想避免的，正是这种“安全死胡同被误判为可接受选项”的情况。

论文在附录里用四个动作的数值例子把这套逻辑演示得很清楚。有个动作叫“不安全捷径”，直接违反局部安全规则，第一轮筛选就被淘汰。还有个动作叫“安全死胡同”，局部检查全合格，看着人畜无害，可沿着它走下去，模型的后续策略永远到不了任务终点——只看局部安全规则的方法，完全识别不出这个陷阱。剩下两个可行动作，一个未来成功概率是四分之一，另一个是百分之百，光看支持性分辨不出差别，看了“量级”才知道该选哪个。

在刚才那个例子里，四种评分方式各自选出了不同的动作，一层套一层，像剥洋葱：先看“似然性”，再看“局部安全”，接着看“是否可行”，最后看“可行到什么程度”。

理想方案算不出来，怎么办

论文推导出的理想分数有个硬性前提：必须知道“选定这个动作后，模型未来所有可能轨迹里有多大比例能安全完成任务”。这等于要把所有未来可能性穷举一遍，在线决策系统根本等不起。现实矛盾就卡在这儿。

研究者的办法是退一步，设计了一套“选择性近似”方案，不去精确算未来质量，改用一些能快速拿到的替代信号去逼近。这套方案最终落地成一个叫VICS（可行性修正采样）的解码器，主力版本叫VICS-G。

VICS-G的打分公式有三块：模型自身对这个动作的偏好、动作局部安全性的评估，还有一个轻量级的“未来延续”修正项。修正项不靠模拟未来轨迹，靠的是回看最近的执行历史——这个动作最近是不是反复失败过、有没有导致过碰撞，据此打一个折扣分。

VICS（Viability-Corrected Sampling）：可行性修正采样，一种不需要重新训练模型、只在推理时重新排序候选动作的解码策略。

VICS-G不是把每个动作都重新评估一遍，它设了一道“闸门”。只有采样出来的动作本身出了问题——比如重复了最近失败过的动作、或者踩了明确的安全禁令——系统才会启动重排这个相对昂贵的流程。大部分时候，模型原本的选择直接保留。

这个思路很像医院急诊的分诊台。急诊室不会给每个走进来的病人都做全身CT，设备和医生根本不够用。实际做法是先由护士快速初判，看着没大问题的去排队候诊，症状可疑的才立刻送去做精密检查。少了这道闸门，每个决策点都要启动完整的候选集重排，效率会直线下滑；机器人需要实时反应，这种延迟本身就是新的风险。

理论上能保证什么，又不能保证什么

论文没有回避近似方案的局限，专门推导了一个“恢复定理”，说明在哪些条件下，这套简化打分依然能挑出真正该选的那个候选动作。

定理把误差拆成四个来源：有没有启动重排（干预）、候选集里有没有真正可行的动作（覆盖）、有没有把可行动作误排除掉（支持性处理）、以及打分排序准不准（排序）。只要候选集里确实留着一个可行动作，并且它和候选集里残留的死胡同动作之间分差足够大，近似打分系统就仍能可靠地把它选出来。

但论文也点明一个关键风险：如果“闸门”一开始就没启动重排，哪怕采样出来的动作是个彻头彻尾的死胡同，系统也不会去管，这时候恢复定理的保证就完全失效了。闸门换来的是效率，代价是可能放过本该拦下的坏动作。

这个权衡没有标准答案。论文选择承认它，而不是假装它不存在。

六个场景的真实测试结果

理论讲完，还得看实际用起来怎么样。

研究团队在Safety-CHORES基准平台上做了实验，这个平台专门评估机器人在室内环境执行带安全约束的操作任务，涵盖拿取物品（PickUp）、物体导航（ObjectNav）和取物任务（Fetch）三类场景。每类场景又分别用“任务导向”和“安全对齐”两种训练方式得到的模型权重，一共组成六种测试组合。

结果相当一致：六个场景里VICS-G都压低了观测到的安全成本，降幅从1.9%到57.5%不等。同时任务成功率的变化控制在policy sampling（纯靠模型自身采样、不做任何重排干预的基线方法）正负2.5个百分点以内，平均每条轨迹步数变化也不超过0.82步。

在PickUp / base安全对齐检查点下，成本降幅相对温和。但ObjectNav / base场景里，VICS-G把安全成本从7.965降到3.385，降幅57.5%，成功率只从78%降到75.5%，掉了2.5个百分点。任务基本还能完成，走的路却明显更安全了。

论文还测了一个叫RCD的基线方法作对照（这个名字的设计思路受另一篇叫SafeDec的研究启发），RCD只看局部安全信号，不管未来可行性。它在原始安全成本上确实压得更低，代价却很惨烈：ObjectNav / base场景里，RCD的成功率比VICS-G还低8个百分点，平均每条轨迹步数也少了21步左右。这说明它常常是提前放弃任务，而不是真更安全地走完全程——正好对应开头那个让机器人提前结束任务、从而“假装”安全的案例。

遇上不靠谱的执行机构，情况会怎样

真实机器人世界里有个麻烦：你让机械臂移动10厘米，它可能只走了9.3厘米，也可能走了11.2厘米，执行和指令之间总有偏差。偏差要么随机，要么系统性地偏向某个方向，持续整个任务过程。

论文专门测了这种情况下VICS-G还能不能顶用。他们在安全对齐的Fetch场景里给动作加上人为扰动，模拟不完美的执行过程，然后给VICS-G加了一条额外信息通道：让它能看到上一步指令和实际执行结果之间的差异，也就是执行反馈。

结果显示，带执行反馈的VICS-G比没有反馈的版本，观测到的安全成本降低15.9%，违规次数减少16.6%，成功率反而提高0.58个百分点，episode长度几乎没变。执行反馈确实能帮解码器捕捉到“这个动作最近一直在执行失败”的危险信号，从而主动避开。

研究者没有夸大这个结果。他们用配对统计检验做了严格验证，发现成功率提升的置信区间跨越了零点，意味着这个提升在统计上还不能算完全确定可靠。不过成本和违规次数的改善方向一致，方法整体是站得住的。

研究者给机器人加了一项“预见未来”的本事。

VICS-G自己并不做任何模拟推演，打分只看当下和历史，不朝前看。不过论文的理论分析指出，若能对未来做真正的采样模拟，效果理应更好。

加强版VICS-R由此而来。它只在少数关键决策点上允许机器人真正“分叉模拟”几步：拿当前动作和另外两个候选动作分别比较，看各自会导向什么样的未来。每个候选动作采样四条模拟延续轨迹，再挑出预计零安全成本完成任务概率最高的那个。

这跟下棋一个道理。棋手不会每步都往后算十步，只在关键路口才多算——比如这步棋会不会让自己陷进被将军的危险。普通棋步凭经验落子就行，省下的算力留给真正要紧的关口。要是每步都精确算到十步之后，棋局还没下完，计算先把你拖垮了。

在安全对齐的Fetch场景里，VICS-R把观测到的“安全成功率”（任务完成且零违规）从VICS-G的27.91%提到30.23%。任务成功率本身没变，仍是58.72%，平均成本则从3.233进一步降到3.116，降幅3.6%。

论文对这个结果很谨慎，定性为“探索性”。他们明确说，模拟推演靠不靠得住，完全取决于物理仿真器本身准不准；模拟成本又高，难以铺到每一个决策点。结论不是“模拟越多越好”，而是在计算代价和收益之间做权衡的工程选择。

这套方法还有没讲死的地方。

论文结尾坦然列了几处局限。

实验只覆盖了三类模拟任务，执行扰动也只测了两种模式、一个强度等级，真机测试尚未开展。VICS-G依赖的继续性评分是启发式的，基于历史观察，并非真正算出来的未来概率，因此在不同任务、不同检查点上效果会波动。论文自己的数据就摆着：ObjectNav / base场景里，加大未来评分权重后成功率反而掉了3个百分点，安全成本和违规次数双双上升。这套修正项不是万能药，某些场景下甚至可能帮倒忙。

论文没回避这个“副作用”，把它明明白白写进了附录的灵敏度分析。学术论文里，这种诚实态度挺难得。

写在后面

读罢全文，印象最深的不是那套精巧的数学推导，而是“安全死胡同”和“安全成本23却失败、安全成本3却也失败”这组对比案例。两个案例摆在一起，等于在说：过去衡量机器人安全性的方式，可能一直缺了一条腿。

评价标准如果只盯“有没有违反规则”，系统就永远学不会区分“真的安全”和“看着安全、其实哪儿也去不了”。这事早超出了机器人领域。任何要做长期决策、评价标准却只盯单步合规性的系统，理论上都可能掉进同一个坑。比如某些审核机制只看当下这条内容违不违规，从不追问这套审核策略长期下来会不会把整个系统逼进死局。

还有一处细节值得单独说：论文里“log 0 等于负无穷”的处理方式。表面是个很技术性的数学约定，背后却是一种价值判断——有些失败不该被“打个低分”糊弄过去，它就该被彻底排除。分数表达不了一切，有些事情得用是非题来兜底，这个思路或许在别的判断系统里也用得上。

下一个问题是：一个AI系统每一步决策看起来都正确，却没人问过它“这条路走下去还通不通”，那我们怎么才能及时发现，它正走向一条谁也救不回来的死路？

Q&A

Q1：VICS-G是什么，它解决了什么问题？

A：VICS-G是一种训练免费的机器人动作重排解码器。它不改动模型本身，而是结合模型偏好、局部安全评分和历史执行信息，帮机器人避开那些局部安全、未来却无法安全完成任务的“死胡同”动作。在六个Safety-CHORES测试场景中，安全成本平均降低1.9%到57.5%，任务成功率则保持接近原模型的水平。

Q2：可行性-似然性鸿沟具体是什么意思？

A：它指的是模型认为“最可能选”的动作，和真正能安全完成任务的动作，可能压根是两个动作。模型凭训练出的直觉挑了一个局部看着合规的动作，可这个动作可能把机器人引向一条连它自己后续策略都走不出来的死胡同，任务最终因此失败。

Q3：VICS-G和RCD这两种方法有什么本质区别？

A：RCD打分只看当前这一步的局部安全信号，不管这个动作之后还有没有安全完成任务的可能，所以它常靠提前结束任务来压低安全成本，任务完成率明显更低。VICS-G额外加了对未来可行性的近似评估，降低安全成本的同时，还能让机器人大概率真正走到任务终点。