AI总自信犯错怎么办？Salesforce提出用预测落差来训练

一个总是信心十足却频频出错的人，和一个会出错但清楚自己可能出错的人，你更愿意把事交给谁？

答案不难猜。后一种人至少会先说一句“我不太确定”，给你留出回旋余地；前一种人则会拉着你一路撞上南墙，撞完了还不自知。

把这个问题挪到AI身上，紧迫感立刻上来了。如今大语言模型越来越多地扮演“智能体”，替你写代码、调用工具、进行长时间辅导对话，甚至帮你做一些中间决策。这类场景里，最要命的失败通常不是单纯做错，而是带着十足把握做错。一个自信走偏的AI会一路走到底，把能纠正方向的信号全忽略掉，还会引发一连串错误的下游操作。反过来，一个会说“我不太确定”的AI即使失败，也给了人叫停、重试、求助的窗口。

Salesforce AI Research团队的这篇论文，盯的正是这件事：怎样让AI在出错时，起码意识到自己有可能出错。

**核心问题：事后反馈的死角**

眼下训练AI智能体的主流做法，都躲不开同一个毛病，论文称之为“事后陷阱”（hindsight trap）。

具体指什么？当前流行的强化学习训练手段，比如过程奖励模型（process reward model，简称PRM：一种给AI每一步行动打分的评判模型，依据下一步发生的实际情况判断这一步做得好不好）和在线策略蒸馏（on-policy distillation，简称OPD：让AI模型从自己生成、后来被证明更优的答案中学习的方法，教师模型通常能看到学生模型看不到的额外信息），它们的训练信号都是**事后**才算出来的。

换句话说，AI做完一个动作，系统得等到看见环境反馈（例如用户的下一句话，或者标准答案对不对）才能给这个动作打分。而AI在动作发生那一刻心里怎么想、觉得自己这步会不会成，这类信息从来没有进入训练的梯度计算。

后果是什么？两个看起来一样的结果，背后过程可能截然不同，得到的训练对待却一模一样。自信满满答对的AI，和瞎猜蒙对的AI，奖励相同。明知可能错还硬着头皮犯错的AI，和心里清楚能力不够才犯错的AI，惩罚也相同。

这就像两个学生同一道题都答对了，一个是真的懂，另一个是蒙的，老师给了一样的分数。短期内看不出问题，可时间一长，蒙对的那个学生始终没机会被点破“你其实并不懂”，下回碰上类似题目多半还是蒙，运气差点就翻车。老师要是从来不问“你刚才做题时心里有把握吗”，这条信息就永远用不上，也就帮不了学生进步。

论文里有个数据很能说明严重程度：单轮任务中，用现有方法训练出来的AI，过度自信导致的失败率（overconfident failure rate，简称OFR：AI自认为会成功、实际却失败的比例）长期停在70%以上。也就是说，AI自己“打钩”说对了的那些情况里，超过七成其实是错的。这已经不算小瑕疵，而是一个结构性的大坑。

**为什么预测和现实的落差是有用的信息**

论文随后做了一件挺巧的事。它没有把“AI的自我评估不准”当成一个需要单独修补的毛病，而是把这个落差本身当成可以直接用于训练的信号。

这里有个统计学上的论证，叫全方差公式（law of total variance）。大意是：让AI在不知道最终结果的前提下预测某件事会不会成功，这个预测的误差可以拆成两块。一块是“运气”，信息给得再多也猜不准，属于真正的随机性。另一块叫特权信息差（privileged-information gap：只有观察到事后信息才能解决的那部分不确定性，行动当下无法预判），恰恰是AI凭当下信息根本预判不到的东西。

这个框架在学术上有个名字，叫“带特权信息的学习”（Learning Under Privileged Information，简称LUPI：机器学习里的一个经典框架，描述训练时能看到额外信息、部署时看不到的场景）。标准蒸馏方法拿特权信息去构造更好的“教师答案”，论文反过来用：借特权信息造成的“评估落差”，标记哪些样本的训练信号最有价值。

那些让AI预测和实际结果分歧最大的样本，正是AI认知边界最模糊的地方。好比老师批改作业，不光看答案对错，还看学生交卷前有没有标注“这题我不太确定”。学生标了不确定却蒙对，或者标了很有把握却做错，这两种情况最值得老师多花时间，因为它们暴露出学生认知系统里最薄弱的环节。只盯着最终对错、不看这个落差，老师就永远发现不了学生是真懂还是蒙的。

**方法设计：让AI自己预测自己**

顺着这个洞察，论文提出了一条训练原则，叫“前瞻性事后反思”（Prospective Hindsight，简称PH：论文核心方法的名称，指在动作发生后、结果揭晓前，先让AI预测自己是否会成功，再用预测和真实结果的差距来加权训练信号）。

操作上怎么走？AI做出一个动作之后、验证器或者PRM给出最终评判之前，系统会用另一个提示词，再问同一个AI模型：“你觉得你刚才这个动作，最后结果会是对的还是错的？”AI从三个选项里挑一个：+1代表“我觉得会成功”、-1代表“我觉得会失败”、0代表“我不确定”（这个0是AI如实承认自己拿不准，论文把这种情况单独处理成中立类别，既不奖励也不惩罚）。

把自我评估的结果拿去和真实验证结果对照，每个训练样本都能被分进四个格子。论文给这四类起了直观的名字：有把握且做对的叫"自信成功"（Confident Success，简称CS，说明能力校准得不错）；有把握却做错的叫"过度自信的失败"（Overconfident Failure，简称OF，这类最危险，因为AI的内部判断在支持一个已被验证器否定的错误动作，同样的错很可能反复出现）；没把握反而做对的叫"低估自信的成功"（Underconfident Success，简称US，说明AI有本事却不敢用）；没把握也没做对的叫"清醒的失败"（Aware Failure，简称AF，属于校准良好的无能，至少够诚实）。

CS和AF位于对角线上，这两个格子说明AI对自身的认知是准确的，属于"校准良好"。另外两个对角上的OF和US，则说明AI看错了自己，真正的"意外"（surprise，论文用它来量化预测与现实不匹配的程度）就藏在这里。

四格分类定下来之后，PH方法做的事其实很简单，简单到有些出人意料：凡是落进OF或US格子的样本，也就是预测和现实对不上的那些，就把它们在损失函数里的权重调大。公式是原来的基础损失乘以(1+α×意外指标)，α是唯一要调的超参数，实验中默认取1。意外指标取0或1，相当于一个开关，匹配的样本权重不动，不匹配的就被放大。

这套设计的关键在于，负责预测的"自我评估器"和真正做决策的"策略模型"共用同一套参数。论文没有额外训练一个小模型来专门判断AI会不会成功，而是让AI换一种提问方式问自己。策略模型在训练中不断变强，它的自我评估能力也就跟着一起长，两边同步演化。

有个细节可以单独拎出来说。意外指标在反向传播时被"冻住"了（stop-gradient，一种技术手段，计算梯度时把这个数值当作常数，不参与参数更新的推导）。换句话说，放大权重这个动作本身并不会给自我评估器额外的训练压力，它之所以越来越准，靠的完全是和主任务共享参数。

打个比方，运动员训练时，教练不会另开一门"自我评估课"，而是让他在每次动作完成后马上判断"这球我觉得能进"，然后把判断错得最离谱的那几次动作重点加练。时间一长，运动员的自我感觉会越来越准，可这份准头不是单独练出来的，是加练过程中顺带产生的副产品。要是教练真去单独上一门"自信心评估课"，反倒容易出别的问题：运动员学会了说教练爱听的话，实际动作水平却没长进。这就是论文提到的"能力和校准的权衡"（capability-calibration trade-off，此前一些研究显示，专门训练AI校准自信程度，往往要牺牲一部分任务表现，两者像在拔河）。PH方法绕开了这个权衡，因为它压根没设单独的校准目标，校准是优化主任务时顺带得到的结果。

**数学上站得住脚的部分**

论文还给出一个精确的等式，把上面这个直觉用数学语言固定了下来。

那个意外残差（surprise residual，说的是被调高权重的样本额外带来的损失总量），其实能干净地拆成两个因子相乘：一头是“错配样本的平均损失有多重”，另一头是“错配率本身有多高”；后者正是前述意外指标的期望值，等同于一个二元布里尔分数，也就是衡量预测准不准的标准统计量。

也就是说，压低这个残差有两条路。一条是把错配样本上的损失降下来，让主任务在这些难样本上表现更好；另一条是直接把错配率降下去，让自我评估更准。两条路指向同一个方向，而PH的梯度更新恰好同时推动它们，不必再单独设计一个校准损失函数。

当然，论文作者也坦率交代了这套理论分析的边界。他们强调，"梯度方向和校准方向对齐"这个论证，只有在假设基础损失在错配样本上大致恒定时才严格成立，实际训练中这个假设只是近似。因此论文把这部分定位成"动机"，而非"严格保证"。这种克制在学术写作里不多见，不少论文会把近似结论包装成绝对真理，这篇反倒主动把自己的理论局限摆出来讲。

**单轮任务上的实验结果**

论文在两类场景中做了验证。第一类是单轮可验证任务，包括科学问答（Science Q&A，基于SciKnowEval数据集的化学子集）和工具使用（Tool Use，基于ToolAlpaca数据集，检验AI调用API的名字和参数是否正确）。

基线方法是SDPO（Self-Distillation Policy Optimization，一种让模型拿自己生成、经过验证的正确答案当"特权上下文"来蒸馏自己的训练方法）。实验数据显示，在科学问答任务里，原始SDPO训练到后期，过度自信失败率仍有34.2%。加上PH方法之后，α取0.5时这个数字直接降到20.9%，降幅超过56%。

任务本身的准确率也没掉，反而从63.0%小幅升到65.7%。工具使用任务上情况类似，α取1.0时，准确率最好、过度自信失败率最低，两个指标同时拿到。

论文还设了两个对照实验，专门检验"PH到底是在挑对的样本，还是单纯给了部分样本更大的权重"。第一个对照叫"随机加权"，每一步随机挑出和PH相同数量的样本加权，结果显示随机加权对校准几乎没有改善。第二个对照叫"只对失败加权"，把所有验证失败的样本都加权，这个办法能解决大部分OF问题，却漏掉了US这个格子，也就是AI低估自己能力的那部分，结果总体意外指标的改善不如PH彻底。

两组对照实验指向同一件事：PH之所以有效，靠的不是多塞了些梯度，而是正好挑中了AI认知出岔子的那批样本。打个比方，医生碰上发烧病人，统统加量开药，收效有限；先分清谁是真病、谁只是心理作用，再对症下药，效果才出得来。盲目加剂量和精准诊断，差的不在力气大小，而在方向对不对。多轮对话场景里，情况却掉了个个儿。

单轮任务中AI的毛病是过度自信，换到多轮对话，这个结论出现了有意思的反转。论文在一个叫“个人智能体”（Personal Agent）的多轮任务上做了验证：AI扮演助手，跟一个由GPT-4.1模拟的“用户”聊上几十轮，这位用户一会儿是讨厌AI腔调格式的“懒学生”，一会儿又变成要求措辞温暖具体的“严格老师”。

结果显示，多轮场景里唱主角的校准问题不再是“过度自信的失败”（OF），而换成了“低估自信的成功”（US）。数字很能说明问题：单轮任务里OF占比高达34.1%，US只占2.7%；到了多轮任务，比例倒了过来，不同基础方法下US占比分别为13.8%（纯强化学习）、27.9%（纯蒸馏）、34.5%（两者结合），OF则一直压在4%到5%的低位。

也就是说，单轮任务里的AI容易盲信自己的错误判断，多轮任务里的AI反倒过于谨慎，把正确的判断看低了。两种毛病看着相反，根子上是同一个结构性缺陷：AI当下的判断能力没跟事后的真实结果对齐，只是对齐偏的方向不一样。

有意思的是，同一个PH方法，面对这两种截然相反的毛病都能纠偏。在多轮场景里，PH把过程奖励模型（PRM）给出的评分从离散变成连续的“连续门控”（continuous gate：论文为处理多轮场景里PRM打分和多次自我预测采样带来的噪声，设计的一种更平滑的意外指标计算方式，用绝对值差异代替简单的0/1判断），再通过多次采样取平均，让意外信号对噪声更鲁棒。

当α取1.0时，纯强化学习方法叠加PH之后，前瞻性准确率（prospective accuracy，简称PAcc：衡量AI自我预测和真实结果吻合程度的指标，数值越高说明AI越了解自己）冲到87.8%，蒸馏方法叠加PH后也达到86.3%。这份提升并没有拿任务表现去换：三种基础方法（纯强化学习、纯蒸馏、两者结合）上，PH都把任务表现往上推了，其中蒸馏方法的涨幅最大，平均得分提高15.3个百分点。

论文还提到一个细节：α调得太大（比如2.0），过度自信失败率确实能压到最低，可预测器本身开始“摆烂”，一个劲输出“我觉得会失败”这类保守判断。表面看校准更好了，实际是自我评估能力退化了。这提醒人，校准指标好看，不等于模型真更了解自己，也可能只是学会了说让指标好看的套话。就像一个总把“我不太确定”挂在嘴边的人，看着谦虚，其实未必认真判断过，只是用模糊回答躲开被打脸的风险。

论文还做了跨模型规模的对比，用OLMo-3-7B-Instruct和gpt-oss-20B两个大小不同的模型跑同样的实验。结果显示，PH带来的提升在两个尺度上都成立；更大的20B模型上，过度自信失败率的降幅（9.1个百分点）比7B模型（10.3个百分点）略小，但依然可观。可见PH抓住的是结构性问题，不是某个特定模型规模下的巧合。

这篇论文的思路并非凭空冒出来，它踩在几条已有研究线索的交叉点上。

一条是在线策略蒸馏（OPD）这一技术家族，最早由Agarwal等人在2024年的论文里提出，核心想法是让模型从自己生成、后来被纠正过的答案里学习。后续工作比如Hübotter等人2026年的论文，把这个思路发展成自我蒸馏（self-distillation），教师和学生共享参数，特权上下文是动态构造出来的。PH没有推翻这条线索的任何假设，只是在它上面加了一层“预测落差加权”，能直接插进任何现有的OPD变体里用。

另一条是LLM校准研究：从Guo等人2017年研究深度网络的置信度失调，到Kadavath等人2022年系统性测量语言模型“知不知道自己知道什么”，再到最近Leng等人、Damani等人提出的在强化学习里加入显式校准损失的方法。这些方法普遍撞上一个麻烦：校准变好了，任务能力却掉了一截，论文里管这叫“能力和校准的权衡”。PH绕开了这个权衡——它没有另设一个校准目标去跟主任务抢资源，校准的改善是主任务优化本身带出来的副产品。

还有一条更底层的理论线索，是Vapnik在2009年提出的带特权信息的学习（LUPI）框架。这个框架原本讨论的是训练时能看到额外信息、部署时看不到的通用场景；Lopez-Paz等人在2015年的论文里把它和知识蒸馏统一起来，指出蒸馏本质上是特权信息从教师向学生的转移。PH是第一次把这个特权信息差直接变成样本级别的训练信号，而不是拿去构造更好的教师答案。

论文自己也坦言，眼下的验证只局限在验证器明确、PRM打分明确的任务上；碰上创意写作或主观判断类任务，反馈本身就模糊，PH这套机制能不能用还不确定。至于长到几百步的真正长程任务，比如软件工程、终端操作场景，意外信号在稀疏奖励下会不会失效，也还没有答案。

写在后面

读完这篇论文，最打动人的不是方法有多复杂，而是它选了一条跟主流思路完全相反的路。

过去做AI校准，多数研究都把它当成一个得靠专门设计损失函数去追的目标，校准和能力常常互相拖累。Salesforce AI Research团队的这篇论文换了个问法：干脆不去追校准，只把“AI的预测和现实不符”这个信号老老实实用起来，校准会不会自己长出来？

会。这个答案不算意料之中，至少对我来说有些反直觉。校准成了优化的副产品，而非优化的目标——这让我想到别的领域也有类似现象：有些系统的稳定性并非来自专门设计的稳定机制，而是各部分互相制约、互相反馈之后自然涌现的。

还有个细节印象很深：单轮任务里，AI的毛病是自信过了头；多轮对话里，毛病反倒成了不够自信。同一类模型、同一套训练逻辑，换到不同的任务结构下，竟表现出完全相反的性格缺陷。这说明“校准”听着像单一维度的指标，背后的成因可能完全不同，方案能不能通用，得打几个问号。论文给出的答案是通用的，这个结果本身比方法细节更值得记住。

一个会反思自己判断力的AI，和一个只会死记硬背对错结果的AI，到底谁才是真正在“学习”？

Q&A

Q1：Prospective Hindsight是什么？

A：Prospective Hindsight（简称PH）是Salesforce AI Research团队提出的一种自我校准训练方法。它的核心思路是：让AI在动作结束后、结果揭晓前先预测自己会不会成功，再用这个预测和真实结果之间的差距放大训练信号的权重，使AI的自我认知和实际表现逐渐对齐。

Q2：PH方法会不会牺牲AI的任务表现去换校准效果？

A：不会。实验数据显示，PH在单轮任务和多轮任务上都同时提升了任务准确率和校准水平，此前校准方法常见的能力下降问题没有出现。原因在于，校准是主任务优化的副产品，而不是单独设置的竞争目标。

Q3：为什么AI在单轮任务和多轮对话里的校准问题表现不一样？

A：面对单轮任务，AI 最常见的认知偏差是“过度自信式失败”，也就是自认为能答对、结果却答错，这类情况占到三成以上；到了多轮对话里，偏差方向调转过来，成了“自信不足式成功”——AI 心里没底，实际却答对了。任务结构一变，认知偏差的类型就跟着变，不过 PH 方法在这两种情形下都能奏效。