AI客服遇系统故障：GPT-5.2和Claude-4.5-Sonnet成功率为何跌近三成

深夜十一点，你正用某个订票软件改签机票。屏幕忽然跳出错误提示：“服务暂时不可用，请稍后重试”。

碰到这种情况你会怎么办？多半是隔几分钟再试，或者换一个浏览器，再不然直接打客服电话。总不会对着那条提示一遍遍点“确定”，盼着它自己变成正确答案。

可要是把“你”换成很多训练出来的AI智能体，事情就变了味。

工具返回“服务不可用”这类噪声反馈时，它们比人还死板。有的机械地重做刚才失败的操作；有的索性把错误信息当成正常结果，接着往下编，最后给出一个读起来流畅、实际全是胡说的答案。

问题不在智能体笨，而在于它们从未在“真实世界会出错”这件事上被认真训练过。

**核心问题：理想实验室和真实世界之间，隔着一整条**

中国人民大学高瓴人工智能学院团队写过一篇论文，题目叫《

研究者安排GPT-5.2和Claude-4.5-Sonnet这两个当前能力最强的模型，在Airline（航空）、Retail（零售）、Delivery（配送）、Instore（到店）四个场景里执行任务，分别统计三种情况下的成功率：没有噪声、用户中途插话纠正、工具返回错误信息。

结果一加上工具噪声，这两个顶尖模型的成功率就普遍从七八十分掉到四五十分，跌幅接近三成。这还只是GPT-5.2和Claude-4.5-Sonnet，换成开源的Qwen3-8B，跌得更狠。

原因出在哪？

研究团队翻了九个公开的智能体测试基准，把其中涉及真实MCP服务调用的日志全部提取出来做分析。

> **MCP**：全称Model Context Protocol，是一种让大语言模型调用外部工具、数据库、服务接口的标准化协议，可以理解成AI和外部世界对话的通用语言。

他们共收集到17.77万条工具返回记录，其中2.451万条是报错。按表现形式给这些报错分类，排第一的是“服务/网关不可用”，占33.57%；随后是“权限验证失败”17.9%、“请求超时”14.69%、“资源未找到”10.47%。

这组数字讲的事很朴素：现实中的工具调用，出错是常态，并非意外。

可几乎现有所有智能体训练方法，都建立在一个没被明说、却一直悄悄成立的假设上——环境会老老实实给出干净反馈，用户会乖乖按既定脚本提问，不会半路插嘴纠正。

**这就好比你一直在无风无浪的游泳池里训练救生员，然后指望他去应对真实的海浪。**

池子里练出来的动作标准又漂亮，一旦碰上实际暗流和巨浪，之前学的那套根本不管用，因为他从没见过“情况会突然变坏”这回事。如果不特意在训练环境里加入浪涌、暗流和突发状况，这个救生员永远不知道自己该怎么应对真实的海。

论文把问题拆成两半：一半是环境噪声，即工具返回错误；另一半是用户噪声，即用户中途修正意图。现有研究，不管是让AI在推理时自我反思，还是拿干净轨迹做训练，基本都没系统性地解决这两个问题。

研究团队因此提出一个叫**Agent-Reflex**的训练框架，目标很直接：让AI在遭遇噪声时主动意识到“这里出问题了”，再找到正确的应对方式。

**第一步：把真实世界的失败，变成可复用的“反思技能”**

Agent-Reflex的第一阶段叫**

这个阶段要解决的问题是：想教AI学会反思，总得先知道“该反思什么”。答案不能靠拍脑袋，得从真实的失败案例里挖出来。

具体做法是，研究团队从

> **Smithery**：一个收录大量MCP服务器规范的注册平台，相当于一个“工具商店目录”。

每个主题下，团队先派一个具备搜索、浏览器、编程和操作系统工具能力的“研究型智能体”去挖掘并搭建真实数据库，再交给“编程型智能体”产出配套工具代码和单元测试。工具要过几道关：编译通过、测试全过、状态变化逻辑正确、能被验证，缺一条就淘汰。

由此，每个环境都成了一个能真正执行、带数据库、带工具、带验证机制的“小世界”，语言模型凭空编造的虚拟反馈在这里没有位置。

> **

关键的一步随后到来：往这些干净环境里按概率注入故障，种类就是前面统计出的那八类真实失败模式。

举例来说，某次调用本该成功返回数据，系统会依设定概率把它换成“超时”或“权限不足”的报错。这个概率定在20%，算下来平均每五次工具调用就有一次可能被替换成故障反馈。

研究者的要求是两头都要顾：干净任务得存在可验证的正确解法，注入噪声的任务得存在可验证的恢复路径。这样AI既能在干净条件下完成任务，也能在噪声条件下学会恢复。

下一步，就是从这些注入了噪声的环境里挖出真正值得学习的“反思技能”。

这里有个巧妙的设计。研究团队没有只拿一个模型去跑任务，而是搭了一个“能力多样化模型池”，覆盖五个模型家族、参数规模从4B到284B不等，成员包括Qwen3系列、Llama、Gemma、GPT-OSS和DeepSeek。

为什么要这样做？

> **

只用一个模型反复采样，它自己惯用的套路就会主导整批数据，学到的东西容易变成这个模型的“个人习惯”，而非通用规律。打个比方，你想总结“人在迷路时该怎么问路”，只问一百个东北人，答案多半带着东北式的热情和表达习惯，放到别的地区未必管用；样本里得有不同地域、不同性格的人，才提炼得出真正普适的问路技巧。

同一批任务，每个模型跑完都会留下成功轨迹和失败轨迹。研究团队用分析模型DeepSeek-V4-Flash配合环境自带的验证器，逐条给轨迹打标签，再把同一个任务下的“成功轨迹”和“失败轨迹”配成对。

对着这些成功/失败对，分析模型要回答几个问题：失败从哪一步开始？当时环境状态是什么？犯的是哪类典型错误模式？正确的应对方式又是什么？

这些信息最后被整理成一条条结构化的“反思技能”记录，每条包含环境描述、工具清单、典型坏模式和对应的恢复规则。557个环境合计提炼出1170条反思元技能。

这个库存放在哪里，直接决定后面两个训练阶段能拿到什么样的养料。

第二步：把技能“喂”给模型，但喂的方式有讲究

有了技能库之后，接下来是**

说到底，难就难在这儿：技能库装的是供人阅读的规则文字，怎样让 AI 把这些规则真正变成自己的行动习惯，而非背下来当提示词使？

研究团队设计了三种采样策略，分别对应三种不同层次的反思能力。

第一种叫

做法是这样的：在一条失败轨迹中定位“第一次出错”的时间点，将环境状态回滚到那一瞬，再把提炼出的反思技能文本接在历史对话之后，让模型带着这个“外挂”重新生成后续动作。若这次跑通了，就把这组数据保存下来；保存时要删掉那段反思技能的提示文字，只保留“出错前的历史”与“之后实际成功的后续动作”这一对配对。

为什么要删掉提示文字再存？

训练要的是模型“自己想到该怎么做”，并非“看懂提示词再照着做”。生成阶段，技能文本起拐杖的作用，帮模型迈出正确的那一步；可一旦存成训练样本，拐杖就得撤掉，只留下迈出去的脚印。

好比教孩子骑车，起初你在后头扶着车座，他骑得挺稳。可录像留档时若把你扶车的画面也剪进去，孩子日后看这段视频，学到的可能是“骑车得有人扶”，而非“保持平衡的那套身体感觉”。真正管用的训练数据，是你松手之后他自己骑稳的那一段。

第二种叫

另有一类失败，出错的不是某一步操作，而是最初的整体计划方向就偏了。这种情形局部修补无济于事，得把环境完全重置回任务起点，重新规划一遍，同样靠反思技能辅助生成，同样在存档时删掉技能文字。

第三种叫

这一步引入了一个“用户模拟器”，由GPT-4.1扮演。它把挖出来的反思技能转成一句自然语言的用户纠正话术，插到对话历史中出错的那个节点之后，让模型接着往下生成。这次存档时，用户说的那句纠正话要留下——真实部署场景里用户确实会这么讲话，不算“作弊信息”；但那条原始的技能文本本身仍然要删掉。

> **

三种数据，再加上模型自己生成的正确轨迹，合并成最终的ReSFT训练集，一共5.4万条轨迹，用标准的语言模型损失函数来训练。

用户模拟器还被特意要求：不能只给正确建议，得偶尔抛出模糊暗示、片面提示，甚至故意给错的建议。这么做是为了避免模型学成“用户说什么就无条件照做”的乖宝宝，而是要它学会“对用户的话也带着判断去听”。

第三步：在强化学习的现场，再加一道“内部考官”

前两步相当于给模型打了一个扎实的地基，但研究团队认为这还不够。于是提出了第三阶段

问题在于，ReSFT 属于离线训练，模型学到的是别人（多模型池）留下的轨迹，或者它自己过去跑出来的轨迹。可一旦真上线执行任务，碰到的情况五花八门，离线数据根本盖不全。那么，怎样让模型在实时执行任务的当口，不断得到“点拨”？

ORPO的做法分两条线同时跑。

其中一条线是带噪声的强化学习。每轮训练，系统从任务池抽出一个任务，由当前策略生成8条轨迹；这8条里约四分之一被放进注入噪声的环境执行，其余则在干净环境中跑。跑完后，环境自带的验证器逐条打分，分数在混合后的整个小组内做归一化，于是每条轨迹都有了相对组内平均水平的优势值。

> **

这一步本质上延续了

为什么要混在一起？

假如把干净组与噪声组拆开、各比各的，噪声组里那些失败的轨迹也会在彼此之间比出“优势”，这种比较毫无意义，毕竟它们本来就身处更难的环境，互相攀比失败等于拿不到信息。只有混在一起对比，“真正顶住噪声并成功”才能在数值上显出应有的优势。

第二条线是

> **

流程可以拆开看：模型先照常跑出一条轨迹，轨迹中每个动作词都是在没有技能提示的条件下生成的。跑完，系统取出该任务所属环境对应的反思技能卡片（即前面RSD阶段挖出的那个库），把它拼到历史对话前面，再让同一个模型针对刚才已经生成的那些动作词，重算一遍“假设当时看到了这张技能卡，我给这个词的概率是多少”。

由此得到两组分数：一组是模型在“一无所知”时对某个词给出的打分，另一组是模型在“偷看技能卡”后对同一个词给出的打分。两者的差值，体现的就是这张技能卡对该具体动作的认可程度。

技能卡若让某个词的得分明显升高，就说明这个词属于“技能认可的正确选择”；反过来，得分没变甚至下降，则说明这个词跟技能没啥关系，或者本身就存在问题。

接着，系统用sigmoid函数把这一分数差映射为0到1之间的置信权重：差值越大，权重越靠近1；差值小或者为负，权重就趋近0。最终训练目标是用这个置信权重加权，抬高模型在“被技能认可的词”上的自主得分；反向传播时，技能卡那条分支的梯度被“冻住”，即技能卡只充当打分裁判，不参与训练更新。

这整个设计，很像考试时请了一位隐形的监考老师。

打个比方，学生自己答题（模型正常生成动作），写完以后，老师拿着参考答案在旁边悄悄给每道题打分（技能卡重新打分），但老师不会动手替学生改错，也不会在卷面上留下痕迹（技能文本从不出现在存档数据里）。学生收到的信号只有一句：“你原本的答案，要是参考了正确方法能拿更高分，那就多往这个方向想。”没有这位隐形监考，学生只能靠最后的总分（任务成不成功）去猜错在哪，可总分往往要等几十步操作之后才揭晓，根本定位不到第几步出了问题。有了逐词级别的打分反馈，模型就能精确判断哪个具体动作值得强化。

最终，ORPO的训练目标是把两条线的损失相加：强化学习那条损失管任务整体完成质量，反思蒸馏那条损失管每一个具体决策被细致打磨。

成绩单：这套组合拳打出了多少分

说了这么多方法，效果到底怎么样？

研究团队把Agent-Reflex建立在Qwen3-8B这个开源模型的基础上，在六个高难度智能体测试集上做了全面评估，包括

先看长程工具使用的综合表现：

先看各方法在长程工具使用任务上的综合表现，下表按方法类别列出代表方法和综合得分（Overall）：

| 方法类别 | 代表方法 | 综合得分(Overall) ||---|---|---|

| 基座模型 | Qwen3-8B(原始) | 40.2 |

| 推理时反思方法 |

| 环境扩展方法 |

| **本文方法** | **Agent-Reflex-8B** | **58.6** |

在7B到8B这一参数档位中，Agent-Reflex拿到最高分。相比起点的Qwen3-8B，它提升了18.4分；跟环境扩展类基线里最强的Agent-World-8B比，也高出5分。

噪声鲁棒性测试AgentNoiseBench上的成绩更引人注意：

| 方法 | AgentNoiseBench综合得分 |

|---|---|

| Qwen3-8B(原始) | 12.3 |

|

| EnvScaler-8B | 18.2 |

| **Agent-Reflex-8B** | **29.1** |

这个基准的噪声设计比较特别。Agent-Reflex训练时用的噪声来自真实工具调用日志的八类失败统计，而它用的是基准自己独立设计的七类工具端噪声和六类用户端噪声，两套来源完全不同，没有重叠，也没有借鉴关系。换句话说，面对一个从未见过的噪声分布，Agent-Reflex照样表现最好。这背后不是记住了某种具体噪声的套路，而是掌握了更底层的反应机制——碰到异常就该警觉。

论文还把AgentNoiseBench的十三个噪声细分维度单独拆开做了细粒度分析。结果发现，Agent-Reflex领先最多的两个维度是“误导性诱导信息”和“信息不完整”。这两类恰恰属于返回结果格式完全正确、乍看没有破绽，内容却是错的或者缺了关键信息的情况。

这种陷阱最难防。它不会触发任何格式校验报警，想识破只能去核对返回内容里的证据是否自洽。RSD阶段挖出的反思技能正好派上用场：那些技能里有“检查ID是否匹配”“验证写入是否生效”这类具体核验规则，而不是空泛的“遇到错误要重试”。

**消融实验:每一块积木都不能少**

三个阶段里到底是哪一部分在起作用？研究团队做了一组拆解实验，逐个移除组件，观察性能下降幅度。

| 移除的组件 | AgentNoiseBench-τ? | AgentNoiseBench-Vita |

|---|---|---|

| 完整版Agent-Reflex | 45.9 | 12.3 |

| 去掉SR(自我反思) | 41.3 | 8.9 |

| 去掉KR(技能恢复) | 42.4 | 10.2 |

把UR（用户反思）拿掉，分数是43.0，降了10.9；把OPD（在线蒸馏）拿掉，43.7，降9.5；把置信权重拿掉，44.5，降10.4。

有几条规律值得留意。

其中SR被去掉后，性能跌得最狠。这说明“发现自己出错、当场修正”这项基本能力撑起了整个反思体系。基础松了，上层的全局重来、用户纠正也跟着站不住。

置信权重单独去掉、OPD其余部分照留，分数照样往下掉。可见技能库摆在那里并不够用；真正管用的是细到每个词的加权信号，告诉模型“这个决策该被强化”，而不是把技能文本粗略地塞给模型看。

团队还把ORPO与GRPO等另外五种主流强化学习算法放在一起做了对比。

**写在后面**

通读论文，最让我没想到的，是团队对付“隐私信息”的那套做法。

SR、KR阶段删掉技能提示，ORPO阶段冻结技能卡的梯度，骨子里是同一种克制：训练时尽可以让模型开天眼，存档和上线部署时却必须把这双眼摘掉。

这个思路值得细想。我们训练AI时常常直觉地认为信息给得越全越好，论文却一再指出，给多了模型会转而依赖那条信息本身，而学不会信息背后的能力。拐杖什么时候撤，比要不要给拐杖更难拿捏。

还有个细节我反复琢磨：用户模拟器被特意安排成“偶尔给出错误建议”。设计虽小，考量却不浅。假如只用正确的纠正话术训练，模型学到的可能是“用户说啥都对，照办就好”；碰上真实用户给出误导性建议，它反倒更容易被带偏。反思能力说到底不是服从，而是带着判断去听。

论文末尾如实讲了一处局限：这套反思技能库是从一个固定的环境快照里离线挖出来的，真实工具接口一变，它不会自动跟着更新。某个MCP服务的报错格式一改，库里存的技能描述就可能过期。团队也承认，直接做在线更新未必奏效——环境覆盖不够广的话，在线学来的技能很容易沦为针对某个具体环境的偏方，泛化能力反而丢了。

这种坦诚的自我追问不多见。一套系统的核心能力若架在一个会过期的知识库上，它的长期价值究竟取决于维护这个库的频率，还是取决于别的什么？论文没作答，把问题留给了后来的研究者。