港科大腾讯新论文：模型分不清被拒提议，准确率掉8个点

先想一个场景：周末聚餐，你先说“去吃火锅吧”，朋友追问“要不要改成烤肉”，你回了一句“算了还是火锅吧”。到了那天，朋友真订了烤肉店，还一脸无辜：“你不是提过烤肉吗？”

换成真人，你多半会觉得对方记性差，或者根本没在听。可这种“记错”在大语言模型身上正大量出现，并且不是偶发的小毛病，而是一种系统性的失败模式，听着是不是有点意外？

香港科技大学和腾讯的研究团队在一篇新论文里把这种现象命名为“提及即生效混淆”。

大语言模型也就是 ChatGPT、Claude 这类能对话、能写代码、能算数学题的 AI 系统，其核心能力建立在海量文本训练之上。

研究团队发现的情况挺出人意料：用户最后明明否掉了某个修改方案，仅仅“提过这个方案”这一点，就足以让模型的任务执行走偏，而用户的真实意图从头到尾都没变。

核心问题：模型为什么记不住“你改主意了”

这事到底难在哪，先说一说。

多轮对话本身就比一次性把话讲完更复杂。此前的 LiC 研究（Laban 等人 2026 年的工作）已经发现，同一个任务拆成几句话分批告诉模型，信息量完全一样，模型表现也比一次说完要差。信息总量没变，分开说却更容易出错，这已经够让人意外了。

不过这篇论文要问的比这还深一层。

现实对话里，信息不只是分批透露，用户还会干另一件更麻烦的事：中途改主意。先提一个修改方案，随后又反悔、把它拒掉；或者只是问几句无关痛痒的澄清问题，压根没打算动任务本身。这样一来，对话历史里就堆进了大量“说过但不该再算数”的内容。

研究者把“应该继续起作用的要求”叫作活跃意图。打个比方，合同里有正式条款，也有双方口头聊过、最终没写进去的废案。该执行的是正式条款，废案讨论得再热闹，也不能当成合同内容去办。

问题在于，大语言模型似乎分不清这两者。对话里出现过的任何内容，它都倾向于当成仍然有效的要求去执行，不管这个内容后来是被拒了，还是被替换掉了。

为了系统验证，研究团队搭了一个叫 Intent-Eval 的测试基准，覆盖工具调用、代码生成、数据库查询、数学应用题四个领域，共 414 个基础任务，衍生出 3312 个测试样本。受测的是十个来自不同厂商的主流模型，包括通义千问系列、Llama、GPT、DeepSeek、Claude、Gemini 等。

测试设计了四种对话走向。“原始版”信息正常分批透露，不插任何干扰；“中性版”插入两句澄清性提问，不涉及修改方案，活跃意图完全不变；“保留版”里用户提出一个修改方案但最终拒绝，原始要求继续有效；“修订版”是同样的修改方案，这次用户接受了，新要求生效。

论文里有个很生活化的例子。厨师买了 4 袋洋葱，每袋 50 磅，每磅 1.5 美元，问总花费多少，答案是 300 美元。用户提议“改成 2 袋吧”，拒绝的话答案应该还是 300 美元，接受则变成 150 美元。关键是“保留版”里，哪怕用户明确说了“算了，还是 4 袋”，模型仍有相当大的概率把答案算成 150 美元，仿佛那个被拒的提议真生效了。

数据有多惊人？八个模型的整体表现是：单轮直接陈述任务时平均准确率 91.73%，拆成多轮对话的“原始版”掉到 55.43%，光分批透露信息就丢了 36.3 个百分点。再加两句无关紧要的澄清提问，“中性版”又掉 4.43 个百分点，降到 51%。到了用户明确拒绝修改方案的“保留版”，准确率只剩 47.37%，比原始版又低 8.06 个百分点。

这意味着什么？一个模型每天处理 100 次这种“提议又被拒绝”的对话，会比正常情况多搞错大约 8 次任务，而这 8 次里用户压根没要求任何改变，只是嘴上随口提了一句又收了回去。

更意外的是，混淆不只出现在多轮对话里。研究者专门做了单轮对照实验：同一个任务、同一个提议、同一个拒绝决定，全部塞进一句话，不经过任何多轮交互。结果这种单轮场景下，提出又拒绝一个方案，准确率依然下降 7.52 个百分点，接受方案则下降 5.74 个百分点。可见问题不只是“多轮对话让人分心”，模型对“被拒绝的内容”本身就有一种天然的处理障碍，哪怕这些内容根本没分散在多个回合里。

错误长什么样：被拒绝的内容真的渗透进了答案

只看准确率下降还不够直观，研究团队接着去扒了那些“本来做对了、现在做错了”的案例，想看错误里到底藏着什么。

他们挑出模型在“原始版”里答对、却在“保留版”或“修订版”里答错的所有案例，逐条检查最终答案里有没有“失效内容”：拒绝场景下，是那个被拒的提议；接受场景下，是那个已被替换掉的原始要求。

结果是，十个模型平均下来，59.63% 的新增“保留版”错误里能直接找到被拒提议的痕迹；30.97% 的新增“修订版”错误里能找到已被替换的旧要求的痕迹。

数学题领域尤其明显：拒绝场景下 67.7% 的错误带着被拒方案的影子，接受场景下这个比例是 47.94%。研究者分析，这可能和数学推理的链式特点有关——改动或恢复一个数字前提，往往要重算好几步中间结果，前面算过的某个中间值没跟着更新，错误的数字就会一路带到最终答案里。

论文里记录了一个真实例子。题目是这样的：Jairus 每完成一项任务拿 0.8 美元，Jenny 拿 0.5 美元，两人各完成 20 项，问 Jairus 多赚多少。有人提议把 Jairus 的单价调成 0.9 美元，用户回了一句“这个改动不适合我”。正确答案该是 6 美元，可某个模型偏偏拿被拒的 0.9 美元去算，得出了 8 美元。

这就像你跟银行客服讲“刚才说的提额方案我不要了，还按原来的办”，对方却真按新额度处理了，还认真回你“按您的要求”。这类错误并非模型“没听懂”——恰恰相反，提议内容它记得清清楚楚，问题出在它没处理好“这段话后来被否了”这个信息。

模型要是分不清“说过的”和“仍然算数的”，后果就是上面这些案例。对话越是细节丰富、讨论越是充分，模型越容易把过程中的所有片段都当成最终指令的一部分，哪怕用户已经明说收回了某个说法。

干扰会越滚越大：聊得越久，错得越多

研究团队接着问了个更扎心的问题：这种混淆一旦出现，继续聊下去会好转还是恶化？

他们安排了两组延伸实验。第一组叫“累积测试”：从正常对话起步，不断插入澄清或提议被拒的环节，一直加到 4 轮，每轮拒绝都针对一个全新提议，但拒绝始终发生，原始任务从未变过。第二组叫“持续测试”：在用户已经明确接受或拒绝之后，再追加几轮无关的澄清提问，看干扰会不会一直留着。

累积测试的结果很直接：第一次插入干扰带来的准确率跌幅最大，此后干扰轮次越多，准确率继续走低。到第四轮，纯澄清路径掉了 8.13 个百分点，反复提议又拒绝的路径整整掉了 20.77 个百分点。反复提出又否决修改方案，造成的损伤比单纯无关澄清严重得多，而且不是一次性的，会累积。

这好比你跟一个记性不太好的同事反复讨论方案，每回讨论完你都明确说“不改，按原计划来”，可讨论次数越多，他最后真正照原计划执行的概率反而越低。讨论没带来任何新信息，但讨论这个动作本身，似乎在悄悄侵蚀模型对“什么才是真正要执行的”的判断力。

持续测试的结果同样让人不安。用户已经非常明确地做出接受或拒绝的决定之后，再追加几轮完全无关的澄清对话，准确率依然持续低于刚做决定那一刻。追加四轮澄清后，拒绝场景下准确率比决定当下又低 2.72 个百分点，接受场景下低 3.5 个百分点。换句话说，活跃意图从头到尾没变过，光因为对话变长，模型的表现就会打折扣。

这组发现挺值得琢磨。它说明模型的“注意力”或者说“对指令的坚持”并非一旦确立就能稳定保持，而会随着对话推进不断被新内容侵蚀，哪怕这些新内容本身毫无实质意义。

解决方案：让模型“温习”一遍完整任务

发现问题之后，研究团队没有停在诊断上，而是提出了一套训练方法，叫 Intent-OPSD。

解释这个方法之前，得先提一个他们观察到的巧合，也可以说是设计灵感的来源。研究者注意到，模型做单轮任务时表现明显更好：前面提到单轮整体准确率能到 91.73%，多轮只有 55.43%。这个差距说明模型不是不会做这些任务，而是在多轮对话这种复杂信息环境里，没能正确提炼出“真正该遵守的要求是什么”。

模型自己的单轮能力既然这么强，能不能让它自己教自己？这就是 Intent-OPSD 的核心思路：拿模型在单轮场景下的强表现，去指导它在多轮场景下该怎么做。

具体怎么操作？论文设计了一个“学生模型”加“老师模型”的架构。两者其实是同一个基础模型，区别在于老师模型的参数被冻结、不再更新，学生模型则持续训练。

训练时，学生模型看到的是完整的多轮对话历史，用户提过的每句话、每个被拒绝的提议、每次澄清，它全都看得到。老师模型看到的则是一份经过“净化”的单轮任务描述，只包含真正活跃的要求，按用户最终的决定来定：用户拒绝了提议，老师模型拿到的就是原始任务；用户接受了提议，老师模型拿到的就是修订后的任务。

老师模型负责给学生模型的每一步输出打分，评估学生生成的答案跟“只看活跃要求”时应该生成的答案有多接近，再用这个差距去调整学生模型的参数。整个过程中老师模型不参与生成，只负责评分和指导。训练结束后，推理阶段完全不需要老师模型，学生模型独立完成任务。

这个设计其实挺像请一位家教来陪读。

想象一个学生做应用题，题目信息分好几次零散告诉他，中间还夹着同学七嘴八舌提的各种“要不要换个解法”的建议，有的被采纳有的没有。旁边坐着一位家教，手里拿着这道题干净利落的完整版，上面只写着最终该用的条件，没有那些七嘴八舌的讨论。家教不替学生做题，但会在学生写每一步时对照自己手里那份干净的题目，提醒他“这一步你是不是被刚才同学的建议带偏了”。

学生身边要是缺了这位家教，面对一堆七嘴八舌的信息就得自己判断听谁不听谁，最后发言的同学往往就把人带跑了，哪怕那人的建议早被否决。家教的作用其实是给一个不受干扰的参照系，帮学生校准判断，题还是学生自己做完。

训练过程里还有个细节。研究者挑训练数据时，会先用老师模型去试着解答原始任务和修订任务两个版本，只有两个版本都能被正确解答的任务，才会被纳入训练集。筛选的用意很清楚：老师模型自己都解不出的任务，它给学生的指导就靠不住，这种数据不如不用。

效果验证：平均提升超过十个百分点

Intent-OPSD 实际效果怎么样？研究团队选了四个模型，在四个领域上分别跟基础模型和另一种常规微调方法做了对比。

从测试结果看，Intent-OPSD 比完全没做过额外训练的基础模型，平均准确率高出 10.81 个百分点。

跟另一种常规微调方法比，这一方法平均也领先了 3.73 个百分点。

十六组模型与领域的搭配中，十六组全部优于基础模型，其中十三组压过常规微调方法。放到"累积测试""持续测试"这类延伸场景里，优势同样没丢：不同干扰深度下，相对基础模型的提升落在 9.61 到 11.74 个百分点之间。

不过各领域的收益并不齐整。工具调用任务涨幅最大，有 21.46 个百分点。按研究者的说法，这类任务常常"只要选对参数就能把输出修对"，意图追踪准不准，直接决定任务成不成。代码生成那边提升就小一些。研究者的判断是，写代码不光是理解需求，还牵扯程序结构与逻辑实现本身的难度——就算模型抓准了真正该遵循的要求，代码写错照样交不了差。

这也指向一个更宽泛的结论：任务卡在"听懂该听什么"上时，意图对齐训练的效果格外突出；一旦卡点换成"会不会做"，光听懂就不够了。

哪些领域扛得住干扰，哪些扛不住

论文里另有一处颇耐人寻味的发现：面对这种多轮意图混淆，各个领域的抵抗力差距不小。

代码生成方面，GPT-5.6 和 DeepSeek-V4 在所有多轮测试条件下准确率都没跌破 85%，相当稳。相比之下，数据库查询、工具调用、数学应用题几个领域，代码生成的多轮鲁棒性明显更强。

研究者猜测，这跟近几年对话式、智能体式编程技术的快速进步有关——这类技术瞄准的正是让模型在复杂交互里保持稳定输出。可这种优势只属于特定领域，其他结构化任务并没有同步获得类似的鲁棒性。说到底，"让模型在多轮对话里稳住"眼下还没有通用解法，任务类型不同，应对策略也得跟着不同。

这也从侧面说明，技术进展常常是局部突破，而非全面开花：某个领域里一个子任务做得漂亮，不意味着旁边的任务会顺带变好。

写在后面

通读论文，最出乎我意料的是"被拒绝的内容仍在起作用"这个现象，连单轮对话里都有。我原先以为这纯粹是多轮信息太多、模型记不过来造成的，论文却用单轮对照实验把这个预设推翻了：把提议和拒绝放进同一句话，准确率还是掉了 7.52 个百分点。可见根子不在"记忆容量不够"，而在模型缺一种更底层的能力——分清"内容曾经出现过"和"内容现在仍然算数"。这更像语义判断上的缺陷，而非上下文窗口大小的限制。

另一个让我反复琢磨的细节，出在"持续干扰"那组实验。用户明明已经把决定说得很清楚，后面再聊几句毫不相干的话，模型表现仍会继续往下掉。也就是说，模型对"决定"的记忆强度会随时间自然衰减，哪怕没有新的冲突信息掺进来。这让我想到人类记忆里的"近因效应"——人更容易记住最近发生的事，哪怕更早的才是要紧的。模型似乎也类似：越靠后的对话内容，权重天然越高，哪怕那内容本身毫无信息量。

论文没有解决的一个问题是，怎么把这套方法用到真实、未经人工标注的自然对话上。眼下的 Intent-OPSD 靠的是研究者事先构造好的"干净版单轮任务"来指导训练，可现实对话里没有这种东西，没人会提前替你把活跃意图整理成一份干净清单。研究者本人在论文末尾也承认了这点，提出后续要研究如何从自然对话中自动提炼活跃需求。话说着容易，做起来恐怕不轻松：提炼活跃意图这件事本身，可能就得先解决"分清说过的和算数的"这个原始问题，多少有点鸡生蛋、蛋生鸡的味道。

Q&A

Q1：Intent-Eval基准测试是做什么用的？

A：这一基准由香港科技大学团队搭建，覆盖工具调用、代码生成、数据库查询、数学应用题四个领域、共 414 个任务，用途是检验大语言模型在多轮对话里能不能分清哪些内容还有效、哪些已被拒绝或替换。

Q2：为什么模型会把被拒绝的提议当成仍然有效？

A：论文给这种现象起的名字是"提及即生效混淆"。研究发现，对话里出现过的任何内容，模型都倾向于当作活跃要求去执行，不管用户后来有没有明确否决；单轮和多轮对话中都能见到这种问题，原因也不只是记忆容量不够。

Q3：Intent-OPSD训练方法效果怎么样？

A：这套方法让同一个模型分饰老师和学生：老师基于干净单轮任务作出判断，用来指导学生处理完整对话。实测下来，平均准确率比基础模型高 10.81 个百分点，比常规微调方法高 3.73 个百分点；推理阶段不需要老师模型参与。