读懂每个字,却做出错误选择:AI决策模型的“知行不一”困境
有一个场景你可能觉得很熟悉。一个客服系统接到用户请求,要求更改订单地址。AI模型读取了所有相关信息:用户身份确认无误,订单状态显示可修改,地址格式也合规。每一个事实判断都做对了。可它最终选择的动作却是去调用一个完全不相关的工具,或者干脆什么都不做,错失了唯一正确的那一步。这不是读题读错了,而是读懂了却选错了...
有一个场景你可能觉得很熟悉。
一个客服系统接到用户请求,要求更改订单地址。AI模型读取了所有相关信息:用户身份确认无误,订单状态显示可修改,地址格式也合规。每一个事实判断都做对了。可它最终选择的动作却是去调用一个完全不相关的工具,或者干脆什么都不做,错失了唯一正确的那一步。
这不是读题读错了,而是读懂了却选错了。
卡内基梅隆大学的研究团队盯上了这个诡异的现象。他们给这类问题起了个专业名字,叫System One模型。
**System One模型**:一种只做"选择题"的AI决策系统,给定一个状态和一组候选动作,它直接输出每个选项的概率分布,不写任何推理过程,也不生成文字解释。
这类模型的卖点很简单:快、便宜。论文里测的十几个System One模型,回答一个完整状态只需要27到225毫秒,而普通大语言模型做同样的事要300到900毫秒,一个专门的推理模型甚至要2.3秒。对于需要频繁做决策的AI代理系统来说,这个速度差距是真金白银的成本。
但问题也出在这里。
当一个会写推理过程的大模型选错了动作,你至少能看看它的思路链,猜猜哪里出了问题。可System One模型不输出任何文字,它选错了,你面前只有一个孤零零的错误答案,没有任何线索告诉你这是读错了信息,还是信息读对了但判断错了。
这篇论文想解决的,正是这个"黑箱里的错误到底是什么性质"的问题。
那道分岔路口:
想清楚这件事的难点在于,表面上看起来一样的"错误动作",背后可能是两种完全不同的失败。
第一种是
第二种是
如果你只看最终的动作对不对,这两种错误完全无法区分。打个比方,这就像你去医院看病,医生说"治疗没效果",但你根本不知道这是因为医生看错了化验单,还是化验单看对了但开错了药方。不把这两件事分开,你永远不知道该去换个检验科,还是换个主治医生。
研究团队的解法是,在每一个决策状态上,除了问"接下来该做什么",还单独、独立地追问一串事实性小问题,比如"上一步动作成功了吗""现在手里拿的是什么""这个动作是否被允许"。这些小问题的答案完全由环境本身决定,有标准答案,不依赖模型怎么想。
这样一来,每个状态就有了两组独立的判分:决策对不对,事实读得对不对。把这两组判分交叉起来,正好得到四种结果组合。
**事实对、决策对**:模型读懂了,也做对了,理想情况。
**事实对、决策错**:模型把所有相关事实都读对了,动作却选错了,这正是研究团队重点追查的情形。
**事实错、决策对**:模型某个事实判断错了,但歪打正着选对了动作,说明它可能用了某种捷径而非真正依赖那个事实。
**事实错、决策错**:读错了,也选错了,最直观的那种失败。
论文配的那张图特别能说明问题。一个
搭建这套检验体系,研究团队用了六万五千多条记录,其中将近两万条带有配对
当准确率越高,犯的错误反而越"诡异"
这里出现了论文里最反直觉的一个发现。
一般人会猜,越厉害的模型犯的错误应该越少属于"读懂了却选错了"这种类型,因为厉害的模型理应在决策环节也更强。但数据显示的恰恰相反。
对于六个准确率最高的系统,73%到85%的决策错误,都发生在它们把所有相关事实都答对的状态上。而且这个比例随着系统整体准确率的提高而上升。
换句话说,一个模型越厉害,它犯的错误里,"
用
这说明一件挺扎心的事。花更多钱买更强的推理能力,确实能减少总体错误,但不会改变错误的性质。推理模型解决的是"读不懂"的问题,但"读懂了不知道怎么用"这个毛病,它也没有根治。
这些错误不是噪音,它们扎堆出现
研究团队接着检验了一个关键假设:这些"facts right, action wrong"的错误是不是随机分布的,还是说它们集中出现在某些特定的状态上。
如果错误是随机噪音,应该均匀地撒在所有状态上。结果完全不是这样。
十四个表现合格的快速系统,在同一批141个状态上,全部都犯了"事实对但动作错"的错误,而按照纯随机的统计模型,这种重合的概率几乎为零。换句话说,这141个状态像是某种"
这个发现很重要,因为它说明这类错误不是模型个体的偶然失误,而是和特定状态的某种结构性属性绑定在一起的。这也意味着,如果你想用一个评测集来检测AI决策系统的弱点,专门挑这种"容易摔跤"的状态去测,比随机抽样测试要敏锐得多。
就连
当事实足够推出答案,模型依然组合不起来
研究团队接下来做了一个很巧妙的控制实验,想搞清楚"事实对、动作错"这种情况里,到底是探针问的事实不够用,还是模型读对了事实却不会拼起来用。
他们专门构造了一批人工状态,设计了一个决策清单,相当于一套"如果A成立就做X,否则如果B成立就做Y"的规则链条,外加一些无关的干扰事实。关键是,这批状态的探针问题被设计成"充分的",也就是说,只要把四条规则相关事实答对,唯一正确的动作就能被唯一确定下来,不存在模棱两可的空间。
这就排除了"探针没问到关键信息"这个可能性,如果模型在这种状态下依然读对事实却选错动作,那只能说明它不会把读到的事实组合成正确的决策。
结果相当震撼。JEV和另一个系统
这里出现了20个百分点的落差。20个百分点意味着什么?意味着每5次决策里,就有一次是模型明明能分别答对四个事实,却在同时读轨迹和做决策的时候翻车。这不是信息不够,是信息没能被正确地"攒"到一起去支撑那个决策。
研究团队又做了个验证,把正确的事实答案直接拼接到原始轨迹后面再问一次决策,JEV的准确率立刻跳回97.4%,几乎补满了那20个点的差距。但如果拼接的是等量的无关干扰信息,准确率反而降到75.1%,比不拼接还差。这说明缺口确实是"缺少一份整理好的事实清单",而不是单纯怕看到更长的文本。
这个现象让我想起一个生活中的类比。你去考试,每道小题单独做,全都能做对。但考卷把这些小题的条件分散写在题干的不同段落里,你需要自己先把散落各处的条件在脑子里拼成一张完整的图,再去套用那条"如果……就……"的规则。如果你平时做题从来不练这种"先汇总再判断"的能力,哪怕每个单独条件你都懂,考试时还是会因为漏看了某一句话而选错选项。模型在这里暴露的,正是这种"信息汇总"能力的短板,而不是基础的阅读理解能力。
但不是所有模型的毛病都一样。研究进一步追查发现,有的模型错误集中在"抓错了重点",比如
用模型自己的答案去修正决策,效果立竿见影
既然问题出在"模型读对了事实但没把这些事实用进决策",一个自然的想法冒出来了:那就让模型自己先把事实答案写出来,再把这份答案喂回去帮它做决策。
研究团队真这么干了,把模型自己对那些
更进一步,既然规则是明确写出来的"如果……就……",研究团队干脆绕开模型本身,直接用代码把模型给出的事实答案套进规则逻辑里去推导动作。这一步把准确率又往上拉了一截,JEV到了99.6%,一个叫
这个结果其实是个很重要的工程启示。如果一个决策任务的规则是显式可写出来的,那最稳妥的做法根本不是指望AI一次性把"读信息"和"做决策"都做对,而是把这两件事拆开:让AI专门去回答一堆窄范围的事实问题,然后用普通代码把这些答案组装成最终决策。这就像一个餐厅的流程设计,与其让一个服务员同时记住顾客点了什么、算清楚总价、还要心算找零,不如让他只负责把顾客说的菜名记下来,算账这件事交给收银机去做。如果硬要服务员一心多用全凭脑子算,出错率一定比"记录加计算器"这套分工高。
但这套"自问自答再组装"的办法,放到真实世界的状态里,效果却打了不小的折扣。
真实世界里,缺的往往不是事实,是下一步该干嘛
研究团队把同样的思路拿到2783个真实的配对测试状态上去验证,结果出乎意料地平淡。给模型补充基准测试自带的那批
原因其实不难理解。之前那批人工状态里,探针问题是专门设计成"足以唯一确定动作"的,但基准测试里的真实探针,原本是为了衡量"模型有没有读懂状态"而设计的,并不保证它们涵盖了决策所需要的全部信息。给模型补充这些事实,相当于给它补了一些它本来就读对的东西,却没补上它真正缺的那块拼图。
那真正缺的是什么?研究团队转向
结果揭晓了一个挺扎心的事实。对JEV来说,给它补充"接下来该完成哪个子目标"这一条信息,直接拉高16.3个百分点的准确率,把事实和子目标一起给它,能冲到21.3个百分点,把总体准确率推到92.9%。而单纯补充各种细碎事实,顶多贡献5个百分点。
更有意思的是,JEV自己回答"下一步子目标是什么"这个问题时,只有66.8%的正确率,明显比它的决策准确率还低。研究人员进一步拆解JEV犯的错误,发现其中41%的情况,是模型把所有事实都答对了,唯独子目标答错了;还有37%的情况,是模型分开问的时候,事实和子目标都答对了,但真要做决策时却没照着自己认同的那个子目标去走。
这相当于一个人清楚知道自己该去买菜做饭,把需要的食材清单也背得滚瓜烂熟,可是真到了超市门口,却鬼使神差地走进了旁边的理发店。不是信息不够用,是那一刻脑子里没把"我现在该干这件事"这个念头真正立起来并付诸行动。对于JEV这样的模型,真实世界里剩下的错误,本质上是规划层面的毛病,而不是阅读理解或信息整合的毛病。
但别的强系统又不一样了。
一个耐人寻味的细节是,给模型塞更多信息有时反而帮倒忙。在某些状态下,如果一个所需物体已经被看到、另一个还没被看到,研究人员给
读懂了历史记录吗?去掉记忆会怎样
论文还做了一系列边界测试,想弄清楚这些模型到底依不依赖执行历史这类上下文信息。
他们把执行历史整个删掉,只留下目标和当前观察,结果发现在
这说明这些模型确实在用历史信息,而且用得挺依赖。换句话说,前面那堆"事实对动作错"的错误,不能简单归咎于"模型压根没看历史",历史确实被看了,被用了,只是用得不够到位。
研究团队还测试了一个更细腻的场景:当策略规则发生变动时,模型会不会真的跟着调整动作。在客服场景里,如果某个用户记录字段被修改导致策略要求换一种工具调用方式,JEV、Clef、Gemma这几个系统即便把修改后的那个事实百分之百答对,真正跟着改变调用方式的比例也只有22%到57%。这就是整篇论文里最直白的一个"知行不一"的例子:事实被正确接收了,行为却没有跟着更新。这就像你明明被告知今天公司临时改了下班时间,你也点头确认记住了,结果到点还是习惯性地按老规矩走人。信息进了脑子,却没有真正接管那个决定行动的开关。
信心能不能当信号灯用
既然这些模型会输出一个概率分布,那这个概率本身的置信度,能不能用来判断"这次该不该相信模型的答案"?
研究团队测了校准误差,结果发现差异巨大。有一个叫
这意味着置信度这个信号的可用性,因模型而异,差别极大。对于像JEV这样置信度校准得还不错的模型,研究团队设计了一个"
写在后面
读完这篇论文,最让我意外的不是"AI会读懂信息却做错决定"这件事本身,这多少能预料到,真正让我愣住的是那个关于准确率和错误类型的反比关系。
一个系统越准,它犯的错误里"明明都对却还是错了"的比例反而越高。这意味着,如果你只盯着总体准确率这一个数字去评判一个AI决策系统是否可靠,你可能完全看不见它正在系统性地犯着同一种诡异的毛病,只是这种毛病被越来越高的整体分数给盖住了。一个考了95分的学生和一个考了70分的学生,错的那几道题可能根本不是同一种性质的错误,前者或许每次都是"会做却算错了",后者可能还有不少"压根没看懂题"。分数相近或分数更高,不代表问题的结构相似或更少。
另一个让我反复琢磨的地方,是那141个让所有十四个系统都栽跟头的"
论文里还有个细节我觉得值得单独说一下。GPT-6.1在客服场景里,面对用户已经确认、该去调用工具写入数据的情况,它有16.7%的概率选择"回复用户"而不是真的去执行那个工具调用,这个谨慎程度远高于其他系统的2.8%到7%。研究者把这解读为"过度谨慎导致的误判",因为基准答案都来自成功执行的轨迹。但我忍不住想反过来问一句:这种谨慎,真的是错误吗,还是说在真实世界里,这种"再确认一下"的倾向,恰恰是更负责任的行为模式,只是现在的评测标准没法给它加分?
如果一个AI在该大胆的时候谨慎了,到底该算它聪明还是算它笨,这个问题恐怕比这篇论文给出的任何一个百分点都更值得继续想下去。
Q&A
Q1:System One模型是什么?
A:System One模型是一类只做选择题式决策的AI系统,给定当前状态和一组候选动作,它直接输出每个选项的概率分布,不生成任何文字推理过程,优点是速度快、成本低,但出错时没有思路链可供排查原因。
Q2:为什么AI模型会出现"事实读对了但动作选错"的情况?
A:研究发现这主要是因为模型把分散在轨迹中的多条相关信息正确读取之后,未能把这些信息正确组合起来支撑最终的决策判断,也可能是被无关但为真的干扰信息带偏,或者在开放式任务中没能明确下一步该完成的子目标。
Q3:怎样能减少这种"读懂却做错"的决策错误?
A:研究发现让模型先独立回答一系列窄范围的事实问题,再把这些答案重新输入决策环节,或者用代码直接根据这些事实答案组装出最终动作,能大幅提升准确率,在规则明确的任务里甚至能达到接近满分的效果。