AI智能体评测：怎么区分真学习和背答案？

有个问题不妨先想一想：你夸一个AI"学得真快"的时候，它究竟是真掌握了什么，还是碰巧调出了训练时见过的内容？

这话听着像是抬杠，可它戳中的漏洞相当致命。眼下不少团队都在做能"自我进化"的AI智能体，让它们一遍遍试错、攒经验、越跑越强。论文里的曲线也确实漂亮，分数跟着尝试次数往上走。但要是让AI去修软件bug、订机票，这类任务的规则它在训练阶段早已反复见过，那分数上涨的原因，到底是这回互动里学到了新东西，还是把原本就存着的知识翻出来用？

两种情形结果看着一样，性质却差得远。

新加坡国立大学的研究者就盯上了这个漏洞。他们做了件颇费功夫的事：自行设计一整套文字游戏，规则刻意违反常识、违背直觉，确保训练数据里绝无可能出现。这套基准测试名为Learn2Play Bench。

**论文最核心的贡献，是把"学习能力"与"知识储备"彻底分开，头一回让人能干净地判断AI智能体是否具备真正的学习能力。**

规则不反常识就不算数

不妨设想：要考一个学生的"自学能力"，题目却全出自课本讲过的内容，那这场考试测的是自学，还是背书的熟练度？

研究团队碰上的正是这个难题。市面上已有几个评测"自我进化智能体"的基准，例如用Jericho这类经典文字冒险游戏来测，毛病在于这些游戏的内容公开发表多年，大模型的训练语料里大概率混进去过。AI在游戏里"越玩越好"，你分不清是现场学会的还是老底子厚。

因此研究者亲手做了20个游戏模板，每个都内置一条故意违反常理的隐藏规则。论文里有个例子很生动：游戏"投毒者"要求玩家往国王餐桌上端毒药，目标是摸清国王的口味偏好，比如爱甜还是爱咸、吃荤还是吃素，然后连下三顿饭都成功。规则本身不难，难的是整套系统得保证AI模型从未在任何书页或网页上见过这个具体设定。

还有个更绝的：游戏设定里，偷同事的午饭能帮你升职，埋头苦干反倒没用。这条设计完全颠倒了职场常识，就是要逼AI放下从互联网语料里学来的"努力才能升职"的成见，老老实实跟着游戏反馈一步步试出真正的规则。

规则验证：每条规则都配了金标准答案，用来确认游戏确实可解，从而保证它不是虚设的迷宫，而是真能靠逻辑推理走通的谜题。

20个游戏里，一半是"固定型"：每次重开，场景、人物、菜单都一模一样，AI大可以把这一局的具体套路背下来；另一半是"重排型"：规则不变，但每次场景中的人物名字、菜单内容、房间布局都会打乱重排。这个设计相当关键，它迫使AI提炼规则背后的逻辑，而不是死记某个具体答案。

好比教孩子认识"圆形"。要是每次拿的都是同一个红皮球，孩子很可能记住的是"红色、软软的那个东西叫圆形"，并没有真正理解圆是什么。换成蓝盘子、黄车轮、白月亮，他还能一眼认出"这是圆的"，你才敢确定他学到的是抽象概念，而非死记的标签。少了重排这一环，AI完全可能只记住"这局游戏第三步该点哪个按钮"，表面分数照样高，可它有没有真正理解规则，你根本测不出来。

四把尺子量出学习的真实模样

光有游戏还不够，研究团队还得配一套细致的打分标准，把"学习"的各个侧面捕捉下来。

他们定了四个指标。头一个叫Max，取AI所有尝试中的最高分，看它的"天花板"有多高。第二个叫Mean，是整个测试窗口期的平均分，看表现稳不稳。后两个更有意思：Learning Gain（学习增益），用最后几轮的平均分减最初几轮的平均分，量的是"从头到尾进步了多少"；Learning Slope（学习斜率），把各轮得分拟合成一条直线，看它倾斜的程度，量的是整体进步的速度和方向。

四把尺子得合起来用，才不至于被单个指标带偏。

举例来说，某个AI一上来就蒙到高分，此后原地不动，它的Max会很高，Learning Gain却近乎零，说明它没在学，只是运气好。反过来说，某个AI起点很低，但一路稳稳往上爬，Learning Slope会很陡，哪怕Max不算顶尖，也足以证明它具备学习能力。只看其中任何一项都可能误判，四项一起看才靠得住。

十一个大模型同台，结果出人意料

研究团队选了十一个主流大模型，包括Claude Opus系列、GPT系列、Gemini系列、Kimi K3、Qwen 3.8 Max、DeepSeek V4 Pro等，统一放进OpenCode这个编程智能体框架里跑了一遍。

结果挺有意思：得分最高的模型和学习最快的模型，压根不是同一个。

Claude Opus 5.5在最高分和平均分两项上都排第一，可论"进步速度"，Qwen 3.8 Max反而更猛。可见"考得好"与"学得快"是两回事，一个模型可能底子本来就厚，另一个则可能真把每次失败都变成了经验。

研究者还做了件细致活：翻看交互日志，观察AI失败之后怎样调整策略。他们发现了一处颇扎心的差别：强模型在反馈不符合预期时会主动质疑自己的假设，重新测试；弱模型则常常是反馈已经明说某个策略不管用，它仍旧固执地重复同一招。

还有个更隐蔽的坑：部分弱模型一次动好几个变量，到头来压根分不清是哪个变量起了作用。仍以"投毒者"游戏为例，研究者观察到GPT-5 Mini在某一轮实验里始终按菜单上的位置挑菜，前几轮反馈里的信息一点没用上；Kimi K3的做法不同，它会仔细对照此前被接受和被拒的菜品，一项项排除无关因素，先确认"是否偏酸"这个维度不重要，再往下测"是否偏咸"。

这个对照很像两个人学炒菜。一个每次炒糊了就换道菜接着炒，从不回头看上次哪一步出了岔子；另一个每回失败都认真琢磨，是火候过了还是时间久了，一点点收窄排查范围。缺了这种系统性的归因，炒上一百次，经验值恐怕也涨不了多少——你根本不知道哪次失败对应的是哪个具体原因。

复杂的"进化方法"，反倒不如简单粗暴地留着原始记录。

整篇论文里，这一点最出乎我的意料。

眼下学术圈设计了不少花哨的"自我进化"路子：让AI把过往经历提炼成规则、策略、工作流程，再把浓缩后的精华喂给下一轮尝试。听着挺合理——人类学习不也是把经验总结成道理吗？

实验结果却给这个思路泼了冷水。

研究团队比对了六种经验留存方式。

Naive什么都不留，每局结束即清空记忆；Memory把完整的原始互动记录原封不动带进下一局；Reflexion在每局结束后做反思，提炼出简洁的经验教训；EvoTest把历史记录进化成指导性提示词和状态提取程序；ReasoningBank将每局经历浓缩为可复用的推理模式；AWM则从成功案例中归纳出可重复使用的工作流程。

结果在Kimi K3上，不做任何加工、只原样保留完整对话记录的Memory方法，四项指标全部压过了那些精心提炼和加工的方法。

为什么会这样？

问题就出在"提炼"这个动作本身——它是有损的。

论文里有个很具体的例子。GemForge这个炼宝石游戏里，AI试了一次把玉石和蛋白石融合，失败，只得到废料。EvoTest随即依据这一次失败，往提示词里加了一条规则：不要再尝试任何高阶宝石的组合。可这条规则是从仅一次失败里硬推出来的，它把大量尚未验证的其他组合方式一概打上"不要尝试"的标签，其中就包括原本可能成功的组合。

这好比第一次去一家新开的餐厅，点了招牌菜结果踩雷，你心里就给自己立了条规矩：这家店所有菜都别点了。实际上也许只是那道菜当天的食材不新鲜，别的菜品毫无问题。要是把原始的点菜经历完整留着，下次路过还能想起来"我只试过那一道菜"；可一旦把经历压成一条武断的结论，你就再没机会推翻它。原始证据的价值就在这儿——它给后续修正错误结论留了机会，而浓缩过的规则往往不声不响把这扇门焊死了。

真人玩家吊打所有AI智能体。

论文还做了个挺朴素、却很有说服力的对照实验：找一批大学生来玩同样的游戏，和AI真刀真枪地较量。

结果，表现最好的真人玩家拿到的最高分，比所有被测试的AI模型和自进化方法都高。

研究者接着扒行为数据，想弄清人类到底强在哪。两个关键差异浮出水面：连续两局游戏里，人类动作序列的相似度平均为0.54，说明人类常换着花样试不同打法；AI智能体的同一指标高达0.66，明显更爱重复已经验证过的套路。

另一个发现更有意思：人类上一局分数比前一局低时，有33%的概率在下一局就创下个人新高；AI在同样情形下只有22%能做到。

这组数据指向一件事：失败之后，人类更愿意主动求变，AI更倾向于守着"还算凑合"的策略吃老本。

**说到底，这是探索与利用之间的经典权衡，而人类目前在这件事上还领先。**

不过这个优势并非面面俱到。论文特别指出，人类在需要"想出全新打法"的游戏里更出色，比如涉及创造性组合的炼金游戏、需要构建社交网络的任务；AI则在"精确执行一长串既定步骤"或"做大量数值计算"的任务上更占优，比如一个要求精确破案推理和救援流程的侦探游戏，以及一个要用程序反推隐藏规则的审计类任务。有意思的是，论文还观察到，部分人类玩家在"模型审计"这类需要持续大量测试的游戏后期，测试次数明显减少，这或许暗示人的耐心和精力是有限资源，而AI恰好不受这个限制。

换一套"外壳"，表现天差地别。

这项研究还有个容易被忽略、却很重要的发现：同一个大模型，套上不同的"操作框架"，表现能差出一大截。

研究者把同一个Claude Opus 5模型分别放进OpenCode和Claude Code两套智能体框架里测试，Claude Code在全部四项指标上都明显胜出。同样地，GPT-5.6-SOL放进Codex框架，表现也比放进OpenCode好得多。

所谓智能体框架，就是围绕大模型在外部搭起来的一整套系统，涵盖工具怎么调用、记忆怎么管理、任务按什么流程跑等等。它管的是模型“怎么干活”，跟模型“知道什么”是两码事。

出现这种情况，原因并不复杂。模型在训练阶段往往就是跟着某一种工具使用习惯和交互协议练出来的，放进自己“熟悉”的框架，跑起来自然顺一些。更要紧的一点在于，有的框架给模型留的自主空间更大。OpenCode就允许模型自行判断什么时候回头翻历史记录、什么时候先算一遍验证再动手，而不是被按在一套固定的“选动作、记笔记”流程里。

打个比方，同一位厨师，在自己顺手的厨房和一间陌生厨房里做同一道菜。菜谱一样，食材一样，手艺也没变，可陌生厨房的刀放哪儿、灶台多高、调料在哪个柜子，全跟他的习惯对不上，出品大概率要打折扣。要是不把“外部环境适配”这层因素算进去，光比两个模型谁更聪明，结论很可能被带偏——你比的其实不是脑子，是脑子加上它干活的那套环境。

还有一点更出人意料：更好的框架搭配，往往还更便宜。研究者把推理成本算了一遍，发现那些表现更好的配置，反倒因为重复喂上下文的次数少了、模型调用次数少了，总花费更低。又好又省，这种双赢案例并不多见。

换一个场景，学到的还管用吗

论文为此专门做了一组实验，要回答的问题很实际：AI学到的规则，能不能搬到一个没见过的具体场景里去用？

研究者把“重排型”游戏和对应的“固定对照组”摆在一起比。固定对照组里，同一个游戏实例重复十轮；重排组里，每一轮的具体场景都会被打乱重排。两边底层规则一模一样，差别只在表面细节变不变。

结果出来了：Claude Sonnet 5、Gemini系列这些模型，场景一变，学习速度就明显往下掉；Claude Opus 5和Kimi K3的下滑幅度则小得多。

论文里举了一个具体例子。SynergyCorp这个游戏中，玩家要摸清不同“老板”角色各自偏好什么。Opus 5能把从前几个老板身上总结出的规律，直接用到新出现的老板身上；Sonnet 5和Gemini 3.5 Flash则是每来一个新老板，就从头重新试一遍，之前的经验完全没用上。

这个差别，说到底反映的是“记住结论”和“理解原因”之间的根本分野。

研究者还给出一个挺精辟的观察：一个AI如果只记住了“上次这么做管用”，却没弄明白“为什么管用”，场景一换，过去的成功经验反而可能把它带沟里。比如它记住的是“上次菜单第三项是对的”，换份新菜单，这条结论就废了；可要是它理解的是“国王不喜欢酸的菜”这条底层规律，菜单怎么换都照样适用。

这就像两个学生备考，一个把某道例题的具体数字答案背得滚瓜烂熟，另一个吃透了解题公式和推导过程。考试换一套数字，死记硬背的那个当场傻眼，理解原理的那个照样能算出答案。训练AI时如果从来不测场景变化后的表现，很容易被表面的高分骗过去，以为它真学会了，其实它学会的可能只是怎么应付这一道特定的题。

那么，学习究竟卡在哪儿

论文末尾还归纳了几个挡在AI继续进步路上的障碍，这部分内容值得细看。

第一个障碍叫探索停滞。有的AI找到一个“还凑合能用”的策略之后，就不再试别的可能性了。论文里的例子是：在炼宝石游戏GemForge里，一个Opus 5模型试了几次失败后，直接下结论说更高阶的宝石根本炼不出来，此后一直重复那个只能拿中等分数的保守配方。

第二个障碍更微妙，叫“知道规则却不会规划”。在一个叫“闹鬼旅店”的游戏里，玩家要把客人安排进不同房间，同时避开若干隐藏的禁忌规则。有一次，Opus 5明明已经把相关禁忌规则全都说清楚了，可分配房间时用的却是“贪心”策略——走一步算一步，先把眼前能安排的客人塞进去，结果轮到最后一位客人，发现已经没有安全房间可分了。直到下一局，它才学会提前给后面可能出现的高风险客人留房间。

这两个障碍放在一起，指向一个挺深的问题：AI现在的学习，大多停在“我知道了一个事实”这一层，还没到“我能拿这个事实做长远规划”那一层。知道规则和用好规则之间，还隔着不短的一段路。

写在后面

读完这篇论文，让我回味最久的不是哪个模型排第一，而是那个关于“经验被浓缩之后反而学得更差”的发现。

这事戳中了一个平时很少被质疑的默认假设：我们总觉得总结经验、提炼道理天经地义是好事，学习不就该越学越精炼吗？可论文用实打实的数据说明，提炼这个动作本身是有代价的——它会把原本还不确定的东西固化成看上去确定的结论，而这种固化一旦发生在证据不充分的时候，就会变成绊脚石。

顺着这个思路，还能想到一个更大的问题：眼下不少“知识管理”的路子，不管是给AI设计的记忆系统，还是人类自己整理笔记、写复盘报告，会不会也踩进同一个坑？我们是不是也常把一次性的、偶然的经历，过早地固化成“放之四海而皆准”的规律？

另一个让我停下来想了很久的点，是“33% vs 22%”这组数字——人类在失败后创新高的概率，比AI高出整整11个百分点。这个差距背后，可能藏着一个比AI能力更本质的问题：我们究竟是怎么判断“什么时候该换个思路，什么时候该坚持原策略”的？这个判断本身，目前还没有一套清晰的规则能说清楚，也许这正是人类智能里最难被模仿的那部分。

AI会不会有一天也学会：跌倒之后不是默默爬起来重走老路，而是停下来，想一想，换条路试试？

Q&A

Q1：Learn2Play Bench是什么？

新加坡国立大学团队做出了 Learn2Play Bench 这套评测基准，里面装了 20 个重新设计的文字游戏，规则有意违背常理，目的就是看 AI 智能体能不能真从交互中学到东西，而非吃训练阶段攒下的老本。

为什么说把经验浓缩起来的AI学习法子，反倒不如直接把完整记录留住？关键在于提炼规则的过程会丢掉原始证据。一旦从不够充分的证据里推出错误结论，AI就再没机会回头改。留下完整的互动记录就不一样了，AI可以在后续反复比对原始证据，发现判断有偏差就及时调整。

人类玩家和AI智能体在游戏里的表现差在哪？成绩最好的人类玩家拿到的分数高过所有AI配置。另外，人类输了之后更愿意换新打法，连续动作的重复率更低，失败后创新高的概率也明显高于AI智能体。