AlphaGo之后:AI代理对AI代理,该派哪个模型出场?
2016 年 AlphaGo 打败李世石的时候,全世界都在讨论一个问题:机器能不能"思考"。但很少有人问另一个问题:如果让两个机器互相对弈,谁该上场?这听起来像是个无关紧要的小问题。可随着大语言模型越来越多地被部署去跟别的智能体打交道,这个问题突然变得不那么小了。想象一下这样的场景。你的公司用一个 AI 代理去跟供应商
2016 年 AlphaGo 击败李世石,全球都在追问机器究竟能不能“思考”。另一个问题却少有人提:倘若让两台机器对弈,该派谁出场?
乍看这事无关紧要。可当大语言模型被越来越多地派去跟别的智能体打交道,它就没那么小了。
设想一个场景:公司让一个 AI 代理去和供应商的 AI 代理谈价格,或者在拍卖平台上与别的 AI 抢资源。手头可选的模型不少,便宜的、贵的小模型大模型都有。每轮交锋前,你得先定下派哪个上场。听着不难?
陷阱就在这里。埃克塞特大学和 IBM 研究院的这篇论文发现,挑模型本身就是一场博弈——派谁迎战,直接决定输赢。更棘手的是,对手是谁、会不会随着交锋调整打法,你根本不知道。
**论文由此把“选模型”重新定义成一重嵌套在原始博弈之上的元博弈。**
这个说法抽象,却正好戳中现实里的一个缺口。
以往研究 AI 博弈能力的论文,像 GTBench 这类游戏理论基准测试,套路是先定死一个模型,再看它在某个具体博弈场景里打成什么样。言下之意是:用哪个模型早已拍板,测的只是它强不强。
另一条研究线是 LLM 路由。
*LLM 路由:按任务特点自动把查询分派给最合适的大语言模型,通常是在性价比之间做取舍。*
路由系统的思路是看问题本身,判断该交给便宜的小模型还是昂贵的大模型。盲点在于:它默认任务是静态分布的,既没有对手,也没有策略互动。
两条线各管一段,一直没人把它们接上。现实中的多智能体交互偏偏两样都要:既得掂量模型的能力与成本,又得琢磨对手怎么出招、会不会学习适应。
研究者的提问很直接:既然不同大语言模型在各博弈场景里表现参差,一个“选择器”能否学会利用这种差异,面对未知且可能自适应调整的对手,挑出最合适的那个模型?
先弄清一件事:模型的博弈水平到底有多参差。
为回答上面的问题,研究者先做了基础工作——拉出 10 个开源大语言模型,放进 5 种经典博弈场景反复对战,看谁强谁弱。
这 10 个模型分属 Granite、Mistral、Llama、Qwen 四个家族,参数规模从 3B 到 70B 不等。5 种博弈场景也经过挑选,覆盖了从零和对抗到合作困境的不同类型。
*Colonel Blotto(上校博弈):零和资源分配博弈,双方把有限预算分摊到多个战场,某战场上投入更多的一方拿下该战场。*
*Cournot Duopoly(古诺双寡头博弈):两家企业同时敲定各自的产量,市场价格和双方利润由此共同决定,玩家能否把产量收敛到均衡水平,是这一局的关键。*
*Stag Hunt(猎鹿博弈):协调博弈,存在风险占优和收益占优两个均衡,考验玩家在对手行为不确定时选保守还是选合作。*
*Vickrey Auction(维克瑞拍卖):密封投标、按第二高价成交的拍卖形式,竞拍者以自己对物品的真实估值报价,出价够不够诚实,正是要考验的地方。*
*Chicken Game(胆小鬼博弈):反协调博弈,双方都不让步对两边都是最差结果,考验玩家敢不敢冒险升级对抗。*
结果里有个数字出人意料:模型参数规模与博弈表现之间的皮尔逊相关系数只有 0.37,属于弱相关。若把使用成本一并计入,相关性甚至转为负值,为负 0.54。
**也就是说,模型更大,未必更会“博弈”。**
这打破了一个很自然的直觉。我们通常默认参数越多模型越聪明,越聪明就该在任何任务上都干得更好。博弈能力似乎并不完全照这个规律走。
维克瑞拍卖就是个具体例子。该场景的规则要求玩家诚实报出真实估值,结果只有 30 亿参数的 Granite4.1 3B,表现竟压过了参数规模是它二三十倍的大模型。这项博弈拼的不是“算得多深”,而是“肯不肯老老实实按规则出牌”,小模型反倒没有大模型那种想“耍小聪明”的倾向。
这就像拔河比赛忽然改成踢毽子。拔河靠蛮力,块头大的占便宜;踢毽子讲巧劲和节奏,身板壮未必踢得好。挑人时只盯着“谁块头大”,拔河场上也许能赢,到了毽子场上多半要吃亏。模型在博弈里的表现依赖具体场景,说的就是这个:能力不是某一维度的分数,而是跟具体规则牢牢绑在一起。
更有意思的是模型之间的“性格”差别。研究者为每个模型算出一组行为画像得分,例如在胆小鬼博弈中是否敢于冒险、在古诺博弈中把产量定得偏激进还是偏保守。将这些得分投射到主成分分析构成的二维平面上,就能看到:哪怕同属一个模型家族,不同版本的行为倾向也可能相差很大。
Granite4.1 8B 在胆小鬼博弈里有 96% 的概率选择冒险对抗,可它的 3B 和 30B 版本几乎从不冒险。同一个“家族”的三兄弟,脾气像互不相识的陌生人。整体趋势上,Qwen3.5 和 Llama 系列在古诺博弈里更偏好激进竞争,Granite 和 Mistral 系列则更倾向合作。
论文据此支撑起一个核心论点:“选择一个模型,就是在选择一种策略”。模型不只是智力水平的集合,它还自带一套固有的行为倾向,这套倾向在不同博弈场景下会引出截然不同的后果。
博弈场景里的噪声,比你想的更顽固
动手设计选择算法之前,研究者先撞上一个棘手的统计学问题:怎样才能确定某个模型在某个博弈里确实强过另一个,而不是运气好?
大语言模型本身带随机性,同样的输入、同样的模型,每次回答未必一样。这种随机性放在传统问答评测里问题不大,有研究发现重复跑五次左右,结果就基本稳了。
策略博弈却更麻烦。你面对的不只是自己模型的随机性,还有对手模型的随机性,两层不确定性叠在一起,噪声被放大了。
为了把这个问题量化,研究者借用了语言模型评测领域关于信号和噪声的分析框架
*信噪比:用来衡量某个博弈场景中,不同模型之间的真实差距信号与单个模型自身波动噪声之比。比值越高,说明在这个场景里越能可靠地分出模型优劣*
五个博弈场景的信噪比差得相当悬殊。古诺双寡头博弈是 0.931,几乎是其他场景的两倍;上校博弈只有 0.449,几乎垫底。
研究者往下挖了挖原因,发现上校博弈里几乎所有模型最后都收敛到同一种策略——把预算平均分到各个战场。打法既然趋同,模型之间的差距自然就小,噪声相对信号就显得格外突出。
这直接引出一个实践结论:不同博弈场景需要的重复测试次数(种子数)并不一样。研究者通过功效分析发现,要让大部分两两对比的结论达到统计显著,大约需要 150 次独立重复实验;古诺博弈能更快达到稳定的分辨效果,其他博弈则要多跑几遍才能把结论说清楚。
好比医院体检。量血压测一次就八九不离十,因为这项指标本身波动不大;测血糖就不同,饭前饭后、情绪起伏都会让数值跳来跳去,医生往往让你多测几次取平均才靠谱。拿测血压的标准去测血糖,一次就下结论,很可能得出误导性的判断。古诺博弈和上校博弈的差别大致也是这个意思:有些场景天生“读数稳”,有些天生“读数抖”,用同一套重复次数去套所有场景,结果必然是有地方过度浪费、有地方信息不足。
最终,研究者在固定模型对战实验里采用单轮、300 次种子重复的设置;而在需要选择器在线学习的实验里,受计算成本限制,改成 300 轮、单次种子。
怎么设计一个会“选人”的智能体
模型能力参差不齐、噪声需要特殊处理,这两件事弄清楚之后,论文的核心工作才真正开始:设计一套能自动学会“该派谁上场”的选择算法,再拿它跟现有的各种路由方法比一比。
研究者一共实现了 7 种选择器方法,来路五花八门,有基于大语言模型自我反思的,有基于查询向量匹配的,也有经典的多臂老虎机算法。
*多臂老虎机:一类经典的在线学习算法,思路源自赌场里的老虎机。玩家要在多台机器间反复选择,并依据每次结果逐步判断哪台机器回报更高;关键在于权衡探索新选项与利用已知好选项*
*LLM Selector:让大语言模型本身充当选择器,每一轮把博弈历史喂给它,让它用自然语言反思后决定派哪个模型上场*
*RouterDC:把当前查询编码成向量,和各个候选模型预先训练好的向量嵌入做相似度匹配,挑相似度最高的模型*
*Thompson Sampler(汤普森采样):为每个模型维护一个关于其表现的概率信念,每一轮从这些信念分布中各抽取一个样本,再让抽到数值最高的模型上场,是多臂老虎机中最经典的策略之一*
第一轮实验让这些选择器去对战一个固定但身份未知的对手模型,模拟最简单的情形。结果让那些“高大上”的方法相当难堪。
靠语言模型自我反思的 LLM Selector 得分最低,在大多数博弈场景里甚至打不过直接固定用某一个单一模型。基于查询向量匹配的 RouterDC 和因果路由方法稍好一些,但仍在多个场景里输给了某些固定模型。
结果最不起眼的汤普森采样,反倒成了每个博弈场景里净收益最高的选择器。它不靠语义理解,也没有自我反思那套机制,只凭每轮观察到的结果反馈做判断。
不过汤普森采样再强,到了古诺博弈里也没能压过场上最厉害的那个固定模型 Llama3.1 8B。
这说明现有的选择算法,哪怕是最好的那个,离把模型池的潜力用尽还差得远。研究者设了一个参照基准,叫"全信息选择器":它事先知道对手是谁,直接查表挑出历史上打这个对手成绩最好的模型。这个理想化基准在每个场景里都明显好过所有实际可用的选择器,可见选择这件事本身还有很大提升空间。
RouterDC 这类基于向量嵌入的方法为什么会失灵?研究者的解释挺有洞察力:博弈场景里真正有判别力的信息,往往藏在不断演变的博弈历史中,也就是过去几轮的动作和结果,而不是当前这一轮查询文本的语义。两轮博弈的文字描述可能几乎一模一样,但要求的最优策略却可能截然相反,因为对手刚调整了打法。
这就像两场扑克牌局,桌面上摆的牌面完全相同,你该采取的策略却可能天差地别,关键看对手刚才是梭哈了还是弃牌了。一个系统如果只盯着桌面牌型做判断,完全忽略对手刚才的出牌历史,就永远抓不住真正的制胜信号。依赖查询嵌入的路由方法犯的正是这个错误:它们把博弈场景当成了静态的文本分类问题,却忽略了博弈的本质是动态交互。
当对手也学会了"随机应变"
此前实验中的对手自始至终是同一个固定模型。可现实没这么简单——对面那套选择策略很可能也在动态调整,每一轮打完都依据交手结果改变自己的出招。
这才是真正考验选择算法的地方。研究者把场景升级,让各个选择器互相对战,而不是打固定靶子。
为了应对这种非平稳环境,论文还专门引入了几种针对性改造过的老虎机算法:
折扣汤普森采样的做法是让老数据的影响力按指数级往下掉,越新的观测分量越重;滑动窗口汤普森采样更绝,只留下最近 50 次观测,更早的一律扔掉;EXP3 则是一种专为"对抗性"场景打造的老虎机变体,它预设环境没准正憋着劲跟你对着干。
*EXP3:对抗性多臂老虎机算法的一种,它不把环境当成随机的,而是假定对手会盯着你的选择去改动环境,所以策略更新时采用的加权方式更为保守*
按理说,这些专门为非平稳环境设计的算法,应该比普通的汤普森采样更擅长应对一个会变化的对手。
结果恰恰相反。
古诺双寡头博弈的测试结果是这样的:朴素汤普森采样净收益 72.4,仍居各方法之首;滑动窗口版拿到 65.9,折扣版 63.1;而专为对抗环境而生的 EXP3 只拿到 60.2,排在末位,跟基于嵌入的路由方法大体相当。
这个结果多少有点反直觉。专门为对付"会变的对手"而设计的工具,反而打不过最朴素的版本。
好比一位老司机正开着车,旁边忽然有车变道。经验丰富的人凭本能就把车稳住了;反倒是照着"应急驾驶手册"一步步走复杂流程的新手,容易反应过度、手忙脚乱,真正该踩刹车的那个瞬间就这么错过了。那些专门为非平稳环境设计的算法表现更差,原因很可能出在"忘掉旧信息"上——它们做得太狠,连本该留着的有用历史也一起清掉了,学习效率自然比不过那个"什么都记得"的朴素版本。
这一结果指向一处实实在在的空白:现有的非平稳老虎机算法,设计时大多冲着一般性的概念漂移去,却没有针对"策略博弈中对手同样在学习"这一特定交互结构做专门优化。论文中研究者明确写道,这说明当前方法在应对策略环境里会变化的对手时,方法论上存在明显缺口。
不同博弈场景,到底在测什么
论文里还有一个挺有价值的思考,是关于"博弈场景"本身的价值判断。
研究者还发现,模型规模与表现之间的相关性,在各个博弈里差别很大。古诺博弈的相关系数为 0.66,属于中等偏强,表明这个博弈确实能把"更聪明"的模型挑出来;猎鹿博弈只有 0.12,上校博弈只有 0.24,规模带来的优势几乎看不出来。
照此推断,古诺博弈要找均衡策略,大概得更强的推理能力;上校博弈吃的则是一条简单规则——谁在某个战场投得多谁就赢,用不着多复杂的推理。
研究者还提出了一个更深层的理论洞察,关于博弈场景会不会"饱和"。
至于上校博弈这类零和博弈,按博弈论的基本原理,双方一旦都逼近均衡策略,所有均衡点给出的期望收益并无二致。也就是说,模型越聪明、越接近最优解,彼此间的差距反而越小,因为大家最后都收敛到了同一个最优答案上。
一般和博弈就完全是另一回事了。它的均衡集合往往很大,不同均衡点对应的收益可能相差悬殊,所以哪怕模型都变得很强,它们之间照样能拉开明显差距。
这对日后搭建博弈评测基准来说,是个挺具体的提醒:一个评测体系要想长期保有区分度、不因模型变强而变得没意义,选一般和博弈要比选零和博弈更合适。
顺着这个思路还能想到一层:传统静态评测基准有个老毛病,训练数据污染。研究者提到,博弈的状态是动态产生的,每局结果都来自实时交互,这一点天生比固定题库更能挡住"模型提前背过答案"的路子。固定测试集迟早会被模型"记住",可一场实时博弈怎么走,要看对手这一轮到底怎么出招,这没法提前背。
写在后面
通读这篇论文,真正让我停下来琢磨的,倒不是那几个选择算法本身的成绩,而是一个乍看不太起眼的结论:模型规模和使用成本之间竟然是负相关,相关系数为负0.54。这个数字背后有一套挺耐人寻味的经济学逻辑。
我们习惯认为"一分钱一分货",多花钱租更大的模型,就该换来更好的博弈表现。可论文说,放到策略博弈这个具体场景里,这条常识未必站得住。钱花出去了,等来的可能是个"耍小聪明"、最后把拍卖输掉的模型。
还有一处让我想了很久,就是非平稳老虎机算法反倒表现更差的那个实验结果。它并非孤立的意外,背后指向一个更普遍的现象:为应对"变化"而造的工具,自己也可能因为做得太复杂、太急着忘掉历史,把稳定性带来的好处丢掉了。凡是涉及"适应性"设计的系统,或许都该防着这个坑——适应能力并非越强越好,过度适应有时候等于学习能力退化。
论文末尾还留了个开放问题,挺值得细想:假如选择器自己也带上风险偏好参数,能调成厌恶风险或偏好风险,会是什么样?现实中的高风险博弈,像商业谈判、大额拍卖,一次灾难性失败可能比十次小赢更要命。一个只盯着期望收益最大化的选择器,未必是你真正想要的那个帮手。
要是你的 AI 代理明天就得去跟另一个你完全不了解的 AI 代理谈判,你希望它带着什么样的"性格"上场?
Q&A
Q1:策略选择器是什么?
A:这是论文提出的核心概念,说的是在一个由多个大语言模型构成的模型池里,每轮博弈时依据当前局势和历史结果,自动决定派哪个模型出场应战的算法。说到底,它把选模型这件事本身也当成一场需要策略的博弈来对待。
Q2:为什么模型参数越大不代表博弈能力越强?
A:论文实验发现,模型规模和博弈表现只是弱相关(0.37),把成本算进去之后甚至成了负相关(负0.54)。举个例子,维克瑞拍卖的规则要求诚实出价,小模型没有"耍心眼"的倾向,结果反而超过了大模型。可见博弈能力和场景规则深度绑定,不是单看智力分数。
Q3:汤普森采样为什么能打赢更复杂的路由方法?
A:关键在于,策略博弈的判别信号主要藏在不断变化的博弈历史里,而不在查询文本本身的语义上。汤普森采样是直接从每轮真实结果反馈中学习;靠向量嵌入匹配的方法只能抓到表面文字相似度,对手策略的动态变化容易被漏掉。