大模型猜拳能看懂对手吗,斯坦福和石溪大学做了个实验
你有没有玩过那种猜拳机器人?你出石头剪刀布,它会根据你刚才出的招数,猜你接下来可能出什么。有些机器人很笨,不管你怎么出,它永远按照固定概率乱猜。但也有机器人很聪明,它会发现"你上一轮出了剪刀,这一轮往往会出石头",然后针对性地出布。这两种机器人,表面上看起来可能打出一样的胜率,甚至猜拳记录看起来统计上几乎...
猜拳机器人你应该见过:你出石头剪刀布,它照你刚才的招数猜你下一把出什么。笨一点的机器人不管你怎么出,永远按固定概率乱猜;聪明一点的会发现“你上轮出了剪刀,这轮常出石头”,然后专门出布。
这两种机器人摆在一起,胜率可能差不多,猜拳记录在统计上也几乎看不出差别。可背后的门道完全两码事:一个纯靠瞎蒙,一个是真的在跟你的行为规律。
斯坦福和石溪大学的研究者就想拿大语言模型验证这件事。眼下大模型越来越多被用来扮演角色——模拟用户、模拟对手、模拟社会互动里的参与者。
**问题是,这些模型是真的理清了对话背后的逻辑链条,还是只把相似的统计分布模仿了出来?**
听起来抽象,其实对应一个很现实的场景:你让大模型去模拟真实用户和客服系统互动,这个模拟出来的用户靠不靠谱?如果模型只是复制了整体说话频率,没弄明白“用户上一句说了什么,这一句该怎么接”,那模拟出的交互可能像模像样,一到关键决策点就完全失真。
两种长得一样、生成方式却不同的策略
研究者立了一个核心概念:表面统计与条件规则的区别。
**统计策略**指的是行动跟之前发生的事没关系,每一轮都独立地从固定概率分布里抽样。就像一个永远按固定比例出拳的选手,对手上轮出什么他不管,石头剪刀布各占三分之一。
**马尔可夫策略**则依赖最近的历史。比如“对手上轮出石头,我这轮就出布”,这是带条件的逻辑反应,不是随手抽。
论文里有个特别清楚的例子。假设A、B两组猜拳对局,石头剪刀布的出现比例都是1比1比1,看着一模一样。但A组可能是两个玩家各按固定概率乱出,B组可能是一方盯着对手上一轮的招数做针对性回应。统计上分不出来,本质上一个是无脑随机,一个是有策略的互动。
只盯最终统计结果,你会觉得这两种玩家没差别。可真要预测他们下一步出什么,只有真正吃透条件规则的那个模型才靠得住。研究者要戳破的就是这层表象:表面行为相似,背后的生成机制可能天差地别。
认出对手的策略,究竟难在哪
研究团队设了三组层层递进的实验。第一组最基础:只给模型看一段猜拳对局的历史记录,让它判断双方各是什么类型的玩家。
玩家池分两大类。一类是统计型,既有永远出同一招的“死忠党”,也有按固定概率随机出招的“概率型玩家”,后者一共设计了16种不同的概率分布组合。另一类是马尔可夫型,出招规则依赖最近的历史,比如“按对手上一招选能赢它的招式”,或者“直接复制对手上一招”。
实验结果一致得有点出乎意料。七种模型配置里有六种明显更擅长识别统计型玩家,认马尔可夫型玩家时准确率明显偏低。唯一的例外是GPT-5,差距没到统计显著水平,但趋势还在。
这说明,**识别“有条件逻辑的策略”比识别“固定概率的策略”难得多,而且这个难度几乎横跨了所有测试过的模型家族、模型规模,开源闭源都一样。**
更意外的是上下文长度起的作用。按常理,给模型看更多局记录,应该帮它判断得更准,就像你看一个人下棋越多越摸得清套路。结果正好相反:观察局数从100局拉到1000局,几乎所有模型的识别准确率都在往下掉,统计型玩家和马尔可夫型玩家都一样。
好比你想多看几场比赛摸清一个篮球运动员的习惯动作,看的场次越多反而越糊涂。研究者为了排除“信息量不够”这个解释,又做了一个非大模型的最大似然估计基线方法,同样的数据,这个传统统计方法在所有观察长度下都能做到百分之百准确识别。可见问题不在数据里缺证据,而在于大模型没能把长序列里藏着的那条逻辑规则稳定地提取出来并维持住。
**换句话说,信息是够的,大模型消化不了那么多。**
这里的矛盾值得再想一层。人读小说,越往后情节越清楚,因为前面埋的线索能串成逻辑链条记在脑子里,不断更新。大模型处理超长符号序列时,反倒容易被信息量淹没,抓不住那条真正重要的因果线索。这跟“数据越多越好”的直觉完全拧着。
认对了,不等于演得对
第二组实验往前推一步:不光要模型识别双方策略,还要它生成一段后续对局,看能不能顺着这个策略继续演下去。
关键发现来了。**模型正确认出对手身份时,确实能把对手的行为规则模拟得更好,在要求严格遵守规则的指标上尤其明显。但就算认错了对手的具体身份,生成出来的行为也不是全无章法。**
有些模型即使猜错是哪个策略,出招的重叠率还是明显高过随机水平。可见识别错误往往是“结构性”的——就像你叫错了一个人的名字,却猜中了他的性格类型,他照样表现出相似的行为模式。身份识别和规则执行相关,但绝不是一回事。
这个区分很关键。设想你去猜一个陌生人的职业,具体是医生还是律师猜岔了,可你判断出“这人是个高学历的专业人士”,凭这个判断往下推,反应往往还是八九不离十。身份标签贴错了,行为预测却对了一大半。
分布层面的模拟质量,也暴露出类似毛病。研究团队拿均方误差去量生成的动作分布和真实目标分布差多远,发现马尔可夫玩家整体上比统计玩家更难模拟,误差大约高出8%到9%。可要是只挑模型“正确认出对手身份”的那些案例来看,马尔可夫玩家的误差比统计玩家高出超过100%。
这个反差说明有个坑容易被忽略。模型嘴上说着“我知道这是马尔可夫玩家”,它实际生成的内容却可能压根没执行那条状态转移规则。研究者进一步统计,282个识别错误的案例里,41.8%生成的边际分布跟真实目标依然差得很小,62.1%的误差也落在相对不离谱的范围内。
**换句话说,表面上看着很像的分布,底下完全可能藏着一套根本错误的生成机制。**
这跟学生考试蒙对答案是一个道理。答题卡看着是对的,脑子里却没有正确的解题过程。题目稍微变个形,他立马就露馅。
研究者还设计了一个叫教师强制的诊断实验,用来分清到底是“模型根本不会执行这条规则”,还是“模型执行了规则,但生成时间一长就慢慢跑偏了”。做法是每一步都把真实历史记录喂给模型,只让它预测下一步,这样前面生成错误带来的连锁影响就被切断了。
结果显示,DeepSeek Reasoner和GPT-5在这种强制喂真实历史的情况下表现很强,说明它们平时自由生成时犯的错,很大一部分来自长时间维持规则太困难,而不是不理解规则本身。可DeepSeek Chat和GPT-5-mini即便拿到真实历史,依然表现挣扎,对它们来说,连最基本的“看到当前状态该怎么反应”这一步都还没学扎实。
这就像两种开车失误。一种司机知道怎么开,只是长途驾驶容易疲劳走神,后段路程出问题。另一种司机根本没学会正确判断路况,给他再清晰的路标照样出错。两种问题看起来都是“没开好”,病因却完全不一样。
复杂度升级后,到底是什么在拖后腿
第三组实验把规则复杂度又往上抬了一截,引入了联合状态和二阶依赖这两个变量。
所谓联合状态,就是规则不只盯着对手上一轮出了什么,还要把双方各自上一轮的出招一并纳入参考。二阶依赖则要求规则往前追溯两轮,而非只看最近一轮。
从实验结果看,联合状态这个变量本身并没有构成主要拖累。也就是说,让模型同时兼顾双方的历史,它大体上还撑得住。真正带来明显退化的,是二阶依赖——规则得往前看两步才能确定的那种情形。
在这种设定下,规则重叠率依然能保持相对较高,但严格匹配率明显下滑。这说明模型能抓住局部的规则片段,比如“大概知道该往哪个方向反应”,却没办法把这些片段精准拼成一条完整正确的二阶转移规则。
**这就像让你根据过去两天的天气预报
这里有个耐人寻味的细节。哪怕严格规则匹配率降了,模型对马尔可夫玩家身份的识别准确率依然保持得很高。也就是说,模型知道“这是个二阶马尔可夫玩家”,知道归知道,真正执行起来却力不从心。这进一步印证了前面的结论:识别一个策略和真正把它跑出来,是两件分开的事情。
把游戏外壁去掉,问题还在不在
前面的实验里,猜拳游戏本身就带来几层干扰:模型得先搞清楚谁是谁,再推断规则,还要考虑石头剪刀布之间天然的输赢关系。研究者想知道,把这些干扰统统拿掉,问题是不是依然存在。
于是他们设计了一个单人续写实验,用抽象符号ABC代替石头剪刀布,彻底切断任何语义联想。模型要做的事很简单:看一段由某种n元马尔可夫过程生成的符号序列,然后往下续写。n从1一路加到8,代表依赖的历史长度从只看前一个符号,一直到要看前八个符号才能确定下一个符号该是什么。
评估用了两个指标。**上下文条件似然增益**:拿模型生成的内容去比“干脆不看历史、只按整体频率来生成”这种笨做法,看准确度能高出多少,数值越大,说明模型越会用历史信息。**加权詹森-香农散度**:看模型生成的转移概率分布与真实分布相差多远,数值越小,说明模型学到的规律越贴近真实规律。
实验结果显示,依赖长度在1到4的时候,这个似然增益大多是正的,说明模型确实在利用历史信息,不是单纯按整体频率乱猜。可到了依赖长度8,大多数模型的似然增益突然大幅下滑,散度同时大幅上升。
这说明**低阶的、经常重复出现的状态模式,模型还能靠记忆或者模式匹配抓住。可一旦状态变得稀疏、需要往前看很远才能确定规律,模型的条件结构追踪能力就垮掉了。**
研究者还进一步试了两种给模型“开挂”的路子,想看能不能止住这种崩溃。一种是把前缀长度从256个符号加到2048个符号,让模型多看些证据;另一种是把转移规则和概率表格直接摊给模型,等于把答案送到它眼前。
结果出人意料,这两种开挂方式都没能稳定解决高阶依赖崩溃的问题。哪怕告诉模型完整的规则,它在高阶情况下依然表现挣扎。
**这好比给一个记不住复杂路线的人配了张详细地图,到了某个复杂的立交桥路口,他还是会拐错方向。**毛病不在信息不够,而在于模型在实际生成时维持并运用这些条件转移结构的能力本身出了岔子。
研究者另外搭了一个完全基于前缀的最大似然估计基线来做对照。它不依赖任何预设的转移表格,也没有候选规则池,只靠观察到的前缀自行统计规律;碰上没见过的组合,就逐级退回更简单的统计方式。结果有点意思:这种简单直接的统计办法在高阶情形下反倒比大模型稳,尤其在加权詹森-香农散度这个指标上,八阶时它拿下了所有方法中的最好成绩。
这个对比挺扎心。一个几乎谈不上"智能"、只会机械统计频率的方法,在高阶任务上竟然比参数量庞大的大语言模型更可靠。问题因此不在"缺乏可提取的规律信息",而是大模型生成时维持长距离条件结构的机制本身有瓶颈。
顺着这篇论文往下看,还有谁在接着往前走
论文发表于2026年,那正是大模型被大量部署为交互式智能体和行为模拟器的时候。此前关于大模型策略推理能力的研究,大多盯着"模型能不能赢这场博弈"或"模型能不能猜中对手的隐藏身份"这类终局指标。
这篇工作的特别之处,是把"赢没赢"这个笼统的终点拆成三项可分别检验的能力:识别潜在策略、匹配边际分布、执行条件规则。这么一拆,后来的研究者就能更精确地判断问题卡在哪一层。
沿这个思路往前推,一个自然的延伸是把封闭的候选策略池换成开放式的策略发现任务,让模型在没有预设选项时自己总结背后的生成规则。另一个方向也值得留意:论文用的是符号化、明确结构化的历史记录表示,将来换成更自然的对话式交互记录,模型还能不能维持条件推理能力,还是会进一步退化,目前仍是开放问题。
写在后面
读完这篇论文,最让我意外的倒不是"大模型在高阶依赖上表现差"——这个结论多少符合直觉。真正让我停下来想了很久的,是那个上下文加长反而让识别准确率下降的结果。
我们这行有个几乎约定俗成的信念:给模型更多信息总是更好,长上下文窗口就是进步的方向。这篇论文用一个很干净的实验设计把这个信念戳破了——至少在"从长序列里提取并维持一条隐藏逻辑规则"这件事上,更多信息成了噪音而非帮助。这跟人读书越读到后面情节越理得清楚的直觉经验正好相反。也许这说明,大模型眼下处理长序列信息的方式,和人类梳理因果链条的方式压根不是一回事。
另一个让我反复琢磨的细节,是"身份识别错了,但行为模拟依然不离谱"这个发现。它让我想到一个问题:我们平时判断一个人、一个系统是否"理解"了某件事,到底该看它说出的标签对不对,还是该看它接下来的行动对不对?论文给出的答案是,这两件事未必同步,甚至经常不同步。那下回评估一个AI系统到底"懂不懂"的时候,是不是也该多问一句:它说对了名字,但它真的会做对应该做的事吗?
Q&A
Q1:大模型识别有条件逻辑的策略,和识别固定概率策略,哪个更难?
论文给出的结论是:马尔可夫型玩家——也就是按历史规则出招的策略——比统计型玩家(以固定概率随机出手)更难被认出来。七种模型配置里有六种,这一差距都达到了统计显著,模型家族、规模、开源还是闭源,几乎都没能改变这个结果。
Q2:给大模型看更多历史记录,能不能帮它更准确地识别对手策略?
答案是不能,而且常常往反方向走。观察局数由100局加到1000局之后,几乎所有模型的识别准确率都往下掉。研究者拿一个非大模型的最大似然估计基线做了对照:同一批数据,传统统计方法可以做到百分之百准确。可见缺的不是信息,是大模型没法从长序列里稳定地把规律提出来。
Q3:大模型正确识别出对手的策略类型,是不是就能准确模拟出对方的行为?
未必。论文指出,有些模型明明已经认对了对手是马尔可夫型玩家,生成内容时的误差却比把它认成统计型玩家还高出超过100%。身份认对,不等于真的照着对应的行为规则去做;看起来相似的输出背后,生成机制可能完全是错的。