AI学会猜你在想什么：加州大学团队给智能体装上心理建模模块

跟同事谈加薪，对方来一句“公司今年压力也挺大的”，你脑子里马上转起来：是真没钱，还是在探我的底？他知不知道我手里已经捏着别家的offer？这种场景不少人碰过。

人跟人打交道时，大脑其实一直在背后跑一套程序：琢磨对方知道什么、想要什么、接下来会怎么动。心理学家把这套东西叫“心智理论”。现在这些AI智能体，恰恰缺的就是它。

加州大学圣地亚哥分校的三位研究者，论文要解决的就是这件事。他们给AI加了一个“读心”模块，让它在跟人互动之前，先悄悄给对方建一份心理档案。

一、AI会“看菜吃饭”，却看不懂“菜背后的人”

GPT、Qwen这类大语言模型，聊天本事已经不小。让它们演谈判专家、客服、游戏里的NPC，都能接得住话。

可毛病出在哪儿？

**眼下的AI智能体，多靠提示词设计、记忆模块或者端到端的行为训练来提升表现，但普遍没学到一个能反复拿来用的“对方状态”表示。**

说白了，AI清楚什么话说出来显得得体，可它并不是真的在“猜你心里怎么想”，而是在模仿“得体的人会怎么讲”。这两样差得远：一个演员把台词背得滚瓜烂熟，另一个真懂角色心里那点事，前者一碰到剧本外的即兴就露怯。

论文里列了几条挺扎心的事实：对话能力再强，现有大语言模型在心智理论推理、遵守互动规范、以及复杂多智能体场景里，表现还是明显不如人。有研究甚至发现，theory-of-mind任务稍微改一改，大语言模型就直接翻车。照这个看，它们记住的可能是题型，而不是真会“猜别人在想什么”。

人之所以擅长这个，是因为会顺着有限的线索不断刷新对别人的判断。现在的AI智能体却相反，多数时候脑子里根本没有一个持续追踪“对方是谁、在想什么”的模块。它只读你刚说的那句话，然后生成回应，上一轮对方的意图、这一轮没讲出口的顾虑，很容易就漏掉了。

所谓心智理论（Theory of Mind，简称ToM），说的是人能够去揣度别人心里那些没讲出来的信念、意图和知识——这种本事，构成了人类社交智能的核心部分。

二、给AI造一个“心理建模器”：从观察到猜测再到行动

研究团队的方案，核心思路一句话就能说清：先学会“猜你在想什么”，再学会“照着猜测去行动”。

他们搭了个叫mental-model-enabled agents（心智模型增强智能体）的框架，整个系统分三步。

第一步，学一个“隐藏心理状态”的压缩表示。AI把迄今观察到的全部对话历史压成一个数学上的隐变量。这个隐变量不是随便压的，它被设计成专门去抓对方的信念、意图和思考方式。

潜在变量（latent variable）是模型在内部自己学出来的一种隐藏数值表示，它没法被直接看到，却会影响模型对行为的预测；说白了，就是AI对那些“看不见的东西”做的一种数字化猜测。

有个细节值得多说两句。研究者没用一个大而化之的向量去表示“对方的心理状态”，而是拆成两层：一层猜对方自己在想什么，另一层猜“对方认为我在想什么”。这叫递归式心智建模，对应人类心智理论里的一阶和二阶信念。

一阶信念（first-order belief）：对方对某件事本身的信念，比如“小明以为钥匙在抽屉里”。

二阶信念（second-order belief）：对方关于别人信念的信念，比如“小明以为小红不知道钥匙被人拿走了”。

拿买菜打个比方。摊上的大姐说“这菜今天刚到的，特别新鲜”。一阶猜测是：她真觉得菜新鲜，还是在哄你买？二阶猜测再进一步：她知不知道你心里正犯嘀咕？会不会因此换个说法，比如主动让你尝一口？

**要是只用一层笼统的隐变量把这两种猜测一起装进去，会怎样？论文专门做了实验：两种猜测混着训练出来的隐变量，在后头的决策任务上明显更差。原因是它分不清“对方怎么想”和“对方以为我怎么想”这两件完全不同的事，好比把两份情报塞进同一个文件夹，翻的时候谁也认不出哪条是哪条。**

再细一层，每层信念还拆成三个子空间：信念、意图、思考过程，分别对应“对方知道什么”“对方想要什么”“对方是怎么推理的”。这三样混在一起训练，模型容易学成一锅大杂烩，看着什么都能装，真用起来谁也顶不上。实验显示，拆开训练后，三个子空间之间既保持相对独立，又互有关联，就像一个工具箱里螺丝刀、扳手、钳子各占一格，拿的时候不会抓瞎。

第二步，光有一个猜对方心理状态的隐变量还不够，它得能带着AI做出更好的决策。于是研究者又训了一个“奖励模型”，任务是：给定AI猜出来的对方心理状态，去评判某个候选行动好不好。

**这里有个关键的设计思路：心理建模和奖励打分得联合训练，不能分开训。**

论文对此解释得很直接。心理模型若仅用标注数据训练，结果会是“可解释但和决策无关”——它能说清对方可能在想什么，可这些描述对做决定起不到作用。反过来，奖励模型训练时如果不被逼着依赖这个心理隐变量，它就容易只盯着回复文本的流畅度、礼貌程度这类表面特征，把对方的真实状态整个绕过去。

这有点像公司里产品经理和用户调研员各干各的。调研员交了一份详尽的用户画像报告，产品经理翻都没翻，凭感觉就把设计做了，报告写得再漂亮也是白搭。研究者的做法，等于逼着产品经理必须引用调研报告里的具体数据来做决策，调研员也得根据产品经理实际用了哪些数据，回头调整报告的内容侧重。两边互相较劲，也互相成就。

第三步，前两步训练完成后，再用这个“心理感知奖励”去训练一个独立的策略模型。训练时AI会生成多个候选回应，奖励模型逐个打分，得分高的回应会被策略模型学习并巩固下来。

训练结束之后，部署阶段就只需要这个策略模型，心理建模器和奖励模型都不再出场。

**也就是说，AI真正和人互动时是独立运作、反应迅速的，但“考虑对方心理状态”已经成了它内化的习惯。就像一个经验丰富的谈判老手，不用每次现场分析对方心理，那套直觉早就刻进本能里了。**

三、实验结果：从社交场景到议价谈判，全面开花

研究者在多个不同类型的测试平台上验证了这套方法，纯语言场景和多模态场景都有覆盖。

SOTOPIA（社交互动基准）是一个开放式多轮社交互动测试平台，角色各自持有私密目标，评测维度涵盖关系维护、知识获取、财务收益、目标完成等七个方面。

在SOTOPIA上，以Qwen2.5-7B为底座，加上心智模型训练后，整体得分从3.290升到3.856，相对提升约11.5%。更让人意外的是，知识获取和目标完成这两个“任务导向”维度的提升格外明显，而“可信度”维度几乎没降。这说明AI没有为了讨好对方而变得不像人话，它在“揣摩对方心思”的同时，依然保持了真实可信的表达。

有个细节值得单独拎出来说。研究者还测试了把这套心智模型训练出的奖励信号，直接拿给另一个架构完全不同的AI模型用。结果是：LLaMA用专门为自己训练的奖励模型得分3.541，换成Qwen训练出来的奖励模型，分数反而小幅升到3.557。这套“读心”能力学出来的，是某种可迁移、可共享的通用社交直觉，不是针对某个模型量身定制的死板规则。

好比一个资深猎头给A公司培训了面试官的“读人”技巧，这套技巧拿到B公司居然照样管用，因为它抓住的是人性共通的判断逻辑，而不是某家公司内部的土味黑话。

BigToM/ToMi（信念追踪基准）是专门考察AI能否正确追踪虚构人物真实信念和错误信念的测试集，特别考验AI能否同时答对“信念没变”和“信念已改变”两种情况下的问题。

在BigToM上，检验的是一种很刁钻的本事：同一个场景给出两个版本，一个是主角没意识到情况已经变了（错误信念），另一个是主角已经知情（真实信念），两个版本都答对，AI才算通过，这个指标被称作TB∧FB（真信念与假信念联合准确率）。

基础模型在这项考核上经常掉链子：简单的、信念没变的情况答得很好，一旦信念发生反转就容易崩，说明它其实没真正理解“信念”这个概念，只是记住了表面模式。论文数据显示，加入心智模型训练后，六项报告设置下的TB/FB联合准确率平均提升26.7个百分点。这个幅度相当可观，意味着原来答对不到一半的题目，现在能答对接近全部。

更有意思的是，这个在BigToM上训练出来的策略，拿去完全没训练过的ToMi测试集做零样本测试，平均分和联合分依然有提升。学到的不是某个数据集的套路，而是某种可泛化的“信念追踪”底层能力。

MMROLE（多模态角色扮演基准）把图像和对话放在一起做角色扮演评测，涵盖85个角色、1.1万张图片，看的是AI一边看图说话，一边能不能把角色的性格、知识和语气都维持住。

多模态这边，研究者同样把心智建模训练加到了Qwen2.5-VL（视觉语言模型版本）上。结果在最考验泛化能力的“从未见过的角色”（Out-of-domain）分组，提升最突出，从0.981升到1.019。这说明AI掌握的不只是“张三这个角色该怎么说”这种记忆，而是一种更通用的本事：认出这个角色是谁、知道些什么、该用什么口气讲话，哪怕换成完全没碰过的新角色，这套推理照样管用。

CRAIGSLIST-BARGAIN（二手物品议价基准）是一个模拟买卖双方在二手交易平台上讨价还价的真实场景数据集，考察AI能否达成合理交易。

这项测试事先没有任何专项训练，研究者直接把SOTOPIA上练出来的策略搬去谈价，等于做了一次“裸考”式的迁移检验。结果开源模型的成交率不降反升，撬单（谈崩走开）的比例也下来了。AI学到的“猜对方在想什么”并不是只服务社交闲聊这种窄场景，它被搬到了议价这种更讲策略、更讲利益博弈的场合。

四、拆开看里面装的是什么：几个让人意外的消融实验

论文里有一组对照实验值得多说两句，因为它回答了一个很直接的疑问：这个心智模型学到的东西，真的是在“猜测对方心理”吗？还是说，它只是把历史对话压缩了一下，看起来高深，实际上没多学到什么？

研究者还专门练了一个对照组：普通变分自编码器（VAE），只做压缩重建，没针对心理推理和奖励打分做过训练，参数规模和心智模型一模一样。接着他们做了个挺有意思的“扰乱实验”：把训练好的隐变量在样本之间随机打乱，再看奖励预测会不会跟着变。

结果很有意思：打乱普通压缩VAE的隐变量，奖励预测几乎不受影响；打乱心智模型的隐变量，奖励预测直接乱套。

打个比方，两个人各自拿着一份"客户资料总结"。其中一份是秘书随手记下的流水账，另一份则是销售经理专门整理、用来判断要不要给客户折扣的依据。把流水账搅乱，销售经理该报什么价还报什么价，因为她根本没真靠那份记录。可要是把决策依据搅乱，报价立马就乱，因为那份文件里每条信息都确实参与了判断。这个实验直接说明，心智模型里装的是真正影响决策的"决策依据"，而非可有可无的"摘要信息"。

要是这个心智隐变量只负责压缩信息、并不服务于决策，那整套方法就立不住了。研究者之所以肯花这么大篇幅去验证这一点，原因也在这里。

监督数据量的敏感性测试还有个有意思的结果。研究者仅用25%的心理状态标注数据训练，整体得分就从基线的3.300升到3.650，涨幅已经相当明显；用上全部标注数据后，分数又进一步升到3.856。这意味着这套方法并不需要海量且昂贵的人工标注才能生效，标注数据有限时模型照样能学到有用的东西。对实际落地来说这是好消息，毕竟高质量的心理状态标注本身就便宜不了。

论文还做了"隐变量轨迹探测"实验，专门验证隐变量里确实编码了有意义的方向。研究者先用线性探针找到一个代表"对方是否知道某件事"的方向，再沿这个方向对隐变量做轻微扰动。结果不光"知道/不知道"的分类预测跟着变，奖励预测也出现了系统性变化，哪怕奖励模型从未直接拿这个标签训练过。

可见隐变量学到的方向并非巧合，它跟决策之间确实存在有机联系。另一个类似实验是沿"提出报价"这个策略方向做扰动：往这个方向推进时，模型越来越倾向于把当前情境读成"该出手报价了"，而且这种变化更多落在二阶层面（也就是"揣测对方会怎么反应"），而不是一阶。这说明提议报价这类策略性强的行为，确实更依赖对"对方会如何回应"的预判，跟我们对谈判逻辑的直觉理解是吻合的。

五、这事还没完：局限性在哪

研究团队也坦承了目前工作的边界。他们训练用的场景基本是两人对话，也就是"一个AI猜一个对手"的双人局面。真实世界更复杂的多人场景，比如一群人开会、一群玩家博弈，怎么同时追踪多个人的心理状态、又区分清楚谁知道什么谁不知道什么，难度更高。论文用FANTOM这个多方信息不对称的测试集做了一次零样本迁移测试，结果显示即便没专门训练过，这套方法在二阶信念预测上的表现（52.2分）仍优于基线（49.7分）和纯监督微调版本（41.4分）。这算初步的积极信号，但完整的多方训练体系还没搭起来。

论文还提到，这套方法目前主要在语言和图文场景里验证，尚未扩展到机器人、具身智能这类时间跨度长、物理约束不断变化的场景，这是未来值得探索的方向。

写在后面

读这篇论文时，让我停下来反复想的，是那个"扰乱实验"的设计思路。很多AI论文证明方法有效，靠的是"加个模块，分数变高"这类正向证据；这篇却特意设计了一个"故意把东西搞乱，看会不会出问题"的反向验证。这种思路更接近科学实验里的"排除法"：与其证明我的方法多厉害，不如证明一旦去掉这个核心假设，系统真的会崩。这种自我质疑式的验证，比单纯堆正面数据更让人信服。

还有一个现象值得单独拎出来讲。研究里发现"二阶信念方向在报价策略里参与得更多"，这背后其实透出一层意思：一件事越需要策略和博弈，它调动的心理推演层级就越深。生活里也是这样，闲聊天不必费太多心思去猜对方，可一进谈判、博弈、利益交换的场合，脑子里转的就不只是"对方在想什么"，还会往下追一层——"对方怎么猜我的想法，我该怎么接"。AI训练出来的隐变量结构，竟然自己长出了人类社交认知里的这种分层。研究者并没有专门去设计它，它是在训练过程中自行浮现的规律。

这让我想问一个论文里没有直接回答的问题：如果AI真在越来越多场景里学会了"揣测你在想什么"，这种能力的边界该画在哪里？客服机器人揣测你的真实需求是贴心，可换成一个专门设计来说服你多消费的销售机器人，用同样的技术去猜你此刻的心理弱点呢？论文作者在风险声明里也提到了类似担忧：这项技术既能用来做更懂你的助手，也可能被用来做更会操纵你的工具。这把双刃剑，刀刃朝哪边，恐怕不是技术本身能决定的事。

Q&A

Q1：Mental-Models for Multi-Agent Systems这篇论文解决的核心问题是什么？

A：论文指出，当前AI智能体对话能力虽强，但普遍没学到一个可复用的"对方心理状态"表示，导致它们在谈判、合作等多智能体互动中容易误判对方意图。研究者提出心智模型增强智能体框架，让AI先学会推断对方隐藏的信念、意图，再据此指导行动决策。

Q2：心智模型增强智能体在实际测试中效果如何？

A：在SOTOPIA社交互动测试中，Qwen2.5-7B模型加入该方法后整体得分从3.290提升到3.856；在BigToM信念追踪基准上，六项设置下真假信念联合准确率平均提升26.7个百分点；在议价谈判等未专门训练过的场景中也表现出良好的迁移能力。

Q3：这套心智模型训练出来的能力能不能用在不同的AI模型上？

A：可以。论文里做了跨模型迁移实验：用Qwen训练出的奖励模型，直接拿去训练LLaMA模型，性能没掉，还略有提升。这说明这种"读心"本领有一定通用性，也能迁移到别的模型上，并非只针对某一种模型架构定制。