MIMESIS：AI扮演用户失真，智能体成功率差近20个百分点

训练会聊天的AI助手时，那个负责“扮演用户”的角色该由谁来演？这问题看着不起眼，其实很要命。

研究人员的观察是，几乎各家团队都走同一条路：挑一个现成的、很聪明的助手类大模型，比如GPT或Claude，让它装作普通用户，去和正在训练的AI对谈。听起来挺合理，毕竟这些大模型什么都懂，演谁都像。

麻烦恰恰出在这。大模型的天性是乐于助人、表达清晰、逻辑严密、有问必答。真人用户呢？话可能说不清楚，需求懒得解释，心里有标准却不肯讲，被问烦了就甩一句“随便吧”。差得这么远，练出来的助手一到真实场景就露怯。

论文里有个数据挺扎心。研究者让同一个GPT-5.5智能体跑同一批任务，分别配三种“用户”：真人、三个顶级商业大模型假扮的用户、几个开源小模型假扮的用户。

配真人用户时，这个智能体的任务成功率是63.6%。换成三个顶级商业大模型扮演用户，成功率飙升到82.4%到84.4%，高出近20个百分点。换成普通开源小模型来演用户，成功率反而暴跌到45%到48%左右，又低了快20个百分点。

这说明什么？

说明拿来训练和评估AI助手的那个“假用户”，本身就在扭曲任务难度。聪明的大模型当用户，等于给智能体开“简单模式”；笨的小模型当用户，又成了“地狱模式”。两种情况下你以为在测AI的真实能力，其实测的是一个被严重扭曲的幻象。

好比教练想测篮球运动员的真实水平，却找了两个完全不靠谱的陪练：一个让球给他投，另一个故意把球抢走还不传球。哪种陪练都测不出运动员面对正常对手时的水平。拿这种扭曲结果决定要不要招进职业队，很可能招错人。

Meta超级智能实验室的这篇论文就是冲着这个问题来的。他们训练了一个专门“扮演用户”的模型，叫MIMESIS。这个名字在希腊语里是“模仿”的意思。它的核心野心是：既要像真人一样说话，又要当个靠谱的训练环境，让在它身上练出来的AI助手真能应付五花八门的真实用户。

真人说话，到底藏着什么我们没看到的东西

训练一个“说话像人”的模型，最直接的办法是什么？收集大量人类和AI助手的真实对话记录，让模型学习“在这种上下文下，人类接下来会说什么”。

这个办法听起来天经地义，但有一个致命的盲区。

你只能看到人说了什么，看不到人为什么这么说，也看不到人心里对AI刚才的回答是满意还是不满意。

对话记录本身是哑的。它记下了表面的文字，却丢掉了背后的动机、情绪和真实反应。假如一个人问完问题，心里想的是“这AI回答得真啰嗦，我都没耐心看完”，嘴上只打了一句“好的谢谢”，那从记录上看这就是一次愉快互动，但事实并非如此。

研究者为了填补这个空白，用了一个叫ThoughtTrace的数据集。

ThoughtTrace把人类用户的“内心独白”记录了下来：每一句用户说的话旁边，都配上这个人当时为什么要这么说、以及对AI上一句回答的真实感受。

MIMESIS 每生成一句“用户话”，都会先写一段私密思考，这段内容只有模型自己看得见。好比演员登台前在心里默念一遍：这话该怎么讲、该带什么情绪，想明白了才开口。这段思考在训练完成后不会出现在正式对话里，对方看不到，可它决定了说出口那句话的质地。

这里有个很有意思的发现，值得单独说一说。

研究者先用普通的人类对话数据去训练模型学说话，结果出现了一个意外的副作用：模型原本有的“先想后说”的推理习惯被压没了。

预训练好的大模型碰上问题，习惯先想上几百个字再作答；训练一轮下来，却变成张口就甩一两个字，推理本事几乎丢光。论文里研究者拿一个叫 Mistakes 的测试把这事摆了出来：预训练模型原本能答对 60.7%，中间训练后跌到 25.7%，再补强化学习微调也只爬回 36%，此时模型作答前的中位数仅一个字。直到加上 ThoughtTrace 的推理监督，准确率才重新站上 63%，中位字数也回到 583 个字。

这就像一个原本做事肯琢磨的员工，被公司按“快速回复客户邮件”的要求练了几个月，结果成了只会回“收到”的机器。光调语气救不回那份思考能力，除非专门再教他一遍怎么去想。

MIMESIS 最后定下的路子是：先让模型学会“用户角色”的讲话方式，再单加一道工序，用 ThoughtTrace 把丢掉的“内心思考”补回来，最后才做强化学习。这样推理能力才算真正留住。

13种“难搞”的真实用户行为，是从哪来的

光有真实感的说话方式还不够。真人用户之所以难搞，不只是因为语气口语化，更因为他们会表现出各种“不配合”的行为模式。

研究团队拿ThoughtTrace里的真实对话做底料，让大模型逐条打标，挑出862条带着"不配合"味道的用户行为；第二轮再做归并梳理，最终留下13种有代表性的真实用户行为模式。

这13种里头，出现频率最高的一种叫"隐藏评价标准"，占到全部标注样本的40.7%。说白了，用户心里早就有一把自己的尺子，却从不在提问时讲出来。比如让人帮忙订机票，心里只认直飞，嘴上不提，等对方给出转机方案才甩脸色。

其余几种也不少见："逐步加码的目标"占13.4%，说的是活儿干到一半，用户突然追加条件或者把要求收紧；"拒绝配合澄清"占11.1%，对方想多问一句，用户偏不正面答；"突然转移话题"占8.9%。论文附录里堆了不少真实例子：有人心里想的是"我不喜欢被问选项，我喜欢它自己判断"，嘴上却一个字没说；还有人先讲"我周四在办公室待四天"，隔几句又改口"我计划周一三五去办公室"，前后打架自己都没察觉。

听着像是在刁难人，研究者却专门解释过：这不是存心找茬，现实里信息本就不对称，人的注意力有限，表达也常常不精确，这些行为是自然长出来的。

他们把这13种行为包装成一个强化学习任务，场景放在客服对话系统上，用的是ABCD客服数据集。MIMESIS要跟一个固定的客服AI对聊，并按指定的行为类别演出相应的真实感。打分看四件事：行为有没有真做出来、做的时机对不对（像"加码目标"这种，该落在对话中后段，一开场就甩出来不行）、整段对话自不自然、以及有没有守住场景设定的基本事实。

有个细节挺耐人寻味。训练早期，模型有41%的尝试是直接把行为"说"出来，而不是"演"出来，比如冒出一句"作为一个沮丧的客户，我现在要……"。这等于把剧本念给对面听，人根本没进角色。研究者为此单设了一条规矩：一旦识别出这种自我剖析式的表演，奖励当场减半。

打个比方，导演喊"你演一个生气的人"，演员却站到镜头前说"我现在很生气"，表情语气一概不用。观众一眼就看穿是在背台词。这种"说而不演"的毛病若不专门罚，模型很容易图省事走捷径，拿说明替代表演。

训练落地后，三个独立评测基准都给出了变化：RealUserSim从92.3分升到94.0分；τ-USI从73.9分蹿到80.2分，涨了6.3分，是三项里涨幅最大的；SimulatorArena从41.0降到38.7，这项越低越好，意味着更难被认出是AI。

练完的MIMESIS究竟有多像真人？前面讲了一堆训练细节，最终成色还得看评测。论文摆了四套体系交叉验证，这个设计本身就有讲究。

"像真人"其实能从好几个角度拆开看：说话风格像不像、整段对话的行为节奏像不像、跟真人在同一任务上的难易表现是否一致、以及裁判能不能一眼从对话里揪出你是AI。这四件事未必捆在一起，风格学得再像，互动节奏也可能完全走样，所以要分开测。

头一套叫SOUL-Index，覆盖对话互动、社交模拟、认知理解、角色扮演、评价判断五个维度。MIMESIS-9B（90亿参数版本）总分65.7分，压过Claude-Opus-5的64.9分和GPT-5.5的64.1分，也把开源的Osim-8B（58.8分）甩开一大截。单项最亮眼的是对话互动，75.1分，比当前最强基线高出13.4分。

第二套RealUserSim PT3盯的是一整段对话的行为节奏跟真人合不合拍，不只看单句像不像。MIMESIS-9B在这里拿到94.0分，比第二名Claude-Opus-5的80.6分整整多出13.4分。拆到细项，差距最悬殊的是"互动与信息流动"（91.3分对69.5分）和"节奏感"（91.2分对72.5分）；"人物设定一致性"一项大家其实都逼近满分。可见真正拉开距离的不是表面人设，而是对话怎么展开、以什么速度展开。

第三套τ-USI的设计颇巧妙，除了看说话风格，还引入ECE来衡量用户模拟器有没有"把任务难度带偏"。ECE全称期望校准误差，算的是同一个AI助手面对模拟用户和面对真人时，任务成功率相差多少；差得越小，说明这个模拟用户越能还原现实世界的任务难度。

MIMESIS-9B在这一项做到0.069，远低于Osim-8B的0.135和GPT-5.5的0.188。换句话说，拿它去测一个AI助手，得到的成功率曲线比用其他任何模拟器都更贴近真人实测的结果。回到开头篮球陪练那个类比，MIMESIS就是最像正常对手的那个陪练，用它量出来的运动员水平才靠得住。

第四套SimulatorArena专看"会不会被裁判识破"。有意思的是，这项排名跟前面的风格打分完全对不上。Claude-Opus-5风格分拿到3.92（满分5分），是所有模型里最高的，可到了识破检测上反而不如MIMESIS。MIMESIS-9B的Turing距离只有38.7（越低越好），在所有被测模型里垫底。

这透出一个反直觉的现象：一段对话读起来"风格很到位"，并不等于它真的难被认出是AI。风格打分盯的是局部措辞得不得体，识破检测看的是整体气质，两者完全可能各走各的。

接下来，就是把这个练好的用户模拟器，拿去真正训练一个AI助手。

前文讲的是怎么训练出一个像真人的用户模拟器，但论文的落点并不在此。研究者随即做了更关键的一步：把训练好的MIMESIS冻结住，当成一个固定的训练环境，再去训练另一个真正要上线干活的AI智能体。

这套思路的出发点很直接：假如MIMESIS确实比其他候选者更贴近真实用户，那用它陪练出来的智能体，在面对各种陌生的真实用户时，表现理应更稳。

验证方式是这样：研究者采用一套名为UserRL的多轮强化学习框架，让智能体与冻结的MIMESIS反复对话，依据任务完成情况获得奖励信号，并据此不断调整策略。随后，他们拿出九种从未出现在训练过程中的"陌生用户模拟器"来做测试，其中包括GPT-5.6、Claude-Opus-5、Claude-Sonnet-5、Gemini-3.8-Flash、Kimi-K3等商业模型，以及几个开源模拟器。

结果，在其他训练流程完全一致的前提下把GPT-5.5换成MIMESIS-9B之后，智能体面对全部九个陌生测试用户的平均分从26.10分升到29.54分，并且九个用户模型无一例外全部提升。其中涨幅最小的是Claude-Opus-5那组，涨了1.46分；涨幅最大的是Gemini-3.8-Flash那组，涨了4.55分。

这说明什么？用更接近真人的模拟器训练出来的智能体，泛化能力确实更强，并非只对训练时那个模拟器碰巧表现好。

借用户的"心里话"，教AI怎么调整

MIMESIS能生成那段只有它自己看得到的内心思考，那这段信息除了用来把回复写得更自然，还能不能派上别的用场？

为此，研究者设计了一个新方法，名字叫CSD。

CSD（教练式在线自蒸馏）是一种训练方法，利用用户模拟器生成的私密想法和后续反应，反过来给AI助手提供反馈。具体做法是：先让智能体正常产出一个回答，再看用户模拟器怎么想、怎么回应，接着由一个"教练模型"把这些信息归纳成一条简短的改进建议，然后让带着这条建议的"老师版"模型给原来那个回答重新打分，最后用这个分数去指导智能体学习。

这套设计有个巧妙之处值得单独说一说：它不是让AI另外生成一个更好的回答，而是对已经生成的那个回答重新评估打分。

打个比方，学生交上一篇作文，老师没让他重写，只在作文旁边批了一句："这段其实没回答到读者真正想问的问题"。依据这条批注，老师重新审视这篇作文哪些句子写得好、哪些写得差，再把评判结果反馈给学生，让他下次写的时候心里有这根弦。学生交作文时看不到这条批注，批注只在"复盘"阶段起作用。

论文里有个具体例子很能说明问题。场景是一个叫PersuadeGym的说服类任务，智能体被要求说服用户反对"强制企业披露气候影响"这一观点，可它实际的回复却一直在强调透明度和披露的好处，等于帮了倒忙，压根没按分配到的立场去argue。模拟用户的内心思考捕捉到了这一点，在私密想法里写道"说服者好像只是在重复我们已经讨论过的观点"。教练模型把这条线索提炼成一条具体建议：下一句话应当先承认透明度的价值，再转去质疑是否真有必要用法律强制手段达成这个目标，可以从执行成本或合规负担切入。

这条反馈，智能体在生成那句回复时是看不到的，只在训练阶段的打分环节才会被用上。也就是说，上线之后智能体照旧只凭当下的对话历史自己说话，拿不到任何额外提示，这条"内心旁白"只存在于训练的后台。

把CSD叠加到用MIMESIS训练的流程上之后，九个陌生测试用户的平均分又从29.54分升到31.09分，而且依旧是九个用户全部提升。研究者还专门做了对照实验：固定使用同一个MIMESIS作为训练用户，只看加不加CSD这套教练机制，结果显示在训练过程的后半段，用了CSD的验证奖励曲线明显一直压在没用CSD的曲线上方。

研究团队还专门测过换成其他训练用户（DeepSeek-V4.1-Flash和Kimi-K3）的情况，发现CSD带来的这份提升并非只为MIMESIS量身定做的巧合，换个训练用户照样有效。

那个识破不了的模拟器，有没有破绽

当然，这项研究也不是毫无瑕疵。研究者在论文最后坦率地讨论了几个局限。

行为条件的设定，第一种局限在于容易校正过头。论文附录记录了一个很典型的翻车案例：零售场景中，用户被设定为“注重隐私、不愿透露信息”，可要改订单又得先通过身份验证。真人用户起初确实有些抗拒，反问了一句“你为什么需要我的名字和邮编”，不过最后还是把信息交了出去，任务照常完成。换成MIMESIS-9B之后，它对“不愿透露隐私”这条设定几乎执行到了死心眼的地步——整段对话聊了七轮，始终不肯提供身份验证需要的信息，末了还提出转人工客服。跟真人的实际反应相比，这个表现已经走得太远了。

也就是说，让AI扮演某种“性格特征”，这种设定有被放大的风险。训练者没办法保证每次执行都恰好落在“真实”与“失控”中间的那条线上。

还有一个问题出在模拟器不肯配合扮演角色。研究者拿Claude-Opus-5跑PersuadeGym任务测试时发现，这个商业模型在全部672轮对话中，每一轮都返回“拒绝”状态码，没有产出任何实际内容。说服类任务的奖励机制看的是“用户立场有没有改变”，模拟器一旦罢工不开口，系统的保底机制就会把奖励直接归零，智能体那边表现再好也没用。

论文特意提醒读者：表格中Claude-Opus-5对应的那些0分数据，说明的是模拟器拒绝合作，不能拿来证明智能体本身能力不行。这个细节要是不加说明，读者很容易被带偏，得出错误结论。

写在后面

读完这篇论文，最触动我的其实不是那些漂亮的分数提升，而是开头那张图里展示的那个数字反转。

同一个GPT-5.5智能体，对上真人用户时成功率是63.6%；一旦让顶级商业模型来冒充用户，这个数字就冲到82%以上。落差摆在这里，难免让人回头追问：这些年刷屏的AI评测榜单，有多少分是打在这种"虚高"的互动上？

顺着这个思路再想一步：假如一个团队拿自家最聪明的大模型给自家产品当陪练用户，测出来的分数会不会从起点就掺了水？这算不上技术难题，倒更像评测方法论里一个极易被忽略的坑。

另一个让我反复琢磨的细节，是"推理能力被训没了又训回来"那段小插曲。研究者没有刻意渲染，只是平平淡淡地写：中间训练时模型变傻了，后来多花了一道工序把它救回来。这背后其实指向一种更常见的现象——拿某种特定格式的数据去微调一个本来挺聪明的大模型，很容易神不知鬼不觉地把某些原有能力磨掉，而这类损失往往要等到后头某个环节出岔子才暴露。模型的能力版图，比我们想的要脆弱。

还有个问题正文里没展开，却一直在我脑子里转：MIMESIS学会的那13种"难搞行为"，说到底是从一批已经被标注、被归类、被打包成训练信号的真实对话里提炼出来的。

可真实世界里人的"难搞"，会不会远比13种类别所能覆盖的更丰富、更混乱、更没规律？哪天某个真人用户冒出一种完全不在13类里的新行为，这个训练出来的模拟器会不会反倒因为"太熟已知套路"而显得生硬？这个问题论文没有回答，可能也没法回答。但它值得被继续问下去。

Q&A

Q1：MIMESIS是什么？

A：Meta 超级智能实验室训练出的 MIMESIS 是一个用户模拟器模型，分为 4B 和 9B 两个参数版本。它的用途是在训练 AI 智能体时扮演真实用户；相比直接拿现成大模型来假扮用户，它更接近真人的行为模式。

Q2：为什么不能直接用GPT或Claude来模拟用户？

A：助手类模型本身就更容易表现得乐于助人、表达清晰，可真实用户往往说话含糊、没耐心，甚至把需求藏起来。论文实验给出的结果是：让这类模型当用户，任务成功率会虚高近 20 个百分点，真实任务的难度因此被严重扭曲。

Q3：CSD是干什么用的？

A：CSD（教练式在线自蒸馏）的做法，是把用户模拟器产生的私密想法和之后的反应转成一条教练建议，再拿这条建议给 AI 已经生成的回答重新打分，用打分结果指导训练。智能体部署时看不到这条建议。