AI假扮问卷受访者：新技术为何不如几十年前的统计模型？

假设让AI扮成某个人，去填一份心理学问卷，它能装到多像？这已经不只是脑洞。真有研究团队在试，还动用了一类专为此生的新技术。这次要说的论文，就是两位研究者对这件事的系统检查。结论有点扫兴：看着很强的新技术，实际表现还不如几十年前就有的一个统计模型。

**决策模型：一种听起来很美好的新发明**

先看这项新技术到底是什么。

决策模型*：指通过统一接口调用的一类语言模型。它读入一段描述（比如某个人的档案），再面对一组问题，直接给出每个选项的概率，而不是写出一段文字。

比方说，你问它“这个人选‘非常同意’的概率有多大”，它不会回“我猜这个人会选非常同意”，而是直接给个数，比如0.53，意思是它“判断”这个人有53%的可能选这一项。

这个思路其实挺巧。以前让AI模拟填问卷的人，得先让它生成文字回答，再想办法从文字里解析出选了几分。这步特别容易出岔子，模型可能绕半天不给准话，也可能前后不搭。决策模型跳过了这一环，直接给干净的概率分布，还省下生成废话的开销，一次请求能同时问六十多个问题。

像去餐厅点菜。旧办法是服务员拿一张写满菜名的纸，让你口头说想吃什么，他再根据你的描述猜你要哪道，猜错还得再沟通。决策模型相当于直接递给你一张选择题菜单，每道菜后面标着“顾客选择概率”，数据一眼可见，不用猜。不这么设计会怎样？论文提到，传统生成式模型确实偶尔解析失败、拒答，或者生成一堆无关的推理，决策模型这边没有这些问题。

听起来该是大胜？干净、便宜、快。但研究团队测完发现，事情没这么简单。

**先搞清楚这次测试到底在测什么**

团队用的是一份立陶宛的组织心理学问卷，共有二百六十三名真实员工填过。问卷含四个量表、六十八道题，覆盖工作表现、对变革的态度、变革投入度和工作投入感。

**他们从这二百六十三名真实回答者中挑出一百人，把这一百人的基本信息（年龄、性别、职位、教育程度等十一项）喂给各种AI模型，看AI能否据此猜出这个人大概会怎么填这份问卷。**

评分标准叫心理测量相似度分数，简称PSS。

PSS*：一个综合评分，由五个部分加权构成，分别衡量答案分布的相似度、题目之间相关性模式的相似度、量表内部一致性的相似度、中介效应的相似度，以及人口特征对结果影响方向的一致性。

五项凑在一起，要回答的核心是：AI生成的那群“假人”的答案，像不像真人？看的不是单题对错，而是整体统计特征是否吻合。

团队测了十四个决策模型（来自十一个不同的服务商）和四十七个常见的生成式语言模型，还拿几个统计学基准模型做对照，其中最关键的一个是高斯联合分布模型。

高斯联合分布模型（也叫Copula模型）*：一种纯统计学方法，不理解问卷内容，只根据已有真人数据里各题目之间的相关性，生成符合同样统计规律的新数据。

这个模型完全不“理解”问卷在问什么，就是个数字游戏，靠真人数据的统计规律拼出新答案。听着有点笨，但它恰恰是整篇论文最大的悬念来源。

**最好的AI，也只能打平一个不懂问卷内容的统计模型**

来看最扎心的发现。

四十七个生成式语言模型里，最好的是MiniMax M3，拿到0.813分。满分是1，这分数看着不差。

可问题来了。那个什么都不懂、纯靠统计规律硬凑的高斯联合分布模型，只要用这一百人之外的其他真实数据训练（也就是完全没见过这一百个要被模拟的人），照样能拿0.824分。

也就是说，最聪明的AI语言模型拼尽全力去理解一个人的档案、去“扮演”这个人填问卷，最后竟追不上一个压根不知道问卷在问什么的统计公式。而让这个统计模型直接在这一百人的真实数据上训练（等于作弊，看过答案），它能冲到0.927分，把所有语言模型甩开一大截。

好比请一位很博学的翻译，凭一个人的护照信息（国籍、年龄、职业）猜他今天中午想吃什么，准确度却不如一台什么都不懂、只靠“这家餐厅过去一百份订单里各道菜被点的比例”瞎蒙的点菜机。若语言模型真理解了人类心理和行为模式，本该超过这种纯统计拼凑，可实验结果说，它没做到。

回到开头那个问题：AI装人填问卷，能装多像？这次体检的答案是，概率给得挺高，但离“有效”还差一截。

研究团队还做了另一组对照：另找一百个真人，把他们的真实作答与这一百人的答案放在一起比。结果这第二批真人的得分，反倒低于表现最好的AI模型。

换句话说，在一百人这个样本规模上，这套评分体系压根分不出顶尖的语言模型和真人。

这并不代表AI已经和人一样强。样本量就这么大，噪音压过了信号，比较本身也就失去了意义。

**换一种读数，分数就变了样**

决策模型主打的卖点是输出概率分布，而非单一答案。问题随之而来：同一组概率数字，换一种方式折算成“一个答案”，结果会不会不同？

研究者试了三种折算方式。其一是四舍五入期望值：对概率分布做加权平均，得出期望分数，再四舍五入到最近的整数选项。其二是最可能类别：直接取概率最高的选项。其三是抽样类别：按概率随机抽一个选项，重复五次后取平均。

三种读法算出来的分数，差距相当大。

以决策模型Jev为例。按第一种四舍五入方式读数，得分0.681，在决策模型里排第一，可放进四十七个生成式模型的榜单只能排到第27。换成第二种“最可能类别”读法，分数升到0.786，足以挤进生成式模型榜单前五。

这好比考试改卷。同一张答卷，老师按“四舍五入”规则判是75分；换一条规则、按“选最高概率答案”判，同一张卷子就成了90分。学生并没有答得更好，变的是改卷规则。研究者指出了其中的风险：**分析师若先看遍所有打分方式的结果，再挑对自己最有利的一种来展示，这就留下了暗箱操作的空间，让人误以为模型表现提升了，其实只是选了有利的统计口径。**

论文的建议是：读数方式必须在看到结果之前就定下来，不能看完数据再挑。

**概率向量里究竟装了什么**

研究团队随后做了一件细致活：把决策模型返回的概率向量拆开，看看里面到底藏了哪些信息。

拆开之后，出现了一个有意思的分裂。

把一百个人的概率向量做平均，得到的分布与真实人类的答案分布相当接近，JS散度（衡量两个分布差异的指标，数值越小越接近）只有0.037到0.156，比直接看四舍五入后的答案（0.218到0.411）精准得多。

**也就是说，决策模型对“整体人群会怎么答”判断得相当准。**

可一旦追问“这个概率向量能不能分辨出不同的人”，答案就没那么乐观了。向量中真正随不同respondent变化的部分，只占0.024到0.304。换句话说，大部分信息反映的是“全人群平均水平”，只有很小一部分是“这个具体的人跟别人不一样的地方”。

**模型的平均画像很准，预测单个具体的人却经常失准，原因就在这里。**

这就像一个天气预报员，能精准告诉你“这个月平均气温是多少”，可你问他“明天具体几点下雨”，他的答案就开始飘忽。平均值和个体预测是两件事：前者容易做对，后者才是真正的挑战。

**预测单独一个人，AI还不如“随便猜别人的答案”**

这是整篇论文里最直白的一个结论。

研究团队设计了一项测试：拿决策模型给出的概率向量，去预测这一百个具体的人实际怎么答题，看准不准。他们用的指标叫排序概率得分。

排序概率得分（RPS）*：它是一套严格合规的打分办法，预测者如果如实体现自己判断中的不确定性，就能拿到更高分；反过来，假装有把握或方向判断错了，都会被扣分

他们把这个得分与一个极简的对照组相比：完全不管这个人的档案，直接用问卷里其他一百六十三人的答案频率分布，来预测此人会怎么答。

结果，十四个决策模型，无一例外，预测表现都输给了这个简单粗暴的“猜平均”策略。差距从6%到55%，中位数差了20%。

这个结果多少有些出人意料。模型明明已经看过这个人的档案，年龄、职位、教育程度、变革感知强度这些信息都在手上，最后还是输给了完全不看任何个人信息、只知道“大家平均怎么答”的策略。

研究者接着往下拆，发现问题并不在于模型没用档案信息。真正的症结有两处：一是模型自己给出的“平均答案”本身就偏了，跟真实人群的平均答案对不上；二是它把人与人之间的差异拉得过大，比真实差异还夸张。打个比方，一个班平均身高165厘米，大家差不多高，方差很小，可要是老师凭感觉乱猜，把每个学生的身高估得忽高忽低，误差反而比“所有人都是165”更大。这种过度自信的预测不先校准回来，造成的误差比什么都不预测还严重。另外，把每个人的档案字段直接丢进最简单的统计回归模型（逻辑回归）去预测答题，这个简单回归比起“猜平均”也只提升了1.0%。

换句话说，年龄、性别、职位这十一个档案字段，对预测一个人具体怎么答题，能帮上的忙非常有限。

这也解释了为什么决策模型也好、生成式模型也好，靠这些档案去“扮演”某个具体的人，都注定吃力。线索本身就不够，不是模型笨，是题目给的信息太少。

题目之间的关联，AI模仿得像不像

心理学问卷有个特点：题目之间并不孤立。一个对工作充满热情的人，通常在“投入感”量表的好几道题上都会给出方向一致的高分。这种题目间的相关性模式，是衡量AI模拟质量的一个重要维度。

决策模型在这方面表现不佳。研究者找到了一个很直接的技术原因：决策模型对每道题是独立生成概率分布的，题目之间没有一个共享的“respondent状态”把它们串起来。打个比方，这就像十个面试官分别单独面试同一个候选人的十个不同方面，彼此不通气，最后拼出来的画像，各个维度之间很难呈现出应有的内在联系。

为了验证这个猜测，研究者做了个检验：单独训练一个“档案回归模型”，只用那十一个档案字段去预测每道题的答案，看光凭档案信息能撑起多强的题目相关性。结果，这个纯档案模型的相关性得分只有0.23左右，而十四个决策模型里有十二个都比它好。

这说明决策模型确实找回了一部分题目之间的关联，但跟大多数生成式语言模型比，还差得远。

更深一层的问题在于，决策模型捕捉到的那点关联，主要是一种“整体水平”效应：一个人在某道题上答得高，它就倾向于让这个人几乎所有题都答得高，而不是精细区分出“这个人在投入感维度上高、在变革态度维度上普通”这种差异化模式。用因子分析的术语说，第一主成分（也就是“整体水平”那个方向）在决策模型的答案里占了52%到85%的方差，真实人类数据只有28%。

说白了，模型学会了判断“这个人整体积极还是消极”，却没学会“这个人在哪方面积极、哪方面消极”这种更细的结构。

新版本的AI，反而不一定比旧版本强

论文里最让人意外的发现之一，跟模型迭代有关。研究团队原本假设，新发布的AI模型应该比旧版本表现更好，毕竟厂商一直在喊“性能提升”。实际测下来完全不是这么回事。

在十条可比较的产品线里（比如Claude Opus系列、GPT系列、Kimi系列），有五条产品线的最新版本得分明显低于上一代，差距超出了统计噪音范围。没有一条产品线的新版本显著超过老版本。

具体看例子：Claude Opus 4.7得分0.789，升级到Claude Opus 4.8掉到0.740，再升到Claude Opus 5.5直接掉到0.606，一路下滑没回头。Kimi K2.7 Code得分0.802，到了Kimi K3只剩0.641。

这就好比你买了部新手机，厂商说拍照更清晰、性能更强，结果实测拍人像的还原度还不如上一代。研究者猜测，这或许跟厂商训练时越来越倾向于让模型给出“温和”“中立”“不极端”的回答有关。这种倾向对日常聊天助手是好事，可放到需要模拟真实人类情绪起伏和立场差异的问卷场景里，反而成了伤害。研究者发现新版本模型的答案分布确实更窄、更集中，极端答案比例更低，这跟“模型变保守了”的猜测对得上。

要不是专门做这种对比测试，研究团队很可能默认“升级模型总是更好”，换了新版本接口却完全没察觉，手里的合成数据质量其实已经在悄悄下滑。

同一个模型，换个接口，表现天差地别

论文设计了一组颇为巧妙的对照实验：GPT-6 Luna 这个模型对外给出两种接口，一种走常规生成式路线，由它写出文字作答；另一种是决策模型接口，直接返回概率。同一个模型名字、两套接口，表现会拉开多大差距？

答案是：相关性结构这一项，生成式接口得分0.566，决策接口只有0.339，差了0.23分，超出噪音范围。换句话说，同样一个模型，仅仅因为被要求换一种方式回答问题，它还原题目间关联模式的能力就出现了明显分化。

打个比方，同一个厨师炒同一盘菜，换成微波炉来做，味道能差出一大截。厨师的手艺没变，变的是做菜的方式，而方式本身就决定了最后端上来是什么样。

档案信息一改，AI的反应像不像人

研究者另外做了一组“反事实”实验。他们从同一百个人的档案里偷偷改掉某一项，比如“管理层”改成“非管理层”，“大学学历”改成“中学学历”，“女性”改成“男性”，再看AI给出的答案会不会跟着动，动的方向和幅度跟真实人类数据里的差距比，合不合理。

结果是这样的：职位从非管理层换成管理层之后，决策模型确实把“对变革的态度”“投入感”这些分数往更积极的一边推，方向和真实人类数据里管理层通常更积极的走势对得上。可幅度呢，中位数只有0.22个标准差，真实观察到的人类职位差异是0.46个标准差，**整整差了一半。**

性别字段换掉以后，决策模型和生成式模型都几乎没有出现有意义的变化。这一点倒是在意料之中，真实数据里性别对这些心理量表本来就没有显著影响。

这组实验说明，决策模型确实在“读”档案信息，并非完全无视。但它读出来的反应强度偏弱，档案信息里那层社会学含义没有被充分放大。

花了多少钱，换回来什么

研究里有个挺朴实的细节。整个决策模型实验，十四个模型、一百个人、六十八道题，全部测试跑完只花了1.27美元。

作为对照的生成式模型实验，跑新发布的那十一个模型，花了15.05美元。

决策模型便宜了十倍以上，这确实是它最实在的用处——不用生成冗长的文字，只要返回数字。但前面那些分析已经说明，便宜不等于好用：题目相关性结构、单人预测准确度这些关键维度上，它既没赢过贵得多的生成式模型，也没赢过完全不花钱、不调用任何AI接口的统计模型。

论文的态度挺克制。它没说决策模型没用，而是提醒一句：便宜和干净的输出格式，解决的是工程层面的痛点，不等于解决了“AI到底理解不理解人”这个更根本的问题。

Q&A

Q1：决策模型和普通的生成式语言模型区别在哪？

A：决策模型对每道题直接给出每个答案选项的概率分布，不用先生成一段文字再解析答案。它更便宜、更快，也不会碰上解析失败、拒绝回答这类麻烦，代价是题目之间缺少共享的respondent状态，相关性结构还原得不如生成式模型。

Q2：AI模拟出来的问卷答案到底靠不靠谱？

A：看整体人群平均水平，AI给出的答案分布和真实人类数据相当接近；可要预测某个具体的人怎么答题，十四个决策模型全都不如直接拿其他respondent的答案频率去猜，说明AI还没真正摸清个体差异背后的规律。

Q3：新发布的AI模型是不是一定比旧版本更适合模拟人类回答？

A：不一定。论文对比了十条产品线的新旧版本，五条产品线的最新版本得分明显低于上一代，没有一条产品线出现显著提升。研究者推测，这和模型训练时越来越倾向给出温和中立答案有关。