高露洁用AI角色扮演调研:重测信度90%能否替代真人样本?
高露洁棕榄(Colgate-Palmolive)与PyMC Labs联合发布的一项新研究显示,只要改变提问方式,让大语言模型“角色扮演”消费者,AI预测真实购买意愿的可靠度即可达到人类重测信度的90%。这篇挂在预印本平台arXiv上的论文近期在海外科技与商业圈引发震动。全球企业每年在消费者调研上投入数十亿美元,有市场观
高露洁棕榄与PyMC Labs联合发布的一项新研究显示,改变提问方式后,重测信度达到90%。
这篇论文挂在预印本平台上。
不过,论文作者和一线观察者并没有跟着热闹走,给出的判断更谨慎。研究团队明确表示。
破解AI“和稀泥”顽疾:告别直接打分
快消品投产之前,企业一般会拿有代表性的消费者样本来测产品概念,最看重的指标以5点计。
学界和业界早就有意让AI来当“受访者”。
结果,两款模型的响应分布相似度(。
研究团队认为,毛病不出在。text-embedding-3-small)提取文本向量,再算它跟5句预设锚定陈述的。
这套
9300份真实样本实测:跑赢传统算法,但离不开“人设”
研究团队拿某领先个护企业在美国市场做过的57项真实概念调研当基准。每项调研有150至400名独立受访者,总样本量9300人。
在完整画像加上图文概念刺激的条件下,SSR把GPT-4o和Gemini-2.0-flash在产品相对排名上的相关性达成率分别拉到90.2%和90.6%(参照的是模拟2000次人类随机分组重测的相关性上限)。两款模型的分布。
泛化与降维测试里,SSR同样稳。换成一个新问题——“产品概念与你的相关性如何”,Gemini-2.0-flash的相关性达成率为82%,分布相似度0.81;把图文概念砍成纯文本,模型表现也只是小幅回落。
更关键的对照来自传统机器学习。研究人员随机取28项调研作训练集、29项作测试集,用5项人口特征和3项产品属性反复训练了300个。
但实验也划出一条红线:“人设”不能少。一旦把Gemini-2.0-flash提示词里的人口统计学特征全部拿掉,合成样本照样能给出和真实数据一致的平均分(4.0±0.1),分布相似度也高达0.91,可在最佳参考集下,产品排名的相关性达成率从92%断崖式掉到50%。没了画像约束,AI只会一个劲给好评,挑产品的核心功能也就没了。
细分维度上。
附带的自由文本还带来一笔意外收获。真实受访者的开放式留言常常停在“挺好的”,AI却能给出详尽且少有。
颠覆行业还是“随机鹦鹉”?
论文作者在结论里画出新的研发路径:企业不必为每个早期创意掏钱,而是先用。
不过,研究团队没有绕开方法的硬伤。实验用的6组锚定陈述是针对这57项调研手工调优的,跨调研能不能通用还得再看;AI模拟年龄和收入差异还算靠谱,到了性别、居住地区和族裔维度就不太稳。
更根本的限制在训练语料。SSR在口腔与个护领域管用,很大程度是因为网络论坛和消费者评论里攒下了大量相关讨论;换到语料稀缺的陌生品类,大模型照样会幻觉。真实世界里的预算硬约束、文化语境和营销曝光,合成样本也很难完整还原。
社交平台X上的争论,照出了业界对这一趋势的分歧。用户James He把语义相似度诱导称为“一个有趣的小技巧”,并指出它造出类人分布的方式“本质上只是噪音,且丢失了项目间的所有协方差”,“用来决定牙膏方案或许足够,但未必适用于最关键的决策”。
用户James Sutton则觉得,这正是“。
也有观察者看到了这项成功背后的潜力。用户MartianCats评论说,商业广告到处都在用。