AI创造力评测为何各说各话：芝加哥大学团队给出长尾解释

十个人给同一首AI写的诗打分，会得出一样的分数吗？

大概率不会。有人看重辞藻是否华丽，有人只认出人意料的比喻，还有人搬出专业量表，逐条核对“原创性”“流畅度”“精细度”。这种分歧不只出现在普通读者中间，研究AI创造力的学术论文同样各说各话。

芝加哥大学的研究者翻了82篇相关论文，看到一个让人哭笑不得的现象：评测AI创造力的路子五花八门，专家打分的有，让另一个AI当裁判的有，直接比对生成内容与训练数据相似度的也有。麻烦在于，这些方法给出的结论经常互相打架。用语义相似度衡量，AI显得创意十足；换成专家评审，AI立刻平庸下来。问题不出在某项研究做错了，而是大家压根不在同一个频道上说话。

这篇论文要处理的，正是这层底层的混乱：形态各异的创造力测试背后，到底有没有一个共同的东西？如果有，它是什么？

**长尾**：统计学里的一种分布形态，少数常见情况占据大部分概率，大量罕见情况则分散在“尾巴”里，这个区域出现概率低、种类繁多，俗称长尾区域。

研究团队给出的回答是：所谓创造力，本质上就是模型在“长尾”区域里的表现能力。

这件事难在哪里

想理解这个结论，先得弄明白一件事：评价AI写作文和评价AI做数学题，为什么用的是完全不同的工具？

做数学题、回答常识问题这类传统AI能力测试，衡量标准很直接：答案对不对。创造力测试完全不是这么回事。让AI写一个故事，没有唯一正确答案，你只能说它“好不好”“新不新”。于是各研究团队自己发明打分方式，有的盯着用词的罕见程度，有的关注情节的意外性，还有的直接拿AI生成内容和互联网上已有文本做比对，看重复率。

一道菜好不好吃，怎么判断？米其林评委靠舌头，问卷调查靠食客打分，还有人去菜谱网站上查这道菜的配方有没有出现过。三种路子测的其实不完全是同一件事，可名字都叫“好吃”。创造力评测之所以乱，根子就在这儿。

研究者没有停留在罗列差异上，而是往下深挖了一层：这些五花八门的测试方式，是不是其实都在无意识地做同一件事？

一个数学公式牵出的答案

心理学界有一个流传了几十年的共识性定义：创造力等于新颖性乘以质量。作品光新颖没用，得同时有价值；光有价值却千篇一律，也算不上创造力。

**新颖性-质量乘积公式**：心理学中描述创造力的经典公式，Creativity = Novelty × Quality，即创造力是新颖程度和作品质量两者的乘积，而不是简单相加。

研究团队把这个公式往前推了一步，设想了一个叫“参照分布”的东西。

**参照分布**：一种统计分布，用来看某个输入输出组合在某份文本来源（例如某个语料库）里出现概率的高低——概率高就说明常见，低就说明罕见。

举个例子。问AI“天空是什么颜色”，AI回答“蓝色”，这个问答组合在互联网文本里出现的概率极高，属于参照分布的“峰值”区域。换成让AI“用三个意象描写一场永不结束的雨”，问题本身就罕见，AI给出的任何回答相对而言都处在“长尾”区域，因为类似的问答对在训练语料里很少见。

论文作者做了一步数学推导：把新颖性和质量相乘得到的创造力分数，按照输入的新颖程度拆成无数个“层”，每一层代表某个新颖度阈值以上的所有样本。推导出的结论是，同样大小的一个质量优势，如果出现在新颖度更高的区域，它对整体创造力得分的贡献权重就更大。

这意味着什么？两个模型哪怕在“天空是什么颜色”这种常见问题上表现完全一样，只要在“永不结束的雨”这种罕见问题上一个答得好、一个答得差，答得好的那个创造力得分就会明显更高。这个数学关系不是研究者凭空设定的规则，而是从新颖性乘以质量这个经典定义里严格推导出来的。

不做这个推导会怎样？创造力评测就只能停在“感觉”层面，没法解释为什么有的基准测试结果更贴近人类判断，有的却偏差很大。这个数学框架，相当于给原本模糊的直觉装上了一把尺子。

拿皮尔语料库当量尺

光有理论公式还不够，研究者需要把“新颖性”这个抽象概念变成能实际计算的数字。

他们选了**The Pile**这个文本语料库作为参照系。

**The Pile**：一个包含800GB多样化文本的大型预训练语料库，常被用作训练大语言模型的基础数据来源。

具体怎么算？就是统计n-gram在语料库里出现了多少次。

**n-gram**：文本里连续n个词拼成的片段。拿“今天天气很好”来说，n取2，能切出“今天天气”“天气很好”这些片段，用来统计语言里常见的搭配模式。

研究者借助一个名为Infini-Gram-Mini的工具，快速查某段文字中的n-gram有没有在The Pile里出现过。一段文字里要是大部分n-gram都属于语料库中从未出现的新组合，这段文字的新颖度就高。

这有点像查简历里的工作经历是不是放之四海而皆准的模板话术。一份简历写满“具有团队合作精神”“能够承受工作压力”这类在无数简历里都能查到的套话，新颖度就极低；可要是写“曾独自在零下三十度的科考站修复过一台冻裂的发电机”，这种罕见表述在任何简历模板库里几乎找不到相似说法，新颖度自然就高。用n-gram查重率衡量文本新颖度，说到底就是自动检测“是不是套话”。

那为什么选The Pile，不选别的语料库？原因在于The Pile的收录时间早于论文测试的所有基准，能避开“AI提前背过这些测试题”的污染。换成包含最新网络内容的语料库，很可能某道创造力测试题本身就被收进去了，测出来的“新颖度”也就失真了。

三个维度画出创造力地图

有了参照分布这把尺子，研究者把每道测试题和AI的回答放进一个二维坐标系：横轴是“问题本身有多罕见”，纵轴是“给定这个问题，回答有多罕见”。

整个空间由此被切成四块。两个轴都低的地方叫“峰值区”，问题常见，回答也常见，比如前面提到的“天空是什么颜色”。一个轴高一个轴低的地方，分别叫“输入尾部”和“输出尾部”。两个轴都高的地方叫“联合尾部”。

研究团队测了15个基准测试，涵盖写作、数学推理、开放式问答三大领域，横跨26个开源模型。结果相当一致：创造力测试普遍比标准能力测试更靠近“尾部”区域，不管哪个任务领域都是如此。

写作领域里，一个叫Arena-Hard Creative Writing的创造力测试，两个轴的数值都在0.6到0.7之间，远高于Alpaca这类标准指令跟随测试。数学领域里，专门测创造性解题的CreativeMath，比常规的AIME竞赛题更靠近输入尾部。问答领域里，需要脑筋急转弯式思维的MacGyver和Braingle测试，也明显比常识问答测试CommonsenseQA更靠近输出尾部。

研究者接着把“怎么让一道题变得更有创造力”归纳成三种操作手法。

还有一类做法是**筛选**：事先从大量题目中挑出本身就罕见的那些。CreativeMath 走的就是这条路，专家从 AMC 和 AIME 竞赛题库里专门选出那些必须跳出常规思路才能解出的题目。经过这样一道挑选，问题本身就被推到了输入分布的尾部。

第二种叫**要求**，问题本身不动，只在提示词里直接要求“请有创意地写”或“请提出一个与众不同的解法”。答案因此被推向输出尾部，因为明确的指令让AI不得不偏离最常规的回答路径。

第三类做法是**约束**：给题目加上若干限制条件，把最常见的答案路径堵住。CS4 这个写作测试就是例子，它要求故事发生在海边小镇，且必须包含主角青年时期的插叙。限制叠加之后，问题和答案同时变得罕见，一起被推向联合尾部。

这三种手法好比三套不同的烹饪限定赛规则。筛选等于只准用稀有食材，选手拿到的原料本身就少见；要求等于裁判当场宣布“今天的主题是颠覆传统做法”，逼着选手偏离常路；约束则是食材和做法一起限死，比如“必须用土豆做甜品，还不能加糖”。三套规则都能逼出与日常菜谱不同的结果，但逼出来的方式各不一样。缺了这层区分，研究者就说不清为什么有的创造力测试偏重考察选题的刁钻，有的偏重考察应变能力，有的两者都考。

尾部表现真的更贴近人类判断吗

仅证明创造力测试集中在尾部还不够。研究者还要回答一个更要紧的问题：模型在尾部区域表现如何，这种表现是否真的对应人类眼中的“有创造力”？

他们找了一个外部参照标准，叫**LM Arena创意写作排行榜**。

**LM Arena**：一个让真实用户对不同AI模型的输出两两对比打分的平台，通过大量真人投票算出每个模型的相对实力分数，俗称竞技场式评测。

LM Arena 设有一个创意写作分类，汇集了大量真人用户对 AI 写作质量的直接偏好投票，研究者把它当作“人类心目中真正的创造力排名”。

具体操作是：对每个基准测试里的题目，按前面那把“参照分布”尺子给出的新颖度，从低到高分成五等份。最低的一份是峰值区，最高的一份是尾部区。然后在每一份里依据模型的任务表现排出名次，再拿这个名次与 LM Arena 的人类排名对照，用 Kendall's τ 这个统计量来衡量两个排名的一致程度。

**Kendall's τ**：用来衡量两个排序列表一致程度的统计量。数值越接近 1，两个排序越一致；越接近 0，两者几乎不相关。

在Arena-Hard Creative Writing这个测试上，结果很明显：最靠近尾部的两组，τ值达到0.33到0.39，而最靠近峰值的三组只有0.06到0.15。换句话说，在最罕见、最刁钻的那批题目上，模型之间的表现差异，比在最常见的那批题目上更能预测人类会喜欢谁。

更耐人寻味的是，这一模式并不只出现在专门的创造力测试上。研究者还在 GPQA-Diamond 这个纯科学问答测试上重复了同样的实验——该测试根本不是为测创造力而设计的，可结果一样：尾部区域的 τ 值达到 0.40 和 0.22，明显高于峰值区域的 0.10 到 0.18。

打个比方，要衡量一个厨师的真实水平，光看他炒一盘家常青菜并不靠谱。这道菜太简单，多数合格厨师都能过及格线，彼此之间的差距被压得很小。可要是让他当场用三种你没见过的食材即兴做一道菜，好厨师和普通厨师的距离立刻拉开。标准测试就好比那盘家常青菜，大家表现都不差，区分度不够；尾部测试则像那场即兴创作，真本事才露出来。

研究者又把分组从五份加密到十份，验证这一趋势在更细的划分下仍然站得住。在两个测试上，新颖度和排名一致性之间的统计相关性都达到显著水平（Spearman相关系数0.66到0.86，p值在0.0016到0.038之间）。

当然，这条规律并非在每个基准测试上都完全成立。研究者也如实列出了反例：StoryGen和TinyStories这两个测试里，尾部区域的一致性反倒比峰值区域略低。他们据此认为，尾部表现是一个“和创造力相关的信号”，而不是放之四海而皆准的万能规则；当题目质量函数和人类评价标准比较贴合时，它的效果最明显。

创造力和难度不是一回事

读到这里，可能会冒出一个疑问：所谓“长尾”，听上去不就是“难题”吗？此前也有不少研究指出，AI在训练数据中罕见的知识点上表现不佳。

这恰恰是研究者自己主动拿出来检验的顾虑。如果长尾区域只是单纯的“难”，那这篇论文讲的创造力评测，岂不是把难度测试换了个包装？

他们做了一组直接对照的实验。取MATH数学竞赛题和剑桥英语CEFR分级阅读题两个数据集，分别按“难度”和“新颖度”两种标准各挑出20%的子集，再看两种挑法选出的题目重叠率有多高。

结果重叠率非常低。MATH数据集上，按新颖度挑出的题目和按难度挑出的题目，重叠率只有0.07，比随机挑选的基线0.17还低。按新颖度挑出的题目里，有34%竟然属于难度等级最低的第一级。剑桥CEFR数据集上重叠率稍高，但也只有0.23，依然明显偏低。

这说明什么？“罕见”和“困难”根本是两条不同的轴线。一道题可能用词极其生僻、问法前所未见，解答思路却很简单；也可能用词平淡无奇，逻辑链条却极其复杂。好比一道谜语和一道微积分大题：前者的语言表达方式可能你这辈子都没见过，猜出谜底却可能只需一个灵光一现；后者每个单词你都认识，推导过程却能让人抓破头皮。

研究者特别强调，这两个研究方向问的其实是不同的问题。“难度”相关的研究关心的是：对同一个模型来说，它在罕见输入上表现是不是更差。这篇论文关心的则是：在同一批罕见输入上，表现更好的模型，是不是更接近人类心目中有创造力的那个。两件事可以同时成立，并不矛盾。

给已有测试装一把更便宜的尺子

既然尾部表现和人类创造力判断之间已经证明存在关联，研究者接下来做了一件很实用的事：把这个发现变成能直接拿来用的诊断工具，名叫**q@Tail(α)**。

**q@Tail(α)**：这是一种诊断用的指标。做法是在已有的一项基准测试中，按新颖度排序，取出排名靠前的那部分样本（α 比例，比如前 25%），然后只看模型在这些样本上的平均质量得分。

这个指标最大的好处，是不必重新设计一套全新的创造力基准测试。直接拿现成的测试题，按新颖度排个序，挑出最罕见的那一批，专门看模型在这批题目上做得怎么样就行。相当于在已有的体检报告里，把最刁钻的几项指标单独挑出来重点看，而不是推翻整个体检流程重做一遍。

研究者用这个指标检验了市面上一批号称能“提升AI创造力”的方法，包括调整采样温度、给AI设定虚拟人格、让多个AI分头思考再合并答案、自洽性投票等测试时技巧，也包括专门为提升创造力做过微调训练的模型。

结果相当扎心。

在被测的这些方法里，大多数都能提高一个叫“峰值新颖度”的指标，也就是让AI在常见问题上答得更出人意料。但几乎所有方法同时也让“尾部质量”下降了，也就是说，在那些本来就罕见的问题上，这些方法反而让AI答得更差。

唯一的例外是一种叫min-p采样的解码技巧，它让尾部质量提升了17.7%，代价是整体新颖度下降16.3%，峰值新颖度更是暴跌44.2%。

**min-p采样**：文本生成时用来约束随机性的解码方法。它先设一个相对概率的阈值，再据此筛掉候选词，目标是在输出保持连贯的同时，让内容更多样。

也就是说，眼下流行的那些“让AI更有创意”的小窍门，大多只是用很粗略的办法造出表面上的新鲜感，比如把生成时的随机性调高一些。可这种随机性带来的“新”，常常要牺牲掉真正困难场景下的回答质量。研究者另外还测了思维链提示，以及Claude Opus这类更强的闭源模型，发现它们在尾部质量上确实能做得更高。可见尾部质量是真能提上去的，问题在于现在多数轻量级技巧还没摸对方向。

好比一个学生为了显得“有想法”，在作文里堆砌很多生僻词汇和跳跃的比喻，老师乍一看觉得挺有创意，仔细读却发现逻辑经不起推敲，碰到真正需要深度思考的难题时反而漏洞百出。真正的创造力不是靠制造表面的陌生感，而是在陌生情境里依然能给出站得住脚的高质量答案。

对创造力和整体能力的关系的一点坦诚

研究者在论文里特意做了一件很诚实的事：他们检查了LM Arena创意写作排行榜本身和模型整体能力排行榜之间的关系，发现两者的相关系数高达0.94，几乎是强绑定。模型在指令跟随、数学、编程这些能力上的排名，也都和创意写作排名存在中高强度的正相关。

也就是说，这篇论文测到的“创造力信号”，没法干净地拆出一个跟模型整体能力完全无关的纯粹“创造力因子”。研究者的说法是，这合于新颖性乘以质量这一经典定义本身的逻辑：创造力脱不开质量，而质量本来就靠模型的通用语言能力、推理能力和指令跟随能力撑着。硬要把通用能力的影响全剔掉，剩下的那部分“质量”也会被削薄，整个创造力的定义就立不住了。

研究者给q@Tail的定位是"和创造力相关的诊断信号"，不是一台能完全脱离通用能力、单独测创造力的仪器。学术论文里肯这么交底的不多，多数研究习惯把自家指标说得滴水不漏，这篇却把边界划在了明处。读完最让我意外的倒不是那套数学推导，而是用MATH和剑桥CEFR数据集做的对照实验。这一步完全可以跳过，直接宣布"长尾表现等于创造力"就完了，可他们偏要专门花一节去反驳自己最可能挨的质疑，拿0.07的重叠率把"创造力不等于难度"钉死。这种主动找茬的劲头，比结论本身更让人觉得这是个认真做事的团队。

写在后面

min-p采样是唯一能真正抬高尾部质量的办法，代价却是峰值区域的新颖度被大幅牺牲——这个细节我反复琢磨了几遍。它戳出创造力研究里几乎没人正面谈的一个矛盾：大家一直以为"让AI更随机一点"就会更有创意，论文的数据却说，随机性和真正的创造性质量恐怕不是一回事，甚至互相拖后腿。

做AI产品的人看到这里，大概会冒出一个很实际的问题：下回评测一个新模型"有没有创意"，是不是得先查查测试题本身够不够"罕见"，再决定信不信这个分数？

Q&A

Q1：论文提出的长尾创造力评测方法是什么？A：论文的创造力评测，核心可以归到模型在参照分布"长尾"区域的表现上——输入问题罕见、答案罕见，或者两者都罕见时，模型还能不能给出高质量回答。这种表现的程度，和人类对创造力的判断高度相关。

Q2：q@Tail(α)这个诊断指标怎么用？A：做法是在一个已有基准测试里按新颖度给题目排序，只挑出最罕见的那部分样本（比如前25%），算模型在这部分题目上的平均质量得分。不用重新设计测试，就能快速诊断模型的创造力表现。

Q3：现在那些号称提升AI创造力的方法真的有效吗？A：论文测下来，大多数方法（调高采样温度、设定人格、多角度思考等）在常见问题上确实提高了新颖度，可到了真正罕见的尾部问题，质量反而往下掉。能提升尾部质量的只有min-p采样等少数方法，但整体新颖度也会被牺牲掉。