AI设计为何总撞脸：Kombai团队新基准DCB测出模型创意短板

为什么需要一套新的设计评估标准

写代码这件事，现在的 AI 模型已经相当拿手。丢过去一个需求，它能很快吐出一个功能齐全、看上去还挺像样的界面。市面上衡量这类技术能力的基准测试不少：代码编译得过吗？应用跑得起来吗？交互顺不顺？可 Kombai 团队在平时开发前端 AI 工具时注意到一个怪现象：生成的界面虽然精致，彼此却太像了。给医疗软件做后台也好，给电商网站做首页也罢，不同模型交出的方案往往只换了颜色和标签，布局结构几乎一个模子。同一个模型换到完全不同的产品背景里，也很少做出实质性的设计调整。

问题随之而来：当需求允许多种解法时，AI 究竟是在“设计”，还是在套模板？

现有评估体系回答不了这个问题。SWE-bench 和 Terminal-Bench 盯的是工程任务完成度，VIBE Bench 检查应用能否正常运行、外观是否过得去，Design Arena 靠人类对两份设计稿的主观偏好投票。这些指标都有价值，却量不出“创意”。一个界面可以完全符合需求、在偏好测试里胜出，骨子里仍可能重复了成千上万个其他产品的套路。也有人试着用检查清单压住这种平庸感，比如标出常见的配色或卡片布局。可这只是治标，躲开一种俗套，模型往往掉进另一种。于是团队转向直接基于生成结果本身的测量方法，Design Creativity Bench（DCB）由此而来。

如何定义和测量“设计创意”

要量创意，先得给模型留出发挥余地。需求若规定得死死的，比如“左上角放 Logo，右下角放按钮”，谁做出来都一个样，创意无从谈起。

研究选了 15 个前沿模型，让它们处理 80 个 UI 任务。每个任务适配两个不同的产品领域，一共生成 160 个简要需求和 2400 个独立的 HTML 界面。团队还聘请人类设计师，为同样的需求制作参考设计。

这些简要需求的设计方式才是关键。它们只规定界面必须包含的内容和功能目标，布局、层级、视觉风格则保持开放。举个例子，同样是“调度员屏幕”，一个给居民家电维修公司用，一个给商业 HVAC（暖通空调）承包商用。两边都要调度技术人员，但后者可能得协调团队作业、受限的现场访问窗口以及定期维护任务。业务差异本该带来不同的信息架构：哪些信息置顶？哪些操作突出？人类设计师会结合上下文做出不同决定，团队想看模型会不会。

评估从三个维度展开。

其一是原创性（Originality）：看某个模型针对某条需求生成的设计，与其他模型生成的设计差别有多大。计算时会排除同一实验室的模型，保证分数是相对于整个评估面板而言的。

其二是创意范围（Creative Range）：看同一个模型面对同一任务的不同产品背景时，设计变化有多大。家电维修和 HVAC 两个场景若给出几乎一样的布局，创意范围就窄。

其三是适用性（Appropriateness），这是底线，即设计满足需求中验收标准的比例。为了追求不同而漏掉关键按钮或数据的设计，算失败。适用性确保谈创意多样性的同时，基本的需求满足能力没被牺牲。

技术实现：怎么算出“不像”

计算机怎么判断两个网页设计得像不像？靠人眼太慢，也主观；简单比对像素又太敏感，改个字号就被当成不同。团队的做法是：把每个 HTML 界面放进浏览器渲染，将页面切成结构化片段，再用嵌入向量（Embedding）和学习到的投影做比较。这些投影经过专门训练，对文案、间距、主题色之类的细微变化不敏感，对结构性编辑反应强烈，比如列表布局变成网格布局，或者导航栏挪了位置。

算相似度时，信息架构占 90% 权重，色彩系统占 10%。两个页面结构一样、只是颜色不同，会被判为高度相似。最终的“独特性”得分等于“1 减去相似度”，分数越高，设计越与众不同。

为验证评分器是否可靠，团队拿它和人的判断做了对比。在一组成对比较中，评分器与人类 pooled choice 的一致性达到 82.5%。另一组未用于调优的独立判断集里，其 AUC（曲线下面积）为 0.85。机器评分在很大程度上捕捉到了人类对设计结构差异的感知。

研究发现了什么

数据揭示出一些值得琢磨的模式，也解释了日常观察到的现象：模型倾向于收敛到相似的设计。处理相同需求时，不同模型生成设计的平均独特性只有 0.592；人类设计与模型设计之间的平均独特性则高达 0.764。换句话说，模型互相模仿的程度，远高于它们模仿人类的程度——模型输出彼此的相似度，比它们与人类参考设计的相似度还高。这并非说人类设计师之间没有差异，重点在于模型群体内部高度同质化。

模型在不同语境下的创意范围有限。

换到别的产品领域、换掉内容之后，人类设计师的创意范围平均能拿到 0.902 分，模型这边平均只有 0.581 分。哪怕业务逻辑差得很远（比如前面说的维修和 HVAC），模型还是爱沿用那套老设计。看上去，它们不太会根据具体语境去重新安排信息的组织方式。

不过，模型对需求的满足率照样很高。

这倒不是说模型干不了活。原始面板里，每个模型都过了 90% 以上的验收标准。Claude Opus 5.5 更是到了 99.2%，比人类参考设计的 98.0% 还略高一点。屏幕能做出来、也符合要求，问题在于它们去试探设计可能性的时候，手法太保守。

原创性和创意范围，两者并不成正比。

这个结果挺有意思。在论文的面板里，GPT-6 Astra 的原创性得分最高，0.646，说明它的设计跟其他模型差别最大。可它的创意范围只有 0.472，属于最窄的那一档。也就是说，它有自己的“风格”，但这套风格在所有产品上被一遍遍机械照搬。放在同行里它显得独树一帜，换到不同场景里却又原地不动。整个核心面板看下来，这两个指标的排名之间没有统计学上的显著关联。

这也是为什么两个维度要分开报。一个模型可以风格很鲜明（原创性高），却缺少适应不同场景的灵活性（创意范围低）；与此同时，它照样能把功能需求完成得很漂亮（适用性高）。

这些结果该怎么看

看 DCB 排行榜的时候，有几条边界得先说清楚。

第一，DCB 量的是设计之间的差异程度，以及满足需求的能力。独特不等于好看。一个设计可能因为结构古怪而拿高分，但这不代表它更美观或者更好用。适用性同样不等于全面的质量评估，它只覆盖我们设定的验收标准，无障碍访问、深入的可用性测试、生产环境就绪度这些都不在里面。

第二，这项研究盯的主要是桌面端界面，任务集也有限。每个模型都在 fresh context（全新上下文）里出设计，用的是默认的 API 采样参数，也没给专门求多样性的提示词（prompt）。所以结果反映的是模型在默认设置下的表现，不是精心提示或者多轮迭代之后可能摸到的上限。

第三，人类参考设计本身也有来路。它是多位设计师借助公共灵感库做出来的。这提供了一个跟人类方案对照的基准，但它既不代表某位设计师的创意极限，也不能证明所有人类设计师都比所有模型更有创意。

最后，模型为什么会收敛，我们还没搞清楚。训练数据的分布、训练目标、后训练阶段（post-training）的处理、推理设置，都可能是同质化的来源。这得靠后续研究去挖。

开发者和研究者能拿它做什么

对做模型和工具的人来说，DCB 是一种新的测试手段。提示工程、采样策略、设计导向的工作流，能不能在保住适用性的同时真正拓宽模型的创意范围，可以用它来验。光让模型“更有创意”地说话不够，还得看它在信息架构层面有没有根据上下文做出调整。

对评估研究者来说，DCB 把“创意”这个不好量化的东西变成了可测量的对象。以前只能从工程分数或者偏好排名里间接推，现在可以直接看设计结构的多样性。

为了方便复现和后续研究，相关数据集已经公开。里面有 20 个提示词对应的 300 个 HTML 设计，代表 10 个配对任务在 15 个模型上的评估结果。数据集包含验收标准、模型配置、生成指令、已发布的分数，以及受控的设计变更研究数据。另外，预计算的特征、嵌入向量和投影训练数据也一并放了出来。

要说明的是，公开版本只是一个可复现的子集。在公开提示词上算出来的分数，别直接拿去跟论文里完整评估的结果横向比。

我们欢迎社区把这个基准往更多产品语境和界面类型上扩，也期待更多人来参与对评分器的人类评估。详细论文可以读，具体提示词和生成的设计可以查，这个测量方法在哪些情况下管用、哪些地方还得改，也可以自己上手试。说到底，衡量是改进的第一步，只有能准确指出 AI 在设计上偷懒的地方，才有可能推着它更像一个真正的创作者。