斯坦福等机构推出BrickBench:AI能搭出可用乐高,却搭不出好看的
2026年的某一天,你让一个AI写代码,它能帮你修好一个开源项目里困扰了几个月的bug。你让它画个3D场景,它能写出Blender脚本直接渲染出来。你让它设计一个CAD零件,它也能写程序造出来。这些事听起来都挺厉害,但有一件事可能会让你愣一下:这些AI现在也能搭乐高了。不是那种简单的几十块积木拼个小房子,而是真正意义上
假设时间来到2026年的某一天,你让AI去写代码,它能把开源项目里拖了几个月的bug修好;你让它生成3D场景,它写段Blender脚本就能直接渲染出画面;你让它设计CAD零件,它同样能写程序做出来。
上面这些成果听着都不错,但下面这件事大概会让你愣一下:现在这些AI连乐高也能搭了。
这可不是几十块积木拼个小房子那种级别,而是真正意义上的套装设计——几百上千块零件,颜色要选对,形状要拼准,整个结构还得立得住、不散架。你只给一句话描述,比如“一只骑自行车的鹈鹕”,它就得自己到乐高零件库里翻找合适的零件,再一块一块搭起来。
听上去不难,真做起来却藏着一个挺扎心的真相:机器如今能搭出“能用”的乐高,却搭不出“好看”的乐高。
来自斯坦福大学、马克斯普朗克智能系统研究所和Inria的这篇论文,要讲清楚的就是这件事。他们把这套评测体系命名为BrickBench。
搭积木到底难在哪
你或许觉得,搭乐高不就是拼拼凑凑,有手就行。可真拿一套几百片的套装上手试过就明白,门道多得是。
乐高零件库里的零件类型有一万四千多种,形状、尺寸、连接方式各不相同。你首先得想清楚整体造型长什么样,再从这么大的库里挑出合适零件,接着为每一块安排位置、角度和颜色,还得保证它们能真正咬合在一起,搭出来的东西摆在桌上不会一碰就散。
这里头涉及两层问题。一层是物理上行不行——零件之间会不会打架(专业说法叫碰撞),整个结构在重力作用下站不站得住。另一层是好不好看,这一层更难量化:两个作品可能都完全符合文字描述,物理上也都稳固,但一个像模像样,另一个却透着一股“能用就行”的敷衍感。
早先有专门为这个任务训练过的AI模型,比如BrickGPT和BrickNet,它们都是在乐高数据上调教出来的。不过这篇论文里有个挺有意思的发现:一个压根没针对乐高训练过的通用编程智能体,表现反而把那些专门模型甩开了一大截。
乍一听有点反直觉。专门训练的模型不是应该更懂行吗?研究者却发现,像GPT-5.6 Luna这样的通用代码智能体,在BrickNet原有的评测集上,对齐度评分只比真人设计的参考答案低0.02分,几乎打平,还把BrickGPT远远甩在身后。
这就好比你以为专业厨师做的菜一定强过一个会看菜谱、会用工具、还会尝味道调整的聪明学徒,结果学徒靠着一遍遍试吃调整,做出了更接近大厨水准的菜。差别不在天赋,在于学徒能边做边检查、边做边改。
这个发现直接促成了论文要做的另一件事:既然通用智能体这么能打,那就得设计一套更难的考验,看它们是真的学会了“设计”乐高,还是只在简单题上侥幸蒙对。
BrickBench:三道题,一个比一个难
研究者设了三种不同的测试场景,每种场景对应一种不同的能力要求。
第一种是Model模式,零件数不超过400块,主要看AI能不能搭出一个相对完整、单一的物体,比如一只鹈鹕、一条鲨鱼。
第二种是Set模式,要求用400到4000块零件。这个区间不是随便划的,参照的是乐高官方的BrickLink Designer Program对零件规模的要求——那是一个允许普通设计师提交作品、由乐高评估能否成为正式发售套装的计划。这意味着AI要搭的不再是一个孤零零的小摆件,而是一整套场景,比如论文里提到的“一只狗坐在着火房间里的桌子前”,涉及多个物体、多种材质和空间关系。
第三种叫 Alt-Build 模式:只准使用某一款具体乐高套装(编号10698)中的 783 个零件、104 种零件类型来拼。零件以基础砖块和板件为主,窗户、门、轮子只是零星出现。它要检验的是,手头材料捉襟见肘时,AI 还能不能自己找到搭出目标物的办法。
这三种设置其实对应着真实世界里三种不同的创作困境。Model模式像给你一盒随便挑的积木,让你捏出一个形象;Set模式像让你按正式出版物的标准,做一整套完整产品;Alt-Build模式则像你手头只有家里现成的那几种积木,却想拼出点新花样——这时候真正考验的是创造力,而不是零件库有多丰富。
三百道题,自带判卷标准
研究者为每种模式准备了100个文字提示,覆盖十个主题类别,比如中世纪城堡、交通工具、火车、太空科幻、建筑、动植物、海盗、历史场景等。加起来一共300道题。
光有题目还不够,还得知道怎么判对错。论文在这里用了个挺巧妙的办法,叫问题图(question graph)。说白了,就是把一句长长的文字描述拆成一连串能用“是”或“否”回答的小问题。
问题图:把一段复杂描述化成一连串是非题,再依逻辑依赖把它们串起来。举个例子,先问“画面里有没有狗”,这题答了“是”,才会接着追问“这只狗的毛是不是棕色的”。
举个例子,“一只棕色的狗,耳朵耷拉着是黑色的,戴着棕色小帽子,坐在着火房间的桌子前”,会被拆成“有没有一只能辨认出来的狗”“狗是不是棕色的”“狗的耳朵是不是耷拉的”“狗是不是戴着帽子”等十几个小问题。再用一个视觉语言模型(VLM,能同时理解图片和文字的AI模型)从多个角度拍下搭好的乐高作品,逐个回答这些是非题,最后算出有多大比例的问题被满足。
这套思路跟考试按采分点给分差不多。与其笼统打个模糊印象分,不如把一道大题拆成若干小得分点,逐项核对,最后算出的分数才靠得住,也不会被“看着还行”这种主观感觉带跑。
搭得对不对是一回事,好不好看是另一回事。后一件事更难量化,研究者为此另设了一套机制,叫ELO对战评分——名字借自国际象棋等级分,做法说白了就是让不同系统的作品两两PK,赢得多的一方分数更高。
落到操作上,同一道题下,研究者把不同AI系统搭出的作品两两配对,再让一个视觉语言模型充当裁判,从两个角度提问。第一个问题附上原始文字描述,问哪个作品更贴题,这算对齐度ELO。第二个问题则刻意不透露原始描述,只问哪个作品的“设计感”更强,评判标准参照官方乐高套装,看的是零件用得巧不巧,而非搭的是什么主题,这算设计ELO。
有个细节值得展开说:问设计感时,为什么要把文字描述藏起来?
原因在于,裁判要是知道题目要求搭“一个骑自行车的鹈鹕”,可能不自觉就冲着“嗯,这确实是鹈鹕骑车”给高分,哪怕作品的零件搭配其实很粗糙。描述一藏,裁判只能盯着搭建工艺本身打分,这样“符合要求”和“做得精致”才能被彻底分开评判。
好比请两位评委打分:一位拿着原始订单,核对你的菜是不是西红柿炒鸡蛋、盐放没放;另一位压根不知道你点的是什么,只看刀工、火候和摆盘。两个分数合在一起,才能说明你是精准交了差,还是顺带做出了一道有水准的菜。
为了让AI裁判的评分站得住脚,研究者还招募了102名Prolific平台上的志愿者,由真人对同样的作品两两打分,共收集4080条判断,再与AI裁判的ELO排名比对。36组对比里有34组排名一致,统计学上的肯德尔相关系数达到0.89,越接近1说明两套排名越吻合。AI当裁判这件事基本靠谱,不是自说自话。
BrickAgent:给AI一套靠谱的搭建工具
光有考题和判卷标准还不够,AI还得有一个能实际动手搭建的环境,这是论文的另一项重要贡献,名为BrickAgent。
这个环境里有完整的乐高零件数据库LDraw——一套由社区维护的数字乐高建模标准;还有一套叫BrickNet的连接系统,为每个零件标注连接点类型,比如凸起(stud)要对应凹槽或管道,卡榫(bar)要对应夹子(clip),铰链、球形接口、固定接口等各有讲究。
LDraw 是乐高社区维护的数字化零件标准,作品以文本文件形式保存,里面记录每个零件的类型、颜色,以及它在空间中的位置和姿态;每个零件都对应现实中的真实原型。
更关键的是,环境给AI备齐了一整套实用工具:搜索零件库、按连接点摆放零件、镜像和测量零件、把小组件打包成子装配体再组合、从任意角度渲染效果图,另有一个会说人话的校验器,能提醒AI“你这里有两块零件撞在一起了”或者“这部分结构不稳会塌”。
这套工具链究竟有多要紧?论文专门做了对照实验。
研究者把同一个AI智能体(GPT-6 Astra和GPT-5.6 Luna)放进一个阉割版环境,那里只给乐高零件库和文件格式说明书,BrickAgent的辅助工具全部拿掉。结果有效作品的比例,GPT-6 Astra从100%暴跌到40%,GPT-5.6 Luna更惨,300次尝试只成功1次,跌到不到1%。
没有工具辅助时,GPT-6 Astra搭出的作品平均有7处零件互相穿插打架;GPT-5.6 Luna平均156处碰撞,整个结构还散成了80多个互不相连的碎片。
这组数字差距说明什么?
想象蒙着眼睛拼乐高,全凭脑子里的想象摆放零件,不许看、不许摸、不许用尺子量,最后搭出来的多半是七零八落、互相卡住甚至穿模的一堆垃圾。反过来,给你一副眼镜能随时看清、量准,旁边还有人提醒“这里撞上了”,哪怕水平一般,也能搭出个勉强立得住的东西。
对AI也是同样的道理。它脑子里或许知道“这个零件该放在这个位置”,可没有实时渲染反馈、没有物理碰撞检测,它就是在凭空想象一个三维结构长什么样,出错概率自然暴增。这个发现也呼应了论文标题里“Agentic”的分量:agentic不只是说AI会自己写代码,更在于它能执行代码、看到结果、再回头修正,是一整套循环,而不是一次性把答案吐出来。
有意思的是,拿掉工具之后,Luna的对齐度和设计感分数反倒涨了一点,VQA涨了0.02,ELO涨了62分。研究者的解释是,没有了“必须能实际搭建”这个紧箍咒,AI可以天马行空地摆放零件,视觉效果看起来更好,但搭出来的东西完全立不住、也拼不出来。这其实说明了一个很深的道理:可构建性这个约束本身是有代价的,它会限制AI的表达自由度,但正是这种限制让作品从“一张好看的效果图”变成“一个真实可以被制造出来的物体”。
十一个AI选手,谁搭得最好
论文测试了十一个当下主流的编程智能体,包括GPT-6 Astra、GPT-6.1 Sol、GPT-5.6 Sol、GPT-5.6 Luna、Claude Opus 5.5、Claude Opus 5、Gemini 3.8 Flash、Qwen 3.8 Flash、DeepSeek V4.1 Flash、GLM 5.3 Flash和Muse Spark 1.3,另外加上两个专门训练的基线模型BrickNet-14B和BrickGPT做对比。
结果显示,这些智能体用上完整的BrickAgent环境之后,造出有效作品这件事基本被攻克了。五个智能体做到100%的有效率,整体最低的也有80%。137次失败里,44次是压根没在规定轮次内交出作品,剩下的要么结构不稳(41次),要么零件打架(31次),要么用的零件数量不符合规定(21次)。
在贴合文字描述这一项上,GPT-6 Astra表现最好,能覆盖95.4%的问题点;最差的GLM 5.3 Flash只有59%。不过真正把各家AI拉开距离的是设计感评分,也就是Design ELO。最高分1299分,最低分753分,中间差了546分。换成胜率来看,裁判在近96%的对局里会选Astra的作品,而不是GLM的作品。
有个细节挺有意思。Claude Opus 5.5和GPT-6.1 Sol这两个模型发布得晚,没赶上人类评测环节,表现却同样亮眼。GPT-6.1 Sol的综合ELO是1293分,跟Astra的1297分几乎打平,可花费只有Astra的五分之一——0.87美元对4.06美元。Claude Opus 5.5的设计ELO评分落在Astra的置信区间内,花费却只有Opus 5的40%。贵不一定搭得好,便宜也不一定搭得差,价格和表现之间压根没什么稳定的对应关系。
论文里还专门列了张表,把
研究者还发现,不同类型的问题被回答对的概率差异很大。颜色相关的问题,所有模型的正确率都在91%以上,颜色这东西确实好判断。材质和纹理就难多了,正确率只有49%到83%;物体类型和状态紧随其后,也是容易出错的区域。AI对“是什么颜色”这种直观属性已经把握得很稳,但对“这个表面摸起来是什么质感”这类更抽象的概念,理解还不够透。
真人设计对上AI设计,十局九胜
说到这儿,可能有人会问:文字符合度都做到95%了,是不是说明这些AI已经是合格的乐高设计师了?
论文的答案很干脆:还差得远。
研究者找了一批熟悉乐高设计的人,让他们看两件作品,一件由AI搭成,一件从BrickNet数据集里随机挑出、零件数量相近,是真人设计。评测者要猜哪件是人做的。
这次测试没有按照题目配对,原因是BrickBench里的题目压根没有对应的真人设计原型,只能依照零件数量来匹配。五名评测者累计打了360次分,其中323次把真人作品准确认了出来。照此换算,任何一个AI作品被误认成人类设计的概率都没超过五分之一。成绩最好的GPT-6 Astra,21次配对里也只被认错了4次。
这个结果本身就挺能说明问题。全部AI作品被识破的比例都明显高过随机猜测,也就是五五开。评测者并非靠运气蒙对,他们确实能看出破绽。
论文将这种差距归纳成三点:零件用得巧不巧、比例拿捏得准不准、表面细节处理得如何。这让我想到一个很贴切的比方。你在菜市场买回一样的食材,交给一个刚学会炒菜的人和一个干了二十年的大厨,让他们做同一道菜。两道菜看上去可能差不多,蛋熟了,味道也还过得去,严格照菜谱走流程都没错,可大厨那道菜里总有些说不清道不明的讲究,也许是火候卡得刚刚好,也许是摆盘时的一点小心思,你一眼就能分出谁更在行。AI眼下搭的乐高,差不多就停在“蛋熟了、味道也对、可总觉得缺了点什么”这一步。
这个发现对应着论文标题里那句点睛之笔:Agents are learning to build what works, but not yet what makes a great design,AI正在学会搭出能用的东西,但还没学会搭出真正出色的设计。
物理仿真的边界在哪里
论文也很坦诚地指出了自己这套物理校验方法的局限。
现有的稳定性检测做法是:把每一组连通的零件视为一个刚体,送进物理引擎PyBullet中模拟重力,观察它会不会散架,或者位移是否超过设定阈值——3个LDraw单位,约等于一个凸起高度的四分之三。
但这套检测没法模拟凸起连接的实际持握力,也没法模拟轴类零件之间那种“晃一晃能滑动”的松动感。换句话说,一个在仿真里“站得稳”的作品,现实里真的拼出来,说不定一碰就塌,或者某个连接处因为受力不均慢慢下垂变形。
要想真正解决这个问题,还得靠更精细的结构仿真,比如为每个连接点设一个承力上限,或者直接采用有限元分析——工程领域常用来模拟材料受力变形的一种数值方法。论文提到,已有零星的学术尝试朝这个方向走,例如用最大流网络分析乐高结构的受力,或者针对简单乐高套装做有限元建模,但到现在还没有一套通用的方案,能套用到任意复杂度的作品上。
打个比方,你手里现在有把尺子,能量出一栋房子有没有明显倾斜,却没法预判这栋房子十年后会不会因材料老化,让某个角落慢慢开裂。查出明显的问题是第一步,可离“完全靠谱”还差得远。
这也是为什么论文很克制地说,这套物理校验是必要条件,但还不是充分条件。
写在后面
读完这篇论文,我一直在想一个问题:为什么符合描述这件事这么容易被攻克,而审美这件事却这么难?
论文里有一组数字挺耐人寻味。VQA对齐度分数最高与最低之间只差36个百分点(95%对59%),设计ELO的最高分和最低分却相差546分,折算成胜率接近96%。这么悬殊的对比说明,“听懂你说什么”和“做出让人眼前一亮的东西”压根不是同一种本事,前者可以靠堆更多零件、覆盖更多细节点硬解,后者却牵扯取舍、比例、巧思这些很难化成损失函数的东西。
还有个细节让我印象挺深,就是那套“把文字提示藏起来、专门去问设计感”的裁判机制。这个做法背后是一个朴素却容易被忽视的洞察:符合要求和做得好看,本就是两条彼此独立的评价维度,只有用两种不同的提问方式,才能把它们彻底分开,否则很容易被“它确实搭出了要求的东西”这种光环效应带偏,看工艺水准时就失了准。这个思路放到别的评价场景里似乎也通用,比如评判一篇AI写的文章,你就该分开问“它有没有写到我要求的点”和“抛开主题不谈,这篇文章本身写得好不好”,这两件事不能搅在一起。
论文里那组环境消融实验的数字,同样值得细看。同一款模型,配不配辅助工具,有效率能差出60个百分点甚至更多。这背后是个挺现实的问题:眼下说一个AI模型“聪明不聪明”,很大程度上评的其实是模型加上它所处工具环境这个整体到底行不行。把环境撇开、单论模型本事,这个问法本身恐怕就站不住脚。
论文还留下一个明确的开放问题:怎么把“设计感”这种东西量化出来,怎么让AI不只是学会“把要求的东西都塞进去”,而是学会取舍,学会拿更少、更巧的零件做出更惊艳的效果。听着不难,往深里想,这大概会碰到创造力究竟是什么这个更根上的问题。
假如哪天AI搭出的乐高作品,连专业设计师都分不出真假,那时评价“算不算真正的创造”,我们又该拿什么尺子?
Q&A
Q1:BrickBench是什么?A:这是斯坦福大学等机构提出的评测基准,专门看AI编程智能体能不能照着文字描述,设计出可以真实拼搭的乐高作品。它包含300个提示,以及三种难度不同的零件限制场景。
Q2:AI搭的乐高和真人设计的差在哪?A:论文做了真人盲测,323次评测里,323次都被真人评测者认出了哪个人做的。AI作品整体上对得上文字描述,可零件用得巧不巧、比例准不准、表面细节够不够,都明显逊于真人设计。
Q3:BrickAgent工具环境对AI搭乐高有多重要?A:相当重要。实验显示,一旦撤掉搜索零件、碰撞检测、稳定性校验这些辅助工具,GPT-6 Astra的有效作品比例从100%掉到40%,GPT-5.6 Luna更是跌到不足1%。