建筑任务出题
由项目方设定具体的建筑类题目,把同一个任务同时交给多个 AI 模型,保证比较的前提一致。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
MC-Bench 是一个以 Minecraft 为考场的 AI 评测项目:它给模型出建筑类题目,让不同 AI 各自在游戏里把作品搭出来,再把结果摆到一起由人投票评判。这种做法的价值在于把评测从纸面问答挪到了有空间约束、有材料限制的动手任务上,模型能不能理解指令、能不能把结构搭对,一眼就能看出来。它更像一个公开的对比擂台和观察窗口,而不是一套能直接查分数排名的榜单工具。
MC-Bench 是一个围绕 Minecraft 搭建的 AI 评测项目,核心玩法是出题、生成、对比、投票。项目方给出一道建筑类任务,让不同的 AI 模型分别尝试在 Minecraft 中完成,然后把各自的作品并列展示出来,交给访问者判断哪一个更符合题目要求。评测对象不是文字回答,而是三维空间里的实际搭建结果。
它面向的主要是对大模型能力边界感兴趣的开发者和研究者,以及想直观感受不同模型差别的普通玩家。对开发者来说,它提供的是一种跳出标准问答基准的观察角度:模型是否真的读懂了指令、是否理解空间结构和比例关系、能否在有限材料下做取舍,这些在传统文本评测里很难体现。对普通用户来说,它更像一个可以随手参与的小型擂台,看作品、投票、比较,参与门槛很低。
需要清楚的是,这类依靠人工投票的评测带有主观成分,投票结果反映的是偏好而不是绝对能力;不同题目之间的难度也无法统一衡量。把它当作一个直观的、带娱乐性的能力展示平台,比当作权威排名更合适。
由项目方设定具体的建筑类题目,把同一个任务同时交给多个 AI 模型,保证比较的前提一致。
模型不是输出文字描述,而是直接在 Minecraft 里动手搭建,作品能真实反映它对空间和材料的处理。
不同模型的成品并列摆出,访问者可以逐一看结构、看细节,而不是只看一段自述式的答案。
由访问者投票决定哪一方更符合题目要求,用大众偏好替代固定评分公式,规则简单直接。
看作品和投票都在网页里完成,不需要安装游戏或注册复杂账号,对非玩家也很友好。
题目里往往带有风格、用途或比例上的要求,模型是否照着要求做,投票时很容易分辨。
当你想跳出问答式榜单、看看模型在动手任务上的表现时,MC-Bench 值得一看:它的题目直观,对比方式简单,几眼就能看出不同模型对同一条指令的理解差距,也适合拿来做演示或课堂上的例子。但如果你的目标是拿到可复现、可量化的能力分数,它并不合适——投票结果取决于参与者的偏好,题目之间难度也不好横向比较,样本量随参与人数波动。把它当作一个观察模型空间理解能力的窗口,而不是决策依据,会更符合它的定位。
需要现成的直观案例来讲模型差异,这里同题不同作的形式拿来就能用,观众也看得懂。
想观察模型在空间理解、指令遵循上的表现,可把它作为文本评测之外的补充视角。
本身熟悉游戏里的搭建逻辑,看作品和投票的体验会更好,也更容易发现细节问题。
投票结果受参与者偏好影响、题量有限,不适合用来支撑采购或技术选型结论。
没有稳定的分数体系可供横向比较,想拿排名的人会失望。
它的做法是给出一道具体的建筑任务,让多个 AI 模型分别在 Minecraft 里完成,然后把作品摆在同一个页面上由访问者投票。评测的对象是实际搭建出来的三维成果,而不是模型写的文字答案,因此能反映模型对空间结构和指令要求的处理情况。
不需要。看作品和投票都在网页里完成,你不用安装游戏,也不用自己搭建。熟悉游戏的人在看结构、比例和用材时会更有感觉,但不影响参与,只要照着题目要求判断哪个作品更符合就行。
不建议。评判来自访问者的投票,反映的是偏好而不是绝对能力,题目之间的难度也不统一,很难折算成一个可比较的总分。把它当作直观的能力展示和观察窗口更合适,引用时最好说明这一点。
会有主观成分,这正是这类评测的特点。题目要求越具体,大家的判断越容易一致;要求越开放,偏好差异就越明显。多参与几轮不同类型的任务,综合起来看,比盯着单次结果更有参考价值。
比较适合科普演示、课堂教学,以及研究者想换个角度看模型在动手任务上的表现。用来做产品选型或写技术报告时,它只能作为参考,不能替代可复现的量化测试。