Einsia AI推Frontier3DBench:Coding Agent距3D生产管线还差几步?
机器之心发布Coding Agent 要走向真实的 3D 生产管线,就必须跨越从 “单个物体” 到 “完整场景”,乃至 “可交互开放世界” 的鸿沟。过去,三维重建、生成与编辑高度依赖传统视觉与图形学中的专用算法管线。而如今,具备视觉理解与程序执行能力的 Coding Agent 正在颠覆这一过程 —— 将以往所有的三维
该基准由Einsia AI推出,论文题为Frontier3DBench: Benchmarking Coding Agents for 3D Creation across Objects, Scenes, and Interactive Open Worlds。
对Coding Agent来说,想进入真正的3D生产管线,得先跨过几道坎:从单个物体做到完整场景,再走到能交互的开放世界。
过去做三维重建、生成和编辑,靠的是视觉与图形学里的专用算法管线。现在不一样了,会看图、能写代码执行的Coding Agent正在改掉这套做法,把原先的三维视觉难题统统变成代码生成题。
但现有评测基准把“静态几何质量”和“动态世界交互”分成两摊,有个核心问题它答不上来。
「今天的 Coding Agent,究竟能否接住从物体、场景到开放世界的全栈创作需求?」
针对这个问题,Einsia AI发布了Frontier3DBench。基准横跨Blender和Unreal Engine两个工业级环境,共9大类别、145项任务(65项物体+65项场景+15项开放世界),对11种主流前沿模型与Agent框架配置做了全面评测,从外观、结构、行为三个维度描出Coding Agent在3D创作上的能力边界。
论文题目:Frontier3DBench: Benchmarking Coding Agents for 3D Creation across Objects, Scenes, and Interactive Open Worlds
项目主页:https://lab.einsia.ai/frontier3dbench
GitHub:https://github.com/Einsia/Frontier3D
Paper:https://lab.einsia.ai/frontier3dbench/Frontier3DBench.pdf
从捏物体、搭场景到造世界
Frontier3DBench 测什么?
3D创作里,捏一个模型、搭一个房间,和造一个能跑能跳的开放世界,难度差着好几个量级。每往前一步,Agent要管的就多一层:物体看零件和比例,场景看空间布局,到了世界这一层,动作、交互和不断变化的状态都得接住。
以往的评测常把这些环节拆开,有的只盯着静态资产好不好看,有的只测游戏代码跑不跑得通。只给一个笼统总分,Agent出错时到底丢的是参考图细节、房间位置排错了,还是运行时某步交互卡住,很难说清。
所以Frontier3DBench把这三层要求放进同一套评测标准里,共9大类别、145项任务:
L1 物体层(65项):交可编辑的Blender资产,包括纯文本建模(Text2Code),以及单视图、多视图参考图重建(Img2Code)。
L2 场景层(65项):交完整Blender场景,覆盖文本生成(Brief2Scene)、渲染图重建(Ref2Scene)、真实照片重建(Ref2Scene-RealPhoto),还有“改局部、保周围”的场景编辑(SceneEdit)。
L3 开放世界层(15项):交Unreal Engine工程,按文本(Text2Env)或参考图(Img2Env)搭出多区域连通、能支撑连续交互活动的开放世界。
评测也顺着工程文件往里走,用三个坐标给每份3D答卷打分:
外观:看渲染结果,查视觉美感和参考图还原度;
结构:拆开原生工程,量尺寸、数零件、查穿模和连通性;
行为:跑独立测试,让角色在世界里实际穿行交互,验证动作和状态成不成立。
按30%(物体)、30%(场景)、40%(世界)的权重汇总后,研究团队对11种主流大模型与Agent框架做了全面摸底。
Sol 拿下总榜第一
但 “造世界” 换了领跑者
总榜上,GPT-6.1-sol以66.02分排第一,物体层(71.21)和场景层(70.35)优势明显。
可9个细分类别里,没有哪个模型能全部通吃:
开放世界(L3)这一项换了领跑者,GPT-6-astra 以 61.28 的均分排在第一;文本生成物体(Text2Code)的最高分则归 Claude Opus 5.5,为 84.05。
场景编辑(SceneEdit)杀出了意外角色:总榜第六的 MiniMax-M3.1-Flash 拿到 78.70 分,位列单项第二,Kimi-K3 和 GLM-5.3-Flash 在这项上的表现也都高过全场均值。
所以要挑一个做 3D 的 Agent,先得想明白用途:是捏资产、改场景,还是进虚幻引擎里造世界?
自由发挥能超 80 分,给张参考图却集体“破防”。
逐个任务看分数,所有模型在“参考图重建”上的得分都明显低于“文本生成”:文本生成物体普遍在 75.93~84.05 分之间;
而到了多视图和单视图重建,全场最高分只剩 69.61 分和 66.26 分。
Qwen3.8-Max 的反差最典型:文本生成物体有 81.98 分,逼近榜首 Sol 的 82.10,可多视图和单视图重建一下子掉到 43.97 和 37.34。Kimi-K3.1-Pro 与 DeepSeek-V4.1-Flash 同样属于“强生成、弱重建”。
做一个“看着合理”的作品已不算难,难的是跨过遮挡和透视,把“指定的那个作品”原样复刻出来。
差距落在 appearance、结构和细节上。把总分拆成视觉质量、结构一致性、任务完成度三项,短板就清楚了。
物体与场景的视觉和完成度由 Sol 领先,开放世界归 Astra;物体结构这一项,Opus 以 83.27 分略微压过 Sol。总体看,把主部件摆对位置、搭出粗略骨架,各模型都还算容易(L1 结构均分 72.77),难的是把精细外观和细节填满。
具体作品上差别很明显。
纺车重建(L1 物体):Sol 和 Opus 还原了主要机械组件,Kimi-K3 把它简化成抽象的圆环加木杆,核心传动件丢了。
浴缸修复(L2 编辑):Sol 和 Astra 让新浴缸严丝合缝地卡进原有支架,Luna 的浴缸外壳却和支架分了家。
Minecraft 村庄(L3 世界):Astra 和 Sol 还原出村落轴线与连续梯田地形,Luna 把建筑密集堆在平地上,空间语境没了。
单个机关能跑到 83 分,串成完整任务却掉到 30 分。
开放世界的真正考验发生在代码运行那一刻。所有模型在 L3 世界层的平均分,都低于各自的物体和场景成绩。
对 165 个生成世界做运行时测试,拆出的数据里有一组格外扎眼:局部交互平均 83.08 分;
运动避障只有 20.82 分。
状态与工作流这一项,得分只有 30.26 分。
结论摆得很清楚:单个机关、局部结构,Agent 已经能做得有模有样,可要把这些零散部件串成一条线,就难了。写一个开关、做一个机关,对 Agent 来说并不陌生;难的是让角色不穿模地跨区域走动、触发动作,还得让改动后的状态一直影响后续操作,最终跑通一整套活动——这恰恰是眼下 Agent 最需要迈过去的一道坎。
算笔经济账
花出去的钱越多,成品就一定越好吗?把综合质量和每道题的平均 API 估算开销摆到一张图上,性价比地图就出来了。挑一个 3D 创作搭档,作品质量要看,背后的 API 账单也得算明白。
性价比前沿上站着三个守门员:GPT-6-luna 约 $0.27 一题、48.56 分,DeepSeek-v4.1-Flash 约 $0.45 一题、57.45 分,GPT-6.1-sol 约 $1.01 一题、66.02 分。从 DeepSeek 换到榜首的 Sol,成本大约涨到 2.2 倍,换来的是 8.57 分的提升。
贵并不等于强。GPT-6-astra 每道题约 $5.58,得分 63.85;Claude Opus 5.5 每道题约 $21.17,得分 62.29。两者的单题花销都远超 Sol,综合质量却反而更低。
下一步
让代码里的 3D 世界真正转起来——一台精密的机器,靠的是零件之间严丝合缝;一间住得舒服的房间,讲究物体各归其位;一个活生生的世界,则要求动作做完之后,状态和反馈还能接着往下走。如今,Coding Agent 正把这些原本属于图形学和三维视觉的复杂要求,一行一行写成能跑起来的代码。
Frontier3DBench 做的,不只是给这条技术路线画出第一张全景能力地图,它还点明了通往“真正 3D 创作者”路上绕不开的两道关:一是从“自由生成”跨到“精准还原”,看见的几何结构和细节要一分不差地建出来;二是从“局部机关”打通到“全局工作流”,让可交互世界里的连续动作和持久状态真正配合起来。
这两道关一旦翻过去,Coding Agent 交付的就不再是孤立的资产或静止的布景,而是能走进去、能互动、能演化的数字世界。从「会写代码」到「能造世界」,3D 创作的下一个时代才算真正开始。