Einsia AI推Frontier3DBench:Coding Agent距3D生产管线还差几步?

资讯 腾讯网 作者:腾讯网 全文 3706 字 · 约 10 分钟读完 分类智能体AI 编程

机器之心发布Coding Agent 要走向真实的 3D 生产管线,就必须跨越从 “单个物体” 到 “完整场景”,乃至 “可交互开放世界” 的鸿沟。过去,三维重建、生成与编辑高度依赖传统视觉与图形学中的专用算法管线。而如今,具备视觉理解与程序执行能力的 Coding Agent 正在颠覆这一过程 —— 将以往所有的三维

所属频道 智能体与 AgentAI 编程与开发

该基准由Einsia AI推出,论文题为Frontier3DBench: Benchmarking Coding Agents for 3D Creation across Objects, Scenes, and Interactive Open Worlds。

对Coding Agent来说,想进入真正的3D生产管线,得先跨过几道坎:从单个物体做到完整场景,再走到能交互的开放世界。

过去做三维重建、生成和编辑,靠的是视觉与图形学里的专用算法管线。现在不一样了,会看图、能写代码执行的Coding Agent正在改掉这套做法,把原先的三维视觉难题统统变成代码生成题。

但现有评测基准把“静态几何质量”和“动态世界交互”分成两摊,有个核心问题它答不上来。

「今天的 Coding Agent,究竟能否接住从物体、场景到开放世界的全栈创作需求?」

针对这个问题,Einsia AI发布了Frontier3DBench。基准横跨Blender和Unreal Engine两个工业级环境,共9大类别、145项任务(65项物体+65项场景+15项开放世界),对11种主流前沿模型与Agent框架配置做了全面评测,从外观、结构、行为三个维度描出Coding Agent在3D创作上的能力边界。

  • 论文题目:Frontier3DBench: Benchmarking Coding Agents for 3D Creation across Objects, Scenes, and Interactive Open Worlds

  • 项目主页:https://lab.einsia.ai/frontier3dbench

  • GitHub:https://github.com/Einsia/Frontier3D

  • Paper:https://lab.einsia.ai/frontier3dbench/Frontier3DBench.pdf

从捏物体、搭场景到造世界

Frontier3DBench 测什么?

3D创作里,捏一个模型、搭一个房间,和造一个能跑能跳的开放世界,难度差着好几个量级。每往前一步,Agent要管的就多一层:物体看零件和比例,场景看空间布局,到了世界这一层,动作、交互和不断变化的状态都得接住。

以往的评测常把这些环节拆开,有的只盯着静态资产好不好看,有的只测游戏代码跑不跑得通。只给一个笼统总分,Agent出错时到底丢的是参考图细节、房间位置排错了,还是运行时某步交互卡住,很难说清。

所以Frontier3DBench把这三层要求放进同一套评测标准里,共9大类别、145项任务:

  • L1 物体层(65项):交可编辑的Blender资产,包括纯文本建模(Text2Code),以及单视图、多视图参考图重建(Img2Code)。

  • L2 场景层(65项):交完整Blender场景,覆盖文本生成(Brief2Scene)、渲染图重建(Ref2Scene)、真实照片重建(Ref2Scene-RealPhoto),还有“改局部、保周围”的场景编辑(SceneEdit)。

  • L3 开放世界层(15项):交Unreal Engine工程,按文本(Text2Env)或参考图(Img2Env)搭出多区域连通、能支撑连续交互活动的开放世界。

评测也顺着工程文件往里走,用三个坐标给每份3D答卷打分:

  1. 外观:看渲染结果,查视觉美感和参考图还原度;

  2. 结构:拆开原生工程,量尺寸、数零件、查穿模和连通性;

  3. 行为:跑独立测试,让角色在世界里实际穿行交互,验证动作和状态成不成立。

按30%(物体)、30%(场景)、40%(世界)的权重汇总后,研究团队对11种主流大模型与Agent框架做了全面摸底。

Sol 拿下总榜第一

但 “造世界” 换了领跑者

总榜上,GPT-6.1-sol以66.02分排第一,物体层(71.21)和场景层(70.35)优势明显。

可9个细分类别里,没有哪个模型能全部通吃:

  • 开放世界(L3)这一项换了领跑者,GPT-6-astra 以 61.28 的均分排在第一;文本生成物体(Text2Code)的最高分则归 Claude Opus 5.5,为 84.05。

  • 场景编辑(SceneEdit)杀出了意外角色:总榜第六的 MiniMax-M3.1-Flash 拿到 78.70 分,位列单项第二,Kimi-K3 和 GLM-5.3-Flash 在这项上的表现也都高过全场均值。

所以要挑一个做 3D 的 Agent,先得想明白用途:是捏资产、改场景,还是进虚幻引擎里造世界?

自由发挥能超 80 分,给张参考图却集体“破防”。

逐个任务看分数,所有模型在“参考图重建”上的得分都明显低于“文本生成”:文本生成物体普遍在 75.93~84.05 分之间;

  • 而到了多视图和单视图重建,全场最高分只剩 69.61 分和 66.26 分。

Qwen3.8-Max 的反差最典型:文本生成物体有 81.98 分,逼近榜首 Sol 的 82.10,可多视图和单视图重建一下子掉到 43.97 和 37.34。Kimi-K3.1-Pro 与 DeepSeek-V4.1-Flash 同样属于“强生成、弱重建”。

做一个“看着合理”的作品已不算难,难的是跨过遮挡和透视,把“指定的那个作品”原样复刻出来。

差距落在 appearance、结构和细节上。把总分拆成视觉质量、结构一致性、任务完成度三项,短板就清楚了。

物体与场景的视觉和完成度由 Sol 领先,开放世界归 Astra;物体结构这一项,Opus 以 83.27 分略微压过 Sol。总体看,把主部件摆对位置、搭出粗略骨架,各模型都还算容易(L1 结构均分 72.77),难的是把精细外观和细节填满。

具体作品上差别很明显。

  • 纺车重建(L1 物体):Sol 和 Opus 还原了主要机械组件,Kimi-K3 把它简化成抽象的圆环加木杆,核心传动件丢了。

  • 浴缸修复(L2 编辑):Sol 和 Astra 让新浴缸严丝合缝地卡进原有支架,Luna 的浴缸外壳却和支架分了家。

  • Minecraft 村庄(L3 世界):Astra 和 Sol 还原出村落轴线与连续梯田地形,Luna 把建筑密集堆在平地上,空间语境没了。

单个机关能跑到 83 分,串成完整任务却掉到 30 分。

开放世界的真正考验发生在代码运行那一刻。所有模型在 L3 世界层的平均分,都低于各自的物体和场景成绩。

对 165 个生成世界做运行时测试,拆出的数据里有一组格外扎眼:局部交互平均 83.08 分;

  • 运动避障只有 20.82 分。

  • 状态与工作流这一项,得分只有 30.26 分。

结论摆得很清楚:单个机关、局部结构,Agent 已经能做得有模有样,可要把这些零散部件串成一条线,就难了。写一个开关、做一个机关,对 Agent 来说并不陌生;难的是让角色不穿模地跨区域走动、触发动作,还得让改动后的状态一直影响后续操作,最终跑通一整套活动——这恰恰是眼下 Agent 最需要迈过去的一道坎。

算笔经济账

花出去的钱越多,成品就一定越好吗?把综合质量和每道题的平均 API 估算开销摆到一张图上,性价比地图就出来了。挑一个 3D 创作搭档,作品质量要看,背后的 API 账单也得算明白。

  • 性价比前沿上站着三个守门员:GPT-6-luna 约 $0.27 一题、48.56 分,DeepSeek-v4.1-Flash 约 $0.45 一题、57.45 分,GPT-6.1-sol 约 $1.01 一题、66.02 分。从 DeepSeek 换到榜首的 Sol,成本大约涨到 2.2 倍,换来的是 8.57 分的提升。

  • 贵并不等于强。GPT-6-astra 每道题约 $5.58,得分 63.85;Claude Opus 5.5 每道题约 $21.17,得分 62.29。两者的单题花销都远超 Sol,综合质量却反而更低。

下一步

让代码里的 3D 世界真正转起来——一台精密的机器,靠的是零件之间严丝合缝;一间住得舒服的房间,讲究物体各归其位;一个活生生的世界,则要求动作做完之后,状态和反馈还能接着往下走。如今,Coding Agent 正把这些原本属于图形学和三维视觉的复杂要求,一行一行写成能跑起来的代码。

Frontier3DBench 做的,不只是给这条技术路线画出第一张全景能力地图,它还点明了通往“真正 3D 创作者”路上绕不开的两道关:一是从“自由生成”跨到“精准还原”,看见的几何结构和细节要一分不差地建出来;二是从“局部机关”打通到“全局工作流”,让可交互世界里的连续动作和持久状态真正配合起来。

这两道关一旦翻过去,Coding Agent 交付的就不再是孤立的资产或静止的布景,而是能走进去、能互动、能演化的数字世界。从「会写代码」到「能造世界」,3D 创作的下一个时代才算真正开始。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI个人Agent Dot解锁邮箱验证码:登录能自动填了

    个人Agent集体往前迈了一步。11月8日,OpenAI产品团队成员James Sun在社媒上发布一项产品更新,个人Agent产品Dot现在可以使用发到已连接邮箱的登录验证码,替用户完成登录。收到提示后,用户可以选择只允许这一次,也可以允许它以后自动填写。James Sun还说,后续会继续改进登录体验。消息发出后,用户

    来源 腾讯网
  2. AI编程智能体犯错谁来管:Salesforce提出Opera审稿框架

    你有没有遇到过这种情况:让一个新来的程序员帮你改代码,他兴冲冲地改完了,告诉你"搞定了",结果你一测试,发现他压根改错了地方。更麻烦的是,等你发现这个问题的时候,他已经在这个错误的基础上又往前走了十步,返工成本直接翻倍。这正是现在的AI编程智能体正在经历的事。这些智能体可以自己浏览代码仓库、编辑文件、运...

    来源 腾讯网
  3. 腾讯AI游戏陪伴Agent“鹅次元”开测:实时看画面陪聊

    该产品面向 PC 玩家,提供拟人化 AI 陪伴和实时语音互动,AI 能识别游戏画面并与玩家互动,支持 QQ 陪伴聊天、桌宠、壁纸更换等功能。目前已上线“夏夏”等四位角色,擅长《无畏契约》《英雄联盟》等游戏。#腾讯AI游戏陪伴鹅次元内测#

    来源 IT之家
  4. Agent 越用越多,企业为何仍不够 AI Native?

    AI 生码率飙升,端到端交付却没有变快;通用 Agent 提效办公生产力,整体业务效能却未同步提升。当企业把 AI 工具推向业务流程,“局部更快、整体不快”的现象值得审视。阿里云智能集团副总裁、CIO 蒋林泉复盘了三年 AI 实践,从问题中找到了答案,也对 AI Native 有了清晰的认识。 AI Native,越热

    来源 AI 行业观察
  5. 千问“死磕”Personal Agent:为什么下限比上限更重要?

    作者 | 褚杏娟Personal Agent 已经渡过早期产品验证,进入了新一轮产品竞争阶段:Meta Muse、OpenAI Dots 等纷纷把产品从“炫技”推向了“长期稳定地替用户做事”。不过,身处一线研发的阿里千问事业部 AI 算法负责人蒋冠军对现状的真实评价是:今天的 AI 依旧不好用。“虽然对话里已经可以点奶

    来源 腾讯网
  6. 字节 TRAE 宝实测:零基础用户用它从零开发长截图工具

    Coding Agent 有一个尴尬的悖论:AI 能做的事越来越多,人要操心的事却未必越来越少。一个 Agent 写代码,一个查资料,一个改界面,看上去已经凑齐了一支团队。但谁来交代背景、同步进度、记住上次为什么改方案?往往还是用户。任务可以并行,人却要在几个窗口之间来回切换。AI 接走了执行工作,又把一部分管理工作交

    来源 腾讯网
  7. AI入门:Agent、Skill、MCP怎么选?先弄清三件事

    面对大模型、Agent、Skill和MCP等术语,新手往往感到困惑。本文剥离营销话术,用“周末旅行规划”为例,通俗解释这些概念的实际分工。重点在于如何根据真实任务选择工具,以及如何通过有效提问和结果验证,让AI真正帮到你,而非陷入术语堆砌的焦虑。

    来源 AI 应用前沿
  8. 千问押注Personal Agent:蒋冠军称实际交付能力仅60%~70%

    Personal Agent 已经渡过早期产品验证,进入了新一轮产品竞争阶段:Meta Muse、OpenAI Dots 等纷纷把产品从“炫技”推向了“长期稳定地替用户做事”。 不过,身处一线研发的阿里千问事业部 AI 算法负责人蒋冠军对现状的真实评价是:今天的 AI 依旧不好用。 “虽然对话里已经可以点奶茶、购物,但

    来源 AI 行业观察
  9. 千问办公2.0上线:Agent能进群协作,自动任务主动开工

    【TechWeb】11月9日消息,千问办公发布2.0版本,这是其上线三个月以来最大的一次升级。该版本推出了行业首个支持多人与Agent协作的功能“协作”,同时上线“人机共创”、“资料空间”、“自动任务”和“三端互联”等核心能力,让Agent从服务个人走向服务团队和组织。目前,所有功能已在千问办公客户端全量上线。 千问办

    来源 AI 行业观察
  10. 千问办公2.0上线:Agent进群协作,自动任务主动干活

    千问办公在同日发布的官方博客《千问办公2.0:主动与协同,迈向Team Agent时代》中指出,主流办公Agent的产品形态仍以服务个人为主,团队的协作方式并未发生变化,下一代Agent需要进入团队协作的现场。千问办公推出的“协作”功能率先把Agent带进工作群,用户可以组建一个团队和数字员工共同工作的协作空间。千问办

    来源 TechWeb
  11. 千问办公2.0上线:Agent进群与团队协作,支持跨群汇总信息

    千问办公在同日发布的官方博客《千问办公2.0:主动与协同,迈向Team Agent时代》中指出,主流办公Agent的产品形态仍以服务个人为主,团队的协作方式并未发生变化,下一代Agent需要进入团队协作的现场。千问办公推出的“协作”功能率先把Agent带进工作群,用户可以组建一个团队和数字员工共同工作的协作空间。千问办

    来源 TechWeb
  12. Personal Agent,为什么都停在付款之前?

    出品 | 智械岛作者 | 霍如筠(北京)对于AI有句调侃:只要学得够慢,就可以不用学了。因为等你终于学会上一个AI产品,下一个都过时了。过去四年,AI产品换了一茬又一茬:聊天机器人、AI陪伴、Coding Agent……每一波都有人喊“这次不一样”,但每一波都有一批产品被关停、合并与收缩。据不完全统计,仅2025年全球

    来源 腾讯网
  13. 实测 Hojo:当一家 Voice AI 创业公司开始主动「找骂」

    让 Agent 进入高价值沟通的第一现场。 作者: GaKi 编辑: Koji‍ 排版: NCon一家正在探索 AI 语音交互与硬件接入的创业公司,最近选择从会议纪要切入,推出了自己的 Voice AI 产品。「求拆台、求踢馆、求打脸」—— 产品刚刚上线,这家公司就主动面向市场立下了这样一个 Flag。这家公司叫 Ho

    来源 腾讯网
  14. Meta发布Muse Ember:每百万token 10美分,Agent执行成本战开打

    Meta于11月10日发布轻量级模型Muse Ember,专为Agent执行场景设计,输入定价仅为每百万token 10美分,明显低于Haiku、Luna等前沿竞品。分析认为,这标志着大模型竞争正从能力竞赛转向执行成本竞赛,低价轻量模型或成为Agent规模化落地的关键基础设施,也将给同行带来新的定价压力。

    来源 AI 科技快讯
  15. AI个人助理应该多主动?

    从8 月起,海内外Personal Agent集中亮相,Meta推出的Muse热度最高,上线四十多天收获千万用户,直接拉动股价大涨30%,热度远超此前Threads。这类产品的核心价值,在于“主动服务”:Instinct超四成用户绑定信用卡,月均消费1300美元;超两成场景是帮用户省钱,自动核查账单、取消无用订阅。我实

    来源 腾讯网
  16. 千问办公2.0上线:多人协作Agent,能否补上组织生产力短板?

    “过去几个月,各家都在拼命证明AI越来越能干活。但说实话,一个人能干活,不代表一群人就能协作。” 一位长期关注AI办公的业内人士,试用完市面上主流的AI办公产品后发现,有些“麻烦”还是绕不开,最典型的就是有些活儿还得靠人工来回“倒腾”。 “Agent能独立完成任务,但很难接住任务在人与人之间的流转。”有时候,AI交付结

    来源 AI 行业观察
向下滚动自动加载更多