Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?

资讯 AI 行业观察 全文 3701 字 · 约 10 分钟读完 配图 13 张 分类智能体

Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?

所属频道 智能体与 Agent
Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 1)
机器之心发布

Coding Agent 要走向真实的 3D 生产管线,就必须跨越从 “单个物体” 到 “完整场景”,乃至 “可交互开放世界” 的鸿沟。


过去,三维重建、生成与编辑高度依赖传统视觉与图形学中的专用算法管线。而如今,具备视觉理解与程序执行能力的 Coding Agent 正在颠覆这一过程 —— 将以往所有的三维视觉难题,全部转化为代码生成问题。


然而,现有的评测基准往往将 “静态几何质量” 与 “动态世界交互” 割裂开来,难以回答一个核心问题:


「今天的 Coding Agent,究竟能否接住从物体、场景到开放世界的全栈创作需求?」


为此,Einsia AI 发布 Frontier3DBench。该基准横跨 Blender 与 Unreal Engine 两大工业级环境,涵盖 9 大类别、145 项任务(65 项物体 + 65 项场景 + 15 项开放世界),全面评测了 11 种主流前沿模型与 Agent 框架配置,从外观、结构与行为三个维度,系统性地勾勒出 Coding Agent 的 3D 创作能力边界。


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 2)


  • 论文题目:Frontier3DBench: Benchmarking Coding Agents for 3D Creation across Objects, Scenes, and Interactive Open Worlds

  • 项目主页:https://lab.einsia.ai/frontier3dbench

  • GitHub:https://github.com/Einsia/Frontier3D

  • Paper:https://lab.einsia.ai/frontier3dbench/Frontier3DBench.pdf


从捏物体、搭场景到造世界

Frontier3DBench 测什么?


在 3D 创作里,捏一个模型、搭一个房间,和造一个能跑能跳的开放世界,难度完全不在一个量级。每往前走一步,Agent 要照顾的事就多一层:物体讲究零件与比例,场景讲究空间布局,而世界则必须接住动作、交互与持续变化的状态。   


以往的评测往往把这些环节切碎了 —— 有的只看静态资产美不美,有的只测游戏代码通不通。光看一个笼统的总分,很难搞清楚 Agent 翻车时,到底是因为丢了参考图细节、排错了房间位置,还是卡在了运行时的某步交互上。  


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 3)


为此,Frontier3DBench 将这三层要求装进同一套评测标准,涵盖 9 大类别、145 项任务:


  • L1 物体层(65 项):交付可编辑 Blender 资产,涵盖纯文本建模(Text2Code)以及单视图、多视图参考图重建(Img2Code)。

  • L2 场景层(65 项):交付完整 Blender 场景,覆盖文本生成(Brief2Scene)、渲染图重建(Ref2Scene)、真实照片重建(Ref2Scene-RealPhoto)以及 “改局部、保周围” 的场景编辑(SceneEdit)。

  • L3 开放世界层(15 项):交付 Unreal Engine 工程,要求根据文本(Text2Env)或参考图(Img2Env)构建多区域连通、支持连续交互活动的开放世界。


评测也跟着工程文件一路往里走,用三个坐标给每份 3D 答卷打分:


  1. 外观:看渲染结果,检查视觉美感与参考图还原度;

  2. 结构:拆原生工程,量尺寸、数零件、查穿模与连通性;

  3. 行为:跑独立测试,驱动角色在世界中实际穿行交互,验证动作与状态是否成立。


按 30%(物体)、30%(场景)、40%(世界)的权重汇总后,研究团队对 11 种主流大模型与 Agent 框架进行了全面摸底。


Sol 拿下总榜第一

但 “造世界” 换了领跑者


先看总榜:GPT-6.1-sol 以 66.02 分斩获总榜第一,在物体层(71.21)和场景层(70.35)优势明显。 


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 4)


但 9 个细分类别,没有任何一个模型能全部通吃:   


  • 开放世界(L3)的领跑者变成了 GPT-6-astra(均分 61.28);   

  • 文本生成物体(Text2Code)的最高分属于 Claude Opus 5.5(84.05);   

  • 场景编辑(SceneEdit)则跑出黑马:总榜第六的 MiniMax-M3.1-Flash 以 78.70 分拿下单项第二,Kimi-K3 与 GLM-5.3-Flash 的编辑表现也双双超过全场均值。   


想选一个做 3D 的 Agent,得先问清楚:你要它捏资产、改场景,还是去虚幻引擎里造世界?


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 5)


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 6)


自由发挥超 80 分

给张参考图却集体 “破防”


细看每个模型在各个任务上的得分,可以发现,所有模型的 “参考图重建” 得分均显著低于 “文本生成”:   


  • 文本生成物体得分普遍高达 75.93~84.05 分;   

  • 到了多视图和单视图重建,全场最高分仅剩 69.61 分和 66.26 分。   


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 7)


Qwen3.8-Max 把这种反差展现得尤为明显:其文本生成物体高达 81.98 分(逼近榜首 Sol 的 82.10),但多视图和单视图重建却骤降至 43.97 和 37.34。Kimi-K3.1-Pro 和 DeepSeek-V4.1-Flash 也呈现出 “强生成、弱重建” 的分布。


做出一个 “看着合理” 的作品已经不难,难的是跨过遮挡与透视,把 “指定的那个作品” 分毫不差地复刻出来。


差距藏在外观、结构与细节中


把总分拆成视觉质量、结构一致性、任务完成度三个维度,模型的短板更加一目了然。


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 8)


物体和场景的视觉与完成度由 Sol 领跑,开放世界由 Astra 领跑;而在物体结构上,Opus 以 83.27 分微弱反超 Sol。整体来看,各模型把主部件摆对位置、搭出粗略骨架相对容易(L1 结构均分 72.77),但要把精细外观和细节填满则难得多。   


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 9)


落到具体作品上,高下立判:   


  • 纺车重建(L1 物体):Sol 和 Opus 恢复了主要机械组件,Kimi-K3 则将其简化成了抽象的圆环与木杆,丢了核心传动件;   

  • 浴缸修复(L2 编辑):Sol 和 Astra 让新浴缸严丝合缝地适配了原有支架,Luna 的浴缸外壳却与支架分了家;  

  • Minecraft 村庄(L3 世界):Astra 和 Sol 还原了村落轴线与连续梯田地形,Luna 则把建筑密集堆在了平地上,丢了空间语境。   


单个机关能跑 83 分

连成完整任务却跌到 30 分


开放世界的真正考验在代码运行的那一刻。所有模型在 L3 世界层的平均分,均低于各自的物体和场景成绩。   


对 165 个生成世界的运行时测试,拆出了一组扎眼的数据:   


  • 局部交互:平均 83.08 分

  • 运动避障:仅 20.82 分  

  • 状态与工作流:仅 30.26 分


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 10)


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 11)


结论很明确:局部机关已经能做出来了,但很难把它们串起来。 


单独写一个开关或机关,Agent 已经轻车熟路;但要让角色无穿模地跨区域移动、触发动作,并让改变后的状态持续影响下一步操作,从而跑通一整套活动,正是当前 Agent 亟待跨过的一道大关。   


算笔经济账

花钱越多,作品就越好吗?


将综合质量与单题平均 API 估算成本放在一起,便有了这张性价比地图:   


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 12)


挑一个 3D 创作搭档,既要看作品,也得算清背后的 API 账单:


  • 三大性价比守门员:GPT-6-luna(约 $0.27 / 题,48.56 分)、DeepSeek-v4.1-Flash(约 $0.45 / 题,57.45 分)和 GPT-6.1-sol(约 $1.01 / 题,66.02 分)构成了帕累托前沿。从 DeepSeek 升级到榜首 Sol,花约 2.2 倍的成本即可换来 8.57 分的跃升。   

  • 更贵不等于更好:GPT-6-astra(约 $5.58 / 题,63.85 分)和 Claude Opus 5.5(约 $21.17 / 题,62.29 分)的单题开销远高于 Sol,但综合质量反而更低。


Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?(配图 13)


下一步

让代码里的 3D 世界真正运转起来


一台精密的机器,依赖零件之间的严密咬合; 一间合理的房间,讲究物体之间的空间秩序; 一个鲜活的世界,需要动作之后仍能延续的状态与反馈。   


今天,Coding Agent 正在把这些原本属于图形学与三维视觉的复杂要求,一行行写进可执行的程序代码里。


Frontier3DBench 不仅为这条技术路线绘出了首张全景能力地图,也精准标出了通往 “真正 3D 创作者” 路上必须攻克的两座大山:   


  • 跨越 “自由生成” 到 “精准还原” 的鸿沟,让看见的几何结构与细节分毫不差地建出来;   

  • 打通 “局部机关” 到 “全局工作流” 的闭环,让可交互世界里的连续动作与持久状态真正协同运转。


当这两座大山被翻越,Coding Agent 交付的将不再只是孤立的资产或静态的布景,而是真正可走入、可交互、可演化的数字世界。


从「会写代码」到「能造世界」,3D 创作的下一个时代,才算真正拉开帷幕。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 申通快递携千问办公:AI办公体系落地全国网点

    【TechWeb】11月6日消息,申通快递与千问办公正式达成战略合作。双方将围绕快递核心场景打造 AI 办公体系,以Agent能力支撑申通快递全国网点的增长战略落地,推动AI从总部管理向末端网点规模化输出,加速物流服务智能化升级。申通快递总

    来源 TechWeb
  2. 深度|对话阿里千问AI算法负责人:Personal Agent拼的不是上限而是下限,生态是最大的墙

    推荐语过去一年,Agent 进展最扎实的领域是写代码。原因在于代码自带判卷标准,测试过没过,模型自己就能知道。强化学习有了稳定的反馈信号,能力就能一直往上训。生活服务没有这样的标准。订错一张票,记混一条病史,系统不会报错,用户只会悄悄流失。过去一年几款通用 Agent 先爆火、后冷却,问题大多出在任务完成率上。...

    来源 腾讯网
  3. Uber高管:AI智能体叫车几乎无人用,万圣节周仅4单

    IT之家 11 月 5 日消息,目前使用个人 AI 智能体预约 Uber 出行的用户寥寥无几。在当地时间周三举行的第三季度财报电话会议上,Uber 表示,10 月份订单量最高的一周,也就是万圣节所在的一周,通过 AI 智能体下单的网约车订单仅有 4 笔。 通过 Uber 旗下外卖平台 Uber Eats 使用 AI 智

    来源 AI 行业观察
  4. 灵光2.0权限受限:小红书与Rokid用AI眼镜补上感知短板

    自从Muse走红后,互联网大厂、大模型公司和AI创业者们纷纷快马加鞭端上自家的个人Agent,目前国内市场声量最高的是千问Go、微信小微、灵光2.0和Today AI这些。 最近灵光铺天盖地宣传下来,还真以为中国Muse驾到,阿里、字节通通闪开,结果实测下来拉了裤里。 灵光2.0可以接入日历、闹钟、百度网盘、QQ邮箱等

    来源 AI 行业观察
  5. 艾普AI白皮书:27个工程模式破解Agent生产断层

    企业内部做 Agent,常见进程是这样:三个星期做出能跑通流程的 Demo,评审会上掌声一片;半年过去它还在跑,但没人敢让它碰生产数据。《企业级 Agent 设计白皮书》191 页,艾普 AI 生产力研究院出品。它补的就是中间那道断层:Agent 在生产里稳不稳,取决于你把多少判断搬进了工程结构,而不是用了多大的模型。

    来源 腾讯网
  6. Karpo做城市生活AI:从心情出发,帮用户把念头变成安排

    谁能更早承接用户尚未明确的需求,谁就更有机会成为新的消费入口。 一笔消费,究竟从什么时候开始?很多人会觉得,是下单付款的那一刻。但只要回想一次最近的外出,就会发现它的起点其实早得多。 订下一家餐厅之前,可能经历过想见朋友、想庆祝、想换个环境等不同念头;同样一句今晚想出去,最终可能对应一顿饭、一场演出,...

    来源 腾讯网
  7. Uber 高管:目前几乎没人使用 AI 智能体叫车

    Uber 第三季度财报显示,10 月订单量最高的一周,AI 智能体贡献的网约车订单仅 4 笔,外卖订单 500 笔,远低于 3.2 亿的总订单量。高管称目前用户通过 AI 智能体下单的意愿极低,不过仍看好未来增长潜力。#AI前沿#

    来源 IT之家
  8. Uber高管:万圣节周AI智能体叫车仅4笔

    IT之家 11 月 5 日消息,目前使用个人 AI 智能体预约 Uber 出行的用户寥寥无几。在当地时间周三举行的第三季度财报电话会议上,Uber 表示,10 月份订单量最高的一周,也就是万圣节所在的一周,通过 AI 智能体下单的网约车订单仅有 4 笔。通过 Uber 旗下外卖平台 Uber Eats 使用 AI 智能

    来源 腾讯网
  9. Airbnb宣布将于2027年上半年推出定制化AI旅行代理

    Airbnb 于近日正式宣布,计划在2027年上半年推出专为旅游场景定制的人工智能旅行代理(AI Travel Agent),标志着其在垂直领域多模态交互应用上的重要战略布局。在同步发布的第三季度财报中,公司交出了强劲的业绩答卷,总营收同比增长19%达48.7亿美元,超出华尔街预期,并宣布将2026年全年营收增长预期上

    来源 AI 开发者社区
  10. Palo Alto拟5亿美元收购Clutch:AI代理安全赛道最大并购之一

    网络安全巨头Palo Alto Networks正洽谈以5亿美元收购AI代理安全初创公司Clutch,报价约为其上一轮估值的六倍。这笔交易若达成,将成为AI代理安全赛道迄今最引人注目的并购之一,也折射出企业级AI代理规模化落地背后日益紧迫的安全治理需求。

    来源 AI 科技快讯
  11. Ripple-65B Preview发布:65B稠密模型智能体编程超越更大规模对手

    IT之家 11 月 6 日消息,由前谷歌研究员创立的人工智能实验室 Ricursive Intelligence 当地时间本月 4 日发布了 Ripple-65B Preview,宣称其在美国开放权重模型中拥有最为出色的智能体编程表现。 Ricursive Intelligence 此前的工作专注于 AI 驱动的芯片设

    来源 AI 行业观察
  12. Aina智能戒指带屏和摇杆:可穿戴AI交互新入口能走通吗?

    TechCrunch报道,初创公司Aina推出一款带屏幕、摇杆和麦克风的智能戒指,用户可直接通过语音与AI智能体对话,还能接听电话、在Mac上听写笔记。这款产品试图在健康追踪之外,为可穿戴设备开辟AI交互新入口,也引发业界对戒指形态能否承载复杂交互的讨论。

    来源 AI 科技快讯
  13. Claude Code产品负责人Cat Wu转投OpenAI,Anthropic上市前夕连失核心

    人、基建落位,OpenAI 押注团队 Agent。 作者丨高允毅 编辑丨岑 峰 Anthropic 刚递交招股书一周,自家最赚钱的产品,产品负责人已经坐到了对面。 今早,前 Claude Code 产品负责人 Cat Wu 在 X 上宣布加入 OpenAI,出任核心产品组的产品负责人。一天前,她刚告别了 Anthrop

    来源 AI 行业观察
  14. Aina智能戒指:轻点一下指挥AI代理,控制入口从手机转向指尖

    当AI代理开始替你执行任务,控制它的入口正在从手机屏幕转向指尖。据《连线》独家报道,初创公司Aina正在研发一款智能戒指,用户只需轻点一下,就能指挥自主AI代理完成操作。这家公司押注的是:未来你不再需要掏出手机来管理虚拟助手,可穿戴设备将成为AI代理最自然的“遥控器”。

    来源 AI 科技快讯
向下滚动自动加载更多