Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输

资讯 AI 行业观察 作者:新智元 全文 2774 字 · 约 7 分钟读完 配图 8 张 分类Fable前沿模型OpenAI模型发布学术研究智能体

花430倍的钱,只多11%的分数! 太夸张了。数据协作平台Deepnote今天发布了一项评测结果—— 创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。 跑完一看

所属频道 大厂动态模型发布智能体与 Agent前沿研究

花430倍的钱,分数才多11%。

太夸张了。数据协作平台Deepnote今天公布了一项评测结果。

创始人Jakub Jurovych做了个叫Agent Initiative Benchmark的东西,让12个前沿模型进同一家公司的Slack群,充当AI同事,由它们自行判断何时该搭把手、何时该不吭声。

跑完一看,前两名都是OpenAI。

GPT-6 Astra得8.97分,排第一。GPT-6.1 Sol得8.65分,排第二,单个任务只花0.11美元。

第三名是Anthropic的Fable 5.2,8.17分,单个任务1.87美元。

价钱高出17倍,分数反而更低。

Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输(配图 1)

换算成一家70人公司每月的Slack监控开销:Sol是281美元,Fable 5.2是4684美元。

干同样的活,Fable 5.2要贵16倍。

整张表里最离谱的对比是这个:Fable 5.1每单3.02美元,GPT-6 Luna每单0.007美元,价格相差430倍,得分只差1.1分。

你品品。

Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输(配图 2)

这个评测究竟测的是什么?

它不看模型有多聪明,看的是模型当同事靠不靠谱。

Deepnote编了一家叫PageMantle的虚构公司。

可这个「虚构」做得相当逼真:6年运营历史、71名员工、100家企业客户,CRM、发票、工单、产品分析、数据仓库等11套业务系统一应俱全。

Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输(配图 3)

连SVB倒闭、竞品发布新功能这类现实事件也被编进了公司时间线,员工会在Slack里商量怎么应对,再到Linear上开issue跟进。

AI的任务是:待在Slack里听所有对话,自己判断要不要出手。

出手有三种方式:回复频道、回复线程、私信当事人。当然还有第四种——什么都不做。

而这第四种,偏偏是最难的部分。

50个真实职场任务,覆盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全8类场景。

12个模型各跑一遍,每次限时3分钟,两个盲评模型独立打0到10分,共600次完整运行,数据集和代码全部开源。

数据摊开:

第一,Sol 6.1是这场考试的最大赢家。它和Astra只差0.32分,95%置信区间还有重叠——统计上可能压根分不出高低。可价格只有Astra的六分之一。96%的性能,六分之一的价钱。

第二,Anthropic整体偏贵。前12名里Anthropic占了5席(Fable 5.2、Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5),但按性价比排,没有一个进前三。Fable 5.2排第三看着还行,可单任务花费是Sol的17倍、月账单是Sol的16.7倍。唯一能安慰的是速度:Sonnet 5.5只要15秒、Opus 5.5只要29秒,是全场最快的两个模型。

Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输(配图 4)

第三,Gemini和Grok彻底翻车。这两个每个任务平均调用35次工具,是Sol的两倍。可调得多不等于干得好——50个任务里Gemini有27个超时没交卷,Grok有18个。时间到了答题卡还是空的,分数自然垫底。

Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输(配图 5)

最难的不是帮忙,是知道何时闭嘴

这个评测里最不留情面的地方,是故意塞了10个「不该出手」的场面——要么事情早就办完了,要么压根跟AI没关系。

出来的结果挺耐人寻味:说到帮忙,各家模型都抢着上,40个该出手的任务里,九成都能拿下。

可真到了该收手的时候呢?做得最好的也只憋住了8次,多数只憋住6次。

GPT-6 Luna、DeepSeek V4.1 Flash、Mistral Large 4在10个该沉默的场面里,有6次开了口。两个Fable也开了4次口。

问题在于,这些「多余的话」讲得还相当讲究——翻系统、查数据、写分析,一套流程走完,最后正儿八经地回了一条根本不用回的消息。

像不像公司里那位逢会必发言的同事?不是本事不够,是没弄明白这事到底用不着他。

这种「热心过头」还得花钱。Deepnote算过,同一个模型插错嘴的时候,时间和金钱平均比闭嘴多出1.8倍。它可不是随口乱说,是认认真真调了一圈工具之后才乱说的。

两种模型风格的分野也就此清楚了——Deepnote把它们叫作「狙击手」和「深度思考者」。

狙击手的代表是Opus 5.5:平均10次工具调用,29秒交卷,7.84分。快、准、不废话。10个该沉默的场面里它忍住了8次,跟Astra、Sol并列第一。

深度思考者的代表是Sol 6.1:平均18次工具调用,54秒交卷,8.65分。时间多花了80%,工具多调了80%,分数高了10%,价格却只有Opus的十分之一。

Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输(配图 6)

Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输(配图 7)

至于Gemini和Grok,得归到第三类——迷路型。

工具调了35次,可一半任务到点都没给出答案。书翻到考试结束,卷子还是白的。

这件事为什么重要?

第一,挑AI同事的尺子变了。

老一套benchmark比的是「谁最聪明」。可AI的角色一旦从「你问我答」换成「24小时在线的主动型同事」,评判的尺子就变成了:

该帮忙时帮得上、不该帮忙时闭得住、花出去的钱经得住算账。这是判断力,不是智力。

眼下OpenAI的两个模型在这三条上做得最好。Sol尤其扎眼——判断力几乎照搬了Astra(帮忙39/40、沉默8/10),价格却打了一折。

第二,Always-on Agent的账单算法完全不是一回事。

过去调一次API花一次钱,用完就走。

可24小时在线的AI同事是按流量持续计费的。Sol一个月281美元,Fable 5.2一个月4684美元,Fable 5.1一个月7540美元。

这还只是一家70人公司的Slack。

要是公司有500人,要是Agent还得同时盯着邮件、日历、工单……省下来的就不是零花钱,是实打实的人力预算。

第三,速度和质量之间的取舍冒出了新走法。

Anthropic最快(Sonnet 15秒),OpenAI最准(Astra 8.97分),Sol最划算(0.11美元)。

做产品的团队未必要在模型里挑一个,更实际的做法是分场景调度。Deepnote的报告同样推荐这套分层思路:实时对话交给Anthropic的快模型抢时间,后台分析用Sol,花得少、分数也不低。

说到底,AI同事最关键的不是脑子多灵,而是靠不靠谱:该开口时说得准,该收声时忍得住,账单也别太吓人。照这个尺子量,OpenAI的Sol 6.1一单0.11美元、8.65分,眼下就是性价比天花板。

反过来看,有的模型贵了17倍、430倍,分数却没高出多少,这类选手该认真想想自己的位置了——在AI同事的圈子里,最贵的那个,未必是老板最想留下的。

参考资料:

https://x.com/jakubjurovych/status/2121256499552915586

https://deepnote.com/research/benchmark

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Fable 5.2成本高17倍却失分,12个AI进Slack当同事OpenAI拿下前二

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  2. OpenAI包揽前二:12个AI当同事,GPT-6 Astra贵17倍却输分

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  3. OpenAI董事警告AI接管社会:窗口或仅剩数月,从奖励黑客到灭绝

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 行业观察
  4. OpenAI解散机器人团队:GPT-6 Astra直接控机器人,六年三调架构

    2026年11月13日,OpenAI宣布解散独立机器人团队,将相关人员并入主研究团队和Applied组织。理由是GPT-6 Astra等通用前沿模型已可直接用于机器人控制,据英伟达研究数据,GPT-6 Astra在模拟操控基准测试中得分74.8%,远超专用模型的51%。这是OpenAI六年内第三次调整机器人组织架构,也

    来源 AI 科技快讯
  5. XYBench基准出炉:AI答得对却帮不上忙,8000题考意图识别

    当用户问错问题时,AI是顺着错误给方案,还是指出真正的问题?Allen AI发布的XYBench基准测试了8000多个真实场景,发现主流大模型在识别用户潜在意图和纠正误解方面,表现远不如人类。本文详解XYBench的构建逻辑、评估维度及实验结果,探讨为何“听懂弦外之音”对AI助手至关重要。

    来源 AI 应用前沿
  6. OpenAI推ChatGPT Wallet:dot智能体代购物,暂不收佣金

    ChatGPT Wallet 由 OpenAI 与美国运通、万事达卡和 Visa 合作开发,用户使用现有信用卡付款时,仍可享受原有的积分奖励和权益保障。符合条件的用户只需录入一次银行卡信息,随后便可让 dot 智能体帮忙寻找商品,每笔交易都需要通过安全验证才能完成。

    来源 IT之家
  7. OpenAI解散机器人团队:研究人员并入核心部门

    OpenAI 的机器人团队,突然解散了。据《Fortune》杂志报道,OpenAI 已经解散独立的机器人研究团队,将相关研究人员重新分配到公司其他部门。原机器人研究团队被并入公司的核心研究团队,向首席研究官 Mark Chen 汇报;应用机器人和硬件团队则被划归规模更大的 Applied 部门,由 OpenAI 总裁

    来源 腾讯网
  8. 450道题逼出AI编程漏洞:最强模型也难幸免

    2026年,一个研究团队做了一件挺较真的事。他们找来六个最厉害的AI编程助手,给它们布置了450道题,题目来自150个真实世界里发生过的安全漏洞。规则很简单:只告诉AI要实现什么功能,绝口不提安全二字,就像现实中大多数程序员写需求文档那样。结果呢?**最强的那个模型,Claude Fable 5,写出的代码里,真正做到

    来源 腾讯网
  9. OpenAI撤掉机器人团队:GPT-6 Astra能直接管机器人,专用模型还香吗

    OpenAI称,公司研究人员原本认为,推进机器人技术的最佳方式是建立在Sora等模型的研究成果之上,但此后发现GPT-6 Astra等通用前沿模型已经展现出直接应用于机器人领域的能力,这促使公司解散独立机器人团队,将相关研究人员转移至更广泛的通用AI模型研发团队。

    来源 华尔街见闻
  10. OpenAI解散机器人团队:英伟达与华为云下周动向,高手盯哪些主线

    每经记者:吴永久 每经编辑:闫峰峰受到英伟达CEO辞职消息刺激,本周五,韩国股指杀跌,A股也受此影响,当日下午光模块、PCB等AI硬件股跌幅居前,资金流向银行、大消费、公用事业等红利资产。从周末的消息面来看,“OpenAI解散独立机器人团队”这个消息受到市场关注。在下周,英伟达将发布财报,华为云将发布具身世界模型。..

    来源 腾讯网
  11. 谷歌Gemini 4 Hydrogen发布:定价低于Argon,AA指数却高1分

    谷歌DeepMind于2026年11月12日发布Gemini 4 Hydrogen,定价$1.50/$7.50(百万token),在Artificial Analysis智能指数上以51分(默认高档)和54分(最高档)超越同系Argon的50分,同时面向所有用户免费开放。模型主打代码执行与agentic工作流,配套推出

    来源 AI 行业观察
  12. 谷歌Gemini 4 Hydrogen开放:51分反超旗舰,搜索AI Mode换引擎

    导读: 11月12日,谷歌发布Gemini 4 Hydrogen并全球推送:成为搜索AI Mode默认模型,第三方智能指数51分反超自家旗舰Argon,API定价每百万输入1.5美元。同场推出的Orchestrator可在同一会话自动切换Carbon与Hydrogen,号称省24%配额、快19%。 谷歌把「便宜档」做成

    来源 AI 行业观察
  13. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  14. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  15. OpenAI推ChatGPT钱包:联手三大支付网络,AI代理可代付

    财联社11月14日讯(编辑 史正丞)随着越来越多的AI代理能够进行商品比价、旅行规划,科技巨头正试图打通这套流程中的下一个环节:让AI能够以尽可能安全的方式完成付款。北京时间周五晚间,OpenAI宣布推出ChatGPT钱包。该产品的主要卖点是AI巨头与美国运通、万事达和Visa三大支付网络合作,通过替代支付凭证,让AI

    来源 腾讯网
  16. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  17. Edera推对象能力权限模型:AI智能体与凭证隔离成看点

    Edera 推出了对象能力受限权限模型,承诺保护自主 AI 智能体工作负载的安全,使自主 AI 工作负载和模型上下文协议(MCP)服务器与敏感凭证隔离。该技术由 Edera 联合创始人、杰出工程师 Ariadne Conill 牵头。她因对底层开源安全技术的贡献而知名。该技术通过直接在虚拟机监控器层实施细粒度的对象能力

    来源 AI 行业观察
  18. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
  19. OpenAI、Anthropic估值双双破万亿:30家AI公司上榜,中国两家进前十

    图片由AI生成文丨晓静编辑丨徐青阳11月15日,硅谷老牌风投机构Menlo Ventures合伙人Deedy Das(@deedydas)在社交平台晒出一张全球AI公司估值与营收排行榜。Menlo Ventures成立于1976年,是硅谷历史最悠久的风险投资机构之一,曾投资Uber、Chime等知名科技公司。近年来,这

    来源 腾讯网
  20. Fractile融资7亿美元:目标把AI推理速度提到100倍

    AI的推理计算将在未来几年内成为AI最重要的计算需求,已经逐渐成为共识。 推理计算,拆解开来有两个重要维度,成本和时间。 其中提升推理速度带来的好处,在AI逐渐Agent化的时代,重要性凸显。 具体来说,在相同成本下提升推理速度,能让那些耗时长、推理强度高的Agent任务在更短时间内完成,从而提高整个系统的效率。 Fr

    来源 AI 行业观察
向下滚动自动加载更多