Deepnote评测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍却输

资讯 36氪 全文 2775 字 · 约 7 分钟读完 配图 9 张 分类FableOpenAI

Deepnote测AI同事:OpenAI模型性价比碾压对手

所属频道 大厂动态

花430倍的钱,分数只多11%。数据协作平台Deepnote今天发布了一项评测结果,数字夸张得有点离谱。

创始人Jakub Jurovych做了个叫Agent Initiative Benchmark的东西,把12个前沿模型塞进同一家公司的Slack群里当AI同事,让它们自己判断什么时候该出手、什么时候该沉默。

跑完一看,OpenAI包揽前二。GPT-6 Astra得8.97分排第一,GPT-6.1 Sol以8.65分排第二,单个任务只花0.11美元。

第三名是Anthropic的Fable 5.2,8.17分,单个任务1.87美元。贵了17倍,分还更低。

Deepnote评测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍却输(配图 1)

换算成一个70人公司每月的Slack监控开销:Sol是281美元,Fable 5.2是4684美元。同样的活儿,Fable 5.2贵16倍。

整张表上最扎眼的对比是:Fable 5.1每单3.02美元,GPT-6 Luna每单0.007美元,价格差430倍,得分只差1.1分。

你品品。

Deepnote评测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍却输(配图 2)

这个评测到底在测什么?

它不测模型有多聪明,测的是模型当同事靠不靠谱。Deepnote虚构了一家叫PageMantle的公司。

但这个「虚构」做得极其真实:6年运营历史、71个员工、100家企业客户,CRM、发票、工单、产品分析、数据仓库等11套业务系统全部齐活。

Deepnote评测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍却输(配图 3)

SVB倒闭、竞品发新功能这些现实世界事件也被融进了公司时间线,员工会在Slack里讨论怎么应对,再到Linear上开issue跟进。

AI的角色是潜伏在Slack里旁听所有对话,自己判断要不要出手。出手有三种方式:回复频道、回复线程、私信当事人。当然还有第四种——什么都不做。

而这第四种恰恰是最难的部分。50个真实职场任务覆盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全等8种场景。

12个模型各跑一遍,每次上限3分钟,两个盲评模型独立打0到10分,共600次完整运行,数据集和代码全部开源。

数据摊开:

第一,Sol 6.1是这场考试的最大赢家。它和Astra只差0.32分,95%置信区间还有重叠——统计上未必分得出高下。但价格只有Astra的六分之一。96%的性能,六分之一的价格。

第二,Anthropic全线偏贵。前12名里Anthropic占了5席(Fable 5.2、Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5),可论性价比,没有一个进前三。Fable 5.2排第三看着不错,单任务花费却是Sol的17倍、月账单是Sol的16.7倍。唯一能安慰的是速度:Sonnet 5.5只要15秒、Opus 5.5只要29秒,是全场最快的两个模型。

Deepnote评测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍却输(配图 4)

第三,Gemini和Grok彻底翻车。这两个模型每个任务平均调35次工具,是Sol的两倍。可调得多不等于干得好——50个任务里Gemini有27个超时没交卷,Grok有18个。时间到了答题卡还是空的,分数自然垫底。

Deepnote评测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍却输(配图 5)

最难的不是帮忙,是知道何时闭嘴。

这套评测里最狠的一招,是塞进了10个「不该插手」的场面——活儿已经干完了,又或者压根跟AI没关系。

跑出来的结果挺有意思:论帮忙,各家模型都很积极,40个需要出手的任务里有9成能办成。

可到了该闭嘴的环节呢?成绩最好的也只忍住8次,多数只忍住了6次。

GPT-6 Luna、DeepSeekV4.1 Flash、Mistral Large 4,在10个该沉默的场景里开了6次口。两个Fable同样开了4次口。

麻烦在于,这些「多余的话」质量还不低——它们会老老实实翻系统、查数据、写分析,然后郑重其事地回了一条根本不用回的消息。

跟公司里那种逢会必发言的同事差不多,不是本事不行,是没弄明白这事到底需不需要他。

「热心过头」也是要掏钱的。Deepnote算过,同一个模型插错嘴的时候,平均比闭嘴多耗1.8倍的时间和金钱。模型不是随口乱讲,它是认认真真把工具调了一圈之后才乱讲的。

两种模型风格的分野也由此而来——Deepnote管它们叫「狙击手」和「深度思考者」:

狙击手这边,代表是Opus 5.5。平均10次工具调用,29秒交卷,7.84分。快、准、狠,不废话。而且在10个该沉默的场景里忍住了8次,与Astra、Sol并列最佳。

深度思考者这边,代表是Sol 6.1。平均18次工具调用,54秒交卷,8.65分。多花了80%的时间,多调了80%的工具,分数高出10%,价格却只有Opus的十分之一。

Deepnote评测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍却输(配图 6)

Deepnote评测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍却输(配图 7)

Gemini和Grok则归到第三种——迷路型。

工具调了35次,可一半任务到交卷都没给出答案。书翻到考试结束,卷子还是白的。

这件事为什么重要?

第一,挑AI同事的标准变了。

过去benchmark比的是「谁最聪明」。可当AI从「你问我答」变成「24小时在线的主动型同事」,尺子就换成了:

该帮忙时帮得上、不该帮忙时闭得住、花出去的钱经得起算账。这靠的是判断力,不是智力。

在这个三角上,OpenAI的两个模型眼下做得最好。Sol尤其扎眼——它几乎照搬了Astra的判断力(帮忙39/40、沉默8/10),价格却打了一折。

第二,Always-on Agent的账单算法完全是另一套。

从前调一次API付一次钱,用完就走。

可24小时在线的AI同事是按流量持续计费的。Sol一个月281美元,Fable 5.2一个月4684美元,Fable 5.1一个月7540美元。

这还只是一家70人公司的Slack。

要是你的公司有500人,要是Agent还得同时盯邮件、日历、工单……省下来的就不是零花钱,而是实打实的人力预算。

第三点在于,速度与质量之间冒出了一条新的折中路线。

跑得最快的是Anthropic(Sonnet 15秒),分数最高的是OpenAI(Astra 8.97分),而最省钱的是Sol(0.11美元)。

做产品的团队未必需要「二选一」,更可行的做法是「按场景路由」:实时对话交给Anthropic的快模型去抢时间,后台分析交给Sol去省钱拿分。

Deepnote在报告中也推荐了这种分层思路。

AI同事最关键的本事不是聪明程度,而是可靠程度:该开口时说得准,该沉默时忍得住,账单也别太离谱。

照这个尺子量,OpenAI的Sol 6.1一单0.11美元、拿到8.65分,眼下就是性价比的上限。

至于那些贵出17倍、430倍、分数却没高出多少的模型,该认真想想了:在AI同事的世界里,最贵的那个,未必是老板最想留下的那个。

参考资料:

https://x.com/jakubjurovych/status/2121256499552915586

https://deepnote.com/research/benchmark

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Fable 5.2成本高17倍却失分,12个AI进Slack当同事OpenAI拿下前二

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  2. OpenAI包揽前二:12个AI当同事,GPT-6 Astra贵17倍却输分

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  3. OpenAI等五巨头被诉叫停前沿AI研发:一周AI治理动态

    21世纪经济报道记者 章驰 每周,我们会盘点上一周国内外人工智能、互联网平台治理、科技竞争方面需要重点关注的动态,并分析其热搜指数与风险指数,从舆情热度与综合风险两个维度进行评价。 本周重点关注OpenAI、Anthropic等五家AI巨头遭起诉;微软就全球服务中断道歉,称故障非网络攻击所致;美联航将禁止未经授权的第三

    来源 腾讯网
  4. OpenAI推出ChatGPT钱包:AI智能体可代用户付款,支付环节打通

    OpenAI正在将ChatGPT的能力进一步延伸至支付和商业交易领域。该公司推出ChatGPT Wallet(ChatGPT钱包),允许旗下dots AI智能体调用用户绑定的信用卡,在获得授权后代表用户完成商品购买和支付。这意味着,AI智能体的角色正从帮助用户搜索商品、制定计划,进一步延伸至实际交易环节。这项功能首批面

    来源 腾讯网
  5. OpenAI五考生越界:7月测评暴露作弊新手法?

    OpenAI大概没想到,一场7月份就结束的考试,到了11月,居然还能查出新的作弊花样。 11月10日,OpenAI公布了一份新的调查报告。今年7月,公司安排一批由内部Astra系列研究模型驱动的Agent参加网络安全测评,结果五个考生越过考场边界,拿到了OpenAI内部研究系统部分工作负载的最高权限。它们有的修好了坏掉

    来源 AI 行业观察
  6. 澳央行研究:AI先冲击年轻打工人,软件客服岗最明显

    澳大利亚储备银行研究显示,自 ChatGPT 推出以来,AI 高影响职业招聘岗位降幅最大,15 至 24 岁年轻人和应届生就业率更低、失业率更高。但研究尚未证明直接因果关系,宏观经济因素同样关键。#AI就业冲击# #年轻人求职#

    来源 IT之家
  7. 微软专利:用玩家显卡跑AI训练,闲置算力能换钱

    一周前,OpenAI CEO萨姆·奥尔特曼曾在播客节目中吐槽道,“当我们审视全球有限的内存供应链时,会发现资源分配非常糟糕。全球数以亿计的个人电脑中,囤积了海量的内存,但在绝大多数时间里,这些内存的使用率仅仅只有5%左右”。 普通PC用户买内存是浪费,OpenAI用才是正途,奥尔特曼这番傲慢的“地图炮”很快就一石激起千

    来源 AI 行业观察
  8. OpenAI解散机器人团队:GPT-6 Astra直接控机器人,六年三调架构

    2026年11月13日,OpenAI宣布解散独立机器人团队,将相关人员并入主研究团队和Applied组织。理由是GPT-6 Astra等通用前沿模型已可直接用于机器人控制,据英伟达研究数据,GPT-6 Astra在模拟操控基准测试中得分74.8%,远超专用模型的51%。这是OpenAI六年内第三次调整机器人组织架构,也

    来源 AI 科技快讯
  9. OpenAI新融资150亿美元,估值1.25万亿,2027年IPO前抢先囤粮

    CNBC 11 月 13 日披露,OpenAI 刚敲定的新一轮私募融资规模达 150 亿美元(约 1,003 亿元人民币),把融资前估值推到 1.25 万亿美元(约 8.36 万亿元)的新高,比此前流传的约 110 亿还多出一大截。可光鲜数字遮不住裂缝:《华尔街日报》显示,其今年第三季度营收约 100 亿美元、环比猛增

    来源 AI 开发者社区
  10. Gemini被称美国豆包,张一鸣活成中国布林:两人都把时间押给AI

    在太平洋两岸的科技版图上,一种奇妙的镜像正在发生。大洋彼岸的硅谷,早已退居幕后的 Google 联合创始人 Sergey Brin (谢尔盖布林)重新走进办公室,与一线研究员并肩推演大模型架构。而在亚洲,2021 年便将字节跳动 CEO 权杖交给梁汝波、此后极少公开露面的张一鸣,也正以一种高密度、深介入的姿态重回技术腹

    来源 腾讯网
  11. OpenAI解散独立机器人团队:具身智能并入通用模型体系

    11月13日,据外媒报道,OpenAI已解散独立机器人团队,原成员并入常规模型训练体系。内部判断认为,机器人只是通用模型的一类垂类任务,所需智能能力应在通用基础模型框架下统一解决。截至发稿,OpenAI官方尚未确认并披露相关细节。 这并非OpenAI首次调整机器人路线。2019年,其机械手解魔方项目Dactyl曾引发广

    来源 AI 开发者社区
  12. 英伟达990亿投资AI生态:下一轮融资更贵更难?

    近年来,AI热潮背后一直站着一位“最后贷款人”,他卖芯片,也开支票。如今,那个穿皮衣的人离开了“AI央行”英伟达,支票簿临时交到了一位曾被他称作“车灯前的小鹿”的财务官手中。 过去几年,英伟达一边卖芯片,一边向AI产业链各环节大举投资。截至今年7月26日,其股权投资的账面价值达990亿美元,投资对象涵盖AI实验室、新兴

    来源 AI 行业观察
  13. 刚刚,Fable 5.2登顶RoboColiseum新榜单

    新赛季成绩单里,Claude Fable 5.2 排到了综合榜首,得分18.30。精细操作这一项它拿了33.04分,跨本体迁移是17.99分,两个单项也都排在最前。反倒是灵巧手,成了这位综合冠军分数最低的一环。

    来源 AI 行业观察
  14. Claude Fable 5.2上线两小时被越狱,95万字提示词全曝光

    Anthropic全新王炸模型Claude Fable 5.2刚上线两个多小时,后台家底就被扒了个精光! 就在新模型发布当天,头号越狱黑客Pliny攻破Claude Code,把完整的系统提示词与工具定义全盘甩上了GitHub。 整份绝密文件高达953,659个字符、足足7832行,体量堪比两部长篇小说! 这份近百万字

    来源 AI 行业观察
  15. OpenAI推ChatGPT Wallet:dot智能体代购物,暂不收佣金

    ChatGPT Wallet 由 OpenAI 与美国运通、万事达卡和 Visa 合作开发,用户使用现有信用卡付款时,仍可享受原有的积分奖励和权益保障。符合条件的用户只需录入一次银行卡信息,随后便可让 dot 智能体帮忙寻找商品,每笔交易都需要通过安全验证才能完成。

    来源 IT之家
  16. 米磊谈硬科技:AI、人形机器人与核聚变正改写时代底牌

    这个时代正在重新洗牌。AI大模型正以周为单位迭代,DeepSeek-R1仅用约30万美元训练成本便实现对标OpenAI的推理能力,开源阵营与闭源前沿的差距已缩至3至6个月;人形机器人Figure 02已在宝马工厂完成长期无安全员值守的自主作业,累计参与数万辆汽车生产,从实验室原型正式迈入产线员工行列;核聚变商业化则多点

    来源 腾讯网
  17. 消息称黄仁勋离职后参与遴选接班人;OpenAI再度解散独立机器人团队;格罗方德美国新晶圆厂动工 | 新闻速递

    每日头条芯闻消息称黄仁勋离职后参与遴选接班人OpenAI再度解散独立机器人团队格罗方德美国新晶圆厂动工Meta因隐私问题被意大利罚款8.05亿欧元消息称SK海力士加快设备投资进度,进一步扩大HBM4产能JPR:全球PC客户端CPU出货量2026年Q3同比下降6.5%消息称科技界预期黄仁勋将在硅谷“东山再起”,业内高管称

    来源 腾讯网
  18. OpenAI撤销Robotics团队:成立仅166天,19个岗位成往事

    出品|虎嗅科技组作者|宋思杭编辑|苗正卿头图|AI生成166天前,Sam Altman 宣布成立 OpenAI Robotics,并一口气放出 19 个岗位,这在当时一度被外界称之为“人形机器人的 ChatGPT 时刻”。而就在最近,OpenAI把这个刚刚成立不久的机器人团队撤销了。据Fortune报道,这个成立仅半年

    来源 腾讯网
向下滚动自动加载更多