Deepnote评测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍却输
Deepnote测AI同事:OpenAI模型性价比碾压对手
花430倍的钱,分数只多11%。数据协作平台
Deepnote今天发布了一项评测结果,数字夸张得有点离谱。
创始人Jakub Jurovych做了个叫Agent Initiative Benchmark的东西,把12个前沿模型塞进同一家公司的Slack群里当AI同事,让它们自己判断什么时候该出手、什么时候该沉默。
跑完一看,OpenAI包揽前二。GPT-6 Astra得8.97分排第一,GPT-6.1 Sol以8.65分排第二,单个任务只花0.11美元。
第三名是Anthropic的
Fable 5.2,8.17分,单个任务1.87美元。贵了17倍,分还更低。

换算成一个70人公司每月的Slack监控开销:Sol是281美元,Fable 5.2是4684美元。同样的活儿,Fable 5.2贵16倍。
整张表上最扎眼的对比是:Fable 5.1每单3.02美元,GPT-6 Luna每单0.007美元,价格差430倍,得分只差1.1分。
你品品。

这个评测到底在测什么?
它不测模型有多聪明,测的是模型当同事靠不靠谱。Deepnote虚构了一家叫PageMantle的公司。
但这个「虚构」做得极其真实:6年运营历史、71个员工、100家企业客户,CRM、发票、工单、产品分析、数据仓库等11套业务系统全部齐活。

SVB倒闭、竞品发新功能这些现实世界事件也被融进了公司时间线,员工会在Slack里讨论怎么应对,再到Linear上开issue跟进。
AI的角色是潜伏在Slack里旁听所有对话,自己判断要不要出手。出手有三种方式:回复频道、回复线程、私信当事人。当然还有第四种——什么都不做。
而这第四种恰恰是最难的部分。50个真实职场任务覆盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全等8种场景。
12个模型各跑一遍,每次上限3分钟,两个盲评模型独立打0到10分,共600次完整运行,数据集和代码全部开源。
数据摊开:
第一,Sol 6.1是这场考试的最大赢家。它和Astra只差0.32分,95%置信区间还有重叠——统计上未必分得出高下。但价格只有Astra的六分之一。96%的性能,六分之一的价格。
第二,Anthropic全线偏贵。前12名里Anthropic占了5席(Fable 5.2、Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5),可论性价比,没有一个进前三。Fable 5.2排第三看着不错,单任务花费却是Sol的17倍、月账单是Sol的16.7倍。唯一能安慰的是速度:Sonnet 5.5只要15秒、Opus 5.5只要29秒,是全场最快的两个模型。

第三,Gemini和Grok彻底翻车。这两个模型每个任务平均调35次工具,是Sol的两倍。可调得多不等于干得好——50个任务里Gemini有27个超时没交卷,Grok有18个。时间到了答题卡还是空的,分数自然垫底。

最难的不是帮忙,是知道何时闭嘴。
这套评测里最狠的一招,是塞进了10个「不该插手」的场面——活儿已经干完了,又或者压根跟AI没关系。
跑出来的结果挺有意思:论帮忙,各家模型都很积极,40个需要出手的任务里有9成能办成。
可到了该闭嘴的环节呢?成绩最好的也只忍住8次,多数只忍住了6次。
GPT-6 Luna、DeepSeekV4.1 Flash、Mistral Large 4,在10个该沉默的场景里开了6次口。两个Fable同样开了4次口。
麻烦在于,这些「多余的话」质量还不低——它们会老老实实翻系统、查数据、写分析,然后郑重其事地回了一条根本不用回的消息。
跟公司里那种逢会必发言的同事差不多,不是本事不行,是没弄明白这事到底需不需要他。
「热心过头」也是要掏钱的。Deepnote算过,同一个模型插错嘴的时候,平均比闭嘴多耗1.8倍的时间和金钱。模型不是随口乱讲,它是认认真真把工具调了一圈之后才乱讲的。
两种模型风格的分野也由此而来——Deepnote管它们叫「狙击手」和「深度思考者」:
狙击手这边,代表是Opus 5.5。平均10次工具调用,29秒交卷,7.84分。快、准、狠,不废话。而且在10个该沉默的场景里忍住了8次,与Astra、Sol并列最佳。
深度思考者这边,代表是Sol 6.1。平均18次工具调用,54秒交卷,8.65分。多花了80%的时间,多调了80%的工具,分数高出10%,价格却只有Opus的十分之一。


Gemini和Grok则归到第三种——迷路型。
工具调了35次,可一半任务到交卷都没给出答案。书翻到考试结束,卷子还是白的。
这件事为什么重要?
第一,挑AI同事的标准变了。
过去benchmark比的是「谁最聪明」。可当AI从「你问我答」变成「24小时在线的主动型同事」,尺子就换成了:
该帮忙时帮得上、不该帮忙时闭得住、花出去的钱经得起算账。这靠的是判断力,不是智力。
在这个三角上,OpenAI的两个模型眼下做得最好。Sol尤其扎眼——它几乎照搬了Astra的判断力(帮忙39/40、沉默8/10),价格却打了一折。
第二,Always-on Agent的账单算法完全是另一套。
从前调一次API付一次钱,用完就走。
可24小时在线的AI同事是按流量持续计费的。Sol一个月281美元,Fable 5.2一个月4684美元,Fable 5.1一个月7540美元。
这还只是一家70人公司的Slack。
要是你的公司有500人,要是Agent还得同时盯邮件、日历、工单……省下来的就不是零花钱,而是实打实的人力预算。
第三点在于,速度与质量之间冒出了一条新的折中路线。
跑得最快的是Anthropic(Sonnet 15秒),分数最高的是OpenAI(Astra 8.97分),而最省钱的是Sol(0.11美元)。
做产品的团队未必需要「二选一」,更可行的做法是「按场景路由」:实时对话交给Anthropic的快模型去抢时间,后台分析交给Sol去省钱拿分。
Deepnote在报告中也推荐了这种分层思路。
AI同事最关键的本事不是聪明程度,而是可靠程度:该开口时说得准,该沉默时忍得住,账单也别太离谱。
照这个尺子量,OpenAI的Sol 6.1一单0.11美元、拿到8.65分,眼下就是性价比的上限。
至于那些贵出17倍、430倍、分数却没高出多少的模型,该认真想想了:在AI同事的世界里,最贵的那个,未必是老板最想留下的那个。
参考资料:
https://x.com/jakubjurovych/status/2121256499552915586
https://deepnote.com/research/benchmark