OpenAI包揽前二：GPT-6 Astra登顶Agent评测，Fable 5.2贵17倍排第三

新智元报道  

430倍的花费，分数只高出11%。

数据协作平台Deepnote今天放出了一份评测，结果有点离谱。

创始人Jakub Jurovych做了个叫Agent Initiative Benchmark的测试，把12个前沿模型塞进同一家公司的Slack群里当AI同事，由它们自己判断什么时候该搭把手、什么时候该闭嘴。

成绩出来，前两名都是OpenAI的。

GPT-6 Astra以8.97分排第一；GPT-6.1 Sol排第二，8.65分，单个任务成本仅0.11美元。

第三名是Anthropic的Fable 5.2，8.17分，单个任务要花1.87美元。

价格高出17倍，分数却更低。

按一个70人公司每月的Slack监控开销折算：Sol为281美元，Fable 5.2为4684美元。

干同样的活，Fable 5.2贵了16倍。

全表最夸张的一组对比是Fable 5.1和GPT-6 Luna：前者每单3.02美元，后者每单0.007美元，价格相差430倍，得分只差1.1分。

它不看模型有多聪明，看的是模型当同事够不够靠谱。

Deepnote搭了一家虚构公司，名叫PageMantle。

可这个「虚构」做得相当逼真：6年运营历史、71名员工、100家企业客户，CRM、发票、工单、产品分析、数据仓库等11套业务系统一应俱全。

连SVB倒闭、竞品发布新功能这类现实事件也被写进了公司时间线，员工会在Slack里商量怎么应对，再到Linear上开issue跟进。

AI的任务是待在Slack里旁听全部对话，自行判断要不要出手。

出手分三种：回复频道、回复线程、私信当事人。当然还有第四种——什么都不做。

而这第四种，偏偏是最难的部分。

50个真实职场任务，覆盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全等8类场景。

12个模型各跑一遍，每次限时3分钟，由两个盲评模型独立打0到10分，共600次完整运行，数据集和代码全部开源。

数据摊开：

第一，Sol 6.1是这场考试的最大赢家。它跟Astra只差0.32分，95%置信区间还有重叠——统计上也许根本分不出高下。可价格只有Astra的六分之一。96%的性能，六分之一的价格。

第二，Anthropic整体偏贵。前12名里Anthropic占了5席（Fable 5.2、Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5），但按性价比排，一个都没进前三。Fable 5.2排第三看着还行，可单任务花费是Sol的17倍、月账单是Sol的16.7倍。唯一能安慰的是速度：Sonnet 5.5只需15秒、Opus 5.5只需29秒，是全场最快的两个模型。

第三，Gemini和Grok彻底翻车。这两个模型每个任务平均调用35次工具，是Sol的两倍。可调得多不等于干得好——50个任务里Gemini有27个超时没交卷，Grok有18个。时间到了答题卡还是空的，分数自然垫底。

最狠的设计藏在这里：一共埋了10个「不该帮忙」的场景，事情早就处理完了，或者压根跟AI没关系。

结果挺有意思。帮忙这件事，所有模型都很来劲，40个需要出手的任务里，9成都能完成。

轮到该闭嘴的时候，最厉害的也只克制住8次，多数模型只忍住了6次。

GPT-6 Luna、DeepSeek V4.1 Flash、Mistral Large 4，在10次该沉默的场景里各有6次开了口。两个Fable则是4次。

这些「不该说的话」质量还不低。模型会老老实实翻系统、查数据、写分析，然后郑重其事地回了一条根本不需要回的消息。

像公司里那种逢会必发言的同事。不是能力不行，是没弄清楚这事到底用不用他。

「热心过头」也要花钱。Deepnote发现，同一模型插错嘴的时候，时间和金钱平均是闭嘴的1.8倍。它不是随口胡说，是认认真真调了一圈工具之后才胡说的。

这也说明了两种模型风格的分野。Deepnote把它们叫作「狙击手」和「深度思考者」。

• 狙击手的代表是Opus 5.5。平均10次工具调用，29秒交卷，7.84分，快准狠，不废话。10个该沉默的场景里它忍住了8次，和Astra、Sol并列最佳。

• 深度思考者的代表是Sol 6.1。平均18次工具调用，54秒交卷，8.65分。时间多花80%，工具多调80%，分数高了10%，价格却只有Opus的十分之一。

Gemini和Grok属于第三种：迷路型。

工具调用35次，可一半任务没来得及给出答案。翻书翻到考试结束，卷子还是白的。

第一，挑AI同事的标准变了。

传统benchmark比的是「谁最聪明」。可当AI从「你问我答」变成「24小时在线的主动型同事」，评判标准就换成了另一套。

该帮忙时帮得上，不该帮忙时闭得住，花的钱经得住算账。这是判断力，不是智力。

在这个三角上，OpenAI的两个模型目前做得最好。Sol尤其突出，它几乎复制了Astra的判断力（帮忙39/40、沉默8/10），价格却打了一折。

第二，Always-on Agent的账单逻辑完全不同。

以前调一次API花一次钱，用完即走。

但24小时在线的AI同事按流量持续计费。Sol一个月281美元，Fable 5.2一个月4684美元，Fable 5.1一个月7540美元。

这还只是一家70人公司的Slack。

公司要是500人，Agent还要同时盯邮件、日历、工单，省下来的就不是零花钱，是实打实的人力预算。

第三，速度和质量的取舍出现了新路径。

速度上Anthropic领先，Sonnet只要15秒；准确度上OpenAI占优，Astra拿到8.97分；性价比则归Sol，每单0.11美元。

做产品的团队未必需要「选一个」，更实际的做法是「按场景路由」：实时对话交给Anthropic的快模型抢时间，后台分析交给Sol省钱拿分。Deepnote在报告里也给出了这种分层策略的建议。

说到底，AI同事最关键的能力不是有多聪明，而是有多靠谱：该说话时说得准，该闭嘴时忍得住，账单还别太离谱。

照这个标准看，OpenAI的Sol 6.1每单0.11美元、拿到8.65分，眼下就是性价比天花板。反过来，那些贵了17倍、430倍、分数却没高出多少的模型，是时候好好想想了：在AI同事的世界里，最贵的那位，未必是老板最想留下的那位。

参考资料：

https://x.com/jakubjurovych/status/2121256499552915586

https://deepnote.com/research/benchmark