Fable 5.2成本高17倍却失分，12个AI进Slack当同事OpenAI拿下前二

新智元报道  

花掉430倍的成本，换来的只是11%的分数提升。

数据协作平台Deepnote的创始人搞了一个Agent Initiative Benchmark，把12个前沿模型塞进同一家公司的Slack群里当AI同事。

帮不帮忙、什么时候闭嘴，全由模型自己拿主意。

结果一出来，前两名都被OpenAI拿走。

GPT-6 Astra

排第三的

价格翻了17倍，分数反倒更低。

按一家70人公司每月的Slack监控开销折算：Sol是281美元，Fable 5.2是4684美元。

干同样的活，Fable 5.2要贵出16倍。

整张表上差距最夸张的一组是：Fable 5.1每单3.02美元，GPT-6 Luna每单0.007美元，价格相差430倍，得分只差1.1分。

它不看模型有多聪明，看的是模型当同事靠不靠谱。

Deepnote搭出来的公司是虚构的。

可这个「虚构」做得相当逼真：6年运营历史、71名员工、100家企业客户，CRM、发票、工单、产品分析、数据仓库等11套业务系统一应俱全。

连SVB倒闭、竞品发布新功能这类现实事件也被写进公司时间线，员工会在Slack里商量怎么应对，随后在

AI要做的就是潜伏在Slack里听所有对话，自行判断该不该出手。

出手分三种：回复频道、回复线程、私信当事人。还有第四种——什么都不做。

偏偏这第四种最难。

50个真实职场任务，覆盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全共8种场景。

12个模型各跑一遍，每次限时3分钟，两个

数据摊开：

第一，Sol 6.1是这场考试的最大赢家，它跟Astra的得分差距只有0.32分，

第二，Anthropic整体偏贵。前12名里Anthropic占了5席（Fable 5.2、Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5），可论性价比，没有一款进前三。Fable 5.2排第三看着还行，单任务花费却是Sol的17倍，月账单是Sol的16.7倍。速度算是唯一亮点：Sonnet 5.5只需15秒、Opus 5.5只需29秒，是全场最快的两个模型。

第三，Gemini和Grok彻底翻车。这两个模型每个任务平均调用35次工具，是Sol的两倍。可调得多不代表干得好——50个任务里Gemini有27个超时没交卷，Grok有18个。时间到了答题卡还是空的，分数自然垫底。

这个评测最狠的设计，是埋了10个「不该帮忙」的场景——事情已经解决了，或者压根不关AI的事。

帮忙这件事上，各家模型都挺来劲：40个确实需要出手的任务，九成都能完成，结果挺有意思。

可真到了该收手的时候呢？表现最好的也只忍住了8次，多数模型只忍住了6次。

DeepSeek V4.1 Flash、GPT-6 Luna、Mistral Large 4在10个该沉默的场景里都开了6次口。两个Fable也各说了4次。

更要紧的是，这些「不该说的话」质量还不低——翻系统、查数据、写分析，一套流程走完，最后正儿八经回了一条根本不用回的消息。

这就像公司里那位逢会必发言的同事，能力没问题，问题在于没搞清这事到底需不需要他。

「热心过头」还得掏钱。同一个模型插错嘴的时候，时间和花费平均是闭嘴的1.8倍。它不是随口乱说，是认认真真调了一圈工具之后才乱说的。

两种模型风格的分野也就清楚了——

• 狙击手平均调用工具10次，29秒交卷，7.84分，快准狠不废话；在10个该沉默的场景里忍住了8次，与Astra、Sol并列最佳。

• 深度思考者平均调用工具18次，54秒交卷，8.65分。时间多花80%，工具多调80%，分数高出10%，价格却只有Opus的十分之一。

Gemini和Grok则属于第三种：迷路型。

工具调用35次，可一半任务到结束都没给出答案。书翻到考试铃响，卷子还是白的。

其一，挑AI同事的标准变了。

传统benchmark比的是「谁最聪明」。可当AI从「你问我答」变成「24小时在线的主动型同事」，评判的尺子就换成了：

该帮忙时帮得上、不该帮忙时闭得住、花的钱经得住算账。这考的是判断力，不是智力。

OpenAI

其二，Always-on Agent的账单逻辑完全是另一套。

过去调一次API付一次钱，用完就走。

24小时在线的AI同事却是按流量持续计费：Sol一个月281美元，Fable 5.2一个月4684美元，Fable 5.1一个月7540美元。

而这还只是一家70人公司的Slack。

换到500人的公司，Agent还得同时盯邮件、日历、工单……省下来的就不是零花钱，而是实打实的人力预算。

其三，速度与质量的取舍有了新走法。

Anthropic最快（Sonnet 15秒），OpenAI最准（Astra 8.97分），Sol最划算（0.11美元）。

对做产品的团队来说，答案或许不是「选一个」，而是「

Deepnote

AI同事最要紧的本事，其实不在聪明程度，而在靠谱程度：该开口时说得准，该收声时忍得住，账单也别太吓人。

照这个尺子量，OpenAI的Sol 6.1一单0.11美元、拿到8.65分，眼下性价比无人能及。

反观那些贵出17倍、430倍、分数却没涨多少的模型，确实该琢磨琢磨：放到AI同事这个场景里，最贵的那位，未必是老板最舍得留下的那位。

参考资料：

https://x.com/jakubjurovych/status/2121256499552915586

https://deepnote.com/research/benchmark