OpenAI包揽前二：12个AI当同事，GPT-6 Astra贵17倍却输分

新智元报道  

花430倍的钱，得分只多出11%。

这件事出自数据协作平台Deepnote创始人做的Agent Initiative Benchmark。

测试方式很直接：把12个前沿模型塞进同一家公司的Slack群里当AI同事，让它们自行判断什么时候该出手、什么时候该沉默。

结果出来，OpenAI拿下前两名。

GPT-6 Astra

排第三的

价格高出17倍，分数却更低。

折算成一家70人公司每月的Slack监控账单：Sol是281美元，Fable 5.2是4684美元。

一样的活儿，Fable 5.2贵了16倍。

全表最扎眼的一组对比是：Fable 5.1每单3.02美元，GPT-6 Luna每单0.007美元，两者价格差430倍，得分只差1.1分。

它不看模型有多聪明，看的是模型当同事靠不靠谱。

Deepnote

不过这个“虚构”公司做得相当逼真：6年运营史，71名员工，100家企业客户，CRM、发票、工单、产品分析、数据仓库等11套业务系统一应俱全。

连SVB倒闭、竞品发布新功能这类现实事件也被写进公司时间线，员工会在Slack里讨论怎么应对，然后再

AI要做的是潜伏在Slack里旁听所有对话，自行判断该不该出手。

出手有三种方式：回复频道、回复线程、私信当事人。当然还有第四种——什么都不做。

而这第四种，恰恰最难。

50个真实职场任务，覆盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全8类场景。

12个模型各跑一遍，每次限时3分钟，两个

数据摊开：

第一，Sol 6.1是这场考试的最大赢家，它和Astra的得分差距只有0.32分，

第二，Anthropic整体偏贵。前12名里Anthropic占了5席（Fable 5.2、Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5），可论性价比，前三里一个都没有。Fable 5.2排第三看着还行，单任务花费却是Sol的17倍，月账单是Sol的16.7倍。唯一能安慰的是速度：Sonnet 5.5只用15秒，Opus 5.5只用29秒，是全场最快的两个。

第三，Gemini和Grok彻底翻车。这两个模型每个任务平均调用35次工具，是Sol的两倍。可调得多不代表干得好——50个任务里，Gemini有27个超时没交卷，Grok有18个。时间到了答题卡还是空的，分数自然垫底。

这个评测最狠的设计，是埋了10个“不该帮忙”的场景——事情已经解决了，或者压根不关AI的事。

帮忙这件事，所有模型都表现得相当积极。40个需要出手的任务里，约9成都能完成，结果挺有意思。

可到了该闭嘴的时候，情况就变了。表现最好的模型也只忍住了8次，多数只忍住6次。

GPT-6 Luna、DeepSeek V4.1 Flash、Mistral Large 4在10次该沉默的场景里各有6次开口；两个Fable也各开口4次。

这些本不该说的话，质量还不低——模型会认真翻系统、查数据、写分析，然后一本正经地回了一条根本不需要回的消息。

这就像公司里逢会必发言的同事，不是能力不行，是没弄清这事到底需不需要他。

热心过头是要花钱的。同一个模型插错嘴时，平均比闭嘴多花1.8倍的时间和金钱。它并非随口瞎说，而是认认真真调了一圈工具之后才瞎说的。

模型风格的两种分野，也因此看得更清楚。

• 狙击手型平均调用工具10次，29秒交卷，得7.84分，快准狠、不废话。在需要沉默的10个场景里，它忍住了8次，与Astra、Sol并列最佳。

• 深度思考者型平均调用工具18次，54秒交卷，得8.65分。时间多花80%，工具多调80%，分数高出10%，价格却只有Opus的十分之一。

Gemini和Grok则属于第三种——迷路型。

它们平均调用工具35次，但一半任务没来得及给出答案。翻书翻到考试结束，卷子还是白的。

第一，挑AI同事的标准变了。

传统benchmark比的是谁最聪明。可当AI从你问我答变成24小时在线的主动型同事，评判标准就换成了另一套：

该帮忙时帮得上，不该帮忙时闭得住，花的钱经得住算账。这是判断力，不是智力。

OpenAI

第二，Always-on Agent的账单逻辑完全不同。

以前调一次API花一次钱，用完即走。

24小时在线的AI同事却是按流量持续计费的。Sol一个月281美元，Fable 5.2一个月4684美元，Fable 5.1一个月7540美元。

这还只是一家70人公司的Slack。

假如公司有500人，假如Agent还要同时盯邮件、日历、工单，省下来的就不是零花钱，而是实实在在的人力预算。

第三，速度与质量的取舍出现了新路径。

速度上Anthropic最快，Sonnet为15秒；准确度上OpenAI最高，Astra为8.97分；性价比上Sol最优，为0.11美元。

对做产品的团队来说，答案也许不是选一个，而是

Deepnote

不过，AI同事最关键的本事其实不在聪明程度，而在于靠不靠谱——该开口时说得准，该收声时忍得住，账单也别太离谱。

照这个尺子量，OpenAI的Sol 6.1每单0.11美元、拿到8.65分，眼下性价比无人能及。

反过来看，有些模型贵了17倍、430倍，分数却没高出多少，确实该琢磨琢磨：在AI同事这个圈子里，最贵的那位，未必是老板最想留的那位。

参考资料：

https://x.com/jakubjurovych/status/2121256499552915586

https://deepnote.com/research/benchmark