Drex Max与GLiDE并列73分：决策模型距GPT-6仅3分

11月9日消息，AI模型评测机构Artificial Analysis在昨日更新了AI决策模型评测榜单Artificial Analysis Decision Index v2（下称Decision Index v2）。专业决策模型Drex Max v1.1与GLiDE v1.2都拿到73分，并列第一；Mammoth 27B以72分排在其后，三款模型之间只差1分。

把通用语言模型也放进同一张榜单后，Anthropic的Claude Haiku 5.5（Max）得77分、OpenAI的GPT-6 Luna（Max）得76分，占据前两名，专业决策模型的前三名比得分最高的通用语言模型低3至4分。

综合得分上通用语言模型确实领先，可代价是使用成本和任务耗时都高出一截。

按榜单所列模型比较，Claude Haiku 5.5（Max）每百万项任务要花6240美元（约合人民币4.19万元），为全场最高，大约是并列第一的专业决策模型Drex Max v1.1的61倍，单项任务耗时是后者的119倍；GPT-6 Luna（Max）每百万项任务成本1530美元（约合人民币1.03万元），是Drex Max v1.1的15倍，单项任务耗时约为后者的40倍。

不过专业决策模型内部也不是个个便宜，彼此差距相当明显。

每百万项任务里，成本最低的专业决策模型Celeris-1.1 Decision只要14美元（约合人民币94元），最贵的Clef则要859美元（约合人民币5772元），两者相差60倍以上。

成本高低还与调用方式有关，并不全由模型本身决定。拿GLiDE v1.2来说，它处理每道题都要重新输入整份文档、重新计算输入成本，同一份文档的多道题之间没法复用输入内容。结果就是该模型每百万项任务成本为780美元（约合人民币5242元），约为Drex Max v1.1的7.6倍。

一、三款专业决策模型只差1分，头部争夺更紧

Decision Index v2的专业决策模型排名中，AI决策技术公司Nace AI的Drex Max v1.1和AI研究团队Fastino Labs的GLiDE v1.2同为73分，并列第一；AI研究团队Baseten的Mammoth 27B得72分，位列第二。

三款模型分差只有1分，头部专业决策模型在综合评测中的表现已经咬得很紧。

把通用语言模型一起纳入比较，Anthropic的Claude Haiku 5.5（Max）以77分居首，OpenAI的GPT-6 Luna（Max）拿到76分，分别比专业决策模型榜首高出4分和3分。

▲Artificial Analysis Decision Index v2模型综合得分榜单，来源：Artificial Analysis

这次榜单更新的一大变化，是Artificial Analysis改了评分方式，把所测模型对答案的置信度也算进决策得分（Decision Score）。

每道题得分在0至100分之间，答对高于50分，答错低于50分。模型答对且有把握，分数会更高；有把握却答错，扣得也更多。

这套评分机制对应的是决策模型在真实场景中的用法：一般只有置信度达到某个阈值，答案才会被直接采纳；置信度不够，任务就转给人工或更强的模型。决策得分综合的是不同置信度阈值下的预期收益。

落到每道题上，得分公式为：50×(1+c−(p−c)²)

式中p是模型给所选答案分配的概率，c表示答案对错，答对时c=1，答错时c=0。

把整个测试集汇总起来，该公式等价于：50×(1+Accuracy−Brier Score)

布里尔评分（Brier Score）衡量的是模型给出的答案概率与实际结果之间的差距，分数越低，说明置信度校准越准。

看专业决策模型榜单的布里尔评分，Elephant 9B、Clef-Omni、Drex Max v1.1和Drex 2.0并列第一，都是0.16；其余多数模型集中在0.17-0.20左右；Clef和Mercury Decide的校准表现相对偏弱，分别为0.23与0.26。

▲Decision Score将答案正确性与置信度校准纳入统一评分机制，来源：Artificial Analysis

测试集方面，Decision Index v2共整合6项评测：AA-Paperclip、EvalSafe-O NET-AA、AA-Omniscience-Decision v1.1、HLE-MultiChoice v1.1、AA-Symmetry和When2Call，依次考察文档决策与信息提取、职场文档判断、知识掌握与避免错误信息、推理、答案一致性以及工具调用能力。

新加入的AA-Paperclip占总评分30%，AA-Symmetry占15%。私有数据集在总评测中的占比也从25%提高到45%；AA-Omniscience-Decision和HLE-MultiChoice的权重均由25%降到15%，When2Call的权重由25%降到10%。WildGuardTest测试集因饱和度较高，被移出新版榜单。

AA-Paperclip里放了1500份文档，简历、收据、发票都在其中，还有AI与机器学习研究论文。每份文档配5道决策题加10道事实提取题，模型得全部答对才算过。

这一轮，Claude Haiku 5.5（Max）的文档整体通过率是92%，GPT-6 Luna（Max）拿到86%，两者都高过表现最好的专业决策模型Drex Max v1.1（63%）。

拆开看，Drex Max v1.1丢分主要丢在决策环节。它单项答案正确率有97%，跟Claude Haiku 5.5（Max）的99%差得不多，可只有71%的文档里5道决策题全对，88%的文档里10项事实全部提取正确，整体文档通过率就被拉了下来。

▲不同AI模型在AA-Paperclip真实文档测试中的通过率对比，来源：Artificial Analysis

另一项AA-Symmetry盯的是另一件事：同一个问题换个说法，模型还能不能给出同样的判断。

测试由120道基础问题构成，一共铺出440种不同表述。Artificial Analysis的做法是调换选项顺序、互换选项标签，把是非题改写成否定问法，看被测模型会不会因为问法变了就改答案。

成绩上，专业决策模型Mammoth 27B（96分）和Elephant 9B（93分）跑在前面。Mammoth 27B在99%的问题上换几种表述都能保持一致，决策模型Clef只有67%。

Artificial Analysis也提到，有些模型在这项测试里的优势跟弃答率高有关。碰到拿不准的问题，它们更愿意直接承认不知道，换种问法还是这个判断，一致性得分自然就上去了。

▲不同AI模型在AA-Symmetry测试中的答案一致性表现，来源：Artificial Analysis

二、通用语言模型得分更高，成本和任务耗时也同步增加

单看Decision Index综合得分，占上风的还是通用语言模型。

Anthropic的Claude Haiku 5.5（Max）拿到77分，OpenAI的GPT-6 Luna（Max）是76分。此次评测中表现最好的专业决策模型Drex Max v1.1和GLiDE v1.2均为73分，前两者分别高出4分和3分。

分数高的代价，是用起来更贵、跑起来更慢。

测评时通用语言模型按输入和输出Token计费。GPT-6 Luna（Max）每完成百万项任务要花1530美元（约合人民币1.03万元），是最佳专业决策模型之一Drex Max v1.1（102美元（约合人民币681元））的15倍；单项任务耗时11.34秒，约为Drex Max v1.1（275毫秒）的40倍。

Claude Haiku 5.5（Max）更贵：每百万项任务6240美元（约合人民币4.19万元），单项任务32.65秒。跟Drex Max v1.1比，成本是后者的61倍，单项耗时是后者的119倍。

速度最快的是专业决策模型Celeris-1.1 Decision，单项任务只花56毫秒。

还有Mammoth 27B，综合得分跟GPT-6 Luna（Max）只差4分，任务处理速度却快118倍。

▲不同AI模型完成单项决策任务的耗时对比，来源：Artificial Analysis

综合得分拉不开太大差距的情况下，专业决策模型花更少的钱、用更短的时间就能把特定任务做完。

三、专业决策模型成本相差超60倍，调用方式影响实际支出

每百万项任务的成本，在专业决策模型内部能差出60倍以上。

测评时专业决策模型按输入Token计费。每完成百万项任务，Celeris-1.1 Decision花得最少，14美元（约合人民币93元）；Decider v1.2是68美元（约合人民币454元）；Drex Max v1.1为102美元（约合人民币681元）。

这三款模型都落在Decision Index得分与任务成本的帕累托前沿上——眼下的成本水平下，找不到得分更高的；得分相近的里面，也找不到更便宜的。

另一头，专业决策模型Clef每百万项任务要859美元（约合人民币5736元），是Celeris-1.1 Decision的61倍以上。

从Artificial Analysis给出的对比图看，不同AI模型每百万项任务的成本与性能差异被摆在了同一张表上。不过，决定决策模型实际花多少钱的，并不只是Token单价，还跟它处理任务的方式有关。

大多数专业决策模型（Drex Max v1.1、Decider v1.2都在其中）遇到同一份文档里的多道题时，文档输入内容只计一次费。GLiDE v1.2和Decider Flash v1.2的做法不同：每道题都单独调用一次模型，每次调用都把整份文档的输入成本重新算一遍。

以AA-Paperclip测试为例，GLiDE v1.2每项任务平均要消耗约6.3万个输入Token，Drex Max v1.1只要约9000个。文档输入被反复计算，任务成本自然被推高——GLiDE v1.2每百万项任务要780美元（约合人民币5208元），接近Drex Max v1.1的8倍，可前者的Token标价只比后者高33%。

Decider Flash v1.2也是类似情况：每百万项任务成本196美元（约合人民币1309元），接近Decider v1.2的3倍，Token单价却只有后者的一半。

结语：小模型比拼转向成本与执行效率

从AI决策模型的测评榜单看，头部专业决策模型的得分已经咬得很紧，部分模型在特定任务里还能以远低于通用语言模型的成本把活干完。综合得分上，通用语言模型依然领先；成本和响应速度这两项，专业决策模型的优势已经比较明显。