决策模型开源新王登顶全球榜首,反超谷歌闭源王牌
新智元报道 硅谷最卷的新赛道,刚刚杀出了一位开源新王!最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复
新智元报道
新智元报道
硅谷竞争最激烈的新赛道,跑出了一位开源新王者。
即将敲钟的
通用大模型在编程、数学上表现出色,但真要替人干活时,算力账单就变得深不见底。
Token消耗比生成文本高出4.8倍。
在极度焦虑中,硅谷的「决策模型」竞争全面展开。
初代标杆
前两天,谷歌CEO劈柴亲自出面,高调发布闭源决策模型Gemini Decision 1。
大厂之间打得火热,一匹叫Karpo Decision 31B的开源黑马突然冲了出来。
在300个模型一起参评的Decision Index权威评测总榜上,它直接杀到最前面,拿下全球第一。
https://huggingface.co/spaces/multimodalart/jev-decision-index
这一回,从0.8B到31B,尺寸全都齐了。
拿冠军的31B旗舰款,单卡中位延迟只有94毫秒,0.023,一道题最多能同时评估255个选项。
传统大模型是一个字一个字往外蹦,Karpo Decision不一样,它是给AI智能体高频做决断用的。
把当前状态和问题输进去,它一次前向推理就把所有选项的概率全算出来,整个过程不生成任何Token。
靠这套极快的判断方式,Karpo一开源就登上总榜第一,还在多项评测里正面赢了谷歌闭源王牌Gemini Decision 1。
更有意思的是,这匹夺冠的开源黑马,底子竟然来自谷歌自家的开源底座Gemma 4 31B——它是在这个底座上做后训练出来的。
目前公认最权威的两大独立榜单,一个是Decision Index,一个是JevBench,Karpo在这两处把闭源和开源对手都赢了一遍。Decision Index覆盖37项公开基准,还混入了未公开的私有题库,全球300个模型在同一张榜上打擂台。
JevBench那边则是独立机构出手,在自有显卡上全程断网盲测,1500道考题里有1200道被永久封存。
Decision Index总榜上,Karpo拿到73.9分,直接登顶,把初代标杆Jev 1.14的60.2分甩开一大截。分数之外,它的中位延迟只有94毫秒,Jev 1.14是196毫秒,快出整整一倍。
真正把差距拉开的,还是那道防刷榜的私有题库盲测。
公开榜前十的模型一进同技能私有盲测,成绩平均要掉6.8分。Karpo只掉了4.3分,在前十名里最抗跌;换到全新领域的私有题上,它更是拿到78.6分。
和谷歌Gemini Decision 1正面交锋时,Karpo也打出了一串漂亮的连胜。
两边在JevBench公开集上都是92.2%,打了个平手。可一进真实Agent考场,差距就出来了。
头一场比的是Agent最要紧的本事——行动判断。权威基准When2Call就是干这个的,专门看Agent在对话里该调工具、该追问,还是该停手。
Karpo在这项测试里拿到90.4%,谷歌是79.9%,相差10.5个百分点。
换成看网页截图点按钮的Mind2Web,Karpo照样以90.0%压过谷歌的86.2%。
第二场转到言外之意和细粒度分类。纽约客漫画配文测试考的是能不能读懂话里藏着的语气,Karpo飙到90.5%,谷歌79.7%,被甩开10.8个百分点。
商品意图特别细碎的Amazon ESCI电商分类里,Karpo以64.7%稳住了对谷歌58.7%的优势。
第三场是37项公开基准的全面摸底。Decision Index把这37项摆在一起同台实测,Karpo拿到75.0分,谷歌60.9分,差距拉到14.1分。
再拆到陌生领域(72.3%)、知识准确率(56.0%)和安全判断(93.4%)三个维度,Karpo同样是全线胜出。
同时,它还把
JevBench刚出的官方断网盲测用了1500道题,Karpo在这轮测试里同样表现亮眼,拿下当期能力分89.53分。这场大考由榜单维护方独立运行,标准相当严苛。
更难得的是封存私有题的表现:1200道题上它拿到85.67分,反而高过公开题的80.45分,校准分则冲到96.00分!
按榜单统一标尺折算,261个开源模型里,Karpo的折算能力分为87.2分,进入全球前三。
和同场参测的谷歌相比,综合总分77.4、决策智力80.2、校准度94.1这三项核心指标,Karpo全部占优。
成本方面,Karpo每千次决策只要0.025美元,算下来做4万次判断才花1美元。
31B旗舰登顶的同时,0.8B至12B这五个中小尺寸上
也有布局。端侧轻量模型也好,单卡主力也罢,每个参数量级都进了同阶第一梯队。
跑分夺冠之外,Karpo在真实场景里到底有多快?传统大模型碰到这类问题,往往得一个Token一个Token地往外生成长篇分析。
而Karpo压根不写一个字,只跑一次前向推理,毫秒之间就把所有选项的概率算了出来。
官网最新上线的两个实时互动擂台,把这种「一次前向答完几十题」的速度差距摆在了明面上。
其中一个叫「城市扫描仪」的挑战:AI要从全城36场活动里,帮用户挑出周末的去处。
场景设定在周五晚上约朋友出门,条件是「今晚、2个人、人均50美元以内、5公里内、能聊天」。模型得照着这些要求,逐场判断每场活动是「匹配、淘汰还是信息不足」。
系统把同一个请求同时发给Karpo和通用大模型(Gemini 3.5 Flash),让两边同场掐表。
Karpo点下开始后只用了1.12秒,36道题全部答完!
快之外,准确度也没落下:10个匹配、23个淘汰、3个信息不足,36道题与规则100%一致。
右边那个逐个Token往外蹦字的通用大模型,计时器过了5秒还在转圈干等。
换成「10个胃口、一张菜单」这道题,多条件权衡的难度被顶到了头。
场景里坐着10位顾客,各自的卡路里上限和预算都不一样。我们在左侧动手点菜,一边盯忌口一边算预算,连点10道,折腾了5秒,还误踩了两处忌口。
Karpo那边把整张菜单连同10位顾客塞进一次请求,916毫秒就把10道菜一起端上桌,硬约束和软偏好都拿了满分。
就算某道菜临时售罄,它也能在几百毫秒内只针对被波及的顾客把菜重新配好。
除了对擂,我们还在官网试玩台上测了浏览器Agent自动订座:任务是替用户订到Lumen餐厅周五晚7点半的两人桌。
对着真实的订座页面,Karpo每一步都当场给出概率最高的操作,按顺序点中「7:30 pm」、按下「Find a table」,再确认预订。
每一步都在130多毫秒内一次算完,整个订座流程不到半秒就跑顺了;指令说得清楚时,它不会反过来一遍遍追问用户。
几十道题能在几百毫秒内一次答完,Karpo靠的是换掉了大模型一贯的「逐字生成」机制。
架构层面,这是一款原生多模态决策模型,支持256K上下文,传统文本生成链路被它完全弃用。
逐字解码环节不再保留,取而代之的是在60层底座末端挂一个轻量级线性读出头(Readout head)。
题目进来后,每个候选答案先被压成单独的单Token标号,读出头随即对最多255个选项同步打分,一次完成,分数直接转成校准概率。
于是多选题(choice)、是非题(noul)、打分题(score)这几类,一次前向推理就能全部算完,格式错误的废话也不会再出现。
单题快了之后,长网页里连问几十道题的开销也要压到最低,Karpo为此另做了分支注意力机制(Branch Attention)。
做法是先把整份问题清单摆在最前,模型带着这些问题去读后面的长网页,两部分合成共享块,KV缓存全程只算一遍。
共享块末尾再并行伸出各题自己的答题分支,每个分支的位置编码都从同一处重新起算,几十道题因此互不干扰、不会串味。
效果落在数字上:数千Token的复杂网页,只问1道题时中位延迟为371毫秒;一口气连问16到63道题,也只要653毫秒。
靠RSI不断自我改进,模型会越用越聪明。
训练决策模型时最头疼的事,是别让它学成只会背格式、专门刷榜的机器。
Karpo团队在实验中发现,只做全参数微调,公开榜成绩能推到75.09分,可陌生领域的准确率却掉了2.3个百分点。
更讽刺的是,「正反读取选项再取平均」这类刷榜技巧对真实泛化能力毫无帮助,延迟反倒翻倍到162毫秒。
公开集分数上涨,不代表模型进了真实业务就真能打。这类拖慢速度的刷榜套路,被团队果断砍掉。
那怎么在不牺牲泛化能力的前提下持续进化?团队搭了一套RSI(递归自我改进)闭环。
这个闭环里,团队用公开数据集加定向合成数据补能力短板,每轮候选模型按「公开集占60%、陌生领域占40%」综合考评,真赢过上一代才能晋升。
到了多模型融合阶段,团队照样不玩花哨套路。复杂搜索算法很容易过拟合,反倒是经典的Model Fusion最稳。
所以最终夺冠的Karpo,把全参数微调早、中、晚期的3个检查点,和另一条LoRA上的2个检查点直接做了均匀平均。
背后逻辑挺巧妙:早期权重泛化好,后期权重更专精,正好和LoRA「学得少、忘得也少」的特点互补。
五个权重合成一个后,推理开销还是单模型的1倍,陌生领域准确率却比单模型终点高出1.6个百分点。
靠这套防过拟合的做法,Karpo在陌生领域评测里打出10比0,对手Jev 1.14一分没拿。评测覆盖临床医学、法院裁判等10个大类、283个小类。
选得准之外,决策模型还得清楚自己几斤几两。Karpo为此加了校准决策强化学习(RLCD),让模型如实给出对自身把握度的评估。强化校准之后,它在JevBench上的校准误差为0.023,这个成绩远好过谷歌和Jev 1.14。换句话说,它说「80%把握」,10次判断里大约有8次真的判断对了。
信息缺失的是非题盲测里,Karpo对92.0%的题目能果断拍板,剩下8.0%拿不准的就主动弃权,交给人类兜底。
一张显卡装上「最强决策大脑」
模型练成之后,工程师想让31B模型在单卡上跑到极致速度,于是针对Gemma 4底座的全局注意力层用Triton手写了专属算子,单卡推理速度提升近2倍。再叠上无Padding打包等手段,显存占用控制在60GB左右,评测分数一点没掉。
基准测试抽样了2000条请求,它的单卡中位延迟压到73毫秒,吞吐量达到7100 Token/秒;最吃算力的长网页推理,耗时也减半到3.6秒。
不少人会问,一家初创团队凭什么能正面赢下谷歌?答案其实就在他们长期深耕的Personal Agent战场。
在海外,MachinePulse一直在打磨本地生活智能体Karpo。全城找餐厅、搜周末活动,或者打开网页比较房型、勾选时段、把订座流程走完,每一步操作说到底都是高频判断。
放到日常生活里,这类微决策几乎随处可见。
超市货架前,要从满满一排牛奶里挑出合口味、也符合身体需求的那一盒;夜色里走进一家对味的酒吧,闲聊几句,给疲惫的一天收个尾。
这些看着不假思索的瞬间,换到Agent身上,全是一次次毫秒级的权衡和拍板。
可通用大模型动不动几秒的卡顿、细微的判断偏差,加上每次多消耗的Token,落到真实用户手里,就是难以接受的体验落差。
对AI实验室来说,这下可以专心去刷分了。
垂类Agent产品其实就是最好的模型训练场。真实业务里要同时权衡多个条件,网页操作得一步步连着做,出了异常还得回退重来,这些都在逼团队别只盯着纸面跑分,转去啃实验室里碰不到的延迟、成本和校准问题。
眼下决策延迟已经压到毫秒级,单次成本也降到了几美分,高频快思考给各类Agent打开了新的想象空间。
MachinePulse把原生具备网页操作判断力的决策模型全部开源,尺寸从0.8B覆盖到31B,给Personal Agent的创作者们送来了一批趁手弹药。
通用大模型就负责深度思考,毫秒级的高频拍板交给Karpo决策模型。
一张显卡就够,给Agent装上这颗击败谷歌闭源新王的「全球第一决策大脑」,去探索个人智能体的下一波浪潮。