DeepSeek V4.1 Pro开启灰度测试:V4 Pro通过率64%,国产排名第一
他不仅是做AI科普的,还是Agent客户端LobeHub的开发、维护者,内部有一套自己的LobeBench测试集,他用这套测试对比了当前的V4 Pro与之前的V4 Pro-0813版的成绩。
11月8日快科技消息,
DeepSeek服务昨天又短暂中断了一次。一周之内这已经是第二次。用量大涨是一个原因,不过这一回还有别的看点:DeepSeek V4.1 Pro进入了灰度测试阶段。
近两天已经有人在晒DeepSeek V4.1 Pro的测试,用的任务多是鸬鹚骑自行车、动画渲染这类,说服力不够。真正可信的样本来自大V @MaxForAI。
这位博主一边做AI科普,一边是Agent客户端LobeHub的开发与维护者,手里有一套自建的LobeBench测试集。他就用这套题,把当前的V4 Pro和早前的V4 Pro-0813版放在一起比了成绩。
结果挺让人振奋:V4 Pro 0813当时是48%,50道题过了24道,排在第13位。
到了最新的V4 Pro,成绩变成64%,50道题过了32道,排名国产第一。提升幅度是16个百分点,多过的8道题属于Hard高难度级别。

这套测试还要求连续三次完成任务,不是只做对一次就算数。只算至少一次通过的话,两个版本差距并不大;真正拉开距离的是连续三次都能完成的能力,偶然性因此被排除,说明能力确实变了。

换句话说,当前的V4 Pro其实已经悄悄更新过一轮,新版大概率就是大家等着的V4.1 Pro正式版。发布时间还没影,但灰度测试既然能确认,正式版离得就不远了。
这几天传出的乐观说法是下周内见分晓,就看DeepSeek了。眼下也快赶上V4 Pro-0813满三个月的节点,这一回大肥鱼得拿一个足够强的V4.1 Pro,给Pro大模型正名。
