HSPR:只跑10%测试题,怎么估准AI程序员的真实水平
你有没有想过一个问题:考试只做十道题,老师怎么知道你整张卷子能考多少分?这听起来像个荒谬的要求,但在AI агент(智能体)评测这个领域,这恰恰是研究者们天天在面对的现实难题。想评价一个AI编程助手到底有多强,标准做法是让它去解决成百上千个真实的软件工程任务,比如修复GitHub上的真实bug。这就是SWE-benc
考试只做十道题,老师凭什么判断你整张卷子能拿多少分?听起来离谱,可在AI agent(智能体)评测这个行当里,研究者天天要面对的就是这道题。
要衡量一个AI编程助手到底几斤几两,常规办法是让它去做成百上千个真实的软件工程任务,例如修复GitHub上真实存在的bug。
麻烦在于,每道题都得让AI实打实地读代码、改代码、跑测试,走完一整套流程,时间和算力开销都很吓人。
假设有2294道题,全跑一遍可能要耗上几天,还得付出一笔不小的算力账单。于是有人琢磨:能不能只抽10%的题,再据此推出AI在全部题目上的真实得分?
苏州大学和新加坡管理大学的研究者写了篇论文,提出一个叫
抽样这件事,没那么简单
先讲一个让人不太舒服的发现。
论文里提到一种叫
可要是直接把那10%题目的平均分当成AI的“真实水平”,误差能到22.8个百分点。
这意味着什么?你知道哪个AI模型更强,却完全说不准它究竟强多少。
好比班里第一名确实比第二名厉害,但你估他分数时偏了22分,偏差大到“知道排名”这件事几乎没了实用价值。总不能跟老板汇报说“我们的新模型排第三,分数嘛,上下浮动20分都有可能”。
排名对得上,分数却差得离谱,这背后是一个容易被忽略的事实:
保持排序和还原真实分数是两码事,工具用错了,结果可能完全相反。
有意思的是,同样这10%题目的观测结果,不简单取平均,换一种叫
同一批数据,处理方式一换,结果差出一大截。可见问题不只在“挑哪些题”,也在“拿到结果以后怎么算分”。
核心问题:历史数据怎么用
HSPR要解决的核心矛盾就在这里。
研究者手上一般攒着大量历史数据,即过去许多AI agent在这些题目上的答题记录。假如两道题在所有历史agent身上答对的情况一模一样——比如旧模型都答对了A题,也都答对了B题——那这两道题看上去就属于“同一类型”,难度特征相似。
这种相似性叫做
**引用:源响应签名指的是某道题目在所有历史agent身上留下的那串对错记录,记录完全相同的题目会被归为同一组。**
照这个逻辑,A题和B题历史表现一致,那么新来的AI agent(研究者口中的“
论文在这里给出了一个很关键的观察:不对。
两道题的历史签名哪怕完全相同,新agent在它们身上的实际表现仍可能不一样。原因在于,新agent也许用了全新的架构、全新的训练数据,它的“知识盲区”跟历史agent们根本不是一回事。
换句话说,拿历史数据去推断新模型的表现,并不是把签名对上就完事。
打个比方,两个学生以前每次模拟考分数都差不多,可这不等于新一场考试里每道题他们都会答得一样。所谓“相似”,只是统计层面的一种倾向,并非逐题照搬。
要是硬把“历史表现相同的题,新agent也必然表现相同”当成铁律,就等于把统计倾向误认成确定规律。新agent一旦某道题失手,或者某道题超常发挥,整套预测就会被带歪。
HSPR的处理办法是:这种相似性不被当作板上钉钉的事实,而是视作带有不确定性的“组内成功率”。
同一组题共用一个未知的成功概率,这个概率允许波动,不会被强行设成完全一致的结果。看到组内一道题的结果之后,系统会更新对这个未知概率的估计;更新会波及组内其他尚未观测的题,但不会把它们直接钉死成同一个答案。
分层建模:把“能力”拆成两层来看
HSPR把每个AI agent的答题能力,建模成一个叫做“
**引用:
为什么要拆成两部分?
原因在于,一个agent的能力没法用一条直线画完。它可能整体水平平平,却对某一类任务格外拿手,比如Python很熟,碰到数据库相关的bug就犯难。只用“能力分数”一个指标描述它,好比光凭身高判断一个人的运动能力,很多重要信息会丢掉。
论文中对历史响应矩阵做了一次
**题目的通过概率写成一个
这套机制听着复杂,要解决的问题其实很朴素:一个AI agent的强弱,不该只用一个数字来概括。
好比评价厨师,不能只看“做菜好不好吃”这一个维度。他也许中餐拿手、烘焙不行,这种“偏科”信息一旦被忽略,你对他能力的判断就是残缺的。**如果HSPR只保留整体能力θ,丢掉残差系数u,模型就等于把所有agent的“偏科模式”全部抹平成同一种曲线,这会让预测在那些“非典型”的agent身上出很大的偏差。**
论文的实验也印证了这一点,在SWE-bench Full这个有2294道题的大型基准上,去掉分层中的“组不确定性”结构后,误差从0.717个百分点涨到1.331,几乎翻倍。
自适应问询:每做一题,都重新想一想下一题该做哪题
光有模型还不够,HSPR还要决定:在有限的预算内(比如只能测10%的题),应该优先测哪些题目?
这里引出了论文的另一个核心贡献,叫做posterior-guided acquisition(
**引用:
打分规则具体怎么定?论文给出的数学结论相当巧妙:这套准则算出来的值,正好等于“测完这道题之后,最终总分估计的不确定性会减少多少”。
也就是说,系统挑题并非随手点,也不靠“难度适中”这类固定标准,而是当场算一笔账:现在测这道题,能把最终分数的预测区间压窄多少?
这就像医生开检查单一样。
症状复杂时,医生的做法是先挑最能排除关键可能的那项检查,看完结果再定下一步查什么,而不是把所有检查一次性做完再判断。**反过来,如果不管结果如何都按固定顺序把检查全做一遍,效率就会差很多——不少检查在前几项结果出来之后,其实已经没必要做了。**
消融实验里,这种自适应问询策略的作用很扎眼。HSPR 的模型和最终计算方式都不动,只把“自适应选题”改成“随机均匀选题”,四个基准上的平均误差就从 1.664 个百分点蹿到 3.085,翻了不止一倍。换成另一种固定的
这说明HSPR真正的威力有相当一部分来自于“选对题目”这件事本身,而不只是算分的公式有多精巧。
组内共享信息,题目越“扎堆”,收益越大
论文还有一个挺有启发性的发现,跟题库的结构有关。
在包含2294道题的Full基准上,按历史响应签名分组后,平均每个agent只对应约276个组,算下来每组平均塞进8.3道题。
分组这么密集,说明什么?
说明在Full上测一道题,得到的信息能顺带帮你推断同组另外7道题的情况。到了Verified上,题目之间几乎找不到重叠的“兄弟题”,测一道题的信息很难往外扩散。
好比拼图:碎片形状高度相似、成块出现时,拼好一块就能顺带猜出周围几块的样子;要是每块形状都独一无二,拼好一块对别的块毫无帮助,只能一块一块硬啃。
正是这个结构差异,直接解释了“分层建模中的组不确定性”这一设计为什么在Full上收益明显(从1.331降到0.717),在Verified上却几乎没变化(从1.970到1.915)。分组密度,决定了“共享信息”这招到底能发挥多大威力。
论文还有一个很有意思的细节,和“全零题”有关:有些题目所有agent都失败了,看起来谁都做不出来。
**引用:
在Full和Pro两个基准上,这类题分别占41.3%和36.7%,乍看像是“大家都不会的超难题”。但实际让新一代的agent去跑,情况并不一样。
也就是说,过去的agent都失败过,不代表未来的agent注定失败。技术在进步,昨天的“不可能”今天可能就“偶尔能做到”。
HSPR的分层机制给了这类“全零题”更多关注。带分层建模的对照实验里,这类题目拿到13.2%的问询配额;不带分层建模时,这个比例骤降到只有0.19%。系统因此更愿意主动去验证那些“历史上看起来绝望”的题目是不是真的依然绝望,而不是直接判死刑。
最终算分:取中位数,而不是平均数
拿到观测数据和模型预测之后,HSPR怎么给出最后那个具体分数?
论文的选择是取中位数。
**引用:
为什么选中位数?在绝对误差损失(预测值和真实值之差的绝对值)的标准下,数学上可以证明,中位数正是能让期望误差最小的选择。均值有时会被极端值拉偏,中位数相对更稳健。
另外,HSPR还加了一道“校准”工序:根据历史验证数据,决定要不要按观测准确率的偏差对预测结果做微调,微调强度也是提前用历史数据选好的,并非在真正测试目标agent时临时决定。
实测效果:四个基准,普遍领先
论文在SWE-bench家族的四个题库上做了对比实验:Lite(300题)、Verified(500题)、Full(2294题)、Pro(730题)。
在10%预算的设定下,HSPR在Lite、Full、Pro三个基准上拿到了最低的MAE。
| 方法 | Lite MAE | Verified MAE | Full MAE | Pro MAE |
|---|---|---|---|---|
| 均匀随机采样 | 6.632 | 5.482 | 2.227 | 3.832 |
| Mid-Range原始 | 18.448 | 16.449 | 24.709 | 22.798 |
|
|
| **HSPR(本文)** | **1.927** | 1.915 | **0.717** | **2.098** |
四个基准的平均误差也一并给出。
研究团队另外设计了几组对照实验。去掉分层的不确定性建模后,误差由1.664升到1.808;自适应问询若改成固定策略,误差会涨到3.085乃至2.934;最终算分从中位数改为均值,误差则小幅升到1.674。这些设计各自都在影响最终准确度,区别只在于作用大小。
论文还考察了把预算从5%逐步加到20%会怎样。结果显示,预算越多,HSPR的误差越稳地往下走,从2.562个百分点一路降到1.262个百分点。换句话说,这套方法不只是在预算极低时管用,预算松一点,它就能继续从多出来的观测数据里拿到好处。
写在后面
读这篇论文时,让我停下来想了想的,其实不是HSPR那套数学框架,而是Mid-Range那组对比实验。一个方法排名准到肯德尔系数0.967、几乎挑不出毛病,分数误差却有22.8个百分点。两组数据摆在一起看,反差相当刺眼:名次排对了,可能只是给人一层虚假的安全感。你以为自己抓住了真相,抓到的其实只是真相的一个侧面。这也提醒人,以后看任何评测排行榜,都该多问一句:排名背后的具体分数靠不靠谱,还是顺序碰巧对了?
另一个印象深的细节,是论文里“源头全零题”那部分。历史上所有agent都栽过的题,不等于新agent也一定栽,HSPR的分层设计恰好能接住这种“过去失败不代表将来失败”的可能。这个道理其实挺通用,不只在AI评测里成立,放到任何预测未来的场合都一样:历史数据再细,也只能说明过去发生了什么,未来总留着一道说不准的缝。关键是你的方法认不认这道缝、会不会用这道缝,而不是当它不存在。
论文没解决的问题也值得琢磨。它的分组和残差因子,全是从历史agent的数据里学来的。万一某一代新agent的底层架构和过去所有agent都不一样,这套从历史里学来的结构还灵不灵?论文自己也说,这部分还有待验证。评测方法本身,好像也绕不开“拿旧地图找新大陆”这个老毛病。
要是你手上也攒着一堆历史数据,却只能给新来的样本做很少的测试,你会先信排名,还是先要一个靠得住的分数?
Q&A
Q1:HSPR是什么?A:HSPR全称Hierarchical Score Posterior Recovery(层次化分数后验恢复)。它要解决的问题是:只测少量任务(比如10%),就能推算出AI软件开发agent在完整基准测试上的真实得分。做法上,它把历史数据的分层建模和自适应问询策略结合到了一起。
Q2:只抽测10%的题目,为什么还要专门设计算法,直接取平均分不行吗?A:不行。论文实验里,Mid-Range这类选题策略能保住模型之间的排名顺序(肯德尔系数0.967),可子集平均分直接算下来,误差高达22.8个百分点;换成HSPR这类方法,误差能压到2点多。排名准,不等于分数准。
Q3:HSPR在哪些基准测试上验证过效果?A:论文测了SWE-bench家族的四个题库:Lite(300题)、Verified(500题)、Full(2294题)和Pro(730题)。10%预算下,HSPR在三个基准上平均绝对误差最低,四个基准上的最大误差也都是最低。