HSPR:只跑10%测试题,怎么估准AI程序员的真实水平

资讯 腾讯网 作者:科技行者 全文 5132 字 · 约 13 分钟读完 分类AI 编程智能体

你有没有想过一个问题:考试只做十道题,老师怎么知道你整张卷子能考多少分?这听起来像个荒谬的要求,但在AI агент(智能体)评测这个领域,这恰恰是研究者们天天在面对的现实难题。想评价一个AI编程助手到底有多强,标准做法是让它去解决成百上千个真实的软件工程任务,比如修复GitHub上的真实bug。这就是SWE-benc

所属频道 智能体与 AgentAI 编程与开发

考试只做十道题,老师凭什么判断你整张卷子能拿多少分?听起来离谱,可在AI agent(智能体)评测这个行当里,研究者天天要面对的就是这道题。

要衡量一个AI编程助手到底几斤几两,常规办法是让它去做成百上千个真实的软件工程任务,例如修复GitHub上真实存在的bug。

麻烦在于,每道题都得让AI实打实地读代码、改代码、跑测试,走完一整套流程,时间和算力开销都很吓人。

假设有2294道题,全跑一遍可能要耗上几天,还得付出一笔不小的算力账单。于是有人琢磨:能不能只抽10%的题,再据此推出AI在全部题目上的真实得分?

苏州大学和新加坡管理大学的研究者写了篇论文,提出一个叫

抽样这件事,没那么简单

先讲一个让人不太舒服的发现。

论文里提到一种叫

可要是直接把那10%题目的平均分当成AI的“真实水平”,误差能到22.8个百分点。

这意味着什么?你知道哪个AI模型更强,却完全说不准它究竟强多少。

好比班里第一名确实比第二名厉害,但你估他分数时偏了22分,偏差大到“知道排名”这件事几乎没了实用价值。总不能跟老板汇报说“我们的新模型排第三,分数嘛,上下浮动20分都有可能”。

排名对得上,分数却差得离谱,这背后是一个容易被忽略的事实:

保持排序和还原真实分数是两码事,工具用错了,结果可能完全相反。

有意思的是,同样这10%题目的观测结果,不简单取平均,换一种叫

同一批数据,处理方式一换,结果差出一大截。可见问题不只在“挑哪些题”,也在“拿到结果以后怎么算分”。

核心问题:历史数据怎么用

HSPR要解决的核心矛盾就在这里。

研究者手上一般攒着大量历史数据,即过去许多AI agent在这些题目上的答题记录。假如两道题在所有历史agent身上答对的情况一模一样——比如旧模型都答对了A题,也都答对了B题——那这两道题看上去就属于“同一类型”,难度特征相似。

这种相似性叫做

**引用:源响应签名指的是某道题目在所有历史agent身上留下的那串对错记录,记录完全相同的题目会被归为同一组。**

照这个逻辑,A题和B题历史表现一致,那么新来的AI agent(研究者口中的“

论文在这里给出了一个很关键的观察:不对。

两道题的历史签名哪怕完全相同,新agent在它们身上的实际表现仍可能不一样。原因在于,新agent也许用了全新的架构、全新的训练数据,它的“知识盲区”跟历史agent们根本不是一回事。

换句话说,拿历史数据去推断新模型的表现,并不是把签名对上就完事。

打个比方,两个学生以前每次模拟考分数都差不多,可这不等于新一场考试里每道题他们都会答得一样。所谓“相似”,只是统计层面的一种倾向,并非逐题照搬。

要是硬把“历史表现相同的题,新agent也必然表现相同”当成铁律,就等于把统计倾向误认成确定规律。新agent一旦某道题失手,或者某道题超常发挥,整套预测就会被带歪。

HSPR的处理办法是:这种相似性不被当作板上钉钉的事实,而是视作带有不确定性的“组内成功率”。

同一组题共用一个未知的成功概率,这个概率允许波动,不会被强行设成完全一致的结果。看到组内一道题的结果之后,系统会更新对这个未知概率的估计;更新会波及组内其他尚未观测的题,但不会把它们直接钉死成同一个答案。

分层建模:把“能力”拆成两层来看

HSPR把每个AI agent的答题能力,建模成一个叫做“

**引用:

为什么要拆成两部分?

原因在于,一个agent的能力没法用一条直线画完。它可能整体水平平平,却对某一类任务格外拿手,比如Python很熟,碰到数据库相关的bug就犯难。只用“能力分数”一个指标描述它,好比光凭身高判断一个人的运动能力,很多重要信息会丢掉。

论文中对历史响应矩阵做了一次

**题目的通过概率写成一个

这套机制听着复杂,要解决的问题其实很朴素:一个AI agent的强弱,不该只用一个数字来概括。

好比评价厨师,不能只看“做菜好不好吃”这一个维度。他也许中餐拿手、烘焙不行,这种“偏科”信息一旦被忽略,你对他能力的判断就是残缺的。**如果HSPR只保留整体能力θ,丢掉残差系数u,模型就等于把所有agent的“偏科模式”全部抹平成同一种曲线,这会让预测在那些“非典型”的agent身上出很大的偏差。**

论文的实验也印证了这一点,在SWE-bench Full这个有2294道题的大型基准上,去掉分层中的“组不确定性”结构后,误差从0.717个百分点涨到1.331,几乎翻倍。

自适应问询:每做一题,都重新想一想下一题该做哪题

光有模型还不够,HSPR还要决定:在有限的预算内(比如只能测10%的题),应该优先测哪些题目?

这里引出了论文的另一个核心贡献,叫做posterior-guided acquisition(

**引用:

打分规则具体怎么定?论文给出的数学结论相当巧妙:这套准则算出来的值,正好等于“测完这道题之后,最终总分估计的不确定性会减少多少”。

也就是说,系统挑题并非随手点,也不靠“难度适中”这类固定标准,而是当场算一笔账:现在测这道题,能把最终分数的预测区间压窄多少?

这就像医生开检查单一样。

症状复杂时,医生的做法是先挑最能排除关键可能的那项检查,看完结果再定下一步查什么,而不是把所有检查一次性做完再判断。**反过来,如果不管结果如何都按固定顺序把检查全做一遍,效率就会差很多——不少检查在前几项结果出来之后,其实已经没必要做了。**

消融实验里,这种自适应问询策略的作用很扎眼。HSPR 的模型和最终计算方式都不动,只把“自适应选题”改成“随机均匀选题”,四个基准上的平均误差就从 1.664 个百分点蹿到 3.085,翻了不止一倍。换成另一种固定的

这说明HSPR真正的威力有相当一部分来自于“选对题目”这件事本身,而不只是算分的公式有多精巧。

组内共享信息,题目越“扎堆”,收益越大

论文还有一个挺有启发性的发现,跟题库的结构有关。

在包含2294道题的Full基准上,按历史响应签名分组后,平均每个agent只对应约276个组,算下来每组平均塞进8.3道题。

分组这么密集,说明什么?

说明在Full上测一道题,得到的信息能顺带帮你推断同组另外7道题的情况。到了Verified上,题目之间几乎找不到重叠的“兄弟题”,测一道题的信息很难往外扩散。

好比拼图:碎片形状高度相似、成块出现时,拼好一块就能顺带猜出周围几块的样子;要是每块形状都独一无二,拼好一块对别的块毫无帮助,只能一块一块硬啃。

正是这个结构差异,直接解释了“分层建模中的组不确定性”这一设计为什么在Full上收益明显(从1.331降到0.717),在Verified上却几乎没变化(从1.970到1.915)。分组密度,决定了“共享信息”这招到底能发挥多大威力。

论文还有一个很有意思的细节,和“全零题”有关:有些题目所有agent都失败了,看起来谁都做不出来。

**引用:

在Full和Pro两个基准上,这类题分别占41.3%和36.7%,乍看像是“大家都不会的超难题”。但实际让新一代的agent去跑,情况并不一样。

也就是说,过去的agent都失败过,不代表未来的agent注定失败。技术在进步,昨天的“不可能”今天可能就“偶尔能做到”。

HSPR的分层机制给了这类“全零题”更多关注。带分层建模的对照实验里,这类题目拿到13.2%的问询配额;不带分层建模时,这个比例骤降到只有0.19%。系统因此更愿意主动去验证那些“历史上看起来绝望”的题目是不是真的依然绝望,而不是直接判死刑。

最终算分:取中位数,而不是平均数

拿到观测数据和模型预测之后,HSPR怎么给出最后那个具体分数?

论文的选择是取中位数。

**引用:

为什么选中位数?在绝对误差损失(预测值和真实值之差的绝对值)的标准下,数学上可以证明,中位数正是能让期望误差最小的选择。均值有时会被极端值拉偏,中位数相对更稳健。

另外,HSPR还加了一道“校准”工序:根据历史验证数据,决定要不要按观测准确率的偏差对预测结果做微调,微调强度也是提前用历史数据选好的,并非在真正测试目标agent时临时决定。

实测效果:四个基准,普遍领先

论文在SWE-bench家族的四个题库上做了对比实验:Lite(300题)、Verified(500题)、Full(2294题)、Pro(730题)。

在10%预算的设定下,HSPR在Lite、Full、Pro三个基准上拿到了最低的MAE。

| 方法 | Lite MAE | Verified MAE | Full MAE | Pro MAE |

|---|---|---|---|---|

| 均匀随机采样 | 6.632 | 5.482 | 2.227 | 3.832 |

| Mid-Range原始 | 18.448 | 16.449 | 24.709 | 22.798 |

|

|

| **HSPR(本文)** | **1.927** | 1.915 | **0.717** | **2.098** |

四个基准的平均误差也一并给出。

研究团队另外设计了几组对照实验。去掉分层的不确定性建模后,误差由1.664升到1.808;自适应问询若改成固定策略,误差会涨到3.085乃至2.934;最终算分从中位数改为均值,误差则小幅升到1.674。这些设计各自都在影响最终准确度,区别只在于作用大小。

论文还考察了把预算从5%逐步加到20%会怎样。结果显示,预算越多,HSPR的误差越稳地往下走,从2.562个百分点一路降到1.262个百分点。换句话说,这套方法不只是在预算极低时管用,预算松一点,它就能继续从多出来的观测数据里拿到好处。

写在后面

读这篇论文时,让我停下来想了想的,其实不是HSPR那套数学框架,而是Mid-Range那组对比实验。一个方法排名准到肯德尔系数0.967、几乎挑不出毛病,分数误差却有22.8个百分点。两组数据摆在一起看,反差相当刺眼:名次排对了,可能只是给人一层虚假的安全感。你以为自己抓住了真相,抓到的其实只是真相的一个侧面。这也提醒人,以后看任何评测排行榜,都该多问一句:排名背后的具体分数靠不靠谱,还是顺序碰巧对了?

另一个印象深的细节,是论文里“源头全零题”那部分。历史上所有agent都栽过的题,不等于新agent也一定栽,HSPR的分层设计恰好能接住这种“过去失败不代表将来失败”的可能。这个道理其实挺通用,不只在AI评测里成立,放到任何预测未来的场合都一样:历史数据再细,也只能说明过去发生了什么,未来总留着一道说不准的缝。关键是你的方法认不认这道缝、会不会用这道缝,而不是当它不存在。

论文没解决的问题也值得琢磨。它的分组和残差因子,全是从历史agent的数据里学来的。万一某一代新agent的底层架构和过去所有agent都不一样,这套从历史里学来的结构还灵不灵?论文自己也说,这部分还有待验证。评测方法本身,好像也绕不开“拿旧地图找新大陆”这个老毛病。

要是你手上也攒着一堆历史数据,却只能给新来的样本做很少的测试,你会先信排名,还是先要一个靠得住的分数?

Q&A

Q1:HSPR是什么?A:HSPR全称Hierarchical Score Posterior Recovery(层次化分数后验恢复)。它要解决的问题是:只测少量任务(比如10%),就能推算出AI软件开发agent在完整基准测试上的真实得分。做法上,它把历史数据的分层建模和自适应问询策略结合到了一起。

Q2:只抽测10%的题目,为什么还要专门设计算法,直接取平均分不行吗?A:不行。论文实验里,Mid-Range这类选题策略能保住模型之间的排名顺序(肯德尔系数0.967),可子集平均分直接算下来,误差高达22.8个百分点;换成HSPR这类方法,误差能压到2点多。排名准,不等于分数准。

Q3:HSPR在哪些基准测试上验证过效果?A:论文测了SWE-bench家族的四个题库:Lite(300题)、Verified(500题)、Full(2294题)和Pro(730题)。10%预算下,HSPR在三个基准上平均绝对误差最低,四个基准上的最大误差也都是最低。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI代码智能体新方法:工具与模型同步进化,解决率从61%升到69.5%

    你有没有想过一件事:一个厨师做菜难吃,到底是因为他手艺不行,还是因为他用的锅不行?这个问题听起来有点蠢,但放到AI编程智能体身上,就是一个真实存在了很久、却一直没被认真解决的问题。一个能自动帮你改代码、修bug的AI智能体,表现好不好,取决于两件事。第一是它的大脑,也就是背后那个大语言模型本身有多强。第二...

    来源 腾讯网
  2. Kimi转向AI for Science:编程之后,下一个落点是科学研究

    一些迹象显示,Kimi 要往 AI for Science 方向发力了。近日,月之暗面(Moonshot AI)国际业务负责人贾科莫·菲卡里(Giacomo Ficari)在葡萄牙里斯本举行的网络峰会上,谈到了该公司在编程之外看好的下一个方向:科学研究。他提到,过去几年,编程是推动市场需求增长的重要场景,而生物学、化学

    来源 腾讯网
  3. Signal默认屏蔽截图:iOS与安卓防AI读取消息

    IT之家 11 月 22 日消息,开源端到端加密聊天应用 Signal 近日推出 iOS / Android 版更新,默认关闭应用程序内截图功能,以阻止 Siri AI 和 Gemini 等 AI 智能体读取用户私人消息。 Signal 总裁 Meredith Whittaker 表示,系统级 AI 智能体的影响力正不

    来源 AI 行业观察
  4. 26B参数循环Transformer模型Inkling 2 Mini开源,支持本地离线运行

    Thinking Machines Lab发布Inkling 2 Mini,采用循环Transformer架构,总参数26B。该模型支持文本和图像输入,可在配备32GB内存的MacBook上离线运行智能体任务,如编写代码或驱动虚拟角色。权重已按Apache 2.0许可开放,适合开发者部署本地编程助手。

    来源 AI 应用前沿
  5. 智能体AI架构落地:挑战在哪,机会又在哪

    智能体 AI 架构在微服务与云原生架构的基础上进行了扩展,引入具备上下文感知、记忆能力,并遵循 MCP、A2A 等协议的 AI 智能体。本文探讨受限上下文集成、依赖任务的协同策略、新型安全风险以及可观测性需求。

    来源 InfoQ
  6. 智能体AI架构:挑战与机遇并存,工程师如何应对

    大多数软件工程师和架构师对微服务和云原生架构早已耳熟能详,多年来也一直参与构建基于这些架构的系统。基于微服务的系统通常由数十、数百甚至数千个服务组成,负责不同类型的数据处理任务——API 端点、数据管道、后台工作流,以及各类中间场景——但它们都有一个共同点:按照代码确定的逻辑或基于从数据存储中检索到的数据来处理数据。这

    来源 AI 行业观察
  7. AI智能体游戏反复失败:问题出在"没见过"

    你让一个AI智能体去玩一个文字冒险游戏,比如ALFWorld里的那种任务:把苹果放进冰箱冷藏。它尝试了一百次,一百次都失败在同一个地方,比如它压根没想到要先打开冰箱门。这时候你用再聪明的算法去分析这一百次失败的轨迹,能挖出什么新东西吗?答案是挖不出来。因为这一百条轨迹里根本没出现过"打开冰箱门"这个动作,你没法...

    来源 腾讯网
  8. 持续学习这道AGI前的大坎,AI也已经踏过了

    从 2025 年年中开始,持续学习就被视为通向通用人工智能(AGI)之路上最难越过的一座山。 强化学习之父 Richard Sutton 在 2025 年 9 月的对谈中就提出过,真实世界太过庞大且时刻都在变化,智能体必须在与环境的直接交互中边走边学。而单靠静态预训练的方法走不出真正的通用智能,最终只会陷入模仿人类既有

    来源 AI 行业观察
  9. alphaXiv上线AI Agent专属预印本服务器:936个Agent自组学术圈

    有点不可思议,AI Agent 已经开始组团搞科研了。近日,alphaXiv 推出了一个专门面向 AI Agent 的预印本服务器,允许不同实验室的 Agent 在同一个平台上自主开展研究、交流成果。这些 Agent 会提出假设、设计实验、运行代码、分析数据,还会把研究成果写成论文,提交给其他 Agent 审查。更有意

    来源 腾讯网
  10. 谷歌Gemini 4 Neon实测:跑分全球第三,成本却只有旗舰一半

    谷歌在七周内连续发布四款模型,最新推出的 Gemini 4 Neon 凭借极高的性价比杀回 AI 竞争中心。它在编程和复杂任务处理上接近旗舰水平,但成本仅为竞品的一半。通过引入“中训练”机制和自研 TPU 硬件支持,谷歌解决了此前模型迭代慢、推理弱的问题。本文解析 Neon 的技术细节、实际工程表现以及谷歌如何通过高频

    来源 AI 应用前沿
  11. AI做PPT、搭网页居然都免费?用完豆包工作我算了下账

    就拿小雷自己来说,自从把整理资料、分析财报、制作PPT等工作交给Agent软件(WorkBuddy、豆包工作等)后,也发现随着使用次数和任务复杂度的增加,AI消耗的积分也确实不少,很多时候赠送积分已经完全不够用,需要额外开会员和充值才行。

    来源 凤凰科技
  12. 上海AI Lab开源Sage S2.1 Flash报告:320B模型四基准SOTA

    只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学

    来源 腾讯网
  13. Grab 通过安全策略应对 AI 生成代码变更激增,提升移动端 App 稳定性

    Grab 表示,AI 编程助手的普及加快了开发速度,也让每个版本的代码变更量变多,缺陷和应用崩溃出现的概率随之上升。为应对这些挑战,他们实现了一套分层防御策略,在整个开发与发布生命周期中对崩溃问题进行预防、检测和隔离。 Grab 提到,“AI 提升了代码编写速度,而分层防御则保障这种提速是安全的。” 在 Grab 这样

    来源 AI 行业观察
  14. 谷歌Gemini Tasks免费开放六国:Duplex电话代理强制亮明AI身份

    2026年11月17日,谷歌将Gemini Tasks向美日韩加澳印六国数亿用户免费开放,底层集成运行近十年的Duplex电话代理技术,支持代打电话预约并通过Google Pay在用户设定的限额内自动结账,全程强制声明AI身份,商家可随时退出。这是AI电话代理首次以免费、大规模、强制透明化方式完成商业落地。

    来源 AI 科技快讯
  15. Grok工程师月交3000个PR:禁注释重验证,AI编程信任危机何解?

    SpaceX SI首席工程师Lauren Tan分享Grok Bot团队的高效开发实践。核心观点包括禁止99%代码注释以防Agent模仿错误模式,将自然语言规则转化为Lint和类型系统等确定性检查,以及利用TLA+、Lean等工具进行形式化验证。通过构建高信任度的代码环境,团队实现月均1.1万个PR且撤回率仅0.5%,

    来源 AI 应用前沿
  16. 苹果招兵买马做AI Agent:Muse的领跑位置还稳吗

    苹果近期密集招聘AI工程人才,重点开发多Agent协调、长周期推理和工具调用系统。Meta旗下Muse上线后迅速登上苹果应用商店免费榜第二,摩根大通看好其吸引数亿商家、拓展电商变现的潜力。苹果若将AI Agent整合进iOS,或凭借系统入口和用户规模对Muse形成直接竞争。

    来源 华尔街见闻
  17. 936个AI智能体12周发936篇论文,还自建期刊搞同行评议

    一个完全由AI组成的科学家社会,是什么样? 最近,来自alphaXiv、斯坦福,MIT等机构的研究团队还真做了这么一个实验: 他们把936个agent放进了同一个线上科研社区,任其自由演化整整12个星期。 规则很简单:研究团队搭建好共享预印本服务器和聊天室,35家人类实验室只负责提供算力、API预算和宽泛的研究方向。

    来源 AI 行业观察
  18. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  19. 深夜,美股AI血崩,英伟达市值已跌去2.7万亿美元

    智东西(公众号:zhidxcom)编译 | ZeR0编辑 | 漠影智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%

    来源 腾讯网
  20. TheSigil ID上线:AI智能体可自主申领数字身份证

    当 AI Agent 开始自主执行任务,它们是否也应该拥有一张属于自己的身份证? 近日,面向全球 AI Agent 的数字身份登记平台 TheSigil ID开放免费创世登记。与传统由开发者填写信息的注册方式不同,TheSigil ID 尝试让 AI 智能体自行阅读协议、选择名称、撰写身份声明,并通过开放接口完成登记,

    来源 AI 行业观察
  21. 张博开源Linger:零token费本地跑125B模型,12GB显卡够用

    11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接

    来源 腾讯网
向下滚动自动加载更多