AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测
你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存
大模型能写代码、能改bug、能完成复杂的软件工程任务,这些你可能都听说过。但很多人没意识到:模型表现好坏,一大半功劳其实不在模型本身,而在一个叫"harness"的东西上。
harness可以理解为AI智能体的工作外壳。对话轮次由它管理,读文件、写文件、执行命令这些工具由它调用,权限、会话状态、出错后的恢复方式、任务是否完成的判断,也都归它管。说白了,模型是大脑,harness就是大脑连着双手双脚的那套神经系统。
问题也就在这里。眼下不少团队在搞"递归自我改进":让AI智能体执行任务、观察结果,再自己动手改驱动自己的那套harness代码,改完接着干下一个任务,循环往复,指望它越用越聪明。听着挺好,可有个问题一直没人回答:AI自己写的harness要是有毛病,所谓的"自我改进"不就是在不稳的地基上继续盖楼?
现有评测体系对这个问题的回答基本是空白。SWE-bench、Commit0这些主流软件工程基准,考的都是"AI能不能在固定的工具环境里把代码任务做好",harness被当成理所当然存在的背景板,从没被当作评测对象。中国科学院计算技术研究所团队的论文Doc2Harness头一回把这层背景板搬到台前:不考"AI能不能用好harness",直接考"AI能不能自己造出一个靠谱的harness"。
这事到底难在哪
你可能会想,不就是写代码吗,现在的模型写个几千行的Python项目应该不在话下。
可harness有个很特殊的地方:它是最近几年才大量涌现、更新频率极高的新物种。SWE-bench这类基准用的开源项目,很多是存在多年、被反复讨论过无数遍的成熟代码库,模型训练时很可能"见过"类似的代码模式。
Claude Code、OpenCode、Cursor这些harness工具却大多是过去一两年才出现的,版本迭代飞快,想靠"背答案"行不通,模型必须真正理解需求、自己设计实现方式。
更麻烦的还有一层。普通软件工程任务通常有标准答案,单元测试一跑,过没过一目了然。harness不是这样。同一个功能,比如"如何处理用户按下Ctrl+C中断",可以用十种不同的代码结构去实现,接口完全不固定,没有一个标准的函数签名能卡住所有正确答案。而且harness不像普通程序那样执行一次就能看到结果,得让一个模型实际"驱动"它跑完一整个会话,才能观察到行为对不对。
这好比考核一个新来的保姆带孩子。只让她填一张育儿知识问卷,测不出什么;真正的考核得让她实际带孩子过一天,看她在孩子哭闹、摔倒、不肯吃饭这些真实场景里怎么处理。不这么做,招进来的可能是个理论满分、实操一塌糊涂的人。Doc2Harness的设计思路本质上是同一个逻辑:不看简历,看实操。
两阶段架构:先建房子,再让人住进去试
Doc2Harness把整个评测拆成两个彻底分开的阶段,这个拆分本身就是很关键的设计决定。
第一阶段叫构建阶段。被测的模型(论文里叫build model,即build模型)在一个固定的"脚手架"里工作,脚手架统一用开源工具OpenCode搭建,没有用Claude Code或Codex CLI这类厂商自家的工具。
为什么要特意避开厂商自家工具?Claude Code是
Anthropic自己做的,拿它当脚手架,测Claude系列模型时天然占便宜,不公平。换一个中立的第三方工具,相当于让所有参赛选手都在同一个篮球场上比赛,而不是让主场作战的队伍多蹭几个加时赛。
build模型拿到两样东西:一份开发文档,一份只有接口、没有实现的契约骨架。
开发文档是研究团队把十二个主流harness(Claude Code、Gemini CLI、Cursor、Aider等等)的用户文档扒下来,合并、消除歧义后写成的一份统一规范,相当于"所有harness该有的功能全集"。
契约骨架精简自一个叫mini-swe-agent的开源项目,只保留约七十行代码的接口定义,没有任何具体实现,血肉得模型自己填。
build模型拿着这两份材料,在隔离容器里干活,最多三次提交机会。每次提交会有一个"契约检查"把关,看代码能不能跑起来、必需的命令齐不齐全、有没有留下占位符没写完。检查通过,这个版本就被冻结,叫做候选harness,之后再也不能改;检查不过,打回去重写。
"冻结"这个设计很有意思。它意味着最终被评分的是模型自己觉得"我做完了"时的状态,而不是时间耗尽被强行叫停时的半成品。真实世界里工程师提交代码评审也是这个心态:你提交的那一刻,就代表你认为这个东西过关了。
进入第二阶段,也就是评估环节。冻结好的候选 harness 会被分别投进新的隔离容器中运行,一个测试用例对应一个容器;整个会话由“模拟模型”(mock model)按事先写好的剧本驱动完成。
mock model不是一个真的会思考的AI,而是严格按照剧本逐字执行的"演员",每一步输入都提前写死。这么做是为了排除真实AI模型的随机性干扰,保证同一个harness被测十次,结果都完全一样。
那为什么不直接用真实的 AI 来跑测试?大模型自己就带着不确定性:同样的内容,今天答得不错,明天换个表述,结果可能就变了。要是让真实模型来当裁判,一次失败究竟该算到 harness 头上,还是裁判模型自己当时状态不佳,根本分不清。改用照剧本演的“演员”,等于把变量固定住,需要考察的就只剩 harness 一个。
四个观察窗口:怎么判断一次测试到底过没过
评估阶段怎么确认harness做对了?研究团队开了四个观察口子:模型收到的请求内容、写到磁盘上的文件、程序退出时的状态码,还有命令行打印出来的文字。
一个程序对外能露出的行为,基本都落在这四个口子里。举例说,测“读工作区外的文件该不该被拦住”,就盯模型收到的请求里有没有夹进不该出现的文件内容;测“某条命令跑挂了”,就看退出码对得上对不上。
不过这里埋着一个很隐蔽的坑,论文给它起的名字叫“虚假通过”(vacuous pass)。
拿个具体场景说。有个测试要查的是:harness的读文件功能遇到一个指向工作区外部的软链接,应当拒绝读取,不能把外部文件的内容漏出去。跑完一看,模型收到的请求里确实没冒出那个外部文件的内容,瞧着是过了。可这背后有两种可能:一是harness真认出了这是越权访问,主动拦下了;二是这个harness的读文件工具本身就是坏的,读什么文件都读不出内容,于是碰巧也没把外部内容带出来。
两种情况下观察到的结果一模一样,含义却差得远。前者是真做对了,后者是功能本身残缺,蒙对而已。
为了把这个窟窿堵上,研究团队搭了正向对照(positive control)机制。
正向对照的做法是:跟正式测试用例共用同一个场景,但故意换一条不受限制的访问路径,用来验证“这个功能如果本该正常干活,它到底能不能干成”。要是对照本身就失败了,说明观测的前提压根不成立,正式测试就算显示“通过”,也只能判为失败。
还是上面那个例子。正向对照用同一个软链接,但换成另一种工具去访问,比如走命令行工具而不是文件读取工具,然后确认这条路确实能把外部文件的内容读出来。连这个都读不出来,就说明这个harness的工具本身是坏的,先前那个“通过”是假的,必须判失败。
这跟医院做药物临床试验是一个道理。不能光看吃了药的病人有没有好,还得设个对照组,把“这病不吃药也会自愈”的可能性排掉。没有对照组,你永远说不清病人康复是药起了作用,还是他本来就会自己好。正向对照干的就是这件事:确认“看着好了”是真因为做对了,而不是碰巧蒙出来的假象。
研究团队还拆出三类正向对照,分别用来排除三种不同的虚假通过来源:工具结果根本没传到被观察的通道、换个访问方式本来就会失败、实现方式是一刀切地拒绝所有类似输入。整套测试用例里,328个用例中有130个配了至少一个正向对照,覆盖比例不低。
测试用例是怎么造出来的:三条路径交替挖掘
光有判断对错的机制还不够,题目本身得够多、够狠,才真能把模型之间的差距挖出来。研究团队用了三种方法循环迭代。
第一种叫公开问题挖掘。他们从Claude Code、OpenCode、Gemini CLI、Kimi Code这几个成熟harness的开源仓库里,把所有公开的issue(用户反馈的bug和问题)都爬了下来,一共两万一千多条。
这个思路背后有个假设:大模型是靠学人类写的代码训练出来的,那么成熟harness这些年踩过的坑,和AI自己写harness时大概率会踩的坑,很可能是同一类。与其凭空想题,不如去翻真实世界里人类开发者摔过的跟头。
打个比方,驾校教练要出科目二的考题,与其凭脑子猜“学员最容易在哪儿犯错”,不如把过去十年学员的挂科记录翻个遍,看看到底哪个弯道上栽的人最多。考题要是脱离真实数据,凭空编出来,多半对不上实际开车时真正会出事的那些点。
第二种叫跨harness对比。拿一个候选harness和某个成熟的参考实现(比如Kimi Code)做对照,把代码按功能模块拆开,一块一块地比,看候选harness缺了什么功能、哪些边界情况处理得不一样。
第三种叫单变量扩展。拿一个已经证明有效的测试用例当“种子”,每次只动一个变量,可能是换工具、换输入形式、换参数、换结果出现的位置,由此生成一批新的变种测试。比如测路径逃逸这个场景,种子用例可能用的是指向文件的软链接,变种就可以换成指向目录的软链接、多层嵌套的软链接、相对路径的软链接,一步步把这个漏洞点挖得更深。
这三种方法轮着用,哪种边际收益下降了就换下一种。这套工程化的测试设计思路本身就值得单独说,因为它回答了一个很实际的问题:几百个测试用例,怎么保证既不是拍脑袋编的,也不是漫无目的地堆数量。
题库最后定下来,一共328个测试用例,分属九个互不重叠的类别:会话状态、文件操作、权限管理、无头模式(也就是不带交互界面运行)、直接驱动、交互式终端、产物检查、启动流程、扩展发现。
十九个模型同台竞技:谁赢了,差距有多大
研究团队拿这套题库测了来自十一家厂商的十九个前沿模型,包括Claude Opus系列、
GPT系列、Qwen、DeepSeek、GLM、Grok、Kimi等等,每个模型独立构建三次候选harness,取平均分。
结果很说明问题。
表现最好的GPT-6 Astra拿到53.05%的通过率,表现最差的Hy3只有27.44%,中间差了将近二十六个百分点。
这个数字该怎么看?先讲个跟直觉相反的事:眼下最强的模型来跑这套测试,也有接近一半的题答不对。可见harness工程这摊事,现有AI的本事还远没把它“做饱和”。也就是说,这题不送分——要是换成更新、更强的模型来测,分数多半还会继续涨,题库本身可区分的余地还大得很。
再看第二、第三名的争夺。Opus 5拿下46.65%位居次席,Qwen3.8 Max以45.83%紧随其后。不过有个细节挺有意思:放到"常规场景"里,Opus 5反倒压过GPT-6 Astra一头(80.68%对72.46%);换到"边界场景",GPT-6 Astra又把比分翻了过来(48.97%对37.02%)。可见这两个顶尖模型的分水岭不在"能不能写出功能",而在那些刁钻、容易被人漏掉的边角情况上,谁处理得更稳。
打个比方,两位厨师都能端出一道色香味俱全的招牌菜。真正分出高下的,是客人说"不要放葱"或者"过敏体质不能放花生"时,谁不出岔子。常规菜谱人人背得下来,见功力的是应付例外。
哪类功能最能照出模型的真实水平
九大类测试用例摆在一起,区分能力相差悬殊。
权限管理这一类最能把模型拉开,最高分和最低分之间差了50.8个百分点。61道题里有51道属于"有区分度"的题,各家模型在这些题上表现各异,强弱一眼就能看出来。
交互式终端这一类则相反,平均通过率已经到79.9%,接近饱和。所有模型在这块都做得不差,拿它来分高下很难。
还有一点更值得看:328道题里有56道是所有模型全军覆没的,换哪个模型来做都过不了。这些题集中在直接驱动、会话状态、权限管理和无头模式几个类别,说明这些地方埋着当前所有模型共同的能力短板。问题不在某一家厂商身上,整个行业眼下都还没迈过这道坎。
另一个挺反直觉的发现是:同一个模型在不同类别里的排名,能上下浮动十六个名次。Grok 4.7在"文件操作"里排第一,"会话状态"里只排到第十一;Opus 4.6在"直接驱动"排第三,到"权限管理"却跌到第十九。
乍看像是"每个模型都有自己的偏科方向"。研究团队又算了相关性,结果六大主类别两两之间的相关系数全是正的,平均达到0.521。这说明模型之间的差距更多是整体实力的高低,而非各自专精不同领域。排名大幅波动,更像是同一个"综合能力"在不同考题上被放大或缩小,并不存在真正的"偏科生"。
代码架构透露的秘密:模块切得越碎,分数越低
研究团队还做了一件颇有意思的事:把57份被打分的候选harness源代码全部调出来做了分析。
先看一个直观结果:代码规模主要由哪个模型来写决定,同一个模型三次构建之间的随机波动影响不大。Qwen3.8 Max平均写出16681行代码,GPT-5.5平均只有1271行,差了十几倍。可同一模型自己三次构建之间的差异系数平均仅12.7%,远低于模型之间60.1%的差异。可见"写多少代码"更像是模型的一种"性格特征",相对稳定。
代码量和分数之间却不是简单的正比关系,相关系数只有0.614。写得多,未必做得好。
真正出人意料的发现藏在另一个维度上:模块数量。
控制住代码总量之后,研究团队看到:候选harness里切出的模块越多(代码文件越分散),得分越低,偏相关系数为负的0.423。反过来,平均每个模块承载的代码行数越多(相关功能集中写在一起,而非零散撒进许多小文件),得分越高,偏相关系数为正的0.504。
论文把这种现象归为"跨功能逻辑被拆得太散"。举例来说,权限检查这类横切功能要在读文件、写文件、执行命令好几处同时生效。模型一旦把这段逻辑拆成几份、分别塞进不同模块文件,就很容易出现有的地方漏了检查、有的地方检查逻辑与别处对不上。
这像一家公司的门禁系统。全公司只设一个总前台统一核验身份,制度一致,漏洞好堵;要是每个楼层、每间会议室各搞一套门禁规则、由不同部门各自维护,时间一长,必然有的楼层松、有的楼层严,攻击者找到一处薄弱环节就能绕进去。模块切得越细,横切关注点越难统一管理,出漏洞的概率也就跟着往上走。
研究团队还引入KR-20系数(一种衡量测试内部一致性的常用统计指标,数值越接近1,说明题目越像是在测同一种能力)来检验这套题的可靠性,算出来是0.913。328道题确实比较稳定地在衡量同一种"harness工程能力",并非东一榔头西一棒子的拼凑。
这套评测方法还没解决什么问题
研究团队自己也承认了方法上的局限。
最突出的一点是,评测只测了"一次构建"的结果。整个流程最多给模型三次提交机会,但这不是"做完给反馈、照着反馈再改"的迭代循环。契约检查只管"代码能不能跑、接口全不全"这类形式问题,不查实际行为对不对。模型什么时候提交、提交得早不早,会直接影响它最终拿到的修改机会。早提交的模型,测出来的分数更像保守下限,而非能力天花板。
另外,不少测试用例是从同一个种子经"单变量扩展"衍生出的变种,彼此天然相关。候选harness若在某个底层逻辑上有bug,很可能连带好几个相关变种一起挂掉,而不是各自独立失败。表面上"失败的题目很多",根子上可能只是少数几个关键缺陷。
写在后面
读完这篇论文,排行榜本身倒没怎么触动我。十九个模型谁第一谁垫底,过阵子就会被新一代模型刷掉。真正让人停一下的,是那个"模块拆分与得分负相关"的发现。
这个结果戳破了一个容易被忽视的误区:人们常以为AI写代码,代码量越大、模块划分越精细就越"工程化",越像人类高级工程师的手笔。论文用数据说明,至少在harness这种横切关注点(权限、日志、会话状态这些要在多处同时生效的逻辑)大量存在的场景里,过度模块化反而是风险信号。它可能意味着模型没有真正理解这些功能之间内在的耦合关系,只是机械地把文档条款对应成一个个独立文件,没想清楚"这些规则其实需要在同一个地方统一执行"。
还有一个细节我琢磨了很久,就是正向对照这个设计。说白了,它提醒的是:自动化评测系统天生带着“看着对了、其实蒙对了”的风险。尤其是那种“要求某个东西不出现”的测试,一个干脆什么都不做的糟糕实现,太容易混过去。这个思路不只对harness评测有用。凡是“验证某个负面结果”的质量检测场景,比如安全测试里查“不该泄露敏感信息”,都该先问一句:我这套测试系统本身,分得清“真防住了”和“压根没触发”吗?
Doc2Harness考的是AI能不能给自己造一套顺手的工具。工具这东西,一直是文明进化最底下的那块石头。人类拿石器时代的石斧造出后来的青铜器,靠蒸汽机的原理造出内燃机。现在AI开始给自己打造工具,造出来的东西靠不靠谱,决定的或许不只是一个任务做得好不好,而是整条自我迭代的链条往上走,还是在原地打转。
Q&A
Q1:Doc2Harness评测的是什么?
A:Doc2Harness是一个基准测试,评的是大模型能不能自主构建AI编程智能体工作环境(harness)。做法是让模型照着开发文档和接口骨架,独立搭出一个完整的harness,再用脚本化的模拟模型驱动它跑328个测试用例来打分。传统基准只考察模型在固定工具环境下完成任务的能力,它不一样。
Q2:Doc2Harness测试结果里,最好和最差的模型差多少?
A:最好的是GPT-6 Astra,通过率53.05%;最差的是Hy3,只有27.44%,两者相差约26个百分点。最强模型也有接近一半的测试用例没过,这套评测离被现有AI能力做饱和还远。
Q3:代码模块拆得越细,候选harness得分为什么反而越低?
A:研究在控制代码总量后发现,模块数量越多、得分越低,偏相关系数为负0.423。原因在于权限检查、会话状态管理这类横切功能,需要在多处同时生效,一旦被拆到不同模块里分别实现,很容易漏掉或者逻辑对不上,整体行为就不牢靠了。