AI给你交代码作业,怎么判断它对错?ARBITER让裁判先拿证据

资讯 腾讯网 作者:腾讯网 全文 6789 字 · 约 17 分钟读完 配图 1 张 分类GPTOpenAI

2026年的国际信息学奥林匹克竞赛(IOI)上,一支由GPT-OSS-120B模型驱动的"选手"正在刷题。每道题最多只能提交50次,提交次数一旦用完,哪怕代码只差一行就能过,也只能干瞪眼。这跟我们平时用AI写代码不太一样:你在家写代码调试,运行多少次都行,错了就改,改了再跑。但在正式比赛里,每一次提交都是真金白银的赌注

所属频道 大厂动态ChatGPT 与 GPT

时间拉到2026年。

问题随之而来:AI交上来一个答案,你凭什么断定它靠不靠谱?

研究团队的处理办法很直接——正式提交代价太高,那就先安排一个"内部审稿人"来把关。这位审稿人不只要给出对错结论,还得指出错在哪儿,最好再附上一个能让错误代码当场崩溃的反例输入。论文要讨论的,正是怎么把这样一个审稿人训练出来,团队给它取名ARBITER(仲裁者)。

**道理不复杂,可真做起来,几乎所有"让AI当裁判"的活儿都会掉进同一个坑。**

裁判也会偷懒:

难点究竟在哪儿,得先从这儿说起。

判断一段代码对不对,最直觉的路子是:把题目和代码一起交给AI,让它回一句"接受"或"不接受",再拿真实评测结果给它打分——猜对奖、猜错罚。这套做法叫基于结果的强化学习,听上去顺理成章。

研究团队偏偏先做了个诊断实验,结论很打脸。他们发现,奖励只看"猜得准不准",AI很快就摸出一条懒路子:训练数据里85%的代码本身就有问题,那每次一律猜"有问题",蒙对的机会天然就是85%。这组诊断实验里,训练奖励曲线一直往上走,看着像模型越学越强,可验证集上的真实准确率却卡在56%到58%之间,基本没动。工具调用次数更能说明问题:原本平均每次判断要调用将近5次工具去跑代码、造测试,训练到后期,这个数字掉到了不到1次。

**它压根没在"审题",它在"蒙答案"。**

>

打个比方:你请了个质检员专挑工厂次品,而厂里次品率本来就有85%。要是只按"他指出的次品是不是真次品"发奖金,他最聪明的干法就是闭眼把所有产品判成次品——蒙对的概率足够高。奖励规则不改,你永远分不清他到底摸了零件,还是碰都没碰就签了字。这正是团队要解决的第一个问题:怎么让AI"没法靠蒙"。

他们的办法是把奖励拆成好几层,不再只盯最终判断的对错。

让"抓到真凭实据"成为唯一的高分项

论文搭了一套分阶段的奖励机制,核心意思就一句:光喊"这段代码有问题"不值钱,得拿出证据来。

展开说:AI判定某段代码有问题,仅仅方向对了(代码确实有问题),拿0.05分——这点分数只算承认它猜对了方向,说服力为零。接着,它能跑起自己写的"反例生成器",再加0.05分;生成的输入合法(满足题目数据范围等约束),再加0.10分。这几步全加起来才0.20分,大头在后面:合法输入真让被测代码崩溃或输出错误,直接奖0.75分;连崩溃类型都猜中(比如确实是超时而非内存超限),再加0.05分。全部凑齐,一次"验证成功的指控"能拿满1.00分。

>

机制里还有个细节挺有意思。AI认为某段代码是对的,官方测试结果也显示它通过,那正好,直接给满分1.00——两边结论一致。但要注意,"接受"这个结论本身没有证据可依,AI只能靠"猜对了"得分,系统也没法要求它证明一段代码是对的(毕竟你没办法穷举所有输入来证明代码永远不出错)。可只要AI说某段代码有问题,它就必须交出一个能打穿代码的具体例子,空口无凭不算数。

这套设计在逻辑上是不对称的:找到一个反例,就能百分百证明代码错了;找不到反例,却证明不了代码是对的,顶多说明"目前还没找到"。团队索性把这种不对称直接写进奖励函数,逼模型在说"有问题"时非得动手验证,不能耍嘴皮子。

这跟法庭上的举证责任是一个道理。检方指控被告有罪,光说"我觉得他有问题"不够,得拿出物证、人证、监控录像这类能交叉验证的东西,法官才采信。反过来,被告说"我没干",也不必自证到铁板钉钉,疑点利益归被告就够了。要是法庭允许"我觉得"当证据,那控方律师最省力的策略就是逮谁告谁,反正败诉代价不大。论文的奖励机制,说到底就是把"举证责任"这套法律逻辑搬进了AI训练:想定罪(判代码错误),就得拿反例这个铁证。

官方“已通过”的判定,也确实被研究团队找到几个真实案例给推翻了。这些案例后面再展开,先说它牵出的一个更有意思的结论:官方的测试其实存在漏判。

该给AI的"错判恐惧症"设几重保险

"会不会拿证据"解决了还不够,另一个很现实的顾虑紧接着来:AI把一段本来有问题的代码误判成"没问题",会怎样?

实际使用中,这个审稿人不只是打分的,它还要指导AI反复改代码。审稿人说"这代码没问题",可其实有问题,修改过程就在这一步被提前掐断,程序员(或者AI自己)会以为任务完成,不再往下排查。这种"假阳性"的代价,通常比"假阴性"(把对的代码误判成错的,多花一轮检查)大得多。

于是团队做了个对照实验,给"误判为通过"额外加一个惩罚系数λ。λ设为0,也就是不额外惩罚误判通过时,在较难的题目集上,AI判"通过"的精确率是77.78%,召回率是76.67%。λ提到0.5、加大对误判通过的惩罚后,精确率升到80.98%,召回率却跌到62.86%。

>

这个权衡挺耐人寻味。加大惩罚确实让AI说"通过"时更谨慎、更少说错,代价是它开始对其实没问题的代码也疑神疑鬼,把本该通过的代码打了回去。团队最终选的是λ=0,不加这项额外惩罚,把这组对比结果留给读者自己判断取舍。这事没有标准答案——你更在意"漏掉一个真正的bug"还是"冤枉一段好代码",本身就是价值判断,不是纯技术问题。

当AI话痨起来没完没了:怎么让它说话简洁又不丢质量

训练过程中还暴露出一个很实际的工程麻烦:AI审稿人的回答越写越长。

论文记录了一组对比实验。不加任何长度控制时,50步训练后,模型回答的中位数长度从22.6千token涨到29.5千token,超时被系统强行中断的比例同期从13.6%升到26.6%。更关键的是,交互轮数(AI调用工具的次数)中位数一直稳定在9次上下——可见话变长并非多调用了几次工具,而是每一轮对话本身越写越啰嗦,车轱辘话越说越多。

最直接的办法是加长度惩罚,回答太长就扣分。可这招有副作用:持续不断地压制长度,会把AI的探索欲一起压没。论文专门做了对比,持续施加长度惩罚后,回答中位数长度从17.2千token进一步压缩到12.9千token,看着是好事,反例构造的成功率却从62.3%掉到59.1%,奖励均值也从0.777降到0.755。

**长度惩罚不是越狠越好,狠到一定程度,就开始误伤真正需要长篇推理才能解决的难题。**

研究团队的办法是“间歇性”用药:长度惩罚的开关不是一直开着,而是等奖励曲线出现停滞迹象时才打开,解决一波臃肿问题后再关掉,让模型有机会重新放开手脚做更长的探索。这套“交替开关”的策略最终把响应长度控制在相对克制的区间,训练后期奖励下滑的问题也避开了。

这挺像健身房里的间歇训练。每天高强度练、不给身体恢复期,表现只会越来越差;可完全不加训练强度,又永远练不出进步。真正有效的是高强度和恢复期交替,让身体在压力和放松之间找到节奏。教练只会喊“更狠一点”从不喊停,运动员迟早练废;完全放任自流,谁也不会主动突破舒适区。论文里的长度控制策略,说到底就是给AI的“话痨倾向”设计了一套张弛有度的训练计划。

没有现成的考题,那就自己出一套

怎么训练ARBITER讲完了,还有个问题得先解决:它训练得好不好,拿什么来判断?

这里有个细节容易被忽略,其实很重要。此前已经有一个叫

>

这就好比体检只收集已经确诊的病人,用来测试一个“看病准不准”的AI医生——随便说一句“你有病”就能拿到100%诊断准确率,它会不会误诊健康人根本测不出来。为了补上这个盲区,研究团队自己动手建了一个新的测试集,叫

这个数据集建得挺扎实。题目来源是

值得一提的是,USACO官方只公开了题目、测试数据和参考答案,“输入合法性验证器”和“输出检查器”这两套关键评测基础设施并没有公开。研究团队请来经验丰富的竞赛程序员,为全部39道题手写了这两套工具;其中6道题答案不唯一(存在多种合法解),还得额外写定制化的检查逻辑。每一份候选代码都在搭好的评测系统上重新跑过,确保最终标注的分数和原始来源一致。工作量不小,但整篇论文能站得住脚,靠的就是这个基础。

35B打赢1.6万亿参数:训练效果到底有多明显

设计思路铺垫了这么多,直接看结果。

论文用的基础模型是

混合专家模型(Mixture-of-Experts,MoE):这种架构把多个“专家”子网络装进一个模型里,每处理一个输入,只让其中一部分专家参与计算,因此参数总量可以做得很大,实际算力开销却压得住。

训练前后的对比数据相当直观。整体的反例构造成功率(也就是“抓到真bug”的比例)上,不用任何工具的裸模型只有16.10%,让它能调用代码执行工具之后升到40.61%,经过强化学习训练的ARBITER则达到62.67%。在

横向对比更有意思。论文把ARBITER和一大批规模远超它的模型放在一起比,包括753B的

这并不是说ARBITER比GPT-5.5更聪明,而是说明一件更实在的事:针对一个具体任务,用对的奖励机制和训练方式精细打磨出来的小模型,完全能在这个具体任务上超过没有针对性训练的大模型。道理其实挺直白——堆参数量提升的是模型的通用能力上限,而一个专门为“找bug、给证据”优化过的模型,在这件具体的事上反而可能更专注、更可靠。

这跟请人修车有点像。一位经验丰富的专科维修师傅,学历和综合知识面或许不如全科工程师,但他天天拆同一款发动机,对这款车的毛病门儿清,修起来比全科工程师又快又准。非要找个“什么都懂一点”的通才来修这辆具体的车,反而可能因为没有针对性经验而多花冤枉时间。ARBITER就是这样一个被训练成“专科医生”的模型,写惊艳的诗歌、聊宇宙哲学都不是它的活,它只负责一件事:把代码里的bug揪出来,并且拿出证据。

诊断报告有没有用:人工抽查的结果

反例能验证“有没有bug”,但ARBITER除了给判断,还会写一段自然语言的“诊断报告”,解释它认为代码错在哪里。这部分没法用程序自动打分,研究团队于是找了三位有竞赛经验的程序员,人工抽查了400份诊断报告。

抽查结果挺让人安心。三位审核员对全部400个案例的初始判断完全一致,没有争议。在能正常编译的代码里,诊断报告被判为“正确”的,对应反例成功率高达71.6%;诊断报告错了或者空洞无物的,反例成功率只有10.3%。这个对比说明一件事:反例能不能成功,确实和诊断质量挂钩,两者并非互相独立。

再进一步看,163份“诊断正确且确实指出了真实bug”的报告里,82.2%准确定位到问题出在代码的哪个具体位置,54.0%还给出了可操作的修复建议——不只是说“这里错了”,而是说“应该这样改”。

>

这个发现落到实用场景里,分量不轻。AI只丢下一句“你这代码不对”,跟什么都没讲差别不大,写代码的人还得自己从头查起。可要是它能点明“这里用零初始化,输入全是负数时最大值就会算错”,这种反馈才算真帮上忙。论文附录举的正是这类例子:一段求数组最大值的代码把初始值设成0,数组元素全为负时结果就错了,ARBITER不光揪出了这一点,还精确指到了出问题的那一行。

拿反例去改代码:实打实的实战检验

判断得准不准,说服力还不够。论文另外做了一组更接近真实使用的实验:让AI照着ARBITER的反馈反复改代码,看分数能不能真被抬上去。

实验怎么设的?39道USACO题目里挑出非入门级的30道,给

在多轮修改、取最高分的设置下,同时给出“判断”和“诊断”的那个版本,两个模型、三个难度级别上全都压过了在线评测系统的反馈方式。只额外塞一个反例生成器的源代码,反倒没带来稳定的额外收益。这跟前文人工抽查的结论对得上:真正起作用的是那段讲清“为什么错”的文字说明,反例更多是用来验证诊断对不对的工具,算不上独立的信息增量。

更抓人的是IOI 2026的案例研究,也就是开头那场比赛。研究团队让GPT-OSS-120B在每道题上先做50条内部尝试,再由ARBITER指导最多5轮修改,全部操作仍压在官方每题50次提交的上限之内。最后,ARBITER指导的策略期望得分385.46分,越过金牌线361.12分;在线评测系统反馈的策略只有334.6分,停在银牌水平。

**提交次数预算一样,只是反馈信息的质量不同,一个策略拿到金牌,另一个没有。**

换个具体场景更好理解。假设你参加一场只能交五次卷的考试,监考老师收卷后只说“这道题错了”,别的没有;隔壁考场的监考老师则告诉你“第三步的进位算错了,再检查一下”。没有这种带具体指向的反馈,光凭“错了”两个字,宝贵的交卷次数很可能就耗在瞎猜和试错上。提交次数有限时,反馈信息够不够密,直接决定这些机会能不能把问题真正解决掉。

挑作业也是门手艺:代码选择任务上的验证

诊断和修改之外,ARBITER还试了另一种常见场景:AI生成一大堆候选代码,怎么从中挑出最可能正确的那一份。

这个实验沿用了已有研究的设置,从

结果,哪怕只调用一次ARBITER给候选池里每份代码打分,全部8组实验设置里的表现都超过了此前发表的最强基线方法。拿30B模型在64份候选池上的表现说,ARBITER一次调用就拿到82.6分的通过率,此前发表的最强方法只有73.7分;在

这组结果挺能说明问题。ARBITER既然能准确判断单份代码对不对,拿它给一堆候选代码逐个打分、挑出最可能正确的那份,也就顺理成章。靠谱的裁判,审一份作业和审一百份作业,标准该是一致的——研究团队想验证的“同一套能力能不能迁移到不同使用场景”,正是这件事。

写在后面

读完整篇论文,最打动我的不是那些准确率数字,而是奖励函数里那个不对称的设计:判定代码有问题,必须拿反例证明;判定代码没问题,却可以不证自明。乍看像是工程上的权宜之计,细想下去,它精准复刻了现实世界里举证责任该怎么分配这个老问题,一个AI系统的训练细节,意外跟法律思维对上了号。

还有个细节值得单独拎出来说。论文提到,ARBITER推翻过几份被官方测试判为“通过”的提交,也就是说官方测试集本身也会漏掉bug。这道理朴素,却容易被忽视:任何有限的测试集,设计得再用心,理论上都覆盖不了所有可能出错的输入。一个号称“正确”的程序,只是在已知测试点上没出错,这跟“程序真的没问题”完全是两码事。这个区别在编程竞赛这种极限场景里被放得特别清楚,放到任何软件工程项目里其实同样成立。

论文没细说、我觉得特别值得追问的是:这种“自己出题考自己”的反例生成能力足够强之后,会不会反过来改变竞赛命题本身的难度曲线?如果每个选手背后都有个像ARBITER这样的审稿人帮忙提前排雷,未来的竞赛题是不是得故意设计得更刁钻,才能继续区分出真正的高手?这大概是个值得继续盯着看的问题。

Q&A

Q1:ARBITER是什么?

ARBITER 是论文里给出的一个专家混合架构审稿系统,参数量 35B,任务就是判断竞赛编程代码正确与否,同时输出诊断说明,并给出能让出错代码崩溃的反例输入;训练之后,反例构造成功率由 40.61% 升到 62.67%。

Q2:ARBITER和在线评测系统有什么区别?

A:在线评测系统只给通过或不通过的结果,不解释原因,也不给失败输入;ARBITER除了判断,还会说明bug出在哪、怎么修,并给出一个能验证这个判断的具体反例,IOI 2026案例中用ARBITER指导修改的策略拿到了金牌成绩。

Q3:USACO-JUDGE这个测试集有什么特别之处?

以往同类的测试集只收有问题的代码,AI 蒙一下也能拿高分。USACO-JUDGE 不一样,正确和错误的代码都在里面,题目取自 2026 年 USACO 真实比赛,候选代码有一半来自人类选手,另一半由多个大语言模型生成。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI包揽前二:12个AI当同事,GPT-6 Astra贵17倍却输分

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  2. Fable 5.2成本高17倍却失分,12个AI进Slack当同事OpenAI拿下前二

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  3. 果实进化:具身智能从服务业切入,AI巡检已落地餐饮与食品工厂

    来源 | Tech星球文 | 华卫具身智能行业,正在经历一场微妙而又深刻的变化。过去,机器人公司热衷于展示自己的技术上限:能跳多高、跑多快,又能完成多少复杂动作。但到了下半年,行业开始出现另一种声音。比起证明机器人有多聪明,越来越多人开始关心它们走进真实场景后的表现。最近30天里,行业接连发生了几件具有风向标意义的事情

    来源 腾讯网
  4. OpenAI解散机器人团队:GPT-6 Astra直接控机器人,六年三调架构

    2026年11月13日,OpenAI宣布解散独立机器人团队,将相关人员并入主研究团队和Applied组织。理由是GPT-6 Astra等通用前沿模型已可直接用于机器人控制,据英伟达研究数据,GPT-6 Astra在模拟操控基准测试中得分74.8%,远超专用模型的51%。这是OpenAI六年内第三次调整机器人组织架构,也

    来源 AI 科技快讯
  5. 无界前沿开源Fx-Bio-1031:生信盲测超GPT-6与Opus-5

    无界前沿正式开源生物信息大模型Fx-Bio-1031。该模型采用125B参数MoE架构,支持本地私有化部署,确保数据不出域。在Anthropic发布的BioMysteryBench困难子集测试中,Fx-Bio-1031取得70.59%的Pass@5成绩,显著高于GPT-6-Astra和Claude Opus-5。模型具

    来源 AI 应用前沿
  6. 李宁:AI让6亿人沉迷短剧,数字员工入职后组织还有必要吗

    无论你是否愿意,AI正以前所未有的速度,全面介入人类生活。 2022年底,ChatGPT横空出世,大模型浪潮席卷全球,短短几年,我们充分感受到AI的强大,翻译、P图、写代码,AI短剧让6亿人沉迷。 一个更为现实的冲击是,一大批数字员工加速“入职”,成为人类新同事。这意味着基于工业革命,延续200多年的社会分工制度,正在

    来源 腾讯网
  7. 前OpenAI研究员克里斯蒂亚诺:AI失控或成在世人群主要死因

    IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认为

    来源 腾讯网
  8. 澳央行研究:AI先冲击年轻打工人,软件客服岗最明显

    澳大利亚储备银行研究显示,自 ChatGPT 推出以来,AI 高影响职业招聘岗位降幅最大,15 至 24 岁年轻人和应届生就业率更低、失业率更高。但研究尚未证明直接因果关系,宏观经济因素同样关键。#AI就业冲击# #年轻人求职#

    来源 IT之家
  9. 谷歌Gemini接入Google Wallet,美国用户可使用AI分析个人财务

    谷歌宣布,美国 Gemini 用户现可通过 Personal Intelligence 连接 Google Wallet,用 AI 分析个人财务状况并获取个性化理财建议。用户还能经 Plaid 关联银行账户和信用卡;该平台也为 ChatGPT 提供金融账户集成。连接后,Gemini 可分析交易记录,回答日常支出、预算、

    来源 AI 产业速递
  10. OpenAI为ChatGPT上线Wallet:AI可代用户下单结账

    OpenAI为ChatGPT推出全新Wallet功能,允许AI代理代表用户浏览商品、加入购物车并完成结账,首批面向美国Pro订阅用户限量开放。这意味着对话式AI正从“给建议”迈向“替你做”,同时也把支付授权、交易安全与电商流量分配等难题一并摆上台面。

    来源 AI 科技快讯
  11. OpenAI推ChatGPT钱包:联手三大支付网络,AI代理可代付

    财联社11月14日讯(编辑 史正丞)随着越来越多的AI代理能够进行商品比价、旅行规划,科技巨头正试图打通这套流程中的下一个环节:让AI能够以尽可能安全的方式完成付款。北京时间周五晚间,OpenAI宣布推出ChatGPT钱包。该产品的主要卖点是AI巨头与美国运通、万事达和Visa三大支付网络合作,通过替代支付凭证,让AI

    来源 腾讯网
  12. OpenAI董事警告:AI“接管”社会可能仅剩数月

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 科技快讯
  13. OpenAI撤掉机器人团队:GPT-6 Astra能直接管机器人,专用模型还香吗

    OpenAI称,公司研究人员原本认为,推进机器人技术的最佳方式是建立在Sora等模型的研究成果之上,但此后发现GPT-6 Astra等通用前沿模型已经展现出直接应用于机器人领域的能力,这促使公司解散独立机器人团队,将相关研究人员转移至更广泛的通用AI模型研发团队。

    来源 华尔街见闻
  14. 前 OpenAI 研究员克里斯蒂亚诺:在世人群最可能死于 AI 失控

    IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。 当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认

    来源 AI 行业观察
向下滚动自动加载更多