伊利诺伊大学新研究:AI改代码,选对文件比压缩文本更关键

资讯 腾讯网 作者:科技行者 全文 5765 字 · 约 15 分钟读完 分类AI 编程

你有没有遇到过这种情况:请一个新同事帮忙改个bug,你怕他看不完整个项目,于是把相关代码片段东拼西凑发给他,结果他改出来的代码,根本编译不过,因为你发的那段代码里,有一行被你删掉了一半,他照着删掉的那一半去改,自然就对不上了。这听起来像个笑话,但这恰恰是现在AI编程助手每天都在经历的事。**当AI帮你改代码...

所属频道 AI 编程与开发

请个新同事来修 bug,你担心他看不完整个项目,就把相关代码片段东拼西凑发过去。结果他交回来的代码根本编译不过——你发的那段里有一行被删掉了一半,他照着剩下的一半改,自然对不上。

听着像段子,可这正是如今 AI 编程助手天天在经历的事。

**AI 帮你改代码的时候,看到的往往不是完整项目,而是一盘被精心裁剪过的"片段拼盘"**

背后有个硬约束:再聪明的 AI 模型,一次能"看"的字数也是有限的,这就是上下文窗口。真实的代码仓库又有多大?研究者统计过,

上下文窗口指 AI 模型单次处理文本能接纳的最大长度,超出的部分模型根本看不到。

这好比让一个人读完一本 438000 字的百科全书,然后马上指出哪一页哪一行写错了。没人做得到,所以必须有人先替 AI"划重点"。问题是,这个重点怎么划,直接决定 AI 能不能把 bug 改对。

伊利诺伊大学厄巴纳-香槽分校的这篇研究,死磕的就是"怎么划重点"。研究者给它起了个挺形象的名字:

划重点的两派做法,哪派更靠得住

眼下业界的划重点思路,大致分两派。

第一派是检索,说白了就是"哪段代码跟问题描述最像,就拎出哪段"。这个思路依赖的是一种叫

BM25

第二派是压缩:先把一堆可能相关的代码丢进临时候选池,再让一个小模型逐行打分,觉得不重要的字词就砍掉,直到总字数压进预算。好比把一篇长文里"可能没用"的形容词、连接词统统删去,只留骨架。

两派听着都说得通,可论文里有个例子,把两派的毛病全抖了出来。

有一份真实的 bug 报告,说某个项目里的报错信息少写了一个字母 f(在 Python 里,f 开头的字符串叫

f-string

这个 bug 真正要改的文件叫 twine/sdist.py。可结果呢,用

压缩那一派倒是留住了正确的文件,但压缩模型在"瘦身"时,把那行代码里的 f 和引号一并删了。AI 看到的已不是文件原本的样子,它照着这行"被动过"的代码去改,写出的补丁跟文件真实内容对不上,照样打不上。

**两派殊途同归,栽的是同一件事:都没能保证 AI 看到的代码,既是要改的那个文件,又是文件里原原本本的样子**

论文给出的解法简单得有点"返璞归真":别检索,也别压缩,先让 AI 自己判断"这个 bug 大概要改哪几个文件",然后把这几个文件原封不动、完整地摆出来。研究者给这个方法起了个名字,叫

CQ2-CARE

方法好不好使,得拿数据说话。

预算相同,效果差了快 13 个百分点

研究者设计了一组很"较真"的对比实验:无论用检索、用压缩,还是用

测试题目来自

SWE-rebench

效果如何?在GPT-5.6模型上,CQ2-CARE解决了43.7%的问题;三种压缩方法中成绩最好的只到37.3%,相差6.3个百分点;三种检索方法中表现最优的仅34.3%,差了9.3个百分点。换到Claude Opus 5上,CQ2-CARE的优势拉得更开:解决46.7%,比最好的压缩方法高6.3个百分点,比最好的检索方法高12.7个百分点。

这些差距并非误差范围内的随机抖动。研究者做了统计显著性检验,多数差距在统计学意义上成立。

还有一项对比更有看头:研究者引入两个专为“修bug”训练的AI模型参与测试。其中一个名为

打个比方,一个没请私教、全靠自己琢磨动作的业余跑者,比赛成绩反而压过了有教练、有定制训练计划的专业选手。这并不说明专业训练没价值,而是说“该跑哪条路”这个判断本身,有时比“怎么跑得更省力”更关键。

两个指标,拆开看问题出在哪

检索和压缩各自输在哪里?研究者为此设了两个很直观的指标。

第一个叫"

关键文件命中率

逐字还原率

数据显示,BM25逐块检索和

压缩方法这一侧的情况则相反,

这个差距背后的道理不难想通。

**AI编程助手改代码,本质动作是“找到某一行,把它替换成另一行”。一旦它看到的那一行与文件里实际存在的那一行对不上,替换操作从一开始就注定失败**

好比去银行改签合同,柜员让你把“第三条第二句”划掉重写,而你手上那份合同复印件被人用涂改液动过,你划掉的那句跟银行档案里的原文根本不一致,签字生效那一刻系统一比对,直接打回。只要AI看到的文本和仓库里的文本做不到逐字一致,它写出的“补丁指令”就是废纸一张。

为什么不是“检索越准就行”

读到这里可能会有人问:那把检索做得更准一些,问题是不是就解决了?

研究者确实也测试了

根子还是落在关键文件命中率上。文件级BM25按“整篇文件与问题描述的相似度”排序,可真正要改的那个文件,往往写得平淡无奇,跟bug报告里的措辞毫无呼应。这就像要在办公室里找出最近心情不好的同事,你去翻“最近在朋友圈发负面文字”的人,结果真正状态差的那位什么都没发,反倒是一个平时爱发牢骚的同事被误判成了“有问题”。相似度衡量的是“像不像”,不是“该不该改”,这两件事经常对不上。

控制实验:把两种损失拆开验证

只靠对比实验的观察结果,还不足以证明“检索丢文件”和“压缩改文本”各自独立造成伤害——检索和压缩选中的文件本来就不一样,变量混杂的风险摆在那里。

于是研究者设计了几组“只动一个变量”的对照实验。

第一组实验拿CQ2-CARE自己选出的、完全正确的文件,人为删掉其中20%的字,看会怎样。补丁应用率从98%降到78.7%,解决率下滑9.7个百分点。这说明文件选得再准,只要内容被动过,照样出问题,而这个损失幅度跟主实验里压缩方法落后的幅度大体相当。

第二组实验更有意思:研究者让压缩工具不再自己从头找文件,而是直接拿CQ2-CARE选好的候选文件去压缩,这时候

这个发现值得细想。

**问题不在于“要不要压缩”,而在于“压缩之前有没有先把范围收窄到正确的那几个文件上”**

就像搬家打包,如果你压根不知道哪些箱子要带走,胡乱塞一堆东西还拼命往小箱子里压,压得再紧也没用,真正要带的东西可能根本没装进去。反过来,先弄清哪几箱必须带,再决定要不要把衣服叠紧凑些省空间,这才算有意义的优化。CQ2-CARE的价值更多体现在“先把箱子定下来”这一步,箱里的东西要不要再精简,反倒是次要问题。

CQ2-CARE到底是怎么跑起来的

看到这里,读者大概会好奇:所谓“让AI自己判断该改哪些文件”,操作上究竟长什么样?

流程大致分几步走。系统先把整个代码仓库的文件路径拉成一份清单,按与bug描述共享关键词的数量排序,挑出最相关的一批路径。注意,这里拿到的只是文件名和路径,不含文件内容,随后整理成一份“文件名录”交给AI。

接下来,AI会被连问五次同一个问题:“看这个bug描述和这份文件名录,你觉得应该改哪些文件?”五次回答里,系统挑出其中两次,只保留两次都提到的文件,作为最终展示的候选。万一两次回答毫无交集,就退回用第一次的结果。

**这套设计背后的逻辑挺巧妙:两次独立判断都认可的文件,被视为更可靠,这种做法叫“

道理说起来很朴素。同一个人对同一个问题答两遍,如果答案高度重合,说明他真想明白了,不是随口应付;要是两遍答得风马牛不相及,那这个问题本身就超出他能确定的范围,此时宁可谨慎,只信他第一次的直觉。

文件范围定下来后,CQ2-CARE还会多走一步:让AI想一想这次修复可能还依赖哪些“周边信息”,比如某个函数定义在哪儿、这个函数又被哪些地方调用过。围绕这些线索,系统用一种叫

到最后,所有选中的文件被完整、逐字地塞进上下文,中间还加上标题,标明是哪个文件的第几行到第几行。

整套流程平均每道题只选中1.7个文件(中位数1个)。换句话说,大多数bug就藏在一两个文件里,压根不用把整个仓库翻一遍。

研究者还做了一个有意思的消融实验,专门验证“两次判断取交集”是不是关键。结果显示:只做一次判断,但人为把它截断到跟“两次取交集”选出的文件数量一样多,解题比例几乎不受影响。

**也就是说,真正起作用的是“选中的文件足够少、足够精准”这个结果,而非“问两次取交集”这个花活**

这个发现对想复现或改进该方法的人挺有启发:别在“怎么问AI”这种细节上死磕,重点该放在“怎么把候选范围收窄到真正重要的几个文件”上。

预算之外的省钱账

效果之外,CQ2-CARE还有个附带好处:相比“先搭一个完整候选上下文、再用压缩工具瘦身”的流程,它反而更省钱。

原因在于,压缩方法得先备好一个未压缩、体量更大的候选上下文,再调用压缩模型处理,这个过程本身就要吃掉额外的算力和API调用费用。研究者算了笔账:用GPT-5.6模型跑CQ2-CARE,每道题API成本0.151美元;而先构建完整上下文再压缩的流程,成本落在0.168到0.199美元之间。

这还没把压缩模型自身运行所需的GPU时间算进去。研究者提到,LongLLMLingua和

打个比方:你本来只想去便利店买瓶水,结果有人非把整个超市的货架搬到你面前,再从里面挑出那瓶水递过来。这个“先搬后挑”的过程,名义上是“确保不漏掉任何可能有用的东西”,可耗掉的时间和力气,远远超过直接走到水架前拿一瓶。

稳健性检验:换个场景结论还成立吗

研究者没止步于单一场景的胜利,又做了好几轮“挑刺式”的稳健性检验,看结论是不是只在特定条件下才站得住。

第一项检验看预算匹配的精度。压缩工具的“压缩比例”参数是分档的,没法连续调节,有时怎么调都精确匹配不到预设预算,只能凑个接近值。研究者专门挑出预算匹配特别精准(误差在2%以内)的题目重新比对,结果即便排除了“预算没对齐”的干扰,CQ2-CARE依然领先,差距没缩小,某些对比里反而更明显。

第二项检验是换一种AI改代码的“操作方式”。原本的实验里,AI是通过写“

第三项检验是调整压缩比例,看更宽松或更严苛的预算下排名会不会反转。研究者测了把上下文压缩到原始候选内容25%、50%、75%三档,结果显示:无论哪一档,压缩方法和检索方法都没能追上CQ2-CARE,说明这个优势不是某个预算点上的巧合,而是贯穿整个压缩谱系的稳定现象。

这篇论文给后来者留下的两个追问

研究做得挺扎实,不过研究者自己在论文结尾也坦承指出了几个尚未解决的问题,而这些恰恰是后续研究值得深挖的方向。

还有个悬着的问题:AI能不能中途补救。眼下不少编程助手支持多轮对话,可以随时打开新文件查看。这篇论文测的却是“一次给全上下文、一次写出补丁”的设定,那种边读边改、发现不对再回头翻查的完整智能体流程并未覆盖。研究者猜测,若AI察觉上下文不够用能主动要求补充内容,因上下文残缺造成的部分损失或许可以挽回。代价是额外的对话轮次和token开销,这笔账划不划算,目前没有定论。

再一个问题是中间指标可能失真。研究者发现,单看“AI两次判断一致率”这类中间数值,门槛一提高,数字确实涨得很快;换成“实际修好了多少真实bug”这个最终结果来衡量,抬高一致性门槛带来的收益却相当有限。做AI系统评测的人由此得到提醒:容易测的中间分数不能只盯着,真正在乎的最终结果才该盯紧。

写在后面

论文读下来,最出人意料的一处细节,是“文件级BM25检索”那组实验结果。

按直觉,检索工具既然已经按整篇文件打分,不再给零散代码片段,逐字还原率又达到了100%,大部分问题应当已经解决。数据却显示,它比CQ2-CARE仍落后将近10个百分点。可见把完整文件摆出来只是必要条件,远非充分条件。成败真正取决于能否把范围收窄到正确的那一两个文件,而靠相似度打分这种机械做法,天生存在盲区。

另一处反复琢磨的,是控制实验给出的结论:根源在选文件,不在压缩手段。这颠覆了一个原本默认的假设——压缩代码破坏语法结构,曾被当作这类任务里最致命的问题。论文却证明,候选文件只要选对,用基础压缩工具表现也不会差太多。重心于是从“怎么压缩”挪到了“怎么筛选”,这个视角转换颇有启发。

顺着想下去是个更大的问题:处理超长信息的许多场景里,精力是不是也常放错地方?一直在琢磨怎么把内容压得更精炼,却没先问一句——被压缩的这堆东西,一开始选对了吗?

Q&A

Q1:CQ2-CARE是什么?

A:CQ2-CARE是论文提出的一种代码上下文构建方法。它让AI模型自行判断某个bug涉及哪些文件,再把这些文件原封不动、完整地呈现给AI,不做任何压缩或删减。检索方法漏选文件、压缩方法篡改代码这两类问题,由此得以避开。

Q2:压缩代码为什么会让AI编程助手改bug失败?

A:AI改代码的做法,是找到某一行原文再替换成新内容。压缩工具若删掉部分字词,AI看到的代码就和文件里的真实内容对不上,写出的替换指令随之错位,补丁也就无法正确应用。论文中压缩方法的补丁应用成功率最低仅70.7%,CQ2-CARE则为98%,差距明显。

Q3:选对文件和压缩代码,哪个更重要?

A:控制实验证明选对文件更关键。研究者让压缩工具直接基于CQ2-CARE筛出的正确候选文件去压缩,效果反而追平甚至超过CQ2-CARE本身。可见根源在于范围有没有收窄到正确文件,与压缩手段本身的好坏无关。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DuoDiscover论文:AI优化代码卡在评估,85分钟跑一次怎么破

    2023年前后,几乎所有做自动化代码优化的团队都撞上了同一堵墙。你给一个AI编程助手一个任务,让它去优化vLLM这种大型推理引擎的性能。听起来很美好:AI不眠不休地试各种改法,理论上应该能找到人类想不到的优化点。但现实是,优化vLLM的一次完整评估要跑85分钟。一个20小时的搜索预算里,满打满算也就能测十几次。十几次是

    来源 腾讯网
  2. MAI-Gym:给手机和电脑装一个会自己练习的AI管家

    你有没有想过一件事:为什么让AI下棋、做数学题、写代码都已经能靠自学进步了,但让AI帮你订张火车票、整理一份文件,却还是经常手忙脚乱?这背后有个挺反直觉的事实。2025年前后,强化学习已经在数学、编程这些领域跑通了一套成熟打法:给模型出题,让它反复尝试,答对了给奖励,答错了不给,模型就这样一点点学会推理。这...

    来源 腾讯网
  3. Grab 通过安全策略应对 AI 生成代码变更激增,提升移动端 App 稳定性

    Grab 表示,AI 编程助手的普及加快了开发速度,也让每个版本的代码变更量变多,缺陷和应用崩溃出现的概率随之上升。为应对这些挑战,他们实现了一套分层防御策略,在整个开发与发布生命周期中对崩溃问题进行预防、检测和隔离。 Grab 提到,“AI 提升了代码编写速度,而分层防御则保障这种提速是安全的。” 在 Grab 这样

    来源 AI 行业观察
  4. METR时间视野图更新:AI能力仍沿指数上涨,判断力没跟上

    METR发布其广受引用却常被误读的“时间视野图”更新版。新报告确认部分AI能力仍在指数级提升,模型能独立完成的任务时长持续延长;但报告同时揭示明显不对称——模型在编程任务上表现优异,在需要判断力的任务上却明显偏弱。这提醒业界,单一基准无法代表AI在开放式工作中的真实水平。

    来源 AI 行业观察
  5. Gemini 4 翻身记:SemiAnalysis 补交道歉表,Hassabis 接梗

    曾断言 Gemini 掉队的研究机构 SemiAnalysis,在 Gemini 4 系列密集发布后向 Google 公开致歉。文章梳理 DeepMind 的组织调整、算力分配与长期研发积累,解析真实工程任务驱动的后训练如何提升编程和智能体能力。

    来源 爱范儿
  6. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  7. 姚顺雨回清华姚班讲座:台下坐的AI骨干,多是同门师兄弟

    文/凯斯编辑/章鱼本周三,腾讯首席AI科学家姚顺雨回清华姚班做讲座。次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他...

    来源 腾讯网
  8. 苹果押注自主式AI Agent:Siri要从动嘴变动手

    Siri 可能终于要从「动嘴」进化到「动手」了。让 Siri 查天气、设置闹钟、打开应用,早已不是什么新鲜事。但如果你现在让它安排一次出差,查好机票和酒店,再根据日历整理行程,恐怕还是得自己动手。苹果最近的一系列动作,透露了它想改变这种状况的野心。11 月中旬,苹果官网出现了两则与自主式 AI Agent 有关的招聘信

    来源 腾讯网
  9. 英伟达单周跌近23%创2008年来最差,美股AI板块集体重挫

    板块方面,半导体产业链成为重灾区,费城半导体指数暴跌10.73%。英伟达跌14.01%,报收125.53美元,连续第7个交易日下跌;特斯拉跌7.64%,Meta跌5.93%,亚马逊跌4.10%,微软跌2.77%,谷歌跌2.59%,苹果跌1.90%。值得一提的是,英伟达本周累计下跌近23%,创2008年10月以来最大单周

    来源 TechWeb
  10. 只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE

    来源 AI 行业观察
  11. 问诊AI?一场死亡背后的追问

    查症状、看药品说明书、理解检查报告,优先用有明确医学语料来源、答案带引用且被设计为“转介医生”而非“替代医生”的专业医疗AI产品,而不是把通用聊天大模型当成全科大夫。

    来源 凤凰科技
  12. METR时间视野图更新:编程任务表现突出,判断力任务仍偏弱

    METR发布其广受引用却常被误读的“时间视野图”更新版。新报告确认部分AI能力仍在指数级提升,模型能独立完成的任务时长持续延长;但报告同时揭示明显不对称——模型在编程任务上表现优异,在需要判断力的任务上却明显偏弱。这提醒业界,单一基准无法代表AI在开放式工作中的真实水平。

    来源 AI 科技快讯
  13. 三星高管谈AI投资:Neocloud风险有限,需求真实非投机

    IT之家 11 月 20 日消息,据路透社当地时间 18 日报道,三星电子两位高管在本周举行的摩根士丹利会议上表示 Neocloud(新兴 AI 云服务企业)面临的不确定性对整体市场的影响有限,这轮 AI 投资基于实际需求而非投机。 三星 DS(设备解决方案,半导体板块)部门经营战略总管负责人 Kim Yong-kwa

    来源 AI 行业观察
  14. OpenAI首款AI硬件揭秘:苹果班底操刀,富士康立讯分食订单

    OpenAI确实是挖到苹果的「大后方」了。 证券时报11月19日一早就援引供应链消息指出,富士康旗下富智康集团(FIH)已经获得OpenAI手机项目订单,将参与相关产品的整机组装。事实上,前一晚每日经济新闻也援引供应链人士表示,立讯精密目前与OpenAI有多个产品的全面合作,「或因资源配置的统筹考量未承接手机组装业务。

    来源 AI 行业观察
  15. 三星天气App新动向:One UI 9.5内测AI目的地提醒?

    IT之家 11 月 20 日消息,科技媒体 SamMobile 昨日(11 月 19 日)发布博文,报道称在 One UI 9.5 首个 Beta 测试版中,三星正在为天气(Weather)应用酝酿 AI 升级,在用户出发前提醒其查看目的地天气。IT之家援引博文介绍,系统识别到用户计划前往另一座城市后,天气应用会显示“

    来源 腾讯网
  16. 澳洲拟放宽AI版权门槛,国际唱片业协会警告全球创作者受冲击

    最近,国际唱片业协会的负责人喊话澳洲阿尔巴尼斯政府:要是澳洲把AI版权的门槛放低,搞不好整个行业都要遭殃!她认为,要是放开口子,让AI公司随便扒网上的音乐素材去训练模型,这绝对是一步臭棋,还会把澳洲在国际上的口碑给搞砸。图源:豆包AI生成澳洲如果顺着AI大厂们的意思放宽版权保护,这事非常危险。现在全世界都盯着阿尔巴尼斯

    来源 腾讯网
  17. 阿里云季度收入2715.19亿元:AI产品年化破100亿美元,平头哥担纲主力

    AI带来的变化,正越来越直观地反映在阿里的财报上。11月19日,阿里发布截至2026年9月30日止的季度财报。当季集团实现收入2715.19亿元,同比增长10%;经调整EBITA同比增长260%,达到326.36亿元。在四大板块中,AI云与算力服务增速最快,当季收入609.73亿元,同比增长53%,在集团总收入中的占比

    来源 腾讯网
向下滚动自动加载更多