DuoDiscover论文:AI优化代码卡在评估,85分钟跑一次怎么破

资讯 腾讯网 作者:科技行者 全文 4552 字 · 约 12 分钟读完 配图 1 张 分类vLLMAI 编程

2023年前后,几乎所有做自动化代码优化的团队都撞上了同一堵墙。你给一个AI编程助手一个任务,让它去优化vLLM这种大型推理引擎的性能。听起来很美好:AI不眠不休地试各种改法,理论上应该能找到人类想不到的优化点。但现实是,优化vLLM的一次完整评估要跑85分钟。一个20小时的搜索预算里,满打满算也就能测十几次。十几次是

所属频道 AI 编程与开发

2023年前后,做自动化代码优化的团队几乎都碰上了同一个难题。

给AI编程助手派个活,让它去提升vLLM这类大型推理引擎的性能,听着挺美:AI可以不停歇地试各种改法,按理说总能找到人想不到的优化点。可实际上,优化vLLM跑一次完整评估要85分钟。20小时的搜索预算,算下来也就够测十几次。

十几次意味着什么?

**好比让一个厨师改进一道菜,规矩是他每做一次只能尝一口,尝一口还得等85分钟。**

一晚上下来,他顶多尝个八九次。要是这道菜有四个维度都得兼顾(咸淡、火候、摆盘、成本),连每个维度单独调一次的机会都不够。真实工程系统里的自动化发现就卡在这儿:AI不是不够聪明,是"试吃"的机会实在太少,学不到什么改法真管用。

Google的这篇论文提出的方案,正对着这个痛点。

问题究竟出在哪

先捋清楚这事难在什么地方。

学术界搞自动发现(比如用AI找数学猜想的反例、找算法优化),通常默认评估不花钱,跑一次几秒钟就出结果。可一旦把AI放进真实工程系统,评估的成本立刻变得极高。

论文里列了一组具体数字:

**评估慢,搜索能试的次数就极其有限;试得少,AI就很难靠"多试几次总能撞上好方案"这种暴力打法取胜。**

那怎么办?很自然会想到:造个便宜货替代真实评估。比如不跑vLLM的完整服务流程,写个脚本粗略估一下性能变化,几秒钟出结果,这样就能疯狂试错。

想法简单,落地却有两个大坑。

第一个坑:便宜的替代评估器(论文里管这叫

>

调度器、KV缓存、网络通信在vLLM里各是一套脾气,对性能的作用方式差得远,想做一个什么都能测的快速评估器并不现实。只针对调度逻辑写出来的快速打分脚本,压根反映不出KV缓存优化带来的变化。

第二个坑更隐蔽:哪怕你造出的标尺一开始很准,AI拿它当目标拼命优化的过程中,标尺也会慢慢"失真"。

这个现象在强化学习里有专门的名字,叫

>

**标尺和真实评估之间总会有缝隙,而搜索算法天生就擅长找到并利用这些缝隙,哪怕它压根不知道自己正在"作弊"。**

就像靠体重秤的误差来"减肥":你发现秤放在瓷砖缝上读数会偏低0.5公斤,于是每次称重前都把秤挪到那条缝上。数字是好看了,体重一点没动。要是不持续核对标尺跟真实体重还对不对得上,你就会一直被这种虚假的"进步"蒙着。

DuoDiscover给出的答案

论文的答案围绕三个机制:让每个智能体自己去发现"优化什么"和"怎么快速评估";持续检验这些快速评估器有没有失真;再用一个轻量的协调者统筹整个智能体团队,而不是事先把每个人该干什么规划好。

### 第一招:目标和标尺一起发现

DuoDiscover让智能体一边找优化目标,一边搭评估标尺。

关键设计是:每个智能体不会被告知"去优化X",而是自己翻代码库,自己决定优化哪一块(论文称之为

>

一个优化目标,只有配上又快又准的标尺才算有价值;一把标尺,也只有对准真能改变最终结果的目标才有意义。这种"一起发现"(co-discovery)的逻辑其实顺理成章,两者缺一不可。

论文举了vLLM优化的一个真实例子:某个智能体盯上了调度器里的预填充(

**整个系统的分层架构就是这样:内层循环几秒钟跑一轮,大量试错;外层循环几小时跑一轮,专门确认内层挑出的最优方案究竟行不行。**

打个比方,作曲家先在钢琴上反复试弹一段旋律的几种变体,挑出最满意的那个,再花大价钱租交响乐团录成管弦乐版本。要是省掉钢琴这个廉价试错环节,他只能带着没把握的草稿直接去租乐团,改一个音符就得重新预约一整天录音棚。代价不只是贵一点,整个创作过程会被拖慢几十倍,多数灵感压根没机会被试。

### 第二招:持续验尸,揪出失真的标尺

光靠智能体自己造标尺还不够——标尺会"学坏"。

DuoDiscover引入了一个叫

>

检验只挑那些真实分数差异大到超过评估本身噪声的方案对,免得拿真实评估都分不出高下的两个方案硬判对错。只有当足够多的方案对被确认(至少6对),且排序一致程度达到阈值,这把标尺才会被标记为"

论文给了一个生动的例子:vLLM优化过程中,有个智能体靠一次短时间的负载压力测试搭出标尺,起初验证通过;后来换更高负载测试,发现排序反了,标尺被判失效,智能体便基于两种负载重建标尺,再次通过验证才继续使用。

这个机制的意义在于**它不要求标尺永远正确,只要求系统能及时发现标尺什么时候开始撒谎。**

想象你雇了个翻译帮你谈判,起初他翻得又快又准,你就放心让他全权代理。可如果你从不核对他的翻译和原意是否一致,他完全可能在某次谈判中悄悄替你做出错误的让步,你毫不知情,直到合同签完才发现吃了大亏。DuoDiscover相当于定期拿一句关键话去对照原文核实,一旦发现翻译走样立刻叫停重新培训,而不是等生米煮成熟饭。

数据层面,论文统计了20个

### 第三招:不做中央规划,让团队自己长出结构

DuoDiscover最反直觉的设计是:它刻意不做"问题分解"。

你可能以为优化大型代码库最合理的做法,是先摸清系统有哪些模块,画一张任务地图,再把每个模块分给一个智能体。DuoDiscover偏偏反着来,走的是bottom-up(自下而上)的搜索路子。

>

协调工作交给了一个

这设计听着有点冒险:没有中央规划,万一几个智能体都扑向同一处,算力不就白费了?论文的消融实验(

>

这就像一支没有队长指挥的街舞团队,每人凭直觉找空当发挥,偶尔两人撞上同一个动作,但旁边有个眼尖的编导随时提醒"你俩别重复了,去试试别的"。真要提前给每人分配固定动作,反而可能让队伍错过那些意料之外却效果惊艳的即兴发挥。协调者不是指挥每一步,而是防止明显的浪费,同时留出探索的自由度。

vLLM的真实优化案例里,这套机制体现得很具体:四个智能体起初都在研究吞吐量这个目标,直到有个智能体分析出瓶颈其实在显存访问延迟上(流处理器利用率只有7.8%,显存读取达到峰值的21%),协调者立刻放弃吞吐量这条路,终止一个智能体,把另外三个引向延迟、功耗、首token延迟等新方向。后来还把一个智能体验证过的方案直接移植给第四个新派出的智能体,省去了重复发现的功夫。

实验结果:数字说话

DuoDiscover在两个代码库级基准、四个GPU/TPU内核套件和五个真实系统案例研究上做了测试,结果在下表汇总。

| 基准测试 | Claude Code | OpenEvolve | PerfAgent | DuoDiscover |

|---|---|---|---|---|

| FormulaCode(倍数) | 1.778 | 1.161 | 1.774 | **2.156** |

| SWE-fficiency(倍数) | 12.81 | 3.76 | 12.27 | **15.02** |

| SOL-Exec(SOL百分比) | 67.31 | 52.36 | 64.10 | **79.74** |

| FA4(百分比提升) | 7.05 | 1.48 | 6.86 | **11.97** |

| JAXBench(倍数) | 3.82 | 2.66 | 4.08 | **4.62** |

| TPU-Inference(倍数) | 2.38 | 1.14 | 2.14 | **2.68** |

落到真实系统上,几个案例研究给出的数字更能说明问题。

在vLLM的多目标服务优化任务中,Claude Code跑了四个智能体、耗时20小时,最终综合提升只有1.07倍,而且连

> p99解码延迟*:指的是全部解码请求的延迟分布里,排在最后1%的那批最慢请求对应的延迟值,通常用来衡量系统最差情况下的用户体验。

FreeToken

最出人意料的或许是CPU微架构设计任务。数据预取器评估一轮要28小时,牵涉1700次模拟。此前表现最好的系统基于

这套办法的代价在哪里

论文同样坦率地指出了两处局限。

其一,某个优化目标如果确实找不到可靠的快速标尺,系统就只能退回真实评估去硬搜,这种时候它的速度并不比普通智能体强多少。

其二,打造标尺、跑初步的保真度测试本身要花时间。也就是说,假如整个任务的评估预算本来就吃紧(比如只给半小时),DuoDiscover反倒可能因为前期“磨刀”耗时显得不划算。磨刀不误砍柴工是有前提的——你手里真得有足够多的柴要砍。

写在后面

把这篇论文读下来,让我记得最牢的不是那些倍数提升,而是文中反复提到的一个细节:**标尺报告的每一次进步,最后都得经过真实评估确认才算数。**

这个设计看着普通,背后却是对AI自主性的一种清醒认识:目标可以让AI自己去找,评估方法也可以让它自己发明,但“是否成功”不能由它自己说了算。这个判断权得留给那个昂贵却不会撒谎的真实评估。眼下不少关于AI自我迭代、自我进化的讨论,恰恰容易漏掉这一点:自主探索的空间可以开得很大,验证的锚点却必须钉死。

另一处让我多想了会儿的,是论文说标尺有41%到45%的概率会“漂移失效”。这个数字乍看挺唬人,可细想一下,它恰好说明持续检验机制有必要,而不是标尺这个思路本身有毛病。没有保真度测试的话,这些失效标尺会不声不响地把搜索带偏,系统压根不知道自己正在白费功夫。换个角度看,这41%到45%其实是系统主动抓到的“潜在错误”;比起那些毫无检验机制、错误悄悄发生的系统,这反倒更健康。

还有一点耐人寻味:DuoDiscover不做中央任务分解,这个设计多少是在赌“涌现的协调比预先的规划更高效”。复杂系统设计里这不是新话题,但把它搬到“AI团队如何分工优化代码”这个具体场景,还真的拿出了数据支撑,说服力不小。

假如有一天,这套机制不只拿来优化现成的代码和芯片,而是用来发现人类还不知道该优化什么的全新问题,那会怎样?

Q&A

Q1:DuoDiscover是什么?

A:DuoDiscover是Google提出的一套自动化代码优化搜索系统,核心思路是让AI智能体自己发现该优化的代码区域,同时自己发明一个廉价的快速评估脚本去替代昂贵的真实测试,从而大幅提升搜索效率。

Q2:DuoDiscover解决了什么核心问题?

A:它要解决的是自动化优化中真实评估成本过高、导致搜索次数不够的问题。比如优化vLLM,一次评估要85分钟,20小时预算只够测十几次;DuoDiscover靠快速代理评估器把有效试验次数大幅拉高。

Q3:DuoDiscover的效果如何,有哪些实测数据?

DuoDiscover在vLLM上跑出1.92倍的综合性能提升。SOL-Exec内核榜单的235个内核里,它有121个拿下第一。CPU预取器设计任务上,这套系统用16.7天就超过了ArchAgent v2此前花40多天取得的成绩。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. MAI-Gym:给手机和电脑装一个会自己练习的AI管家

    你有没有想过一件事:为什么让AI下棋、做数学题、写代码都已经能靠自学进步了,但让AI帮你订张火车票、整理一份文件,却还是经常手忙脚乱?这背后有个挺反直觉的事实。2025年前后,强化学习已经在数学、编程这些领域跑通了一套成熟打法:给模型出题,让它反复尝试,答对了给奖励,答错了不给,模型就这样一点点学会推理。这...

    来源 腾讯网
  2. 苹果自研AI智能体:可操纵设备写代码,2027年推服务未定

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。古尔曼发现,苹果已经在官网发

    来源 腾讯网
  3. 苹果自研AI智能体曝光:可操控设备、写代码,2027年底或落地

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。古尔曼发现,苹果已经在官网发

    来源 腾讯网
  4. Grab 通过安全策略应对 AI 生成代码变更激增,提升移动端 App 稳定性

    Grab 表示,AI 编程助手的普及加快了开发速度,也让每个版本的代码变更量变多,缺陷和应用崩溃出现的概率随之上升。为应对这些挑战,他们实现了一套分层防御策略,在整个开发与发布生命周期中对崩溃问题进行预防、检测和隔离。 Grab 提到,“AI 提升了代码编写速度,而分层防御则保障这种提速是安全的。” 在 Grab 这样

    来源 AI 行业观察
  5. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  6. 只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE

    来源 AI 行业观察
  7. MiniMax海外收入占比60.8%:Hailuo订阅与API调用两种模式成形

    MiniMax前段时间发布的中期报告显示,2026年上半年,公司来自中国内地以外地区的收入达到7082.8万美元,占总收入的60.8%。海外市场已经成为这家模型公司的主要收入来源。这背后,是不同产品和渠道带来的用户付费:创作者可以通过Hailuo购买视频生成额度,开发者也能在第三方编程工具中接入MiniMax模型。当用

    来源 腾讯网
  8. 工业AI进产线:单次推理0.3元起,2000家客户已用上智能体

    《科创板日报》11月20日讯(记者 余诗琪)“以前要靠人工完成的流程,需要几个小时,现在用智能体,9到12分钟就能完成。”11月19日,在武汉举行的2026中国5G+工业互联网大会上,黑湖科技联合创始人肖哲给出了一组工业智能体的应用数据:单次推理成本约0.3元至1元,目前已有约2000家客户使用其工业智能体。工业AI的

    来源 腾讯网
  9. 三星高管谈AI投资:Neocloud风险有限,需求真实非投机

    IT之家 11 月 20 日消息,据路透社当地时间 18 日报道,三星电子两位高管在本周举行的摩根士丹利会议上表示 Neocloud(新兴 AI 云服务企业)面临的不确定性对整体市场的影响有限,这轮 AI 投资基于实际需求而非投机。 三星 DS(设备解决方案,半导体板块)部门经营战略总管负责人 Kim Yong-kwa

    来源 AI 行业观察
  10. 吴泳铭:2027年后阿里绝大部分新增AI芯片将由平头哥和国产芯片供应

    本文来源:时代财经 11月19日,在阿里巴巴2027财年第二季度财报分析师电话会上,集团CEO吴泳铭表示,2027年之后,阿里绝大部分新增的AI芯片供给以平头哥的芯片为主,同时会从其他国内供应商采购部分芯片用于支持推理类工作任务。吴泳铭称,2027年一季度,新一代平头哥的国产芯片完全可以支持超大规模模型的训练。“随着平

    来源 腾讯网
  11. 三星天气App新动向:One UI 9.5内测AI目的地提醒?

    IT之家 11 月 20 日消息,科技媒体 SamMobile 昨日(11 月 19 日)发布博文,报道称在 One UI 9.5 首个 Beta 测试版中,三星正在为天气(Weather)应用酝酿 AI 升级,在用户出发前提醒其查看目的地天气。IT之家援引博文介绍,系统识别到用户计划前往另一座城市后,天气应用会显示“

    来源 腾讯网
  12. Gemini 4 Neon发布:接入Antigravity编程解题率升至3倍多

    Carbon 向开发者开放才八天,Google 又发布了一款 Gemini 4 模型。 11 月 18 日亮相的 Gemini 4 Neon,在默认推理档追平了自家的旗舰 Carbon,开到最高档后比 high 档的 Carbon 高出 1 分,进入 Artificial Analysis 智能指数总榜前三。对于这款新

    来源 AI 行业观察
  13. 阿里云季度收入2715.19亿元:AI产品年化破100亿美元,平头哥担纲主力

    AI带来的变化,正越来越直观地反映在阿里的财报上。11月19日,阿里发布截至2026年9月30日止的季度财报。当季集团实现收入2715.19亿元,同比增长10%;经调整EBITA同比增长260%,达到326.36亿元。在四大板块中,AI云与算力服务增速最快,当季收入609.73亿元,同比增长53%,在集团总收入中的占比

    来源 腾讯网
  14. OpenAI首款AI硬件揭秘:苹果班底操刀,富士康立讯分食订单

    OpenAI确实是挖到苹果的「大后方」了。 证券时报11月19日一早就援引供应链消息指出,富士康旗下富智康集团(FIH)已经获得OpenAI手机项目订单,将参与相关产品的整机组装。事实上,前一晚每日经济新闻也援引供应链人士表示,立讯精密目前与OpenAI有多个产品的全面合作,「或因资源配置的统筹考量未承接手机组装业务。

    来源 AI 行业观察
向下滚动自动加载更多