DuoDiscover论文:AI优化代码卡在评估,85分钟跑一次怎么破
2023年前后,几乎所有做自动化代码优化的团队都撞上了同一堵墙。你给一个AI编程助手一个任务,让它去优化vLLM这种大型推理引擎的性能。听起来很美好:AI不眠不休地试各种改法,理论上应该能找到人类想不到的优化点。但现实是,优化vLLM的一次完整评估要跑85分钟。一个20小时的搜索预算里,满打满算也就能测十几次。十几次是
2023年前后,做自动化代码优化的团队几乎都碰上了同一个难题。
给AI编程助手派个活,让它去提升
vLLM这类大型推理引擎的性能,听着挺美:AI可以不停歇地试各种改法,按理说总能找到人想不到的优化点。可实际上,优化vLLM跑一次完整评估要85分钟。20小时的搜索预算,算下来也就够测十几次。
十几次意味着什么?
**好比让一个厨师改进一道菜,规矩是他每做一次只能尝一口,尝一口还得等85分钟。**
一晚上下来,他顶多尝个八九次。要是这道菜有四个维度都得兼顾(咸淡、火候、摆盘、成本),连每个维度单独调一次的机会都不够。真实工程系统里的自动化发现就卡在这儿:AI不是不够聪明,是"试吃"的机会实在太少,学不到什么改法真管用。
Google的这篇论文提出的方案,正对着这个痛点。
问题究竟出在哪
先捋清楚这事难在什么地方。
学术界搞自动发现(比如用AI找数学猜想的反例、找算法优化),通常默认评估不花钱,跑一次几秒钟就出结果。可一旦把AI放进真实工程系统,评估的成本立刻变得极高。
论文里列了一组具体数字:
**评估慢,搜索能试的次数就极其有限;试得少,AI就很难靠"多试几次总能撞上好方案"这种暴力打法取胜。**
那怎么办?很自然会想到:造个便宜货替代真实评估。比如不跑vLLM的完整服务流程,写个脚本粗略估一下性能变化,几秒钟出结果,这样就能疯狂试错。
想法简单,落地却有两个大坑。
第一个坑:便宜的替代评估器(论文里管这叫
>
调度器、KV缓存、网络通信在vLLM里各是一套脾气,对性能的作用方式差得远,想做一个什么都能测的快速评估器并不现实。只针对调度逻辑写出来的快速打分脚本,压根反映不出KV缓存优化带来的变化。
第二个坑更隐蔽:哪怕你造出的标尺一开始很准,AI拿它当目标拼命优化的过程中,标尺也会慢慢"失真"。
这个现象在强化学习里有专门的名字,叫
>
**标尺和真实评估之间总会有缝隙,而搜索算法天生就擅长找到并利用这些缝隙,哪怕它压根不知道自己正在"作弊"。**
就像靠体重秤的误差来"减肥":你发现秤放在瓷砖缝上读数会偏低0.5公斤,于是每次称重前都把秤挪到那条缝上。数字是好看了,体重一点没动。要是不持续核对标尺跟真实体重还对不对得上,你就会一直被这种虚假的"进步"蒙着。
DuoDiscover给出的答案
论文的答案围绕三个机制:让每个智能体自己去发现"优化什么"和"怎么快速评估";持续检验这些快速评估器有没有失真;再用一个轻量的协调者统筹整个智能体团队,而不是事先把每个人该干什么规划好。
### 第一招:目标和标尺一起发现
DuoDiscover让智能体一边找优化目标,一边搭评估标尺。
关键设计是:每个智能体不会被告知"去优化X",而是自己翻代码库,自己决定优化哪一块(论文称之为
>
一个优化目标,只有配上又快又准的标尺才算有价值;一把标尺,也只有对准真能改变最终结果的目标才有意义。这种"一起发现"(co-discovery)的逻辑其实顺理成章,两者缺一不可。
论文举了vLLM优化的一个真实例子:某个智能体盯上了调度器里的预填充(
**整个系统的分层架构就是这样:内层循环几秒钟跑一轮,大量试错;外层循环几小时跑一轮,专门确认内层挑出的最优方案究竟行不行。**
打个比方,作曲家先在钢琴上反复试弹一段旋律的几种变体,挑出最满意的那个,再花大价钱租交响乐团录成管弦乐版本。要是省掉钢琴这个廉价试错环节,他只能带着没把握的草稿直接去租乐团,改一个音符就得重新预约一整天录音棚。代价不只是贵一点,整个创作过程会被拖慢几十倍,多数灵感压根没机会被试。
### 第二招:持续验尸,揪出失真的标尺
光靠智能体自己造标尺还不够——标尺会"学坏"。
DuoDiscover引入了一个叫
>
检验只挑那些真实分数差异大到超过评估本身噪声的方案对,免得拿真实评估都分不出高下的两个方案硬判对错。只有当足够多的方案对被确认(至少6对),且排序一致程度达到阈值,这把标尺才会被标记为"
论文给了一个生动的例子:vLLM优化过程中,有个智能体靠一次短时间的负载压力测试搭出标尺,起初验证通过;后来换更高负载测试,发现排序反了,标尺被判失效,智能体便基于两种负载重建标尺,再次通过验证才继续使用。
这个机制的意义在于**它不要求标尺永远正确,只要求系统能及时发现标尺什么时候开始撒谎。**
想象你雇了个翻译帮你谈判,起初他翻得又快又准,你就放心让他全权代理。可如果你从不核对他的翻译和原意是否一致,他完全可能在某次谈判中悄悄替你做出错误的让步,你毫不知情,直到合同签完才发现吃了大亏。DuoDiscover相当于定期拿一句关键话去对照原文核实,一旦发现翻译走样立刻叫停重新培训,而不是等生米煮成熟饭。
数据层面,论文统计了20个
### 第三招:不做中央规划,让团队自己长出结构
DuoDiscover最反直觉的设计是:它刻意不做"问题分解"。
你可能以为优化大型代码库最合理的做法,是先摸清系统有哪些模块,画一张任务地图,再把每个模块分给一个智能体。DuoDiscover偏偏反着来,走的是bottom-up(自下而上)的搜索路子。
>
协调工作交给了一个
这设计听着有点冒险:没有中央规划,万一几个智能体都扑向同一处,算力不就白费了?论文的消融实验(
>
这就像一支没有队长指挥的街舞团队,每人凭直觉找空当发挥,偶尔两人撞上同一个动作,但旁边有个眼尖的编导随时提醒"你俩别重复了,去试试别的"。真要提前给每人分配固定动作,反而可能让队伍错过那些意料之外却效果惊艳的即兴发挥。协调者不是指挥每一步,而是防止明显的浪费,同时留出探索的自由度。
vLLM的真实优化案例里,这套机制体现得很具体:四个智能体起初都在研究吞吐量这个目标,直到有个智能体分析出瓶颈其实在显存访问延迟上(流处理器利用率只有7.8%,显存读取达到峰值的21%),协调者立刻放弃吞吐量这条路,终止一个智能体,把另外三个引向延迟、功耗、首token延迟等新方向。后来还把一个智能体验证过的方案直接移植给第四个新派出的智能体,省去了重复发现的功夫。
实验结果:数字说话
DuoDiscover在两个代码库级基准、四个GPU/TPU内核套件和五个真实系统案例研究上做了测试,结果在下表汇总。
| 基准测试 | Claude Code | OpenEvolve | PerfAgent | DuoDiscover |
|---|---|---|---|---|
| FormulaCode(倍数) | 1.778 | 1.161 | 1.774 | **2.156** |
| SWE-fficiency(倍数) | 12.81 | 3.76 | 12.27 | **15.02** |
| SOL-Exec(SOL百分比) | 67.31 | 52.36 | 64.10 | **79.74** |
| FA4(百分比提升) | 7.05 | 1.48 | 6.86 | **11.97** |
| JAXBench(倍数) | 3.82 | 2.66 | 4.08 | **4.62** |
| TPU-Inference(倍数) | 2.38 | 1.14 | 2.14 | **2.68** |
落到真实系统上,几个案例研究给出的数字更能说明问题。
在vLLM的多目标服务优化任务中,Claude Code跑了四个智能体、耗时20小时,最终综合提升只有1.07倍,而且连
> p99解码延迟*:指的是全部解码请求的延迟分布里,排在最后1%的那批最慢请求对应的延迟值,通常用来衡量系统最差情况下的用户体验。
FreeToken
最出人意料的或许是CPU微架构设计任务。数据预取器评估一轮要28小时,牵涉1700次模拟。此前表现最好的系统基于
这套办法的代价在哪里
论文同样坦率地指出了两处局限。
其一,某个优化目标如果确实找不到可靠的快速标尺,系统就只能退回真实评估去硬搜,这种时候它的速度并不比普通智能体强多少。
其二,打造标尺、跑初步的保真度测试本身要花时间。也就是说,假如整个任务的评估预算本来就吃紧(比如只给半小时),DuoDiscover反倒可能因为前期“磨刀”耗时显得不划算。磨刀不误砍柴工是有前提的——你手里真得有足够多的柴要砍。
写在后面
把这篇论文读下来,让我记得最牢的不是那些倍数提升,而是文中反复提到的一个细节:**标尺报告的每一次进步,最后都得经过真实评估确认才算数。**
这个设计看着普通,背后却是对AI自主性的一种清醒认识:目标可以让AI自己去找,评估方法也可以让它自己发明,但“是否成功”不能由它自己说了算。这个判断权得留给那个昂贵却不会撒谎的真实评估。眼下不少关于AI自我迭代、自我进化的讨论,恰恰容易漏掉这一点:自主探索的空间可以开得很大,验证的锚点却必须钉死。
另一处让我多想了会儿的,是论文说标尺有41%到45%的概率会“漂移失效”。这个数字乍看挺唬人,可细想一下,它恰好说明持续检验机制有必要,而不是标尺这个思路本身有毛病。没有保真度测试的话,这些失效标尺会不声不响地把搜索带偏,系统压根不知道自己正在白费功夫。换个角度看,这41%到45%其实是系统主动抓到的“潜在错误”;比起那些毫无检验机制、错误悄悄发生的系统,这反倒更健康。
还有一点耐人寻味:DuoDiscover不做中央任务分解,这个设计多少是在赌“涌现的协调比预先的规划更高效”。复杂系统设计里这不是新话题,但把它搬到“AI团队如何分工优化代码”这个具体场景,还真的拿出了数据支撑,说服力不小。
假如有一天,这套机制不只拿来优化现成的代码和芯片,而是用来发现人类还不知道该优化什么的全新问题,那会怎样?
Q&A
Q1:DuoDiscover是什么?
A:DuoDiscover是Google提出的一套自动化代码优化搜索系统,核心思路是让AI智能体自己发现该优化的代码区域,同时自己发明一个廉价的快速评估脚本去替代昂贵的真实测试,从而大幅提升搜索效率。
Q2:DuoDiscover解决了什么核心问题?
A:它要解决的是自动化优化中真实评估成本过高、导致搜索次数不够的问题。比如优化vLLM,一次评估要85分钟,20小时预算只够测十几次;DuoDiscover靠快速代理评估器把有效试验次数大幅拉高。
Q3:DuoDiscover的效果如何,有哪些实测数据?
DuoDiscover在vLLM上跑出1.92倍的综合性能提升。SOL-Exec内核榜单的235个内核里,它有121个拿下第一。CPU预取器设计任务上,这套系统用16.7天就超过了ArchAgent v2此前花40多天取得的成绩。