AI Agent自主优化黑盒问题：统一评测平台AgenticBBO-Bench出炉

想象一下这样的处境：数据库的参数配置有上百个可调项，动一个可能牵连另外十个，每试一次都得等几分钟乃至几小时才知道效果好不好。

黑盒优化就是冲着这类麻烦来的。

它指一类优化问题的统称：目标函数能给出输出供你评估，可内部的数学公式你并不知道，导数也无从求起，只能一点点试探，跟摸黑走路差不多。

现实里这种问题随处可见。设计新药分子、安排芯片上成千上万个元件的位置、为机器学习模型挑最佳超参数组合，每回“试一下看看效果”的代价都高得离谱。过去人们靠数学方法硬解，例如贝叶斯优化和进化算法，用一套固定的数学套路去猜下一步试什么。

这些方法确实聪明，可短板也很要命：它们只认数字。

你告诉它这是药物分子设计，或者这是数据库调优，它一概不理，眼里只有一堆坐标点和对应的得分。偏偏现实中的优化任务常带着大量背景信息，比如这个参数叫“缓存大小”，那个变量代表“分子里的某个化学键”。这些信息在人类专家看来极有价值，传统优化算法却完全用不上。

大语言模型被看好，原因正在这里。

一、从“听话的工具”到“会思考的打工人”

早期把大语言模型塞进黑盒优化的做法，说白了就是让它给算法打工。

每一轮，优化算法喊一声“生成下一个候选点”，语言模型就按指定格式乖乖吐出一个结果，然后退场，下一轮再重新来过。它的角色是固定的，干的话被规定得死死的，类似流水线上拧螺丝的工人。

不过最近一年多，一种新玩法开始出现，论文里管它叫智能体式黑盒优化。

智能体式黑盒优化：算法不再指挥语言模型完成单一步骤，决策全过程交给语言模型自己掌控。它能查看历史数据、调用计算工具、执行代码、观察结果，再自主决定下一步做什么；整个中间过程不是预先写好的脚本，而是模型在线决定的。

这个区别听着可能有点抽象，换个场景就好懂了。

假设你是实验室新人，导师交代“去把这个化合物的产量调到最高”。老式做法是导师递给你一张写满步骤的流程卡：第一步测PH值，第二步加多少试剂，第三步记录数据，你照做就行，不许自己瞎琢磨。智能体式的做法则是导师只给一个目标和一个预算，其余全凭你自己：要不要先查文献，要不要先跑个小规模试验摸规律，要不要写个脚本把历史数据画成图看趋势，统统由你判断。

要是不给模型这种自主权呢？那就退回了“听话工具”模式，模型只能完成被规定好的单一任务，任务之外一旦冒出有用的信息或分析手段，它根本用不上。论文想验证的核心假设正在于此：把自主权放大，模型是不是真能干得更好？

二、评测这件事，比想象中难得多

问题是，验证这个假设并不轻松。

现有的智能体式黑盒优化研究各干各的。有人测药物分子设计，有人测超参数调优，任务不同，喂给模型的信息不同，背后的“驾驶舱”配置也不同。于是A论文说某个设计选择有用，B论文说没用，你没法判断谁对谁错，因为他们测的根本不是同一件事。

好比十个人分头在不同健身房，用不同器械、按不同饮食计划训练，然后争论“卧推到底用什么姿势更有效”。变量太多，谁都在自说自话，靠谱结论自然出不来。

研究团队清楚，要回答“智能体式优化到底行不行”，得先解决一个更基础的问题：怎么把背景各异的任务放进同一套规则下比较。

他们由此搭起一个统一测试平台，名叫AgenticBBO-Bench，覆盖五个完全不同的领域：合成数值函数（纯数学题，没有任何背景故事）、超参数优化（调机器学习模型的参数）、数据库调优（调数据库的196个配置旋钮）、芯片设计中的宏块布局（把几十个电路模块摆在芯片的合适位置）、分子设计（用SMILES字符串生成满足特定化学相似度的分子）。

这五个领域从连续数值、混合类型变量一路横跨到结构化离散对象（比如分子），背景信息的丰富程度也差得很远。有的任务什么背景都不给，纯粹是数字游戏；有的任务信息丰富，还附带领域知识和专业提示。

公平起见，所有方法在每个任务上拿到的初始观测数据和评估预算完全一致；调用语言模型做推理、跑代码、调用工具都不计费，只有真正提交给黑盒函数去评估的次数才算进预算。

这就像考试规则统一了：草稿纸一样、答题时间一样，怎么打草稿、怎么验算不设限，最后只看交上去的答案对不对。

三、评价优化过程，不能只盯着终点

想看一个优化过程到底好不好，只拿最终结果说事并不够。

设想两个人爬山。一个走得绕，但节奏稳，体力从头到尾分配得合理；另一个一路猛冲，前半程飞快，中途却迷了路，耗掉大把时间。最后两人登顶的时间差不多。只看“到没到山顶”，两人一样，可过程完全是两回事。

论文用了一种叫归一化任意时刻评测的打分方式。说白了，就是拿整个优化过程的平均表现和最终结果一起算分，前者占70%权重，后者占30%。这么一来，过程中的稳定性和效率被算进去了，最终答案的质量也没落下。

具体操作是：每一步都把当前找到的最优值换算成一个0到1之间的质量分数，参照标准来自一个标准贝叶斯优化方法（简称GP）跑出的结果，作为中间基准点。某个方法一旦超过这个基准，分数就继续往1靠。整条轨迹的平均质量分数乘以0.7，再加上最后一步的质量分数乘以0.3，就是最终总分。

四、智能体真的更会优化吗？答案是肯定的，但没那么简单

主实验结果很直接：在五个领域里，把完整的智能体能力交给语言模型（能用代码、能查历史、能调工具），表现全面压过只让它“看着历史直接猜下一个点”的直接模式，平均相对提升达到30.3%。

涨得最明显的是合成数值优化任务，从0.460分升到0.661分，涨幅43.7%；分子设计任务更猛，从0.565涨到0.840，涨幅48.7%。

更有意思的是跟传统数学方法的对比。五个领域里有四个（合成函数、超参数优化、芯片布局、分子设计），智能体式方法把TuRBO、CMA-ES、TPE等经典优化算法在内的所有对手都赢了，只有数据库调优这一项被TuRBO反超（0.660对0.525）。

这个结果有点出人意料。语言模型哪懂什么数学优化，怎么能打败专门为优化问题设计了几十年的数学算法？可答案恰恰说明，给语言模型配上自主决策的空间和工具调用能力之后，它能在很多场景下发挥出超越纯数学方法的灵活性。

五、给模型配上更多数学工具，一定更好吗？答案是：不一定

既然智能体有自主权，一个自然的想法就冒出来了：干脆把专业的数学优化器做成工具塞给它，让它随时能调用贝叶斯优化的建议，两边优势不就都占了？

研究团队专门做了这个实验。基础配置什么优化工具都不给，只让模型用普通的代码执行能力；第二种配置额外给了一个贝叶斯优化建议接口，模型可以问它“接下来该试哪个点”；第三种配置给得更全，预测、打分、诊断、调整搜索区域等一整套贝叶斯优化工具箱都配上了。

结果让人意外：工具越多，表现反而没有变好，甚至有点下滑。

基础配置平均得分0.589，加了建议接口的配置掉到0.574，加了全套工具的配置掉到0.538。

研究者翻查模型行为日志后找到一条关键线索，解释了这一现象：35.4% 的回合里，模型即便手握整套贝叶斯优化工具也没有动用，转而自己写代码分析数据。

芯片布局任务里有个很生动的例子。模型观察了50个已有布局方案之后，自己用最小二乘法拟合了一个简单的线性模型，发现布局间距和最终评分之间存在某种规律，然后照这个规律手动构造出更紧凑的布局方案，一步步把最优分数从0.551提升到0.664，最后冲到0.676。整套分析过程没借助任何预先配置的优化工具，全是现场写代码琢磨出来的。

打个比方，这就像给一位本就擅长临场发挥的厨师配了一整本标准菜谱，可他几乎没翻几页——眼前这锅食材的火候，他尝一口判断得比菜谱更准，菜谱反倒成了摆设，甚至添乱。真要求他必须照着菜谱做，他依实际情况灵活调整的余地可能就被压缩了。

由此能看到更根本的一点：智能体式优化真正的价值，或许不在配了多少现成工具，而在它能否从当前这个具体任务的搜索轨迹中现场找出有用的规律，再灵活搭出专属的分析手段。固定的数学工具带着固定的假设，比如贝叶斯优化默认用高斯过程去拟合，而这些假设未必适合每一个具体任务。

六、给模型讲清楚任务背景，到底有没有用？

另一个核心问题是：要不要告诉模型“你现在在干什么”。

研究团队设置了三种信息暴露程度。第一种是匿名模式，任务和变量的真实身份全部隐去，模型只看到一堆没有名字的数字坐标；第二种把任务和参数的语义信息恢复出来，例如告诉模型“这是在调支持向量机的正则化系数”；第三种则在语义信息之上再补充领域知识，例如告诉模型“正则化系数和核函数宽度会共同影响模型复杂度”。

结果符合直觉：语义信息普遍管用，六个真实世界任务的平均得分从0.465提升到0.595。知道自己在调什么参数，总比两眼一抹黑强。

但追加更具体的领域知识，结果却飘忽不定。

芯片布局和某个数据库调优任务上，它确实出了力；换到另外两个任务，却成了拖累，整体平均分从0.595滑到0.569。知识写得更细，并不等于知识更好用。

研究团队另起了一组更干净的对照实验，想弄清原因。他们造了三个匿名的12维数学函数，每个函数里真正起作用的变量只有4个，剩下8个纯属摆设。提示分成几种组合：什么都不给；只给几何形状信息，比如“这个函数在有效区域内是光滑且可分离的”；只点明哪几个变量有效；有效变量加几何信息一起给；还有一种故意挖坑的设置——变量定位给错的，几何信息给对的。

结果很清楚。变量定位和几何信息都正确时，平均得分冲到0.872，是所有条件里最高的。只给其中一种，提升都比较有限。变量定位一旦给错，哪怕几何描述完全正确，得分也掉到0.682，提升效果几乎被抹平。

这里头有个很朴素的道理：提示信息值不值钱，看的是准不准、能不能落成具体的搜索决策，细节多寡倒在其次。

好比去陌生城市找馆子。有人跟你说“这家店在市中心，装修有特色，老板人不错”，听着详细，导航时用不上；有人直接来一句“往左转第二条街”，话糙，立刻能走。要是方向本身就指错了，描述再多，也只是越走越偏。

七、语言模型到底该在优化循环的哪个环节发力？

接下来这个问题更有意思：语言模型非得从头干到尾吗？

团队试了几种角色分配。一种是智能体全程自主决策。一种是让语言模型只管调贝叶斯优化的参数，比如选什么核函数、什么采集策略，候选点由数学算法去提。第三种叫“交接模式”：智能体先跑一段，比如16轮，探出一些有价值的方向，然后把接力棒交给纯数学优化器，TuRBO、GP或者简单的局部搜索都行，剩下的预算由它跑完，不再调用语言模型。第四种是让语言模型离线写一套可复用的优化程序代码，再把这套代码直接部署到全新任务上，过程中完全不碰语言模型。

几种做法各有权衡，差别不小。

只让语言模型调贝叶斯优化的参数，表现从全程自主的0.569降到0.516。语言模型的价值，显然不只是拧一拧固定算法上的旋钮。

交接模式的结果很有启发：智能体先探一段路，再把接力棒交给TuRBO，最终得分0.570，基本追平全程自主的智能体，也明显高过TuRBO从零起跑的成绩（0.475）。

语言模型的在线参与不必贯穿始终。前期让它探路、把搜索方向校准好，后段交给成本更低的数学方法收尾，效果几乎不打折。

离线写出的优化程序，在没见过的新任务上得分0.501，高过固定贝叶斯优化基线的0.451，但低于在线自主运行的智能体。不同开发批次之间差异也大：有的优化器在训练任务上表现很好，换到全新任务就掉得厉害。从几个特定任务里“总结经验”、写成一套固定程序，泛化风险很明显。

像老师傅带新人。全程手把手，效果最稳；先带一段把路子带顺，再交给熟练工接手，效果差不多，还省了老师傅的功夫；可要是让他把经验写成手册留给别人照做，手册到了没遇过的新场景，未必灵。

八、前沿模型大乱斗：贵的不一定更强

最后，团队拉来七个当下主流的大语言模型，在五任务的精简挑战赛里同场竞技：GPT-6 Astra、DeepSeek V4.1 Flash、GPT-5.6 Sol、Gemini 3.1 Pro、GLM-5.3、Kimi-K3和DeepSeek V4 Pro。

GPT-6 Astra综合得分最高，59.1分；DeepSeek V4.1 Flash紧随其后，58.4分，差距很小。但没有哪个模型能在五个任务上全部领先，有的在某项任务上突出，换个任务立刻掉队。

成本这条线更值得算。GPT-6 Astra只比DeepSeek V4.1 Flash高0.7分，官方标价的推理成本却高出不少。钱花得多，效果未必按比例涨。

对做实际应用决策的人来说，选模型不能只盯榜单名次，还得算每一分提升背后花了多少真金白银，这笔账划不划算。

写在后面

读完这篇论文，最让人意外的不是智能体打赢了传统算法，而是那个关于贝叶斯优化工具的反直觉发现。

通常默认“给AI更多专业工具就是在帮它”，论文用实打实的数据给这个假设打了个问号：工具箱塞得越满，不代表发挥越好，有时反而是累赘。

这指向一个更深的问题：通用智能和专业工具之间该怎么摆。专业工具的价值，建立在“工具的假设适配当前问题”这个前提上。问题一旦足够复杂多变，固定假设就可能变成枷锁；而一个足够灵活、能现场观察现场建模的智能体，恰好能绕开它。

类似的景象在企业管理里也常见：给一线员工配一整套标准操作流程手册，员工却发现手册应付不了现场突发情况，反倒是被允许“灵活处理”的人解决问题更快。工具和流程的意义不在多，而在用没用在对的场合。

论文还留了一个没完全解开的疙瘩：语言模型开发出的优化器，泛化能力为什么这么不稳定，有的批次稳健，有的批次换个任务就崩。这个问题比“智能体能不能打赢传统算法”更根本，它关系到AI在某次任务里积累的经验，能不能变成可复用、可信赖的通用能力，而不是每次重新摸索。

要让AI真成为那个“可以放心交给它干活的优化师”，泛化这道坎恐怕绕不过去。

Q&A

Q1：AgenticBBO-Bench到底指什么？它是一套跨领域的黑盒优化基准测试平台，合成函数、超参数优化、数据库调优、芯片设计、分子设计这五大领域都在其中，各类大语言模型智能体按同一套规则同场比试优化本领。

Q2：给大语言模型多配些数学优化工具，效果就一定能上去吗？答案是不一定。实验里额外加上贝叶斯优化工具之后，平均得分没升反降，从0.589掉到0.538。原因在于模型更愿意当场写代码去找规律，而固定工具自带的假设，放到每个具体任务上未必都对得上。

Q3：语言模型非得从头到尾参与优化不可吗？并非如此。研究显示，让智能体先探一段路，随后把任务交给数学优化器接手，最后得分跟全程自主运行差不多持平。也就是说，语言模型可以只管前期摸索，收尾那一段交给成本更低的办法来完成。