多智能体AI组队方案怎么选:稀疏奖励下如何学会挑团队
你有没有遇到过这种情况:团队接了个项目,可以让三个程序员一起干,也可以让一个程序员加两个审核员,还可以让一个数学高手单干。这几种搭配最后都能把活儿干完,但效率和准确度天差地别。现在把"团队"换成AI智能体,把"项目"换成一道数学题,这就是这篇论文要解决的问题。多智能体系统*:让多个AI模型像一个团队一样协作...
团队接下一个项目,可以派三个程序员一起上,也可以安排一个程序员加两个审核员,甚至让一个数学高手独自完成。几种搭配都能把活干完,效率和准确度却差得很远。把"团队"换成AI智能体、把"项目"换成一道数学题,正是这篇论文要处理的问题。
所谓多智能体系统,就是让多个AI模型像一支团队那样分工协作,每个AI承担不同角色、彼此传递信息,最终汇总出答案。
这几年业界的共同观察是,一群AI智能体组队干活,往往比单个模型表现更好。可组队本身大有讲究:找几个人、分什么角色、谁该听谁的,这套"组队方案"在论文里有一个专门叫法。
它被称为
麻烦恰恰出在"教"的环节。
同一道题有好几种正确答案,AI却分不清哪个更优
有个容易被忽略的事实:验证库里同一道题常被好几种团队配置解出来,但库里根本不记录哪一种配置更优。它只是一份"能用的名单",算不上"排行榜"。
这就像翻一本菜谱合集,书里收了一百种能把某道菜做熟的做法,却从不说明哪种更好吃、更省时间。照着学的时候,人自然会挑出现次数最多的那一种,而不是真正适合手头食材的那一种。
论文作者发现,拿这个库去做继续的
监督微调
背后还有第二重麻烦。AI生成一张图是一步步推进的,每一步都要参考前面已经画好的部分。训练阶段,AI看到的"前面部分"永远是验证库里记录的那种已验证成功的片段;部署上线后,AI自己画出的图未必与库里一致,它看到的"前面部分"就变成自己画出来、库里从未出现过的新组合。此时AI等于在一个从未被教过的情境里做判断,没有任何参照。这就像在驾校练车,教练始终坐在旁边,每个路口都告诉你该怎么转,你练得滚瓜烂熟。可一旦独自上路,走到教练没带你去过的路口,你会突然发现不知道该往哪儿打方向盘——你学的始终是"教练安排好的那条路",而不是"遇到任何路口该怎么判断"。这个问题不解决,AI每次偏离训练时见过的路径,都等于驶入一片没有路标的荒野。
PRISM
论文给出的方案叫
特权信息
PRISM
这个额外接口在技术上依赖一种叫
第二阶段才是重头戏,也是破解"教练不在场"难题的关键。这一回不再让AI死记验证库里的标准答案,而是先让当前的学生模型自行生成一批团队配置方案(这叫"
这个设计的巧妙之处在于,纠正发生在学生真正会走到的那些路口上,而不是教练预先设定好的路口上。仍以开车作比:这次教练不坐在副驾驶念固定脚本,而是让你自己开,开到哪个路口就在哪个路口给反馈,哪怕这个路口在之前的练习手册里从未写过。少了这一步,学生模型学到的永远只是"标准路径"上的判断,一旦偏离便无人过问。
老师打分与学生判断之间的差距,用的是一种叫
KL散度
反向KL为何更合适?一道题往往有好几种解法都算对,若采用那种"照顾所有可能性"的散度算法,学生模型的判断会被拉得很分散,等于又退回了"实验结果显示,反向KL在数学类任务上全面领先,在GSM8K和SVAMP两个数学数据集上,反向KL的优势分别比另一种对比方法高出1.89和2.10个百分点。
除此之外,
六个任务逐一测试,结果说明了什么
论文在六个不同类型的基准测试上做了验证,覆盖数学推理(GSM8K、MultiArith、SVAMP、AQuA)、通用推理(MMLU)和代码生成(HumanEval),全部实验统一跑在Qwen2.5-7B-Instruct这个大语言模型上。
核心结果见下表,PRISM在六个任务上全部拿到最高分:
| 方法 | GSM8K | MultiArith | SVAMP | AQuA | HumanEval | MMLU |
|---|---|---|---|---|---|---|
| 单智能体 | 70.28 | 88.33 | 82.40 | 61.81 | 69.51 | 62.70 |
|
| 继续
| **PRISM** | **88.02** | **99.17** | **93.30** | **76.38** | **82.32** | **73.94** |
最扎眼的还是AQuA这一列:继续做监督微调,分数只做到62.60,比
这些提升几乎不带来额外开销。部署时PRISM每题平均调用3.04个智能体,ARG-DESIGNER是3.00个,基本持平;调用次数从每题4.00次升到4.04次,涨幅不到1%,换回的却是平均两三个百分点的准确率提升。那个“开天眼”的老师模型训练完就被彻底丢弃,正式上线跑的学生模型架构与原版ARG-DESIGNER完全一致,推理成本没有多出一分。
几组验证实验挺有意思
论文还做了几组相当扎实的
第一个质疑:PRISM涨分,会不会只是因为训练时参数更多、算力更大,随便加点什么都能涨?研究者搭了个“打乱对照组”,给老师模型接上同样的
打个比方,你想弄清一个家教是真在因材施教,还是随便讲讲都管用。于是另找一位家教,让他给学生讲一套毫不相干的练习题,结果效果确实比没人讲要好一些,可远不如讲对口题目来得明显。可见讲“对的内容”比单纯“有人讲”更要紧。
第二个质疑:这种“学生自己生成、老师再打分”的训练方式,本身是不是就强过传统监督微调,跟兄弟配置究竟有没有信息无关?研究者又设了一个“恒定输入对照组”,老师的
第三组验证更有看头。研究者把不同方法生成的“团队配置”单独拎出来执行,通信方式、轮数、决策方法等其他变量全部固定,只看配置本身的差异。在AQuA数据集上,那些监督微调模型常给出错误配置的题目,直接执行监督微调给出的默认配置准确率只有61.54%;换成PRISM生成的配置,同样题目准确率跳到77.66%。这一差距在统计上显著,说明问题确实出在“选错团队搭配”上,而非别的偶然因素。
还有个发现:角色的排列顺序同样会影响结果。同样三个“数学解题专家”的组合,按监督微调模型原本给出的顺序排,得分61.54%;换成另一种“标准排序”,得分反而掉到53.85%。也就是说,“找谁来”固然重要,“谁先谁后”这个顺序安排本身也在起作用,比想象中复杂一些。
写在后面
读这篇论文,最让我反复琢磨的是它戳破了一个容易被忽略的训练数据陷阱:数据集“记录了成功案例”和数据集“知道哪个成功案例更好”,压根是两回事。人很容易默认,只要数据经过验证、确实有效,拿去训练就不会出问题。PRISM却用一个具体数字打了这个假设一巴掌——12.60个百分点的倒退,就发生在一个看上去“正确”的训练流程里。
另一个我觉得挺妙的设计,是“特权信息训练后即焚”。不少AI训练方法总想着给模型加更多输入、更多参数,部署时也一并变复杂。PRISM反着来:训练时故意给老师开小灶,让它比学生多看一些,学生自己从头到尾没多看过什么,上线时模型架构和原来一模一样。这种“训练不对等、部署对等”的路子,在教育领域也有类似影子——老师批改作文时参考了范文,学生考试时并不知道范文长什么样,他只是被这个过程潜移默化地训练得更会写了。
论文也坦白承认了局限:他们没完全搞清楚,这个方法到底是真学会了“给每道题排出最优团队配置的优先级”,还是只是碰巧让输出更多样化了。这个问题留给了后续研究者。一个AI系统若能自己判断何时该找谁组队、何时该让谁先发言,这件事的边界在哪里,或许才是真正值得继续追问的方向。
Q&A
Q1:PRISM是什么?
A:PRISM是一种针对多智能体系统
Q2:为什么继续用监督微调训练拓扑生成器会导致准确率下降?
问题在于,验证库里只记了各个团队有没有把题做对,并不区分配置的好坏。照着它继续微调,模型会越来越倾向于输出出现次数最多的那套配置,针对每道题挑出最合适配置的能力反而丢了,这种
Q3:PRISM相比原来的方法增加了多少计算成本?
涨幅不到1%:PRISM 平均每题调用 3.04 个智能体,原方法是 3.00 个;调用次数则由每题 4.00 次升到 4.04 次。部署时用的模型架构和原方法一模一样,原因在于训练时用的老师模型在训练结束后就被丢掉了。