AI代理公司不设CEO,让它们自己竞标谁来当家做主
2026年的秋天,哈佛大学一个实验室里的几个研究者在琢磨一个很怪的问题。他们让三个AI智能体组队去玩一个"从零开始造出一把铁镐"的Minecraft任务,一个负责砍树,一个负责挖矿,一个负责打造工具。问题是,这三个智能体谁先动手、谁后动手,由谁来决定?传统做法很简单粗暴:找个经理智能体,或者干脆按固定顺序轮流来。但..
2026年的秋天,哈佛大学一个实验室里的几个研究者在琢磨一个很怪的问题。他们让三个
传统做法很简单粗暴:找个经理智能体,或者干脆按固定顺序轮流来。但这篇论文的作者们觉得这事不对劲,他们问了一个听起来有点反常识的问题:如果不设经理,让这些智能体自己竞标抢活干,会发生什么?
结果是,在"获得铁镐"这个任务上,这套自组织的竞标系统比目前最强的人工设计协作策略高出63.4%的
**这篇论文的核心贡献,是让一群
这件事难在哪
先说说这个领域此前卡在哪儿。现在的多智能体系统,无论是
多智能体系统*:由多个独立的
这就好比一家公司招了三个很能干的员工,却永远不让他们自己商量谁该在什么时候站出来负责,而是外面请了一个固定剧本,规定周一必须是张三发言,周二必须是李四动手。哪怕张三这周状态不好,哪怕李四其实更懂这个活,剧本不变就是不变。如果公司业务变了,剧本却还是老样子,效率自然上不去。
问题的根子在于,谁来行动这件事和每个人学得怎么样这件事,其实是互相纠缠在一起的。谁在某个状态下出手,不仅决定了那一刻发生什么,还决定了哪个智能体获得了经验、拿到了学习信号。随着能力提升,原本应该早出手的智能体可能变得没那么必要了,原本不起眼的行动也可能因为下游智能体变强而突然重要起来。如果你把"谁来行动"这件事焊死不变,那你其实只优化了整个耦合过程的一半。
这正是论文作者们想要打破的局面,他们提出的问题简单却扎心:能不能让一群分散的智能体,从经验里同时学会怎么做事,以及怎么安排彼此的出场顺序?
市场机制:让智能体自己竞标
论文给出的方案叫做MPT。
MPT*:Market-based Post-Training的缩写,指一种让多个AI智能体在训练阶段通过竞标机制自主决定行动顺序、并据此分配学习信号的框架。
它的核心机制借鉴自经济学里最古老的一个工具,拍卖。
每一轮决策,所有智能体都要提交一个出价,这个出价代表的不是钱,而是"我有多想现在出手"。出价最高的那个智能体赢得这一轮行动权,其他智能体安静等待。如果所有智能体都给出零出价,这一轮就直接跳过,没人动。
这里有个很巧妙的设计,赢得竞标的智能体,它的出价同时也决定了这一轮产生的收益该分给谁多少。出价越高,意味着这个智能体越愿意把这一轮赚到的价值的一大部分,分给上一轮行动的那个智能体。换句话说,出价不只是在抢话语权,也是在承诺"我愿意为你留下的这个局面付多少钱"。
这个设计像极了二手车市场里讨价还价的逻辑。假设你在卖一辆车,买家愿意出的价格越高,说明这辆车对他来说价值越大,他认为开着这辆车能带来的后续收益越多。放到智能体世界里,一个智能体愿意为"接手当前局面"付出高价,说明它判断这个局面对完成任务极其关键,它自己的专长正好能派上用场。如果它乱出高价却没能力兑现承诺,它这一轮赚到的钱会被扣掉一大块分给前任,自己吃亏。这套机制天然逼着每个智能体诚实报价,出价虚高会亏本,出价过低又抢不到活干。
那么,学到的信用该怎么一步步传回去?这涉及到论文的第二个核心设计,
学习行动:把奖励一步步传回去
credit assignment
论文设计了一套反向传递机制。想象整个任务是一条链条,从第一步到最后拿到铁镐的那一步。最后一步拿到了奖励,这个奖励不会独享,而是沿着链条往前传。具体来说,在每一轮,赢得竞标的智能体会保留一部分收益作为自己的训练信号,剩下的部分按照它出价的比例,回传给上一轮行动的智能体。
这套机制有一个很古老的名字,叫
bucket brigade
这就好比古代消防队灭火时排成一条长队,从水井到着火点,每个人负责把水桶传给下一个人。如果最后成功灭了火,功劳不该只归最后一个泼水的人,因为没有前面每个人的接力传递,水根本到不了火场。水桶队机制就是把最终成功的功劳,按照每个人传递的"份量"往前分摊。在MPT里,这个份量就是出价的大小,出价越高的那次传递,意味着这个智能体越认可前面那个局面的价值,相应地愿意分出去更多收益。
如果不这样设计会怎样?论文做了一个很干脆的对照实验:把竞标用的出价全部替换成随机数,其他流程不变。结果在Iron Pickaxe任务上,经过同等训练量,使用随机出价的版本平均奖励只有31,而用学到的真实出价做信用分配,奖励能冲到42。这十来分的差距说明,出价本身不是摆设,它确实承载着有意义的信息,学出来的出价比瞎猜的出价能更准确地告诉系统"这一步到底有多重要"。
学习竞标:靠
光有行动还不够,智能体还得学会什么时候该出手、什么时候该让路,这是论文第三个关键设计,
反事实比较:通过"如果换一个决定会怎样"的假设性重演,来判断某个决策是否正确的训练方法。
具体操作是这样的,论文定义了一种叫"有争议的回合"的情形,就是除了最高出价者之外,第二高的出价者也给出了非零出价,说明这一轮其实有竞争。这时系统会把环境和智能体的状态存一份副本,让原本的赢家重新出价最多三次,直到它的出价低于第二名,这样第二名就有机会上场行动。两条分支各自跑到剧情结束,分别统计从争议点往后的总奖励,哪条分支奖励更高,哪个智能体在那个分支里的出价就被标记为"更优",另一个标记为"较差",然后用一种叫Bradley-Terry的偏好学习方法,去拉高那个更优出价的相对概率。
Bradley-Terry偏好学习
这个设计的巧妙之处在于,它给了智能体一个"重来一次"的机会去验证自己当初的判断对不对。这就像你在玩一局棋,走到某一步犹豫不决,这时候有个神奇的功能让你把棋盘存档,试着走另一步棋看看结果会不会更好,然后比较两种走法谁赢得更漂亮。如果没有这种反事实验证,智能体永远只能靠"事后诸葛亮"从单一结果里猜测自己的出价到底合不合理,信号会非常模糊。有了这个对照,系统才能明确知道"刚才让你上场其实是个错误决定,下次这种情况该让路"。
论文还提到一个细节,行动训练和竞标训练是交替进行的,四步行动训练接一步竞标训练,两者共享同一套模型参数,这样行动能力的提升和竞标判断力的提升能彼此咬合、同步进化。
三个战场的验证
研究团队没有只拿一个任务说事,而是选了三个风格迥异的场景来检验这套方法。
第一个是刚才提到的
第二个是机器人导航,三个智能体叫Turner(转向)、Mover(前进)、Stopper(停止),模型是
第三个是深度研究任务,三个智能体叫Searcher(搜索)、Opener(打开网页)、Finder(查找),模型是
在相同训练计算量的前提下,MPT和一个传统的单体强化学习基线做对比。结果如下表所示。
| 任务 | 传统强化学习 | MPT |
|---|---|---|
| 具身造物(
| 机器人导航(
| 深度研究(平均准确率) | 9.0% ± 2.1% | **21.0% ± 4.1%** |
三个任务上MPT都显著超过单体训练,造物任务翻了一倍多,深度研究的准确率更是翻了两倍还多。这说明这套机制不是只对
竞标行为随训练变化,这事真的发生了吗
光看最终得分还不够有说服力,研究者还专门追踪了智能体在训练过程中的参与模式有没有真的发生变化。
他们在Iron Pickaxe任务上,记录了四个训练节点的参与比例:刚完成监督微调还没开始强化学习时,训练到一半时的两个中间点,以及训练结束后。
结果显示,训练刚开始的时候,Logger这个伐木工在整场游戏里几乎全程霸占行动权,哪怕到了后期该挖矿打铁的阶段,它还是占大头,Miner和Smith很少有机会出手。这其实很好理解,因为伐木是最早期最容易上手的任务,模型最初学会的技能就是这个,出价自然也最有信心。
但随着训练推进,这种格局开始松动。到了训练结束时,在第120步这个节点,Logger的参与比例从大约80%降到了45%,而Miner的参与比例从大约10%涨到了40%,Smith也从大约10%涨到了15%。
这组数字背后的故事是,智能体们真的学会了"认清自己在不同阶段的价值"。伐木工意识到后期自己的技能派不上用场了,该主动让位;矿工和铁匠则意识到任务进展到后期,正是自己大展身手的时候,出价开始变得理直气壮起来。这不是人为设定的分工规则在起作用,而是竞标机制自然涌现出来的结果。
和其他协调策略比,学出来的竞标到底强在哪
为了证明"学会竞标"这件事本身有价值,而不只是沾了"行动能力变强"的光,研究者做了一个很严谨的控制实验:固定住已经训练好的行动策略不变,只换不同的协调策略来调度这三个智能体。
对照的策略包括轮流制(Round-robin,按顺序挨个来)、
| 协调策略 | 平均回合奖励 |
|---|---|
| 轮流制 | 23.8 ± 4.2 |
|
|
| MPT(学出来的竞标) | **41.5 ± 5.9** |
哪怕用的是完全相同的、已经训练好的三个智能体,只要调度方式不同,最终结果能差出63.4%。这说明调度策略本身的价值,和智能体个体能力一样重要,甚至在这个实验里体现得更显著。
论文还做了一个四格对照实验,分别测试了出价策略和行动策略在初始状态和训练后状态的四种组合。
| 竞标策略 | 行动策略 | 平均回合奖励 |
|---|---|---|
| 初始 | 初始 | 15.4 ± 4.1 |
| 训练后 | 初始 | 21.5 ± 4.7 |
| 初始 | 训练后 | 27.2 ± 4.8 |
| 训练后 | 训练后 | **41.5 ± 5.9** |
两者都训练好的组合,拿到的奖励是两者都没训练的2.69倍。更有意思的是,只训练竞标而不训练行动,提升幅度小于只训练行动而不训练竞标,但两者加在一起的提升远大于各自单独提升之和。这说明行动能力和协调能力之间存在一种互相放大的关系,光练好一边是不够的。
训练出来的群体,能不能复用到新任务上
一个群体如果只能干一件事,那它的价值其实很有限。研究者接着测试了迁移能力:从已经练熟了"造铁镐"的智能体群体出发,继续训练它们去完成两个新任务,一个是造火把,一个是造石砖。
结果显示,在大约10^18次训练计算量的节点上,这个已经有基础的群体在火把任务上拿到大约35分,在石砖任务上拿到大约38分,而从零训练的单体基线分别只有17分和19分。
这就好比一个已经学会开手动挡车的司机,去学开另一款不同型号的手动挡车,比一个完全没摸过方向盘的新手上手快得多。前者已经掌握了离合器、换挡这些通用技巧,只需要适应新车型的细节;后者却得从头学起。训练出来的智能体群体身上,沉淀下来的不只是"怎么造铁镐"这件具体的事,更是"怎么分工协作、怎么判断谁该出手"这种更底层的能力,这种能力是可以迁移的。
群体规模变大,是福还是负担
另一个很实际的问题是,如果把智能体数量从3个扩充到6个、9个、12个,这套系统还能不能撑得住?研究者用每个已训练好的智能体复制出1到4份,组成不同规模的群体,在造铁镐任务的五个子目标上测试
pass@3
结果是,从3个智能体扩充到12个,木镐任务的pass@3从大约78%涨到97%,石镐任务从69%涨到94%,熔炉任务从66%涨到91%。更多的智能体副本意味着系统有更多机会去尝试不同的行动组合,竞标机制会自动筛选出更合适的那个来行动,相当于给系统配了更多候选方案供挑选。
更进一步,研究者还测试了"掉线"场景,也就是随机让一部分智能体在推理时直接失联,看系统还能不能正常运转。结果发现,在高达90%的智能体掉线概率下,12个智能体组成的群体依然能维持大约33分的平均奖励,而只有3个智能体的群体在同样掉线率下只剩19分。
这背后的逻辑其实很朴素。一个只有三个人的小团队,哪怕只走掉一个人,剩下的两个人也得硬扛所有工作;而一个有十二个人的大团队,走掉几个人,总还有足够的人手补上。去中心化的竞标机制天然不依赖某一个固定的"核心成员",谁在谁就顶上,这种冗余设计让系统在面对局部故障时显得更皮实。
写在后面
读完这篇论文,最让我意识到一个此前没想明白的问题是,多智能体系统的瓶颈,可能根本不在"每个智能体有多聪明",而在"谁来决定谁该说话"这件事上。过去很多多智能体框架里,研究者花了大量精力设计提示词、设计分工规则、设计通信协议,却很少有人去问,这个分工规则本身是不是也该被训练出来,而不是靠人拍脑袋写死。
论文里有一个细节我反复琢磨了一下,智能体学会竞标用的反事实比较机制,其实依赖于"可以把环境状态存档重来"这个前提。这意味着这套方法目前只能在可模拟、可回放的环境里用,像Minecraft、机器人仿真器、或者带检索工具的问答环境。如果放到真实世界,比如真实机器人在真实房间里走路,这一步是走不了回头路的,没法像游戏存档那样重开一局去验证"如果换个人来走会不会更好"。这个限制其实挺致命的,论文作者自己在文末也坦诚承认了这一点。
还有一个让我觉得挺有意思的联想,这套机制某种程度上像是把亚当·斯密的"看不见的手"搬进了AI训练的内部循环里。论文里提到的
一个由AI智能体自发竞标决定谁来当家的小世界,正在悄悄生长出自己的经济学。
Q&A
Q1:MPT是什么?
A:MPT全称
Q2:MPT和传统多智能体系统最大的区别是什么?
A:传统系统通常把"谁来行动"这个调度规则写死在架构里,只训练智能体各自的能力,而MPT让调度规则本身也能通过竞标和训练一起进化。
Q3:MPT训练出来的智能体群体能应对突发状况吗?
A:可以。实验显示12个智能体组成的群体在90%的智能体随机掉线情况下,依然能维持较高的任务表现,远优于规模更小的群体。