SwarmEvolve用450个agent潜空间协作，1小时任务最快3分钟完成

在大语言模型（LLM）驱动的进化搜索里，反复生成、评估、筛选数学与计算机程序候选，再对优选方案做修改和组合，是 harness 工程的下一步方向，程序表现也靠这一轮轮迭代往上走。

问题在于，搜索要保持多样性，多个 agent 就得反复试不同方案，而每试一次都要先写一大段文本推理、再给出程序，时间全耗在这上面，非常慢。布朗大学团队给出的办法是 SwarmEvolve——一个号称超快、低成本的「进化搜索加速」框架。它把推理搬进潜（latent）空间，每轮跑一个 450 个 agent 组成的 agent 蜂群（swarm），各 agent 通过 KV 缓存交换思路，最后由汇总 agent 生成程序。省掉文本生成、又保留思路交流与组合，正是他们想回答的问题。

在 21 个数学与科学计算问题上，SwarmEvolve 拿到其他 SOTA 框架运行 1 小时成绩所需时间的中位数只要 3-8 分钟；用 Qwen3 8B 时，它还在 3 个问题上改进了 AlphaEvolve 找到的构造。团队表示，这种在潜空间里通信的 agent 蜂群，为科学问题的程序搜索提供了一条快速、低成本的路子。

论文链接：https://arxiv.org/abs/2611.08483

研究方法

论文介绍，SwarmEvolve 靠多 agent 协作做进化搜索：潜空间 agent 从不同角度研究问题和父代程序，汇总 agent 读取它们的 KV 缓存，把不同思路拼成新程序。

这套框架站在潜空间推理与潜空间通信两项研究之上。前者让 LLM 用连续向量推理，不必一步步采样输出文本 token；后者让 agent 交换内部表示，而不是发文本消息。已有方法 LatentMAS 不用训练就能把两者接起来——agent 把推理形成的 KV 缓存交给汇总 agent 生成答案，SwarmEvolve 则把这套机制搬到了大规模进化搜索上。

每轮搜索跑 450 个潜空间 agent，它们分成不同群体、各盯一个方向，比如「实现文献中的某种构造」或「采用教科书中的方法」，专长、父代程序和思考方式都不一样，各自做 40 步潜空间推理。agent 一多，思路就得保住足够的差异，SwarmEvolve 直接用隐藏状态向量来筛：新颖性过滤器按余弦距离，在各群体里留下推理轨迹差别较大的 agent，不必先把思路转成文本再比。

之后，各群体的汇总 agent 读取被保留成员的 KV 缓存，生成新程序。成员从不同父代程序里得到的思路由汇总 agent 融合，交叉组合就发生在潜空间里。

实验结果

设计能不能改善搜索，得同时看程序生成速度和最终得分。团队在数学发现和科学计算领域的 21 个问题上，把 SwarmEvolve 与 OpenEvolve、ShinkaEvolve、CodeEvolve 放在一起比，各框架分别用 Qwen3 8B、14B 和 32B-FP8，每次在单张 GPU 上跑 1 小时。

三种模型配置下，SwarmEvolve 的平均得分都是最高的。它每小时评估的程序数量是其他 SOTA 框架的 5 至 13 倍；要达到各框架跑 1 小时的成绩，它所需时间的中位数落在 3 至 8 分钟。

另外，它的平均得分也超过了使用 Qwen3 32B-FP8 的 3 个基线框架。

潜空间推理本身是否起作用，研究团队也做了对照。把潜空间推理换成文本推理后，Qwen3 8B 的得分出现下滑；即便给文本推理分配的 token 预算比潜空间推理还多，结果依然如此。他们的解释是搜索时间怎么分的问题：文本越长，每轮跑得越慢，同一段时间里能评估的程序就更少，得分自然跟着往下掉。

图｜1 小时内潜空间推理与文本推理取得的最佳得分，三次运行结果取平均。

群体变大带来的好处，主要出现在搜索前段。agent 多了，能从更多角度去研究父代程序，最初几轮就能覆盖更宽的设计空间。他们提到，如果单次评估要跑昂贵的科学或工程仿真、只能测少量程序，这种早期优势就格外关键。但进入搜索后段，不同规模的群体最终得分会靠拢；反倒是换上更大、更强的 LLM，最终得分还能继续往上走。

在他们看来，这些结果说明：找新的数学构造、算法和科学计算方法，未必非得靠前沿模型或大笔算力。只要问题有明确的评估标准，低成本潜空间 agent 群在单张 GPU 上就能做大规模程序搜索，把更多计算时间花在探索和检验候选方案上。

不足与未来工作

当然，SwarmEvolve 也有短板。其一，所有潜空间 agent 和汇总 agent 得共用同一个 LLM——汇总 agent 只能直接读同一模型产生的 KV 缓存，跨模型协作因此受限。

其二，现有实现离不开标准注意力机制。线性注意力模型、状态空间模型以及混合模型会把历史信息压成固定大小的状态，想在这些模型上做同样的通信，还得先解决多个 agent 状态如何合并的问题。

其三，KV 缓存的内存开销会随 agent 数量、潜空间推理步数和模型层数线性上涨，所以他们测试过的最大模型仍然要配大显存 GPU。他们给出的缓解思路包括：学习不同模型间的 KV 缓存转换、压缩潜空间消息，以及把每轮计算拆到多张 GPU 上跑。

更多技术细节，详见原论文。

如需转载或投稿，请直接在本文章评论区内留言