华为等团队提出SwarmRSI:给AI科学家团队补上“分清失败原因”这一课
2026年的某一天,一个AI智能体正在分析单细胞数据,它提出了一个关于基因去噪的假设,写了代码,跑了实验,结果惨不忍睹。问题来了:到底是假设本身就错了,还是代码写得有问题?这个困境听起来很简单,但它困住了几乎所有自动化科研系统。你没办法从一次失败里读出两种不同的信号,一个是"这个想法根本行不通",另一个是"...
2026年的某一天,一个AI智能体正在分析单细胞数据。它抛出一个关于基因去噪的假设,写代码、跑实验,结果惨不忍睹。
问题跟着就来了:是假设本身站不住脚,还是代码写得一团糟?
听着简单,可这个困境几乎卡住了所有自动化科研系统。一次失败里藏着两种信号,一种是“这个想法根本行不通”,另一种是“想法没问题,只是实现得笨拙”,你没法把它们读出来。分不清这两者,AI要么白白扔掉一个好想法,要么死磕一个错误方向的实现细节。
华为、莱顿大学和格罗宁根大学团队的这篇论文,给这个问题起了个名字:SwarmRSI。它要处理的不是一个AI的麻烦,而是一群AI科学家协作时冒出来的更深层毛病。
科研困境:一个人想不明白的事,一群人也未必能想明白
先说说这篇论文要解决的核心矛盾。
**
单个AI智能体做科研,早就不新鲜。真正有意思的是,现在不是一个人在单打独斗,而是一群AI组成"
**
但共享经验这件事,说起来容易,做起来有两个大坑。
头一个坑,就是开头提到的归因问题。实验失败了,究竟是假设的方向错了,还是实现代码写得有问题?大多数自动化科研系统根本分不清这两种情况。它们要么把整个尝试直接扔掉,连可能正确的想法一起放弃,要么盲目修补代码,却没意识到方向本身就是错的。
打个比方,你到医院做检查,医生只说“结果不正常”,却不说哪项指标出了毛病。该改饮食、换药,还是仪器本身就坏了?弄不明白,后面每一步调整都是瞎猜。不把这两种失败原因分开,会怎样?论文后续实验里给了答案:去掉这种区分能力后,整体表现匹配SOTA的比率下降了10到13个百分点。
第二个坑藏得更深。一个程序整体跑得不好,很容易被当成“失败品”直接丢掉。可这个程序里也许有一段写得相当漂亮的代码,比如一个巧妙的排序损失函数,或者一套消息传递机制,只是跟程序其他部分配合得差,把总分拖到了及格线以下。程序一扔,那段好代码也跟着没了,而它对另一个智能体的研究方向来说,可能正是缺的那块拼图。
好比一支创业团队,A组做出了产品原型,市场反馈很差,团队就把整个项目砍了。可原型里有个用户增长模块做得很好,只是跟产品其他部分不兼容。要是没人去翻那些被砍掉的旧代码,这个好模块就一直在垃圾箱里躺着,直到B组几个月后又把轮子重新发明一遍。
这两个坑,正是论文提出SwarmRSI的由来。研究者的想法并不复杂:既然毛病出在“信息没被正确保留和传递”上,那就把每次实验的产物,不管成功还是失败,都原样记下来,让后面的智能体翻得到这些记录,需要时取来用。
接下来我们就看看,SwarmRSI具体是怎么做到这一点的。
反馈引导的蜂群突变
SwarmRSI的第一个核心机制,叫做
这个机制要解决的,正是前面说的归因难题:失败的时候,到底该修假设还是修代码。
**
**
SwarmRSI的办法是,智能体决定下一步动作时,去参考整个蜂群攒下来的反馈信息。系统具体看两类信号。一类是跨实例的表现差异:同一个假设放到不同测试数据集上,有的地方好,有的地方差。结果参差不齐,往往说明假设本身要调整,因为真正靠得住的研究方向,在大多数场景下都该说得过去。另一类是实现层面的执行失败,比如代码跑不通、报错,或者评估结果缺失,这种更像是实现出了毛病,而非方向选错。
基于这两类信号,系统区分出两种修订模式。
一种叫
论文里的消融实验证明了这两种模式都很重要,且缺一不可。去掉
把这两个数字摆在一起看,挺有意思。程序修复比假设修订更关键,说明在实际科研场景里,“想法对、执行没跟上”往往比“想法本身有问题”更常见。
研究团队在
这其实暗含了对“失败”的一种重新理解。不少科研系统把失败当终点,SwarmRSI把失败当信息,它只是在告诉你“这条路这么走不通,换个走法也许就通了”。
有一个具体案例特别能说明问题。在
互补蜂群重组
光把"该修哪里"解决掉还不够,那段被丢掉的好代码也得有个交代。SwarmRSI的第二个核心机制就是冲着这件事来的。
具体来看,它管着两件事,先说的这一件叫
先说
打个比方,你手里有个不错的商业点子,头一回创业时团队技术底子薄,产品做得糙,黄了。几年后碰上技术过硬的新班子,你把同一个点子讲给他们,他们用更顺的技术栈重做一遍,成了。点子没换,换的是托着它的那套底子。要是没有重新嫁接这一步,好点子就永远跟那次烂实现绑死,谁也不会想到再给它一次机会。
论文里举的例子挺能说明问题。任务00795中,系统想拿某个来源程序的分子功能预测器,换掉当前实例里的对应模块,可头一回提交的输出跟原来一模一样,等于没生效,请求被记下来先搁着。几步之后程序基座升级,系统又把这个没解决的假设翻出来,用新基座去实现,这回关掉了排序损失项,还采纳了来源程序的检查点规则。最后目标预测器的F值从0.5032升到0.5087,整体改进指标从负0.06388变成负0.06186。这个假设撑了很久,等到合适的实现底子才真正派上用场。
再看交叉重组。它对付的是另一种情形:一个程序整体表现平平,可放到某些具体测试实例上,它其实是赢家。
**
交叉重组怎么干?逐个盯住子任务或数据实例,把历史上表现最好的那个程序找出来,只要它在某个实例上压过当前程序,就把这块实现借过来,拼进当前程序,别的地方原样不动。
这有点像做菜。你手上有三份食谱,A的汤底特别鲜,B的调味特别准,C的火候拿捏得特别好,可单看哪一份,做出来的菜都算不上顶尖。交叉重组就是把A的汤底、B的调味、C的火候凑到一份新食谱里,拼出一道真拿得出手的菜。不这么拼,你就只能在三道各有毛病的菜里挑一道凑合,那道本该存在的完美料理永远吃不上。
论文里也有现成案例。任务00639中,交叉重组把三个来源程序的分支组件接到一起,拼出的新程序在六个评估实例上都保住了各自最优来源的表现,最终达到匹配SOTA的水平。更巧的是,后面一次重新嫁接,把这段拼接程序里原本就有、却从没被执行到的消息传递和排序损失代码给激活了,改进指标又从0.0575抬到0.0644。
这个细节可以多说一句:那段代码其实早就在那儿了,只是入口路由没指对,一直休眠着。系统没去重写它,而是找到了唤醒它的门路。互补蜂群重组真正的价值就在这儿,那些被埋没、写好了却没派上用场的代码,有机会在合适的时机重新被激活。
消融实验显示,整个重组机制一去掉,匹配SOTA比例从44.4%掉到37.8%,超越SOTA的比例更从15.6%直接腰斩到7.8%。可见重组机制对解决方案质量的贡献,主要在于把表现往上拉,而不只是守住基本盘。
递归蜂群演化
前两个机制管住了"该修什么"和"该借什么",可还有个问题悬着:随便哪个时刻,资源该投给修改假设,还是投给修改程序?这就轮到第三个核心机制了。
这个机制的核心是一套叫H/P选择的调度策略,下一步在假设层面动手还是在程序层面动手,由它说了算。
**
这个决策公式把三样东西算进去:最近每单位计算成本换来多少改进、这个方向被尝试的折扣次数、以及这个方向上积压了多少没解决的需求。说白了,系统在算账,这笔投入近来划不划算,试得够不够多,有多少人在等着它出结果。
调度还带着些优先规则,没试过的方向优先,等太久的方向优先。这样一来,系统不会死盯着某个看着回报率高的方向,把另一个同样要紧、只是暂时没被重视的方向晾在一边。
这就像风投基金打理投资组合。经理手上两个项目,一个成熟期扩张,一个早期种子。他不能光看眼下哪个回报率高就一路加码,还得掂量这个项目多久没被认真评估过,多少合作伙伴在等它给出下一步动向。只按短期回报率分资源,早期项目永远得不到足够关注,整个组合早晚失衡。
消融实验显示,把这个自适应调度拿掉,换成固定的"假设改一次、程序改一次"交替模式,匹配SOTA比例掉了8.9个百分点,是所有消融项里降得最狠的,平均改进指标的下滑也最明显。可见决定"先做哪件事"本身,价值不比具体怎么做低。
除了调度,这个机制还担着另一份差事:每一次实验的结果,成功的、失败的、毫无进展的,都原封不动记进一个
**
把这个共享图谱去掉,匹配SOTA比例掉了7.8个百分点。这个数字背后的意思是,智能体之间能互相"看见"彼此的历史,本身就是一种生产力。
实测表现:三个基准测试,四项全面领先
设计理念说了这么多,该拿数据说话了。
SwarmRSI在三个基准测试上做了评估:
在
在NatureBench上,SwarmRSI的匹配SOTA比例达到44.4%,是所有对比方法里最高的。跟同样用DeepSeek-V4-Pro的Arbor系统比,高出7.8个百分点;跟AIDE系统比,高出16.7个百分点,这两项差异在统计检验中都达到了显著水平。
在
有意思的是,换了底层大模型,SwarmRSI照样保持领先。不管用DeepSeek-V4-Pro还是Gemini 3.1 Pro Preview,匹配SOTA的比例都稳稳停在44.4%,说明这套方法的有效性不挂在某一个特定大模型上,起作用的是框架设计本身。
计算资源的账,论文也一并算了。SwarmRSI的效果更好,花掉的token却比TusoAI和Arbor都少。换句话说,它的优势不是靠猛烧算力堆起来的。
失败分析这块,93.3%的失败其实是“诚实的尝试”。一个诚实的科研系统不能只摆成功案例。SwarmRSI团队专门请了两位有生物信息学工程博士学位的标注员,人工审查35个失败任务的轨迹,共644次失败尝试,两人一致性达到
**Cohen's κ**:用来衡量两个独立评分者判断一致程度的统计指标,数值越接近1,说明两人判断越一致,0.92一般被看作“几乎完全一致”的水平。
分析结果摆出来:93.3%的失败属于“忠实的干预但没有收益”——实验设计得对、执行得也对,只是结果没变好。真正算实现或执行问题的,只占剩下的6.7%。
这个比例挺耐人寻味。它说明大多数失败不是系统犯了低级错误,而是“假设被认真测过、但没成立”。科研的大部分时间本来就是在排除错误的可能性,SwarmRSI的失败分布反映的其实是一种健康的探索节奏。
不过论文也给了一个反例,暴露出只看分数的陷阱。任务00838里,一次提出的氨基酸替换方案被下游代码意外覆盖,评估环节实际上根本没测到这个提案,系统却照样返回了“有效”的分数。分数本身有时候会撒谎,这正是反馈引导的蜂群突变机制要去读实现证据、而不只看最终得分的原因。
生物学家的真实验证:从虚拟实验走到实验台。这篇论文最让人印象深的,可能不是那些百分比,而是生物学家真的把SwarmRSI生成的两个程序复现出来,用进了真实的免疫学分析。
第一个案例关于肠上皮细胞。SwarmRSI针对
更关键的一步,是生物学家做的局部一致性检验:在SwarmRSI演化出的表征空间里,MHC-II信号的局部相关性(Spearman相关系数)为0.77和0.69,而传统RNA主成分分析表征里只有0.65和0.40。也就是说,SwarmRSI的程序抓到了比常规方法更细的生物学结构。
第二个案例关于脾脏的空间组织。基于
这两个案例说明:AI生成的科研工具不是只能停在基准测试的分数上,它真能进实验室,产出被人类科学家采信、复用的结果。
写在后面
读完论文,最触动我的不是那几个领先几个百分点的benchmark数字,而是“休眠代码被重新唤醒”那段细节。一段消息传递和排序损失的代码,写好了却因为入口路由问题从没真正跑过,静静躺在程序里,直到几步之后被重新嫁接操作意外激活。
这让我想起工程团队里常见的事:某个功能模块写出来了,因为种种原因一直没上线,代码库里躺着,几年后另一个项目翻出来,发现“原来这里早就有现成的东西”。SwarmRSI做的,本质上是把这种“考古式发现”变成系统的日常运作,而不是靠运气。
还有个细节值得单独说:论文提到,“失败”里93.3%其实是“忠实地做了、但没有收益”的诚实失败。这个数字让我意识到,我们对AI科研系统的期待可能一直有点偏——总盼着它每次尝试都“成功”。可真正靠谱的科研探索,失败率本来就该高,要紧的不是避开失败,而是能不能从每次失败里提出有用信号,用到下一次尝试上。
没解决的问题也很明显:重新嫁接操作靠的是“匹配需求标签和程序机制标签”这类启发式规则,它衡量的不是程序真正能做什么,只是表面标签对不对得上。两个程序标签相似、底层逻辑却完全不同,这种匹配会不会把错误拼接当成合理重组?论文没展开,这或许是后续工作值得深挖的方向。
Q&A
Q1:SwarmRSI是什么?
A:SwarmRSI是一个让多个AI科研智能体协同进化的框架。它让智能体之间共享假设、代码和实验证据,靠反馈引导突变、互补重组和递归演化三个机制,解决失败归因不清、有用代码被埋没这两个难题。
Q2:SwarmRSI相比其他AI科研系统的优势是什么?
A:在NatureBench基准上,匹配SOTA的比例达44.4%,超过Arbor和AIDE等对比系统;在OpenProblems上平均分76.2;生物学家还真实复现了它生成的程序,用于肠道和脾脏免疫学分析,说明结果有实际科研价值。
Q3:SwarmRSI如何判断实验失败是假设问题还是实现问题?
A:系统看两类信号:跨实例表现不一致,通常说明假设要调整;执行失败或代码报错,则说明实现要修。两者分别对应H-突变和P-突变两种修订模式,消融实验显示缺一不可。