AI自己学会做科研:DiscoveryRSI把经验沉淀成方法
你有没有想过这样一个场景:一个AI研究员提出了一个假设,写了一份研究方案,然后这个方案被执行、被评审、被打分。打完分之后呢?大部分情况下,这件事就结束了。下一次这个AI再提假设的时候,它还是从零开始,完全不记得上次那份方案哪里好、哪里被专家挑出了毛病。这其实挺奇怪的。人类科学家不是这样工作的。你写第一篇论文...
设想这样一个场面:一名AI研究员抛出一个假设,写出一份研究方案,接着方案被拿去执行、送审、打分。分数出来以后呢?
多数时候事情到此为止。下回这个AI再提假设,它依旧从零起步,上次那份方案好在哪、被专家指出了哪些漏洞,它一点都不记得。
这事其实挺别扭。人类科学家并非如此。写第一篇论文时漏洞可能到处都是,导师帮着改,你记下了原来控制变量得这么设计、原来这个指标立不住脚。到下一篇论文,同样的错误自然不会再犯。科研本来就是越做越熟练的活计,可眼下的AI科研助手,大多缺的就是这一环。
2026年10月,PhAI Labs牵头,联合哈佛医学院、牛津大学、UIUC等十几家机构发了一篇论文,针对的正是这个问题。这套系统被他们称作DiscoveryRSI。RSI并非新词,指的是"
这篇论文让我印象最深的,不是它做出了多强的模型,而是它把一个听着很玄的命题——AI如何从自己做科研的经历中学习——拆成了几个具体到能落成代码的环节。下面我尽量把这套东西说明白。
**怎样的假设才算既有价值又能被检验**
先问一句:一个科学假设得满足哪些条件,才值得投入时间去做?
论文给了一个相当严谨的定义,我认为值得展开讲。他们的说法是,有价值且可检验的研究假设必须同时包含四个部分:
其一,基于证据的主张*:把研究对象是谁、关注哪个指标、眼下不确定的地方在哪儿,都讲清楚。
其二,一份调查方案*:数据怎么获取、对照组怎么设、采用什么分析方法、依赖哪些前提条件。
其三,明确的判断标准*:在看到结果之前就先把话说死,哪种结果算支持这个主张,哪种算推翻,哪种算说不清楚。
其四,备选解释*:还有哪些别的因素可能带来同样的观察结果,比如混杂因素、测量误差,以及怎样借助对照把它们排除掉。
你也许会说,这不就是科研方法论里的常识?是常识没错,可常识恰恰是AI最容易绕过去的部分。不少AI生成的“假设”不过是一句听着有道理的猜测,既没交代怎么验证,也没想过别的解释会不会更站得住。论文把这四样东西捆成一个整体,要求AI每次提假设都得一并交出,检验标准因此从事后补救变成了事前规定。
论文里有个很具体的例子,用的是
MIMIC-IV
假设是这么写的:病人肾功能恢复之后,肌酐(一种血液指标)降下来了,尿量却仍然很低,这种“指标对不上”的情形反复出现,能否据此预测病人出ICU后48小时内的风险?
这个假设的价值在哪儿?它问的是一个临床中真实存在的困惑:医生看到肌酐下降,会不会误以为病人已经恢复?可检验性又体现在哪儿?论文设计了四个层层递进的模型——从只用临床基线信息,到加入当前这次肌酐尿量不匹配,再到加入反复不匹配的历史,最后加入一个隐马尔可夫模型做时序建模——每一层都在同一批病人身上、用同样的训练测试划分做对比。而且判断标准是提前定好的:加入这些信息后预测能力提升得稳定,就支持该假设;信号一调整就没了,说明假设站不住;事件太少导致估计不稳,那就说不清楚。备选解释同样写得明白,比如病情本身更重的病人,可能同时出现指标不匹配和更差的预后,这并不代表指标不匹配本身有因果作用。
这套设计让我联想到生活里的一件事。去医院体检,医生不会只盯一个指标就下结论,他会问有没有服药史、有没有其他病史,把干扰因素排掉之后才给诊断。省掉这一步,看到一个异常值就下判断,大概率要误诊。科研假设里的“备选解释”环节,说到底就是这个排除干扰的过程。少了它,AI生成的假设哪怕听着吓人,也经不起推敲。
**让假设像树一样生长,而非用完就扔**
光有好的假设定义还不够,单个假设终究是孤立的。真正的问题在于:假设之间如何互相启发、如何迭代改进?
DiscoveryRSI的办法是搭一套多智能体协作系统,让假设像一棵树那样生长。
多智能体系统
具体来看,系统里几个角色各管一摊:
Lead负责统筹,定下往哪个方向探索、挑哪个假设当父节点、用哪种操作去发展它。Generation负责提出全新的假设。Evolution负责把已有假设改进或修补。Critique负责在不知道作者是谁的前提下,盲审比较两个假设哪个更好。Progress负责判断一次修改相对它的“父版本”究竟算不算真进步。
论文提出了四种推进假设的路径,名字分别是演化、修补、交叉和重启。
演化(Evolve)、修补(Repair)、交叉(Crossover)、重启(Restart)。
四种操作搭在一起,假设的演进就不再是一条直线,而是织成了一张网。论文把这个结构称为“研究树”。严格说,它其实是有向无环图,因为交叉操作会同时挂上多个父节点。
整套机制里最要紧的一点是:每回修改、每回评审都留了档,谁提的、动了哪里、凭什么被判更好或更差,全都有据可查。
由此引出论文真正要啃的硬骨头:事后打个分不难,难的是这分该记在谁名下。
**一个假设拿了高分,功劳归谁**
不妨设想三个人合做一道菜。一人采买,挑了好食材;一人掌勺,负责调味;还有一人在旁盯着,发现盐下重了赶紧喊停。菜端出来拿了五星好评,这好评怎么分?
要是只记下“这菜好吃”,不问各人干了什么,下回再做,谁也不知道该改哪个环节。
论文把这叫“归因问题”。一个假设最终得分高,也许是当初提想法的人本身就靠谱,也许是半路有人揪出关键漏洞补上了,还可能是协调者把活儿派得恰到好处。学习系统若只认最终结果,把整段历史里的参与者一律平摊奖励,训出来的信号就是糊的,甚至会把人带偏。
论文为此设计了一套叫“TrueSkill”的机制。
第一步是用
做法是这样的:每当两个假设被拉去盲审对比,系统就记下谁赢、谁输、谁打平,或者证据不足无法比较。
接着,把这个打分换算成一个有上下限的“假设权重”。分数不能直接用,评审次数太少的假设,分数忽高忽低,不该被全盘信任。论文为此给出一套公式,把评审覆盖率(有没有被比过足够多回)、不确定性(估得稳不稳)、是否被认定为“有效的研究设计”、有没有被记录的实质性进步一并算进去,得出一个落在0.5到2之间的有界权重。
第三步最关键:把权重分给那些真正出了力的具体“agent历史记录”。
这里的
论文搭了一张归因图,只有证据链能坐实的贡献才被记入,比如原始提案文本、精确匹配的草稿修订记录、哈希值吻合的支撑文件。只共享一个episode(一次完整的研究流程)、只出现在祖先链里、只完成过一次worker调用,都不算归因证据。论文特别强调:某段历史跟某个高分假设沾边,不等于它就该拿奖励。得有可追溯的、实打实的贡献记录才行。
这套机制还加了“防重复刷分”的闸门。同一个科学问题若被反复提交、反复评高分,系统会卡住这个“科学家族”能拿到的总信用额度,不让它无休止地吃掉训练资源。好比辩论赛里,同一个选手反复上台辩同一个论点、每次还都给满分,排名就彻底失真了。给家族信用设上限,等于规定“同一个论点最多给你打这么多回分”,免得系统被重复刷分的内容牵着走。
权重到手后,这些历史记录被拿去训练一个叫DiscoveryRSI-27B的模型。训练时只对“被证实支持了这次贡献”的那部分文本算损失,工具的返回结果、已知的失败动作、重复出现的上下文都不计入直接损失。也就是说,模型学的不是“把整段对话照抄一遍”,而是“在被认定关键的那几步上,学会这么做”。
**修工具比修脑子更划算的时候**
模型本身学得更好只是一面。论文还点出另一个常被忽略的问题:不少失败压根不是模型“不够聪明”,而是工作流程本身有bug。论文把这个环节叫“harness replay”。
Harness
拿一个研究流程来说,假如证据检索总在同一批文献里打转、工具调用频繁出错、生成的文件不翼而飞,或者任务没做完就提前收尾,这些毛病都出在harness这一层,跟模型参数无关。
论文的处理办法是先跑短时间的诊断性实验,把「agent做了什么决定」和「执行层面发生了什么」两类记录对照拼接,据此判断问题卡在哪一环。找到症结后,再给出针对性的修补办法,例如改善证据复用的方式、理顺任务交接流程、加入重试机制、把任务完成的判定标准定得更细。
有个细节值得细看:动harness的时候,模型参数保持不动;反过来训练模型时,harness同样固定。两条线各自优化,互不干扰。
分开的理由很直接——两边一起改,就分不清涨分是模型变强了,还是流程变顺了。好比做菜同时换了厨师和厨具,菜好吃了也说不清功劳归谁。只有拆开做对照实验,才知道钱和精力投在哪边更划算。
改完的harness候选方案,还得放到专门留出的「开发集」上过一遍,从科学质量、探索广度、可靠性、成本几方面综合评估,才决定正不正式采用。
**一轮接一轮往前推,而非原地绕圈**
模型更强了、harness也更顺了,下一步该干什么?论文把这一步称作
于是就有了一个完整回路:做研究攒下经验,经验拿去升级模型和流程,升级后的系统再投入新研究,又产出新经验。这套系统也因此被命名为「递归自我提升」。
这个回路最关键的地方,不是把同一件事重复做得更快,而是每一轮都向前推进,上一轮学到的东西直接成为下一轮的起跑线。
登山建营地的做法可以拿来类比。登山队不会每回冲顶都从山脚起步,他们会在半山腰设补给点,下次出发直接从那里往上走,省下的时间和体力能用来爬得更高。缺了这个机制,每轮科研都从零开始,攒下的经验用不上,系统能力就只能在原地打转,没法螺旋上升。
实验数据说明这套机制确实管用。自动化评测下,假设质量平均分从基础模型的4.86分,第一轮自我提升后升到5.18分,第二轮又升到5.39分。涨幅主要集中在「可检验性」相关维度:可证伪性从4.00升到6.20,备选解释的考虑从4.44升到5.98,数据可解析性从3.73升到4.99,可行性从4.79升到5.87。
不过重要性这一项反倒从6.48掉到6.04,新颖性从4.87降到4.58。可见这套方法主要增强的是「把研究设计做扎实」的本事,而不是「提出更惊艳问题」的本事。这个不回避的负面结果其实挺让人服气——不少论文只挑好消息报,这篇把掉分的部分也原样摆了出来。
行为上的变化同样清楚。基础模型里,「重启」这类从零开始的操作占21.7%的episode,两轮自我提升后降到5.0%。与此同时,「演化」「修补」这类深挖现有方向的操作,从77.5%升到91.7%。系统学会了更多打磨已有想法,而不是动不动推倒重来。
**专家如何评价AI写的研究方案**
自动评分不算数,论文另外请了27位有医学或生物学研究背景的审稿人,其中有医生、医学生和生物科学博士生,在三位资深导师指导下,对292份研究提案做了匿名评审。
匿名的执行相当彻底:审稿人既看不到提案出自哪个模型,也看不到自动化评分,还被要求别去查提案的修订历史,只针对提案内容本身打分。
评审分三层走:先给出1到5分的总体研究价值判断,附一个「优先推进/修订/推迟/拒绝」的建议;再在六个维度上打1到4分,涵盖重要性、相比已有工作的进步性、论证是否合理且有证据支撑、数据是否匹配、备选解释是否充分、结果是否有信息量;最后单独判定方案是否存在「致命缺陷」。
结果看,DiscoveryRSI-27B的修订表现相当可以:41%的修订让人工评分上升,47%大致不变,变差的只有12%。作为对照,GPT-5.6 Sol的这三个比例是31%、37%、32%,另一个对照模型GPT-6 Luna是25%、44%、31%,且它的平均修订分数变化为负,-0.01分,也就是说平均来看它的修改没让方案变好。
DiscoveryRSI-27B的平均修订提升为+0.07分。数字看着不大,但评分区间只有1到4分,0.07分的稳定提升,累积成百上千次修订之后,差距会被拉得很开。
论文还举了一条具体的修订路径作例子。还是那个
这个案例让人意识到:很多时候决定一份科研方案命运的,不是宏大的创新点,而是那些看似琐碎的细节有没有交代清楚。就像写合同,真正出问题的常常不是条款立意,而是某个关键词没定义明白,日后起了纠纷。
**假设是否真的踩中了后续研究方向**
最让人觉得有意思的一项评测,是论文试着回答:这些AI生成的假设,是否真的「猜中」了未来科研的走向?
具体操作是,给模型设一个「知识截止日期」,再看截止日期之后发表的文献里,有没有哪篇恰好提供了某个实验设计、某种对照方法、某项测量指标,正好能用来推进或检验某个AI生成的假设。有的话,这个假设就算「命中」。
论文给这个指标起了个名字,就叫“
所有模型共用同一个文献库,这是论文搭起来的。团队做了420次引文追溯,最终拿到17790条引用关系、16440篇可解析文献,再按各模型自己的知识截止时间做过滤。
命中率的结果是这样:DiscoveryRSI-27B为6.3%,DeepSeek为5.4%,GLM为2.8%,GPT为2.5%,Claude Opus 5为2.3%。DiscoveryRSI-27B比第二名DeepSeek高出接近一个百分点,对排名靠后的几个模型则是两倍以上的优势。
分领域拆开看,DiscoveryRSI-27B在“治疗靶点优先级排序”方向的命中率达到16.9%,疾病机制方向为6.8%,多组学方向为7.4%;临床健康方向偏低,只有2.3%。
论文没有回避这些数字背后的局限,讨论得相当坦白。以Claude Opus 5为例,它的命中率低,很大程度可能和提案篇幅过长有关——中位数41134个字符,而检索和语义审核只覆盖开头几千字符。来源说明、修订记录这类非科学内容占住了被审查的前段,真正的科学内容被挤到后面,没被看到。论文为此做了诊断性实验,把检索关键词从提案全文换成提案标题,Claude的检索命中数从15篇直接跳到95篇。可见这一差距至少有一部分来自格式,而非内容质量本身。愿意主动质疑自己的结论、去找可能偏差来源,这种做法在论文里并不多见,我觉得是这篇论文难得的地方。
**医学之外,电池研究同样适用**
这套方法是不是只管医学数据?论文专门设计了一组迁移实验来回答,选的是电池研究,覆盖电气诊断、健康预测、退化机制、使用历史和老化四个方向。
证据来自电池领域已有的公开数据集和研究成果,包括容量与阻抗老化测量数据、基于阻抗的健康预测研究、退化模式分析、路径依赖老化实验等。
流程还是那套Lead-Generation-Evolution-Critique-Compiler,只是针对电池领域补了专属检查项:工作条件是否合理、传感方式是否可信、物理原理是否讲得通、有没有考虑相互竞争的解释。
这组实验跑了200个episode,产出351个假设,每个假设由三位AI评审分别打分。平均假设质量达到5.61分,58.47%的转变被判定为实质性进步,识别出的20个“科学贡献家族”中有7个具备诊断或研究证据支撑。
也就是说,从定义什么叫好的研究假设,到多智能体协作把假设发展下去,再到用贡献证据训练模型、修正工作流程,这一整套逻辑并不依赖医学领域的特殊性。换一个完全不同的科学领域,它照样跑得通。
写在后面
读完论文,我反复想的一点是:作者自己反复强调,他们的方法在“把研究设计做扎实”上进步明显,在“想出更有新意的问题”上却没有进步,甚至略有下降。换作很多论文,这种结果会被想办法包装过去,这篇选择把它原样摆在台面上。
这里其实藏着一个挺有意思的张力:科研中“把事情做对”和“问出好问题”可能是两种不同的能力,训练信号怎么设计,本身就决定了它偏向哪一边。论文的归因机制本质上奖励的是“被证明有实质贡献的具体修改动作”,这类动作天然更容易落在方法论层面的修补上,而不是天马行空的灵感跳跃。换句话说,想训练一个更有创造力的AI科学家,或许需要一套完全不同的归因逻辑,专门去识别和奖励那些“大胆但说不清为什么突然想到”的跳跃式贡献。该怎么设计,论文没给答案,我也没想明白。
另一个印象很深的细节,是论文里那组关于Claude Opus 5检索命中率的诊断实验。研究者没有停在“我们的模型比别人好”上,而是回头质疑这个比较本身是否公平,发现问题可能出在提案格式上,然后如实报告出来。这种自我质疑的动作,比正文里那些漂亮的提升数字更让我相信这项研究是认真的。
如果有一天,AI真能像人类科学家那样,从每一次被拒的论文、每一次被专家挑出的漏洞里吸取教训,越做越老练,那我们现在讨论的这套“假设信用分配”机制,会不会就是那第一块地基?