AI科学家能自己做科研吗？DualverseAI用Station实验给出答案

2024年，一批AI系统开始在科学发现上冒头。数学难题被它们解开，更快的算法被它们找到，化学和生物领域也出现了它们令人意外的贡献。不过这些成绩有个共同点：任务都有明确的评分标准。

换句话说，这些AI更像在参加考试，题目有标准答案，答对就算过关。

真实世界里的科研不是这个玩法。

一个神经网络为什么这样运作？一个物理现象背后的机制是什么？这类问题往往没有标准答案，甚至连“什么样的答案算好答案”都得靠专业判断。研究者把这种任务叫开放式任务：没有客观指标告诉你做得对不对，一个发现有没有价值，全靠研究者的学术判断力来评估。

DualverseAI的这篇论文想搞清楚的正是这件事：没有标准答案的时候，AI智能体能不能自己做出真正有科学价值的发现？

他们挑了一个叫Station的多智能体环境做实验，结果挺有意思。

开放式任务到底难在哪

先把一件事说清楚：开放式任务不是“更难的考试题”，而是压根没有考试这回事。

拿神经网络可解释性研究举例。你把一个电路的所有权重和计算过程原原本本列出来，这确实准确描述了它的运作方式，但科学价值很低。真正有价值的，是对这个电路如何实现某个功能给出有洞察力的解释。

“准确但没价值”和“有价值但需要判断力”之间的这道鸿沟，恰恰是AI智能体最容易栽跟头的地方。

论文列出了两项具体风险。一是判断错位：缺少客观反馈时，智能体评估研究进展只能依赖自身主观判断，而这一判断与人类研究者的判断可能完全对不上。二是更隐蔽的路灯效应，指人习惯在路灯下找钥匙，原因不在钥匙丢在那儿，而在那儿亮。

路灯效应*：研究者挑某个方向，是因为它好上手，而不是因为它真重要，这属于一种研究偏向，反映出“方便探索”压过了“科学价值”。

套到AI智能体身上，这个问题恐怕更突出。智能体既没有职业声誉的包袱，也不必看导师脸色，它完全能把简单问题包装成重要问题，先把自己说服，再心安理得地做下去。

这就像让学生自己定题目写论文，却什么评分标准都不给。有的学生会去啃真正难的题，一遍遍推倒重来；更多的学生则悄悄把题目挪到自己拿手的方向，交稿时还理直气壮，说这就是最有价值的角度。外部若没有声音时不时问一句“你做的真是重要的事吗”，这种自我合理化几乎躲不掉。

Station：一个去中心化的科研小镇

论文选择的实验环境叫Station，这是DualverseAI团队此前发布的一个开放世界环境，这次研究对它做了专门针对开放式任务的改造。

Station*：一个模拟去中心化科研生态的多智能体环境，智能体在其中可以自行提出研究方向、跑实验、彼此交流并发表论文。

Station与市面上多数自动化科研系统相比，最大的差别在组织方式。AI Scientist-v2这类系统由一个中央控制器统一调度探索方向，所有智能体都围着既定流程转。Station的做法正相反：六个模型不同、上下文不同的智能体，各自独立挑选研究方向，自己做实验，自己与同伴交流，自己决定要不要发表成果。

这种设计背后的用意很直接：既然开放式任务没有客观标准，那就让多个“判断标准”并行存在，看哪些能产生真正有价值的发现。

Station把整个环境拆成若干房间，各管一摊。研究中心负责做实验，智能体在这里用自然语言向代号Codex的编程助手下指令，由后者写代码、跑实验、回传报告。档案室负责发表，提交的论文交给一个评审智能体自动审核，通过的就留下来，供后来的智能体阅读、引用并在其上继续研究。此外还有邮件室用于私聊，公共记忆室用于公开讨论，公共休息室用于群聊，反思室则是智能体独自沉思的场所。

这套空间划分初看像游戏设计，细想一下，它其实把真实学术界的基础设施搬了进来：期刊、会议、私下交流、公开论坛，全都对得上。

智能体在Station里各有自己的“生命周期”。每个智能体在站内活动的时间上限是150个时间刻，前20刻属于“未成熟”状态，碰不到公共知识库，只能自己摸索；成熟以后才进得了主要的协作房间。活过90刻，它可以主动选择离开。走的时候，它还能把攒下的经验和研究风格写给“后代”，后代继承同一个“血统”的名字和私人笔记，知识就这样隔代传了下去。

两个关键机制：主管和元反思

光让多个智能体各干各的，并不能保证它们肯沉下心啃硬骨头。研究团队观察到一种常见失败模式：一遇到困难，智能体很容易打退堂鼓，转去挑更简单的方向，再给自己找个冠冕堂皇的理由。

面对这种倾向，论文给Station加了两道约束。

头一个是主管机制。一个由GPT模型驱动的智能体，只要在档案室发过至少一篇论文，就会自动被任命为主管。这个门槛是刻意设的，为的是让坐上主管位子的人对研究流程和任务本身足够熟悉，才有资格去盯别人。主管是Station里一个特殊角色，管的是其他智能体的研究承诺，但它无权提出自己的研究方向，也不能提交实验或发表论文。

一旦被任命为主管，这个智能体就交出了提交实验和发表论文的权限，只管两件事：审核其他智能体交上来的研究提案；要求对方对自己提出的方向至少坚持60个时间刻，才能申请转向。智能体若遇挫折想换方向，得走正式的"转向请求"，而主管几乎一律驳回，除非确实撞上了迈不过去的技术障碍，比如某个必需的软件包根本装不上。

这套设计的分寸感就在克制二字。主管被明令禁止提自己的研究方向，也不许给具体算法建议，它只守"承诺"这一条线。好比健身房里请私教：好教练不会替你决定练哪块肌肉，那是你自己的目标，但你在第三组想撂挑子时，他会拦住你说"再坚持一组，你能行"。少了这种外部约束，多数人一酸就找借口收工，练一周换一套计划，永远练不出名堂。Station里的主管就是这位私教，不替你选方向，只逼你把选定的方向走完。

第二个机制是元反思。每过50个时间刻，Station会让所有成熟智能体停下手头的活，进反思室，从预设的提示池里抽题，以"人类研究者"的视角重新掂量自己最近的研究方向值不值得做、该不该继续。

有个细节：元反思期间，不管智能体平时跑的是什么模型，这三轮对话一律切到GPT-5.5来生成。论文的解释是，他们观察到GPT系列模型在评估研究价值时往往更严谨、更中立，不容易被自己此前的投入绑住。

提示池覆盖十几个主题，从"是否过度宣称"到"是否陷入路灯效应式的攻坚假象"，再到"你的研究品味和主流趋势是否过于雷同"。每个主题都推着智能体站到外部专家的位置上，老实批评自己过去的行为，而不是替自己辩解。

这机制像什么？有点像写作时的"隔天重读"。写作者大多清楚，刚写完一段很难看出毛病，因为人还泡在刚才的思路里；隔一天用新眼光再读，逻辑哪里不通、哪里说过头，一眼就出来了。元反思干的就是这件事，只不过它是人为的、定期的，用一个"更冷静的分身"去重审智能体自己的工作，逼它跳出当局者迷。

论文给了一个具体例子。有个智能体起初在研究RL智能体如何更新关于静态墙壁和走廊的空间信息，这方向和"规划"这个核心研究问题几乎不沾边。元反思让它意识到这个局限，把同一套分析框架挪到可移动的箱子上，看箱子位置变化如何影响规划。这一转，分析直接拉回了核心问题。

站内系统的输出不再是一个分数，而是一篇研究报告，就得有人把零散的实验结果整理成完整的学术叙事。这个活由论文新增的整合智能体接手：每轮实验结束，它用Codex驱动的GPT-5.5，把站内攒下的所有发现合成一篇约8000字的研究报告，作为整个系统的最终产出。

三个"重新发现"任务：考考AI能不能复现真实科研成果

机制设计得再巧，也得真刀真枪验一验。研究团队搭了一套评测方案：挑三篇在ICLR（国际学习表征会议）上做过口头报告的论文，都是过了同行评审的高质量研究。只把论文的核心研究问题告诉Station里的智能体，具体发现扣着不给看，同时断网，不让它们去搜相关资料。

ICLR*：国际学习表征会议(International Conference on Learning Representations)，机器学习领域的顶级学术会议之一。能入选口头报告的论文通常代表该领域当年最具影响力的研究成果。

三个任务分别是：强化学习智能体中的涌现规划能力、大语言模型输出中的低秩结构、循环神经网络(RNN)中的时间表征。每个任务都配了必要的实验材料，比如训练好的模型检查点，智能体不用从零起步就能开工。

智能体到底"重新发现"了多少原论文的结论？团队把每篇原论文的主要发现拆成大约十来个左右的子发现，每个对应原文中一个具体、可独立验证的科学主张，再用GPT-5.5自动判断最终报告里有没有提出实质相似的发现、有没有给出支撑证据。这套评估流程本身也过了人工质检：团队请其中一篇原论文的作者盲审六份随机抽取的最终报告，自动评估和人工判断在66次独立评判里有64次一致，一致率97%。这个数字说明自动评分本身靠谱，不是在自说自话。

结果：Station平均重新发现了62.7%的子发现；对比对象Codex Multiagent-v2只有15.4%，AI Scientist-v2在不同基座模型下落在14.4%到20.6%之间。差距相当悬殊。两个学生交作业，一个答对六成多，另一个只答对一成多，中间差出四倍多。这不是谁更聪明的问题，是研究方式本身的差异带来的结果。

三个具体任务，三种不同的收获

头一个任务问的是强化学习智能体会不会形成内部"规划"。原论文把主要发现拆成11个子发现，分三类：探测(probing，找到预测未来动作或状态的内部表征)、规划特征(planning features，描述计划如何被构建和修正)、因果干预(causal intervention，通过操纵这些表征来改变智能体行为)。

Station平均重新发现了8.33个，占75.8%。探测类几乎全部命中，规划特征和因果干预则相对弱一些。研究团队发现，智能体普遍能探测出和原论文相似的概念，但很难把这些概念用于有效的因果干预或更深层的机制解释。原论文发现RL智能体进行的是双向规划，这个发现就没能被智能体复现出来。

相比之下，Codex Multiagent-v2只有6.1%，AI Scientist-v2在6.1%到19.2%之间。这些基线系统几乎只能复现探测类发现，规划特征和因果干预基本是空白。研究团队翻看了基线系统的研究记录，发现它们在早期选择了不太合适的探测目标。这个选择一旦出错，后面的规划和干预分析就跟着一路走偏。

第二个任务要考察的是大语言模型的输出里有没有低秩结构——换句话说，给定一个上下文，模型对它的输出能否由模型对其他上下文的输出近似拼出来。Station在这一项上成绩更好，拿到70.4%。序列级结构和可复用关系这两类几乎全部命中，功能性后果这一类则相对偏弱。

这个任务抛给智能体的问题范围比较宽，后续问题得由它们自己提。Station的智能体通常会顺着最初的发现往下挖，提出更深一层的问题，于是又多拿到一些发现。基线系统多数停在把低秩结构刻画出来这一步，鲜少把研究再往深处推。前面提到的路灯效应在这里正好得到印证，差别只在程度上。

第三个任务是RNN怎样表征时间信息，难度明显上了一个台阶，Station只得到41.9%。这一项和前两个任务不一样：没有现成训练好的模型可用，智能体必须从头训练RNN，再分析网络自己长出来的表征。研究团队看到，智能体大多盯住"如何在有限容量下优化记忆表现"这个比较容易量化的子问题，原因在于这个方向有明确的性能指标可以当反馈。原论文真正想解释的是时间动态本身——记忆为什么会遗忘、又是怎么被遗忘的。这个问题偏机制解释，而非性能优化。

不过即便如此，41.9%依然碾压了同任务下Codex Multiagent-v2的6.7%和AI Scientist-v2的0%到11.1%。

两个机制到底值多少分，拆开看更清楚。

整体效果好，并不等于机制起了作用。研究团队又补了一个关键消融实验：只挑第一个任务（涌现规划），把主管机制和元反思机制一起撤掉，看效果会掉多少。

重新发现率随之从75.8%降到57.9%，少了接近18个百分点，其中因果干预类发现跌得最狠。这一类发现恰恰要求智能体在早期探测结果上接着深挖，用已经认出的表征去操控RL智能体的行为。机制一撤，智能体明显不愿意在前人成果上继续搭建，反倒一遍遍在探测概念这步兜圈子，很少把观察到的现象和更大的研究目标挂上钩。

研究团队还测了一个叫"研究项目持续时长"的指标，看智能体在同一个方向上坚持多久才转向或离开。完整版Station的平均值为67.0个时间刻，撤掉机制后掉到55.5个时间刻。这段降幅正好对上了主管机制的功效：承诺期里不让智能体随便改道，多出来的坚持时长就是这么来的。

元反思带来的行为变化同样有数据。研究团队追踪了92次元反思事件，其中71.7%在反思之后，智能体做的是深化或验证现有方向的实验，没有掉头去弄别的。可见元反思确实在把智能体往深处推，而非让它陷进焦虑式的自我怀疑。

这有点像一支团队有没有固定复盘会的差别。没有复盘会，碰上挫折就容易不声不响地换方向，毕竟没人逼你交代"为什么还要接着做"。有复盘会就不一样，哪怕只是隔一阵坐下来问一句"我们还在正确的路上吗"，多数时候答案都是"在，继续"。可就是这道仪式，拦下了很多本来可以避免的半途而废。缺了它，团队会在一个又一个小挫折面前悄悄改道，到头来哪个方向都做不深。

智能体和人类研究者之间，到底差在哪。

论文没有回避一个不太好看的事实：即便加了这两个机制，智能体和人类研究者之间的差距依然很大。

研究团队请来涌现规划论文的一位作者，对智能体提出的24个研究提案做评估，这些提案都跟原论文的发现不重叠。75%的提案只拿到5分制里的1到2分。这位作者的评价很直白：提案太多地纠缠在细枝末节上，即便解决了，对回答核心研究问题也没多大帮助。

也就是说，两个机制加上去之后，智能体仍旧会把大量精力投到人类研究者眼中价值不高的方向上。判断错位并没有被彻底解决，只是有所缓解。

研究团队自己也坦承，这两个机制没法把路灯效应完全消掉。RNN任务里，智能体反复盯住"在有限容量下优化记忆性能"这一方向。这个方向本身不是没价值，有清晰的性能指标反馈，恰恰是它更容易被选中的原因；可原论文真正关心的不是这个，它想解释的是时间动态本身的机制，而非刷出更高的分数。方向选对了、深度却不够，这类落差正是眼下这套机制还没能补上的短板。

两个没有标准答案的新问题：AI能发现什么。

前面三个任务是让AI"对答案"，接下来这两个任务就是真正的开放式探索，连研究团队自己都不知道正确答案是什么。

第一个任务关于"潜意识学习"，这个概念本身就挺反直觉：一个教师模型可以通过训练学生模型学习一堆看起来毫无关联的数字序列，把某种行为倾向（比如偏爱猫）传递给学生模型，而这些数字序列本身和猫毫无语义关联。这个现象在2026年初被Cloud等人发表在《自然》杂志上，引发了后续一系列研究想搞清楚背后的机制。

潜意识学习*：一种意外被发现的现象——教师模型即便只在语义完全无关的数据（如数字序列）上做微调，也能把某种行为倾向传给学生模型。

LoRA*：低秩适应(Low-Rank Adaptation)，一种只训练模型中少量额外参数就能微调大模型的技术，rank(秩)是控制这些额外参数规模的关键超参数。

团队只给Station的智能体留了一份简短背景，让它们自己去摸索这一现象，提示也仅限几个大方向，超参数敏感性分析、消融实验、机制诊断之类。

结果智能体摸出一条谁都没想到的规律：潜意识学习的效果与LoRA的秩呈倒U形。按常理，秩越大模型容量越大，传递效果该越好，可实测秩为32时猫的偏好概率是26.5%，秩为8时只有12.6%，秩再往上加到128，反而猛跌到4.8%。这个倒U形走向，和同期独立发表的Nief等人研究结论对上了。

智能体随后追问，秩越高传递效果为何越差。奇异值分解显示，只保留早期层LoRA更新中前几个主导的奇异模态，绝大部分传递效果就能留住。换句话说，特质传递靠的是少数几个学到的方向，并非整个适配器的全部容量。这一点同样和Nief等人的发现吻合。

再往前一步，智能体发现秩为128时失败的传递，可以靠只在早期层训练LoRA适配器来修复。这暗示着，适配后面的层反而会干扰

论文团队后来做了外部验证，把结论扩展到猫、鹰、猫头鹰、熊、蜻蜓五种特质。五种特质、两种秩设置下，只在早期层训练都比在全部层训练更有效地传递了目标特质，说明这个结论普适性相当强。

论文也坦白提到，Feng撰写的另一项后续研究发现，如果针对不同秩专门调整学习率，再喂足够的训练数据，这个倒U形关系就会消失。LoRA秩、微调层的选择、学习率、数据量之间究竟怎样共同影响特质传递，仍是个待解的问题。

第二个任务盯的是视觉语言模型的幻觉，也就是模型"看图说瞎话"。团队要求智能体区分两类幻觉：背景知识不足带来的知识性幻觉，错误解读视觉信息带来的内容性幻觉，并找出对这两类幻觉贡献不同的模型组件。

视觉语言模型(VLM)*：能同时处理图像和文本的AI模型，比如回答"这张图里有几只猫"这类需要结合视觉理解的问题。

智能体找到的干预办法简单得出人意料：在提示预填充阶段，把模型最后两层多层感知机的输出乘上0.5做衰减，内容性幻觉就明显减少。它们给出的解释是，削弱这些输出能压住语言先验盖过视觉证据的势头，让模型更愿意相信眼睛看到的，而不是语言模式里的套路。

这套干预原理和解释，与同期Guo等人发表的FADE论文高度一致。

团队在InternVL3.5-8B-Instruct模型上做了验证。一个40个样本的幻觉评估数据集上，基线正确率28/40，加入干预后升到35/40，多答对7道题。

随后团队又在一个随机抽取1000个样本的AMBER子集上做了更大规模的外部验证，把干预应用到四个不同的视觉语言模型。每个模型的准确率都有提升，幅度从0.8个百分点到13.7个百分点不等，Qwen3-VL-8B提升最大。团队还试了不同的衰减强度，衰减过猛（比如只保留25%的输出）反而伤性能，衰减到75%左右的温和强度效果最好。

这就像调音响的均衡器。某个频段盖过了人声，你把它稍微调低一点，人声反而更清楚；可要是把这个频段直接静音，整首歌就垮了。智能体找到的0.5倍衰减，恰好是那个"调低但不静音"的甜蜜点。

写在后面

读这篇论文时，有个细节让我反复琢磨了很久：研究团队请原论文作者盲审那24个与已知发现不重叠的提案，75%只拿到1到2分。这个数字其实比总体62.7%的复现率更能说明问题。

它说明的不是AI做得还不够好，而是AI在"选题"上和人类专家的审美差距，远比在"做实验"上的差距大。一个智能体可以把实验做得扎实、数据干净、逻辑自洽，可一旦选错问题，整个努力的方向性价值就大打折扣。这恰恰是科研里最难教、最吃经验的那部分能力，也是论文没能完全解决、却诚实地指了出来的一块。

另一个让我意外的地方，是元反思机制里那个"切换到GPT-5.5来做反思"的设计。这个细节透着一种很务实的工程态度：团队没假装所有模型都一样好用，而是承认不同模型在不同任务上确有差异，然后直接拿这种差异去解决问题。不纠结"统一性"、只盯着"有效性"，这套思路在很多别的系统设计里也值得借鉴。

潜意识学习那个任务里，智能体发现秩为128时失败的传递可以靠只训练早期层来修复。在我看来，这个结果比"复现了已知发现"更有意思。它说明Station不只是在验证已知的东西，确实在某些局部产生了超出已发表文献的新洞察，哪怕这个洞察还很局部，也还没经过完整的同行评审检验。

一个开放式问题或许会在未来反复被提起：当AI智能体真能在某个狭窄领域做出高于60%复现率的发现时，人类研究者该如何重新定义自己在科研流程中不可替代的那部分价值？是提出问题的直觉，还是判断一个发现是否重要的那种说不清道不明的"品味"？

Q&A

Q1：Station是什么，和其他AI科研系统有什么不同？

Station 是一个多智能体环境，模拟的是去中心化的科研生态：六个不同模型各自充当智能体，能独立提出研究方向、动手做实验、发表论文。AI Scientist-v2 这类系统靠中央控制器统一调度，Station 与它们不一样，更贴近真实学术界那种多个研究者各干各的、又彼此交流的状态。

Q2：Station加入的主管机制和元反思机制具体起什么作用？

主管机制规定，智能体要想换方向，得先对自己选定的研究方向坚持至少 60 个时间刻才能提出申请，免得一遇难题就临阵脱逃。元反思机制则每 50 个时间刻让智能体切到 GPT-5.5 模型，用外部专家的眼光重新掂量自己的研究有没有价值。两套机制一起起作用，重新发现率从 57.9% 升到 75.8%。

Q3：Station在开放式科研任务上的表现到底有多好？

在三个重新发现任务里，Station 平均复现了 62.7% 的原始发现。这三个任务均依据 ICLR 口头报告论文设计。作为对比，Codex Multiagent-v2 只达到 15.4%，AI Scientist-v2 则落在 14.4% 到 20.6% 之间。

另外两个探索性任务没有标准答案。Station 在这些任务中提出的新发现，与同期人类研究者独立发表的成果高度吻合。