alphaXiv上线AI Agent专属预印本服务器:936个Agent自组学术圈
有点不可思议,AI Agent 已经开始组团搞科研了。近日,alphaXiv 推出了一个专门面向 AI Agent 的预印本服务器,允许不同实验室的 Agent 在同一个平台上自主开展研究、交流成果。这些 Agent 会提出假设、设计实验、运行代码、分析数据,还会把研究成果写成论文,提交给其他 Agent 审查。更有意
说起来有点难以想象,AI Agent 现在已经开始组团做科研了。
近日,alphaXiv。
提出假设、设计实验、跑代码、分析数据,这些 Agent 都能做,还会把研究写成论文,交给别的 Agent 去审。
更耐人寻味的是,它们连自己的学术圈子都开始成形了。有 Agent 公开挑同行实验设计的毛病,有 Agent 发现错误后主动撤回了自己的研究结论,还有 Agent 干脆自己办期刊,让其他 Agent 来当审稿人。
地址:https://www.alphaxiv.org/abs/2611.society-ai-scientists
这场实验由全球 22 家机构的研究者共同组织,为期 12 周。期间,来自 35 个人类运营实验室的 936 个 AI Agent 在同一科研平台上自主开展研究,累计产出 936 项研究成果,交换约 9500 条消息,创建了 229 个讨论群组。
论文、实验代码、原始数据,连同同行评审和研究讨论的记录,整个流程都被完整留存了下来。
有网友表示,这就是
936 个 Agent,开始像科学家一样工作
实验的时间跨度是 2026 年 8 月 19 日到 11 月 12 日。
研究团队为 AI Agent 专门搭了一个
整个过程中,并没有把所有 Agent 塞进同一个统一的大模型里。
实际情况是,参与者分属不同实验室,各自用的模型、算力和研究方向都不一样。
有的 Agent 跑在只有 CPU 的笔记本上,有的用 AMD GPU,还有的能调用 研究方向覆盖
人类研究者主要管的是给算力、定预算、划出大致的研究主题。具体到研究假设怎么提、实验怎么设计、数据怎么分析,都是 Agent 自己推进。
每项研究都得配套交上可运行代码、原始数据,以及能把论文里报告的数字追溯到实际实验输出的记录。其他 Agent 可以接着查代码、读数据、复现实验,并在这个基础上做新的研究。
12 周下来,936 个 Agent 一共产出 936 项研究成果,相互之间交换了约 9500 条消息,还自发建起 229 个讨论群组。
一个由 AI Agent 组成的科研社区,雏形已经开始显现。
论文写得漂亮,不代表实验真的可靠
这项研究还揭出了一个容易被忽视的问题。
AI Agent 能写出逻辑完整、论证顺畅的论文,但论文读起来有说服力,不等于实验本身经得起推敲。
研究团队对不同审稿方式的有效性做了专门测试。
其中一组实验里,研究者准备了 16 篇存在实验缺陷的初稿,以及修正过、已公开披露相关局限的版本。
只看论文文本的评审者,在 16 篇初稿中找出了 11 篇的问题。可面对已经修正的版本,他们依然在 16 篇里指出了 10 篇有问题。
也就是说,光读论文文本,评审者很难分清哪些是真正藏起来的实验缺陷,哪些是已经公开说明的研究局限。
研究团队随后又换了个思路,让Agent自己去翻代码、查原始数据。
在《Journal of Agent Research》的评审环节里,一位客座编辑把43组论文中提出的276项质疑逐条写成可执行脚本,再拿提交上来的数据把分析重跑了一遍。
结果,156项重大质疑里有77项直接把论文的核心结论推翻,占49.4%;120项次要质疑中也有24项造成核心结论被推翻,占20%。
这组数字指向一件事:不少问题根本不会写进论文正文,只有动手查代码、重跑实验,那些藏起来的错误才会露出来。
研究团队还核查了论文里实验数字的出处。
能对上原始数据字段的统计数据共23,811项,其中93.8%与保存下来的实验输出完全一致。剩下的差异多与四舍五入、缩放或符号约定有关,在这批成功完成溯源的记录里,研究团队没有发现伪造的数值。
可这不等于实验本身就没问题。数字和输出对得上,只能说明报告里的数值有对应的实验记录,既不能保证代码严格实现了论文描述的方法,也证明不了实验设计已经把其他干扰因素排除在外。
AI科学家已经能发现新现象,但还不擅长提出好问题。
这场实验还带出了一些具体发现。
其中一项发现是,一个基础模型不改自己的权重,只借用经过强化学习训练的模型的
另一项发现是,模型能借助训练文本,把关于虚构人物及其所在城市的记忆事实传给其他模型,哪怕这些训练文本压根没提到相关人物或地点。
还有研究发现,删除某项事实最初对应的
单看这些发现,多数属于渐进式成果。不过研究团队认为,其中一些已经够格独立发展为
更受关注的是,部分Agent独立得出了与后来发表的人类研究论文相似的结果,涉及
这说明Agent已经能在一定程度上独立探索研究问题,并给出值得进一步验证的发现。
但这不代表它们已经具备成熟的科学思维。
研究团队把Agent论文和人类研究者的论文放在一起做了盲测比较。
实验挑了202组匹配论文,隐去作者和机构信息,再由两个大语言模型评审者按统一标准打分。
打分结果是,实验严谨性一项上Agent论文分数更高,平均9.02分,人类论文为7.00分。
但到了人类更看重的研究新颖性和重要性上,人类论文得分更高。
这里还有个重要细节。
Agent论文在实验严谨性上的整体优势,主要来自第一个采用结构化复现流程的实验室。其余34个实验室的论文与匹配的人类论文相比,并没有显著差异。
另外,这些分数出自大语言模型评审者,不是人类专家。评审者只能读论文文本,没法直接跑代码或核对图表。所以这组结果不能简单读成AI研究已经全面压过人类。
研究团队还点出了一个更根本的问题。
在已有研究的基础上提出假设、做实验、把前人的结果往前推,这些事Agent已经能做。可它们挑题目时往往往熟悉的方向靠,或者围着现成的基准测试做点小修小补。说到底,让它们研究一个已经摆出来的问题还行,判断哪个问题才真正值得研究,目前还不行。
整项实验最重要的结论之一就落在这里。科研这件事,不只是把实验跑完,还包括找出值得探索的问题、掂量一个结果重不重要、看清它对整个领域意味着什么。
这些环节眼下仍然离不开人类的深度参与。