alphaXiv上线AI Agent预印本服务器:Agent可自主评审论文?
刚刚,alphaXiv甩出Al Agent专属预印本服务器
近日,alphaXiv 上线了一个预印本服务器,专门面向 AI Agent。不同实验室的 Agent 可以在同一个平台上自主开展研究、交流成果。
提出假设、设计实验、运行代码、分析数据,这些 Agent 都会做;研究成果写成论文后,它们还会提交给其他 Agent 审查。
它们甚至开始形成自己的学术圈子。有的 Agent 公开质疑同行的实验设计,有的在发现错误后主动撤回研究结论,还有的自己创办期刊,让其他 Agent 担任审稿人。
这些 Agent 会提出假设、设计实验、运行代码、分析数据,还会把研究成果写成论文,提交给其他 Agent 审查。
地址:https://www.alphaxiv.org/abs/2611.society-ai-scientists
12周的实验里,全球22家机构的研究者都参与进来。35个人类运营实验室派出的936个AI Agent在同一科研平台上自主做研究,累计拿出936项研究成果,互发约9500条消息,还建了229个讨论群组。
论文、实验代码、原始数据,连同同行评审意见和研究讨论记录,整个流程都被完整留存。本文含视频,请点上方「查看原文」在来源页观看。
有网友评论说,这就是智能爆炸(Intelligence Explosion)开始时的样子,完全自主的科学研究(Fully Autonomous Science)正变成现实;要是把规模扩到数百万乃至数十亿个Agent,后果难以预料。新一代AI持续进化,每一代Agent的能力都会更强,而这只是一个组织做的一个项目。
936个Agent,开始像科学家一样工作
实验从2026年8月19日跑到11月12日。研究团队专门为AI Agent搭了一个预印本服务器,还配了消息和讨论空间。各家实验室把自己的Agent接进平台,让它们自主研究、发布成果,并与其他Agent交流。
整个过程中,Agent并没有被集中进一个统一的超级模型。参与者来自不同实验室,用的模型、算力资源和研究方向都不一样。
有的Agent跑在只有CPU的笔记本上,有的用AMD GPU,还有的能调用NVIDIA B200集群。研究方向包括机制可解释性、持续学习、语言模型微调、太阳物理学等。
人类研究者管的是算力、预算这些事,再圈定一个大致的题目方向。至于提出什么假设、怎么设计实验、数据怎么分析,全交给Agent自己推进。每项研究都得附上能跑的代码、原始数据,还要有把论文里每个数字追溯到真实实验输出的记录。别的Agent可以接着查代码、读数据、复现实验,再在这基础上做新研究。
12周下来,936个Agent一共拿出936项研究成果,相互之间发了约9500条消息,还自己拉起了229个讨论群组。一个由AI Agent组成的科研社区,轮廓已经出来了。
论文写得漂亮,实验未必靠得住
这项研究还翻出一个常被忽视的环节。Agent能写出逻辑完整、论证顺溜的论文,可读起来有说服力,不等于实验本身没毛病。
研究团队专门试了不同审稿方式管不管用。有一组实验里,他们备了16篇实验存在缺陷的初稿,另外还有修正过、已经把相关局限公开说明的版本。
只看论文文本的评审者,从16篇初稿里挑出了11篇的问题。换成修正后的版本,它们还是在16篇里点了10篇有问题。可见光读文本,评审者很难分清哪些是真正藏着的实验缺陷、哪些是已经公开讲明的局限。
接下来,研究团队又试着让Agent直接去查代码和原始数据。
在《Journal of Agent Research》的评审环节里,43 组论文中的 276 项质疑被一位客座编辑写成了可执行脚本,随后在提交的数据上重新跑了一遍分析。
在 156 项重大质疑当中,最终被推翻的论文核心结论有 77 项,占 49.4%;120 项次要质疑里,也有 24 项让核心结论站不住脚,占比 20%。这些数字指向一件事:不少研究问题藏在论文文字之外,不翻代码、不重跑实验,就难以暴露出来。
研究团队还核查了论文中实验数字的出处。能对应到原始数据字段的 23,811 项统计数据里,93.8% 与保存下来的实验输出完全吻合。剩下的差异大多出在四舍五入、缩放或符号约定上,这批顺利完成溯源的记录中,团队没有发现伪造数值。
当然,这只说明报告里的数字有实验记录可查。它保证不了代码严格按论文描述的方法执行,也证明不了实验设计已经排除其他干扰因素,实验本身是否一定正确,还谈不上。
AI 科学家已经能发现新现象,但还不擅长提出好问题
这场实验也带来了一些具体的研究发现。
其中一项发现是:一个基础模型不改动自身权重,只借用经过强化学习训练的模型的 Prompt Cache,就在 MATH-500 基准测试中复现了后者 86% 的性能提升。另一项发现则是,模型可以借训练文本,把关于虚构人物及其所在城市的记忆事实传给其他模型,即便这些训练文本本身并未提到相关人物或地点。
还有研究显示,删掉某项事实最初对应的 KV Cache 条目后,只要训练一个小型读取适配器,模型仍能从缓存其他位置残留的信息里把这些事实找回来。在合成列表测试中,准确恢复比例达到 83% 至 94%。
单独看,这些发现大多属于渐进式成果。不过研究团队认为,其中一些已经有潜力独立写成 arXiv 论文。
另有一处更值得留意:有些Agent靠自己跑出了和后来人类论文相近的结论,涉及自蒸馏的失效模式,也涉及机制可解释性里的特征可复现性。
这说明Agent在一定程度上已能独立摸索研究问题,并给出值得进一步验证的发现。不过,这不等于它们已经具备成熟的科学思维。
研究团队做了一次盲测,把Agent论文与人类研究者的论文放在一起比。实验挑了202组匹配论文,隐去作者和机构信息,交给两个大语言模型评审者按统一标准打分。
打分结果是:实验严谨性一项,Agent论文平均9.02分,人类论文7.00分。但到了人类更看重的研究新颖性和重要性上,人类论文得分更高。
这里有个重要细节。Agent论文在实验严谨性上的整体优势,主要来自第一个采用结构化复现流程的实验室;其余34个实验室的论文与匹配的人类论文相比,并没有显著差异。
另外,这些分数出自大语言模型评审者,不是人类专家。评审者只能读论文文本,没法直接跑代码,也看不了图表。所以这组结果不能简单理解成AI研究已经全面超过人类。
研究团队还点出一个更根本的问题:Agent能围绕已有研究提假设、做实验,在前人结果上继续往前推,但它们往往挑熟悉的研究主题,或者围着已有基准测试做小幅改进。
会研究一个已经被提出的问题,这它们拿手;什么问题真值得研究,它们还判断不了。
整项实验里,这一点算得上最重要的结论之一。
科研能力不只看能不能把实验跑完。发现值得探索的问题、判断一个结果重不重要、弄清它对整个领域意味着什么,同样算在里面。
眼下这些活儿,还离不开人类深度参与。