936个AI智能体12周发936篇论文,还自建期刊搞同行评议
一个完全由AI组成的科学家社会,是什么样? 最近,来自alphaXiv、斯坦福,MIT等机构的研究团队还真做了这么一个实验: 他们把936个agent放进了同一个线上科研社区,任其自由演化整整12个星期。 规则很简单:研究团队搭建好共享预印本服务器和聊天室,35家人类实验室只负责提供算力、API预算和宽泛的研究方向。
一个清一色由AI构成的科学家社会,会是什么模样?
来自alphaXiv、斯坦福、MIT等机构的研究团队,最近就真做了这样一场实验:
他们把936个agent塞进同一个线上科研社区,让它们自由演化,整整持续12个星期。

规则并不复杂:团队先搭好共享预印本服务器和聊天室,35家人类实验室只出算力、API预算和宽泛的研究方向。
提出假设、写代码跑实验、分析数据、写论文,连同行交流也算在内,统统交由Agent自主完成。
12周下来,这近1000个agent在平台上累计发布936篇研究论文,覆盖机器学习、太阳物理等多个学科。
这还没完。它们还在229个自建聊天室里发出9500条讨论,天天读彼此的论文,复现实验。
发现问题时,它们会像人类学术共同体那样,拿对方的代码重跑实验,再顺着“同行”的结果往下探索。
越卷越远,这群Agent甚至自己办起一本学术期刊,搭出审稿机制,开始替其他AI的论文把关……
真·AI顶会~
除了上述实验结果,这个供Agent科学家交流的服务器眼下已经开放,其他研究者也能接入自己的Agent,在上面提交研究成果。
下面具体来看。
这个只有AI的科研社区,怎么运转?
整场实验模拟的是真实科学界的分布式生态:
35家参与的独立实验室各自配置硬件,挑选模型和运行框架,再接入同一个共享工作空间。

每家实验室可以自主选择领域与方向,再借公开的论文库和聊天室交流,寻找能接续的工作。
为了让不同实验室的研究彼此衔接,团队先立了一套共同的工作流程:
1、Agent动手之前必须先查阅社区已有论文,公开宣布自己的假设和计算计划。
在早期共享GPU的实验室里,它们还会在公共频道协调设备使用和参数测试,免得同行做无意义的重复跑批。
2、论文投出去的时候,每项研究都得把能跑的代码、原始数据一并交上来,另外还要附一份“声明账本”(Claim Ledger),用来把论文里的数字和实验输出对应起来。

有了这些记录,其他Agent能精确追溯每个指标对应的数据文件和字段,核查计算过程,并直接在此基础上运行后续实验。
这项实验刚起步是在8月19日,那时参与的实验室只有1家;从10月15日到25日,陆续又有5家实验室加入进来;10月25日之后,参与的实验室最终到了35家。
参与者一多,Agent们的交流也从最初的公共频道,逐步分流进围绕具体问题建立的主题聊天室。
在这里,它们随时分享中间结果、质疑实验设计,或者直接拿来同行的代码复现。
六家实验室此前就曾围绕同一个问题接力推进:模型在学习韩语时,怎样才能少忘掉英语。一个Agent报告说,某种方法能大幅减少遗忘;另一个很快在聊天室里指出,两种方法学到的韩语程度根本不同,比较条件压根没对齐。
收到反馈后,它马上重跑同行的代码,把对效果的判断修正了过来。后面的实验室顺着这条线继续挖原因、试替代方案,最后还有Agent把整条研究线的实验输出汇总到了一起。

更关键的一点在于,在这个Agent科学家社会里,“失败的研究”同样算作知识积累。平台规则给了严谨的负结果(阴性/零结果)与正结果同等的学术认可。别的Agent据此就能绕开已被证伪的死胡同,重复试错的成本大幅下降。
入驻的实验室越来越多,Agent的投稿量也随之水涨船高,Agent科学家们开始张罗更正式的质量审查。一个名叫Cypress的Agent发现,其他实验室短时间内上传了一批占位“水文”,便主动建起审稿聊天室,准备对投稿作出接收、修改或拒稿的决定。
等了四天,志愿审稿人一个也没招到,它索性拉起一个常设的大模型评审小组,正式启动《Journal of Agent Research》(简称JAR)。

评审小组会调用不同模型,分别把关方法与统计、可复现性、研究意义,还专门设了“反方质疑”角色。每一条批评都必须逐字引用论文原文,再由脚本自动核对引号内容,防止审稿AI瞎编。
仅11月4日至9日这5天,这套系统就为263项研究的352个版本生成了1408份审稿意见。不过,这种Agent审稿系统很快也碰上了麻烦:
有一回自动审稿中途停了,编辑AI顺手翻了三篇论文的代码:其中有的把答案提前漏了出去,还有的干脆拿正确答案顶掉错误结果。它马上让作者自己去查。另一个Agent也发现自己实验里答案泄漏,就主动把稿撤了。改完重跑一遍,模型准确率从91.7%掉到64.6%。

这也印证了一点:论文里的数字即便确实来自真实运行,底层代码实现仍可能背离论文描述。检查代码和原始数据,才是这个AI期刊真正发挥把关作用的核心环节。
talkless,show me your code!
Agent科研社区,产出成色如何?
这个Agent科研社区拿出的成果,水平究竟怎样?为了看清这批研究到底几斤几两,团队又从同期人类上传的4.7万多篇arXiv预印本里挑出题目相近的,凑成202对主题对得上的AI论文与人类论文,逐一比较,主要得出以下三方面结论:

第一,Agent论文在实验执行与方法说明上表现更扎实。在文本盲评中,Agent论文的实验严谨性、复现细节,以及结论与证据的匹配度得分均高于人类论文。
第二,人类论文在创新性和研究重要性上更胜一筹。
把数据拆开看,Agent 在总体均分上的那点微弱优势,基本集中在采用高度结构化复现流程的 1 号实验室;其余实验室的表现并没有明显超过人类论文。
alphaXiv 在推特上还提到,Agent 常常围着熟悉的话题和已有基准做小幅改进。它们做研究的能力,明显强过判断"哪些问题值得研究"的能力。

第三点,研究做完之后的质量筛选,依然要投入大量人工。
实验收尾后,alphaXiv 团队自己承认,他们还是花了很多时间把生成的论文通读一遍、核对结果,才从中挑出真正值得关注的工作。
换句话说,"可靠的研究质量信号,并没有自行出现。"研究虽然都是 AI 做的,但人类在这场实验里从头到尾都在场。
不过 alphaXiv 也说了,这次不少研究用的是小模型,实验时间也不算长。
接下来,团队想靠更充裕的算力、更长的实验时间,加上更好的科学判断力,让 Agent 去碰更有挑战性的课题。

参考链接[1]https://www.science.org/content/article/exclusive-i-got-eavesdrop-ai-agents-doing-science-it-was-eye-opening?referrer=https%3A%2F%2Ft.co%2F