ICLR 2027首轮评审引吐槽:有审稿人让作者解释标准差
机器之心编辑部这几天,机器学习顶会 ICLR 2027 的首轮评审意见陆续公开。对论文作者来说,这通常是一个颇为紧张的时刻。几个月甚至一两年的研究工作,终于要接受同行检验。审稿人会仔细检查方法、实验和理论推导,指出研究中真正存在的问题。但今年,一些研究者打开 OpenReview 后,看到的评审意见却让人有些哭笑不得。
最近,机器学习顶会 ICLR 2027 的第一轮审稿意见开始陆续放出来。
对论文作者而言,这往往是个挺紧张的节点。几个月乃至一两年的活儿,总算要交给同行去审。方法、实验、理论推导,都会被审稿人一项项细看,挑出研究里确实存在的问题。
[[保留3]]
可今年不少人打开 OpenReview,看到的评审意见让人哭笑不得。ICLR 2027 的同行评审,转眼成了 AI 圈里一场大规模的吐槽。
[[保留5]]
有人让作者解释标准差
有人把 AI 提示词直接贴了上来
[[保留7]]加州大学伯克利分校的 Hanchen Li 先被点了名。他发帖说,自己收到的 ICLR 评审意见里,对方要他们解释什么叫「standard deviation」(标准差)。他还打趣,这一下像是又坐回了高中课堂。
[[保留9]]
原帖并没贴出完整论文和评审上下文,审稿人到底是想让作者补上统计定义,还是对论文里具体的用法有疑问,从现有信息看不出来。
不过,这则帖子很快还是引来了大量围观。
Ravid Shwartz Ziv 晒出的情况更让人哭笑不得。他把三位审稿人的意见一并贴了出来。
头一位审稿人写的是:「The paper is well-written and addresses an important problem. However, the authors should consider additional baselines.」第二位审稿人几乎一字不差地把这句话又写了一遍。
轮到第三位,风格陡然一转:「Certainly! Here is a review of the paper」,之后才进入正儿八经的评审内容。连 AI 生成文本里常见的那种对话式开场白,都没被清理掉。
前两份评语像出自同一个模板,第三份则把 AI 生成的痕迹留得更明显。让作者更没脾气的是,这些意见最后全都进了正式的同行评审流程。
另一位研究者 Konstantin Grotov 碰到的问题,跟 AI 辅助写作有关。他说,自己投给 ICLR 的论文收到了一条评审意见,矛头主要指向 AI 的使用情况。
麻烦在于,这篇论文已经按要求披露了 AI 辅助写作。
Grotov 后来解释,审稿人当然有权对 AI 的使用提出质疑,但得给出具体的技术论据,讲清楚这种使用怎样影响了论文质量、研究结果或者可信度。光凭论文用了 AI 就当作拒稿理由,显然站不住脚。
再往下的一则案例,就更耐人寻味了。
研究者 Artur Chakhvadze 晒出了一份评审意见。写这份意见的审稿人直接承认,自己的专业背景不够,没法对这篇论文做出像样的评估。
Chakhvadze 反倒觉得这是好事——起码这位审稿人老实交代了自己的能力边界。他顺带抱怨,自己见过不少评审连论文所在领域的基础知识都没搞清楚,照样打出 3/4 的高信心分。
帖子下面意见不一。有人说,审稿人主动讲明自己不熟悉这个方向,总比不懂装懂、胡乱编一份意见要负责。也有人反问:专业背景对不上,这篇论文当初怎么就分到了他手上?Chakhvadze 后来补了一句,审稿人本身未必有错,该被追问的是分配和管理评审的那套流程。
几则帖子看下来,问题其实分好几种:有的没把论文读透,有的可能靠 AI 代写评语,还有的被分到了自己不熟的领域。归根到底都指向同一件事——作者收到的评审意见,究竟能不能支撑学术判断?
AI 擅长找毛病
却未必知道什么毛病值得拒稿
讨论中有一条观点格外扎眼。
德克萨斯大学奥斯汀分校的 Jiaxin Pei 说,2026 年最让他头疼的审稿毛病,是 AI 审稿人好像分不清论文的「局限性」和真正动摇论文根基的「关键问题」。
他的判断是,大语言模型随手就能给一篇论文列出上百个局限性,再优秀的经典论文也逃不掉。可这并不代表那些论文就该被拒。
这话戳中了 AI 参与同行评审的一处要害。科研论文几乎不可能面面俱到:实验规模或许偏小,有些场景没覆盖到,方法可能依赖特定假设,理论分析的适用范围也有限。这些都是研究里再正常不过的局限。
论文能不能立住,关键要看这些局限是否动摇了核心贡献。
审稿人要求作者补更多数据集、扩大模型规模、加做对照实验,这本身没问题。可要是现有实验已经够支撑论文的核心结论,额外实验就未必能成为拒稿的理由。反过来说,最关键的实验设计有漏洞,或者理论推导里存在修不好的错误,那其他部分写得再漂亮,论文也可能站不住。
真正考验的是判断问题轻重的能力。大模型偏偏容易把这两件事搅在一起:它能一条接一条地列出潜在问题,却未必分得清哪个问题才真正影响研究结论。结果就是评审意见越写越长,要求补的实验越来越多,决定论文质量的核心问题反倒被埋没了。
Jiaxin Pei 的这条帖子,让不少研究者产生了共鸣。
有人指出,这种毛病正在渗进同行评审机制本身。现在每场 AI 学术会议上,似乎都会冒出这么一批审稿人:一边给论文打低分,一边又要求作者补做新实验,而这些实验要么无关紧要,要么只是对现有实验做点小修小补。
也有人给出了一个很直接的判断标准:假如把这个问题修好,论文的核心结论会变吗?答案是否定的,那它可能只是个普通的局限性,算不上能否定整篇论文的关键缺陷。知道什么值得关注、什么可以接受,恰恰是同行评审最需要的能力。
结语
把这些案例摆到一起看,ICLR 这次的争议就不只是审稿人水平的问题了。
更大的背景在于,AI 正在同时改写学术研究的生产端和评价端。
同行评审这件事,高度依赖专业知识和时间投入。论文数量的增速,未必是专业审稿人的增速能追上的。ICLR 2027 项目主席团队此前就专门解释过这一点:9 月 2 日,该团队发布官方文章,分析了 AI 时代同行评审面临的新压力。
https://blog.iclr.cc/2026/09/02/submission-policies-for-iclr-2027/
机器学习领域这几年扩张很快,新入行的人比资深研究者多得多,能扛专业评审的人手恐怕追不上投稿量的上涨,这是ICLR 2027项目主席团队给出的判断。生成式AI又把写论文的门槛压低了:哪怕对某个研究方向并不熟,也能靠AI攒出一篇看上去像模像样的稿子。另一边,审稿人把评审活交给AI,同样成了待解的难题。
评审资源吃紧,ICLR 2027为此摆出一套办法:限制投稿数量,强化互惠审稿制度。审稿义务也收得更紧——名字出现在3篇及以上投稿里的作者,至少要审够6篇论文;每篇投稿还得有至少一位符合规定资格的作者注册成审稿人,并承诺评审至少3篇。要是所有作者都不具备相应资格,这项要求可以豁免。
对AI,ICLR没有一刀切禁止,审稿人可以用大模型辅助撰写评审意见和元评审,但得有限度、负责任。前提写得很清楚:用了就要披露。只要大模型参与生成或修改评审意见的任何部分,审稿人还得交出自己最初独立写的那份论文评估,以及与大模型的全部交互记录;多轮对话的,各轮输入内容也要一并提供。
规则里还写明,AI生成的评审若含虚假信息、幻觉或失实陈述,或者评审本身质量差,审稿人可能被认定没履行互惠审稿义务,从而受到纪律处分。处罚手段包括把他作为作者参与的全部投稿直接拒掉,或者限制其今后向会议投稿。
眼下公开的只是ICLR首轮评审意见。作者和审稿人的公开讨论会持续到11月18日,最终录用结果预计12月16日公布。作者仍可对错误评审提出质疑,审稿人也能依据新信息改动自己的评分。
参考链接:
https://x.com/mbilgehanertan/status/2118760558854070637
https://x.com/jiaxin_pei/status/2118714662892327158
https://x.com/norpadon/status/2118896999709684071
https://x.com/lihanc02/status/2118843054975336646
https://x.com/kgrotov/status/2118695897890804071
https://x.com/ziv_ravid/status/2118718086920413494