ICLR 2027首轮评审意见公开:有人要求作者解释标准差
ICLR 2027首轮评审,槽点有点多
对论文作者而言,这往往是个挺让人揪心的节点。几个月乃至一两年的研究,到了接受同行检验的时候。方法、实验、理论推导,审稿人都会逐项细看,把研究里真存在的问题挑出来。
[[保留1]]
[[保留2]]
[[保留3]]
[[保留4]]
可今年不少人打开 OpenReview,看到的评审意见让人哭笑不得。ICLR 2027 的同行评审,一时间成了 AI 圈里一场大规模的吐槽现场。
有人让作者解释标准差
有人把 AI 提示词直接贴了上来
先看加州大学伯克利分校的 Hanchen Li。他发帖说,自己收到的一份 ICLR 评审意见里,对方要求他们解释什么是「standard deviation」(标准差)。他还打趣道,这下像是又回到了高中课堂。
不过,原帖并未附上论文全文与评审的具体语境,因此审稿人到底是想让作者补一段统计定义,还是对文中某一处用法有疑问,外界无从判断。
帖子发出后,讨论很快升温。
研究者 Ravid Shwartz Ziv 晒出的情况更带喜剧色彩。他贴了三位审稿人的意见:第一位写的是「The paper is well-written and addresses an important problem. However, the authors should consider additional baselines.」,第二位几乎一字不差地照搬了同一句。
第三位画风突变,开口就是「Certainly! Here is a review of the paper」,之后才进入正式评审内容——连 AI 生成文本惯用的对话开场白都没删干净。前两份像同一个模板复制出来的,第三份留下的 AI 痕迹更明显。让作者无奈的是,这些意见最后都进了正式的同行评审流程。
研究者 Konstantin Grotov 撞上的问题则跟 AI 辅助写作有关。他说,自己投给 ICLR 的论文收到了一条评审意见,主要冲着 AI 使用情况而来。
问题在于,这篇论文此前已经按要求把 AI 辅助写作的情况披露清楚了。
Grotov 之后解释,审稿人当然可以质疑 AI 的使用,但得给出具体的技术论据,说明这种使用究竟怎样影响了论文质量、研究结果或可信度。光凭论文用了 AI 就当作拒稿理由,显然站不住脚。
接下来的案例更微妙一些。
研究者 Artur Chakhvadze 晒出一份评审意见,里面审稿人承认自己专业背景不够,没法很好地评估这篇论文。
Chakhvadze 反倒表示认可:这位审稿人至少诚实承认了自己的能力边界。他同时吐槽,自己见过不少评审连论文所在领域的基础知识都没弄明白,却照样给出 3/4 的高信心评分。
帖子下面出现了不同声音。有人觉得,审稿人主动说明自己不熟悉这个研究方向,比装懂、胡乱编造评审意见要负责任得多。也有人追问:专业背景既然不匹配,这篇论文一开始怎么会被分给他?Chakhvadze 后来补充说,审稿人本人未必有错,真正该质疑的是分配和管理评审的流程。
几类帖子反映的问题各不一样:有的审稿人压根没吃透论文,有的评语像是交给 AI 代笔,还有人的研究方向跟被分配的论文对不上号。绕到最后都归结到一点——作者收到的评审意见,真能用来做学术判断吗?
AI 找问题很在行,可哪些问题够得上拒稿,它未必拎得清。
讨论里有一条看法格外扎眼。
德克萨斯大学奥斯汀分校的 Jiaxin Pei 说,2026 年让他最头疼的审稿毛病,是 AI 审稿人好像分不清论文的「局限性」和真正动摇论文成立根基的「关键问题」。
他的意思是,大语言模型随随便便就能给一篇论文挑出上百条局限性,哪怕历史上最出色的论文也逃不掉。可挑出这些,并不代表论文就该被拒。
这话戳中了 AI 参与同行评审的一处要害。科研论文想做到面面俱到几乎不可能:实验规模也许有限,有些场景没覆盖到,方法可能建立在特定假设上,理论分析的适用范围也可能有限。这些都属于正常的研究局限。
真正决定一篇论文能不能站的,是这些局限有没有撼动它的核心贡献。
审稿人当然可以提要求,让作者补更多数据集、更大模型规模、更多对照实验。但假如现有实验已经够支撑论文的核心结论,多加的实验就未必能当成拒稿理由。反过来说,论文最关键的实验设计要是漏了,或者理论推导里有补不上的错,别的部分写得再漂亮,也可能立不住。
这里考的是判断问题轻重的能力,大模型偏偏容易把两件事搅在一起。它能一条接一条地列潜在问题,却未必分得清哪条才真正影响研究结论。评语于是越写越长,要补的实验越提越多,真正决定论文成色的核心问题反倒被埋了。
Jiaxin Pei 这条帖子引来不少研究者附和。
有人提到,这类毛病已经蔓延到同行评审环节本身。眼下几乎每场 AI 学术会议都会冒出这样一批审稿人:论文拿到的是偏低的分数,可他们又要求作者补做一批实验,而这些实验要么无关紧要,要么只是在现有结果上做点小修小补。
也有人给出了一条很直白的判断标准:假如把这个问题修好,论文的核心结论会不会变?答案要是否定的,那它大概只算一处普通的局限性,够不上否定整篇论文的关键缺陷。同行评审最需要的能力正在这里——既清楚什么值得盯住,也清楚什么可以放过。
结语
把这些案例摆到一处看,ICLR 这回的争议就不只是审稿人水平高低的问题了。
往大处说,AI 正在同时改写学术研究的生产端和评价端。
同行评审这件事,高度依赖专业判断和实打实的时间投入。论文数量的涨速,未必能等来足够多的专业审稿人。ICLR 2027 项目主席团队此前就专门谈过这一点:9 月 2 日,该团队发布官方文章,分析了 AI 时代同行评审承受的新压力。
https://blog.iclr.cc/2026/09/02/submission-policies-for-iclr-2027/
主席团队提到,机器学习这几年扩张很快,新入行的人比资深研究者多得多,能担起专业评审的人手恐怕追不上投稿量的涨幅。生成式 AI 又把写论文的门槛压得更低:哪怕对某个方向并不熟悉,也能靠 AI 攒出一篇看着像模像样的稿子。另一边,审稿人把评审活交给 AI,同样成了待解的新麻烦。
评审资源吃紧,ICLR 2027 为此拿出了一揽子办法,限制投稿数量、强化互惠审稿制度都在其中。审稿义务也收得更紧:名字出现在 3 篇及以上投稿里的作者,至少要审够 6 篇论文。每篇投稿还得有至少一位符合规定资格的作者注册为审稿人,并承诺评审至少 3 篇。要是所有作者都不具备相应资格,这项要求可以豁免。
ICLR 并未一刀切禁止审稿人用大模型,而是允许有限度、负责任地借助 AI 撰写评审意见和元评审。前提说得很清楚:用没用 AI,必须披露。只要评审意见的任何部分由大模型生成或修改,审稿人还要交上自己最初独立写出的论文评估,以及与大模型的全部交互记录;多轮对话的,各轮输入内容也得一并提供。
规则还写明,AI 生成的评审若掺入虚假信息、幻觉或失实陈述,或者评审本身质量不达标,审稿人可能被认定为未履行互惠审稿义务而受纪律处分。处罚手段包括把他作为作者的全部投稿直接拒掉,或者限制其今后向会议投稿。
眼下公开的只是 ICLR 首轮评审意见。作者和审稿人的公开讨论会一直持续到 11 月 18 日,最终录用决定预计 12 月 16 日出炉。作者仍可对出错的意见提出质疑,审稿人也能依据新信息改动评分。
参考链接:
https://x.com/mbilgehanertan/status/2118760558854070637
https://x.com/jiaxin_pei/status/2118714662892327158
https://x.com/norpadon/status/2118896999709684071
https://x.com/lihanc02/status/2118843054975336646
https://x.com/kgrotov/status/2118695897890804071
https://x.com/ziv_ravid/status/2118718086920413494