ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差

资讯 36氪 全文 3475 字 · 约 9 分钟读完 配图 11 张

有人被要求解释「标准差」,有人收到AI味评语

机器学习顶会 ICLR 2027 的首轮评审意见这几天陆续放了出来。

对论文作者来说,这往往是个让人心里发紧的节点。几个月乃至一两年的工作,终于要交给同行去检验。审稿人会把方法、实验和理论推导逐一过一遍,把研究里真正站得住脚的问题挑出来。

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 1)

可今年有些研究者打开 OpenReview,看到的评审意见让人哭笑不得。

ICLR 2027 的同行评审,一时间在 AI 圈里成了一场大型吐槽现场。

有人让作者解释标准差,有人把 AI 提示词直接贴了上来

加州大学伯克利分校的 Hanchen Li 先开了个头。他发帖说,自己收到的一份 ICLR 评审意见里,对方要求他们解释什么是「standard deviation」(标准差)。他还打趣,这么一弄像是又坐回了高中课堂。

原帖没放出论文全文和评审的上下文,所以没法判断审稿人到底是想让作者补上统计定义,还是对论文里的具体用法有疑问。可这条帖子还是很快引来了讨论。

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 2)

另一位研究者 Ravid Shwartz Ziv 晒出的情况更有喜剧效果。他贴了三位审稿人的意见。第一位写的是:「The paper is well-written and addresses an important problem. However, the authors should consider additional baselines.」第二位几乎原封不动把这句话又重复了一遍。

到第三位,画风突变:「Certainly! Here is a review of the paper」,之后才进入正式评审内容。AI 生成文本那种对话开场白,这下连清理都没清理干净。

前两份评语像从同一个模板里复制出来的,第三份留下的 AI 生成痕迹更明显。让作者更无奈的是,这些意见最后都进了正式的同行评审流程。

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 3)

研究者 Konstantin Grotov 碰到的问题,则跟 AI 辅助写作有关。他说自己投给 ICLR 的论文收到了一条评审意见,矛头主要指向 AI 的使用情况。

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 4)

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 5)

问题在于,论文已经按规定披露了 AI 辅助写作。

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 6)

Grotov 后来解释,审稿人当然可以对 AI 使用提出质疑,但得拿出具体的技术论据,讲清楚这种使用怎样影响了论文的质量、研究结果或可信度。光因为论文用了 AI 就当成拒稿理由,显然不够。

下面这个案例更微妙一些。

研究者 Artur Chakhvadze 分享的一份评审意见里,审稿人坦白说自己专业背景不够,没法很好地评估这篇论文。

Chakhvadze 反倒给了认可:这位审稿人至少诚实承认了自己的能力边界。他还吐槽,自己见过不少评审连论文所在领域的基础知识都没搞明白,照样给出 3/4 的高信心评分。

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 7)

这条帖子引出了不同看法。有人觉得,审稿人主动说明自己不熟悉这个研究方向,已经比装懂、胡乱编造评审意见负责得多。也有人追问:专业背景既然不匹配,这篇论文当初为什么会分到他手上?Chakhvadze 随后补了一句:审稿人本人未必有错,真正该质疑的是分配和管理评审的流程。

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 8)

几条帖子看下来,问题其实各不一样:有人没把论文吃透,有人可能靠 AI 生成评语,还有人被分到了自己不熟的研究方向。这些最后都落到同一个问题上:作者拿到的评审意见,究竟能不能真正帮到学术判断?

AI 擅长找毛病,却未必知道什么毛病值得拒稿

这次讨论里,有一条观点尤其值得注意。

德克萨斯大学奥斯汀分校的 Jiaxin Pei 提到,2026 年让自己最头疼的审稿毛病,是 AI 审稿人好像搞不清论文的「局限性」和真正决定论文能否成立的「关键问题」这两者的区别。

在他看来,大语言模型能轻松给一篇论文挑出上百个局限性,哪怕是有史以来最出色的论文也不例外。可这并不代表这些论文就该被拒。这番话点出了 AI 介入同行评审时的一个明显短板:一篇科研论文几乎不可能面面俱到,实验规模也许有限,某些场景没有覆盖,方法可能依赖特定假设,理论分析的适用范围也可能受限。这些都属于正常的研究局限。

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 9)

真正决定一篇论文能否立住的,是这些局限有没有撼动它的核心贡献。审稿人当然可以要求补更多数据集、扩大模型规模、增加对照实验。但假如现有实验已足以支撑论文的核心结论,额外实验就未必能成为拒稿的理由。反过来说,要是论文最关键的实验设计有漏洞,或者理论推导中存在无法修补的错误,那其他部分写得再漂亮,论文也可能站不住。

这时候拼的是判断问题轻重的能力。大模型偏偏容易把这两件事搅在一起:它能不停罗列潜在问题,却未必分得清哪个问题真正影响研究结论。结果就是评审意见越写越长,要求补充的实验越提越多,真正决定论文质量的核心问题反倒被埋没了。

Jiaxin Pei 这条帖子让不少研究者产生了共鸣。有人指出,这种毛病正在渗入同行评审机制本身。如今每场 AI 学术会议上,似乎都会冒出一批审稿人:一边给论文打低分,一边又要求作者补充一些无关紧要的实验,或者只是对现有实验做点小修小补。

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 10)

也有人给出了一个很直接的判断标准:假如修复这个问题,论文的核心结论会不会变?如果答案是不会,那它可能只是个普通的局限性,而不是足以否定整篇论文的关键缺陷。这恰好是同行评审最需要的能力——知道什么值得关注,也知道什么可以接受。

结语

把这些案例放在一起看,ICLR 这次的争议就不只是审稿人水平的问题了。更大的背景在于,AI 正在同时改写学术研究的生产端和评价端。

同行评审本身就是一件高度依赖专业知识和时间投入的活。论文数量的增长速度,未必追得上专业审稿人的增长速度。ICLR 2027 项目主席团队此前就专门解释过这一点。9 月 2 日,该团队发布官方文章,分析了 AI 时代同行评审面临的新压力。

ICLR 2027首轮评审引吐槽:有审稿人问作者什么是标准差(配图 11)

https://blog.iclr.cc/2026/09/02/submission-policies-for-iclr-2027/

主席团队指出,机器学习领域近几年增长迅猛,新进入者的数量远远超过资深研究者,具备专业评审能力的人手可能跟不上投稿的增长。生成式 AI 又把论文生产的门槛进一步拉低,即使不熟悉某个研究领域的人,也能借助 AI 生成一份外观上像研究论文的稿件。与此同时,审稿人把评审工作交给 AI,也成了需要解决的新问题。

评审人手吃紧,ICLR 2027 为此拿出了多项办法,比如给投稿数量设上限、把互惠审稿机制拧得更紧。审稿义务同样加码:只要名字出现在 3 篇或更多投稿里,该作者就得审够至少 6 篇论文。此外,每篇投稿都要有至少一名符合规定资格的作者注册为审稿人,并答应评审至少 3 篇;若全部作者都不具备这一资格,则该要求可获豁免。

对 AI 的使用,ICLR 并未一律叫停,审稿人可以用大模型有限度地辅助撰写评审意见和元评审,但得负责任。条件摆得很清楚:用没用 AI 必须申报。只要用大模型生成或改动评审意见的任何部分,审稿人还要交上自己最初独立写出的论文评估,以及与模型交互的完整记录。若是多轮对话,每一轮的输入内容也得一并提供。

还有一条硬规定:AI 生成的评审若掺进虚假信息、幻觉或失实陈述,又或者评审本身就写得差,审稿人可能被认定未履行互惠审稿义务,从而挨纪律处分。处分方式包括把他作为作者的所有投稿直接拒掉,或者限制其今后向会议投稿。

眼下露面的只是 ICLR 第一轮评审意见。作者和审稿人的公开讨论会一直进行到 11 月 18 日,录用结果预计 12 月 16 日出炉。作者仍可对错误评审提出异议,审稿人也能依据新信息调整评分。

参考链接:

https://x.com/mbilgehanertan/status/2118760558854070637

https://x.com/jiaxin_pei/status/2118714662892327158

https://x.com/norpadon/status/2118896999709684071

https://x.com/lihanc02/status/2118843054975336646

https://x.com/kgrotov/status/2118695897890804071

https://x.com/ziv_ravid/status/2118718086920413494

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 科斯拉押注Coframe:AI让每个访客看到不同网页

    美国知名亿万富翁风险投资家维诺德 · 科斯拉认为,所有访客看到相同网页的时代即将过去。他最新投资的 AI 初创公司 Coframe 希望借助 AI 重塑互联网,为每位访客提供量身定制的网页。

    来源 IT之家
  2. 科斯拉押注Coframe:AI给每位访客定制网页,互联网要“活”起来

    IT之家 11 月 9 日消息,据《商业内幕》今天(9)日晚间报道,美国知名亿万富翁风险投资家维诺德 · 科斯拉认为,所有访客看到相同网页的时代即将过去。他最新投资的 AI 初创公司 Coframe 希望借助 AI 重塑互联网,为每位访客提供量身定制的网页。“AI 让高度个性化定制成为可能,整个世界都因此改变了。” C

    来源 AI 行业观察
  3. 科斯拉押注Coframe:AI要让每个访客看到不一样的网页

    IT之家 11 月 9 日消息,据《商业内幕》今天(9)日晚间报道,美国知名亿万富翁风险投资家维诺德 · 科斯拉认为,所有访客看到相同网页的时代即将过去。他最新投资的 AI 初创公司 Coframe 希望借助 AI 重塑互联网,为每位访客提供量身定制的网页。“AI 让高度个性化定制成为可能,整个世界都因此改变了。”Co

    来源 腾讯网
  4. 对美加征关税再调:24%税率续停两个月,10%维持

    国务院关税税则委员会11月9日发布关于调整对原产于美国进口商品加征关税措施的公告。根据公告,自2026年11月10日13时01分起,在2个月内继续暂停实施24%的对美加征关税税率,保留10%的对美加征关税税率。

    来源 TechWeb
向下滚动自动加载更多