ICLR 2027首轮评审意见公开:有人要求作者解释标准差

资讯 AI 行业观察 全文 3483 字 · 约 9 分钟读完 配图 13 张

ICLR 2027首轮评审,槽点有点多

ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 1)
这几天,机器学习顶会 ICLR 2027 的首轮评审意见陆续公开。

对论文作者而言,这往往是个挺让人揪心的节点。几个月乃至一两年的研究,到了接受同行检验的时候。方法、实验、理论推导,审稿人都会逐项细看,把研究里真存在的问题挑出来。


[[保留1]]


ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 2)


[[保留2]]


[[保留3]]


[[保留4]]

可今年不少人打开 OpenReview,看到的评审意见让人哭笑不得。ICLR 2027 的同行评审,一时间成了 AI 圈里一场大规模的吐槽现场。


有人让作者解释标准差


有人把 AI 提示词直接贴了上来


先看加州大学伯克利分校的 Hanchen Li。他发帖说,自己收到的一份 ICLR 评审意见里,对方要求他们解释什么是「standard deviation」(标准差)。他还打趣道,这下像是又回到了高中课堂。


ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 3)


不过,原帖并未附上论文全文与评审的具体语境,因此审稿人到底是想让作者补一段统计定义,还是对文中某一处用法有疑问,外界无从判断。


帖子发出后,讨论很快升温。


研究者 Ravid Shwartz Ziv 晒出的情况更带喜剧色彩。他贴了三位审稿人的意见:第一位写的是「The paper is well-written and addresses an important problem. However, the authors should consider additional baselines.」,第二位几乎一字不差地照搬了同一句。



第三位画风突变,开口就是「Certainly! Here is a review of the paper」,之后才进入正式评审内容——连 AI 生成文本惯用的对话开场白都没删干净。前两份像同一个模板复制出来的,第三份留下的 AI 痕迹更明显。让作者无奈的是,这些意见最后都进了正式的同行评审流程。



ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 4)


研究者 Konstantin Grotov 撞上的问题则跟 AI 辅助写作有关。他说,自己投给 ICLR 的论文收到了一条评审意见,主要冲着 AI 使用情况而来。


ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 5)
ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 6)


问题在于,这篇论文此前已经按要求把 AI 辅助写作的情况披露清楚了。


ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 7)


Grotov 之后解释,审稿人当然可以质疑 AI 的使用,但得给出具体的技术论据,说明这种使用究竟怎样影响了论文质量、研究结果或可信度。光凭论文用了 AI 就当作拒稿理由,显然站不住脚。


接下来的案例更微妙一些。


研究者 Artur Chakhvadze 晒出一份评审意见,里面审稿人承认自己专业背景不够,没法很好地评估这篇论文。


Chakhvadze 反倒表示认可:这位审稿人至少诚实承认了自己的能力边界。他同时吐槽,自己见过不少评审连论文所在领域的基础知识都没弄明白,却照样给出 3/4 的高信心评分。


ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 8)


帖子下面出现了不同声音。有人觉得,审稿人主动说明自己不熟悉这个研究方向,比装懂、胡乱编造评审意见要负责任得多。也有人追问:专业背景既然不匹配,这篇论文一开始怎么会被分给他?Chakhvadze 后来补充说,审稿人本人未必有错,真正该质疑的是分配和管理评审的流程。


ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 9)


几类帖子反映的问题各不一样:有的审稿人压根没吃透论文,有的评语像是交给 AI 代笔,还有人的研究方向跟被分配的论文对不上号。绕到最后都归结到一点——作者收到的评审意见,真能用来做学术判断吗?


AI 找问题很在行,可哪些问题够得上拒稿,它未必拎得清。


讨论里有一条看法格外扎眼。


德克萨斯大学奥斯汀分校的 Jiaxin Pei 说,2026 年让他最头疼的审稿毛病,是 AI 审稿人好像分不清论文的「局限性」和真正动摇论文成立根基的「关键问题」。


他的意思是,大语言模型随随便便就能给一篇论文挑出上百条局限性,哪怕历史上最出色的论文也逃不掉。可挑出这些,并不代表论文就该被拒。


ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 10)


这话戳中了 AI 参与同行评审的一处要害。科研论文想做到面面俱到几乎不可能:实验规模也许有限,有些场景没覆盖到,方法可能建立在特定假设上,理论分析的适用范围也可能有限。这些都属于正常的研究局限。


真正决定一篇论文能不能站的,是这些局限有没有撼动它的核心贡献。


审稿人当然可以提要求,让作者补更多数据集、更大模型规模、更多对照实验。但假如现有实验已经够支撑论文的核心结论,多加的实验就未必能当成拒稿理由。反过来说,论文最关键的实验设计要是漏了,或者理论推导里有补不上的错,别的部分写得再漂亮,也可能立不住。


这里考的是判断问题轻重的能力,大模型偏偏容易把两件事搅在一起。它能一条接一条地列潜在问题,却未必分得清哪条才真正影响研究结论。评语于是越写越长,要补的实验越提越多,真正决定论文成色的核心问题反倒被埋了。


Jiaxin Pei 这条帖子引来不少研究者附和。


有人提到,这类毛病已经蔓延到同行评审环节本身。眼下几乎每场 AI 学术会议都会冒出这样一批审稿人:论文拿到的是偏低的分数,可他们又要求作者补做一批实验,而这些实验要么无关紧要,要么只是在现有结果上做点小修小补。


ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 11)


也有人给出了一条很直白的判断标准:假如把这个问题修好,论文的核心结论会不会变?答案要是否定的,那它大概只算一处普通的局限性,够不上否定整篇论文的关键缺陷。同行评审最需要的能力正在这里——既清楚什么值得盯住,也清楚什么可以放过。


结语


把这些案例摆到一处看,ICLR 这回的争议就不只是审稿人水平高低的问题了。


往大处说,AI 正在同时改写学术研究的生产端和评价端。


同行评审这件事,高度依赖专业判断和实打实的时间投入。论文数量的涨速,未必能等来足够多的专业审稿人。ICLR 2027 项目主席团队此前就专门谈过这一点:9 月 2 日,该团队发布官方文章,分析了 AI 时代同行评审承受的新压力。


ICLR 2027首轮评审意见公开:有人要求作者解释标准差(配图 12)

https://blog.iclr.cc/2026/09/02/submission-policies-for-iclr-2027/


主席团队提到,机器学习这几年扩张很快,新入行的人比资深研究者多得多,能担起专业评审的人手恐怕追不上投稿量的涨幅。生成式 AI 又把写论文的门槛压得更低:哪怕对某个方向并不熟悉,也能靠 AI 攒出一篇看着像模像样的稿子。另一边,审稿人把评审活交给 AI,同样成了待解的新麻烦。


评审资源吃紧,ICLR 2027 为此拿出了一揽子办法,限制投稿数量、强化互惠审稿制度都在其中。审稿义务也收得更紧:名字出现在 3 篇及以上投稿里的作者,至少要审够 6 篇论文。每篇投稿还得有至少一位符合规定资格的作者注册为审稿人,并承诺评审至少 3 篇。要是所有作者都不具备相应资格,这项要求可以豁免。



ICLR 并未一刀切禁止审稿人用大模型,而是允许有限度、负责任地借助 AI 撰写评审意见和元评审。前提说得很清楚:用没用 AI,必须披露。只要评审意见的任何部分由大模型生成或修改,审稿人还要交上自己最初独立写出的论文评估,以及与大模型的全部交互记录;多轮对话的,各轮输入内容也得一并提供。


规则还写明,AI 生成的评审若掺入虚假信息、幻觉或失实陈述,或者评审本身质量不达标,审稿人可能被认定为未履行互惠审稿义务而受纪律处分。处罚手段包括把他作为作者的全部投稿直接拒掉,或者限制其今后向会议投稿。


眼下公开的只是 ICLR 首轮评审意见。作者和审稿人的公开讨论会一直持续到 11 月 18 日,最终录用决定预计 12 月 16 日出炉。作者仍可对出错的意见提出质疑,审稿人也能依据新信息改动评分。


参考链接:

https://x.com/mbilgehanertan/status/2118760558854070637

https://x.com/jiaxin_pei/status/2118714662892327158

https://x.com/norpadon/status/2118896999709684071

https://x.com/lihanc02/status/2118843054975336646

https://x.com/kgrotov/status/2118695897890804071

https://x.com/ziv_ravid/status/2118718086920413494


图片


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. ICLR 2027首轮评审引吐槽:有审稿人让作者解释标准差

    机器之心编辑部这几天,机器学习顶会 ICLR 2027 的首轮评审意见陆续公开。对论文作者来说,这通常是一个颇为紧张的时刻。几个月甚至一两年的研究工作,终于要接受同行检验。审稿人会仔细检查方法、实验和理论推导,指出研究中真正存在的问题。但今年,一些研究者打开 OpenReview 后,看到的评审意见却让人有些哭笑不得。

    来源 腾讯网
  2. 埃森哲报告被指15条引用造假:AI幻觉还是编造案例?

    IT之家 11 月 8 日消息,埃森哲(Accenture)被指发布了一份充斥人工智能“幻觉”的研究报告,其中不仅包含大量虚假信息,还出现了多处疑似捏造的研究案例。据 GPTZero 最新分析,这家咨询巨头发布的一份报告涉嫌包含 15 条虚假引用,以及完全虚构的案例研究,因此正受到外界审查。这份名为《跨越式发展》(Le

    来源 腾讯网
  3. 张朝阳谈AI:搜狐做不起大模型,机会藏在不被注意处

    IT之家 11 月 6 日消息,据中国蓝新闻、第一财经日报报道,在本周的 2026 世界互联网大会乌镇峰会上,搜狐创始人、董事局主席兼首席执行官张朝阳坦言,承认自己“错过移动互联网”。相比大量企业对于 AI 的大规模投资,搜狐似乎显得很“冷静”。张朝阳对此表示,自己不是冷静,其实是一种清醒的选择,因为错过移动互联网,.

    来源 腾讯网
  4. 3年投资过亿,东方甄选发布自营新会陈皮

    东方甄选举办“五真陈皮·三年之约”发布会,正式发布自营新会陈皮,并同步发布《东方甄选五真陈皮标准》。据悉,发布会现场封印的首批新会柑皮约定将于三年后启封,作为兑现“三年陈化”承诺的公开见证,按照《东方甄选五真陈皮标准》留存溯源信息,相关品控投入也将随陈化周期持续接受检验。

    来源 TechWeb
  5. 东方甄选推自营新会陈皮:3年投入过亿,首批柑皮三年后启封

    东方甄选举办“五真陈皮·三年之约”发布会,正式发布自营新会陈皮,并同步发布《东方甄选五真陈皮标准》。据悉,发布会现场封印的首批新会柑皮约定将于三年后启封,作为兑现“三年陈化”承诺的公开见证,按照《东方甄选五真陈皮标准》留存溯源信息,相关品控投入也将随陈化周期持续接受检验。

    来源 TechWeb
向下滚动自动加载更多