ICLR 2027首轮评审引吐槽:有审稿人让作者解释标准差

资讯 腾讯网 作者:腾讯网 全文 3487 字 · 约 9 分钟读完 分类学术研究

机器之心编辑部这几天,机器学习顶会 ICLR 2027 的首轮评审意见陆续公开。对论文作者来说,这通常是一个颇为紧张的时刻。几个月甚至一两年的研究工作,终于要接受同行检验。审稿人会仔细检查方法、实验和理论推导,指出研究中真正存在的问题。但今年,一些研究者打开 OpenReview 后,看到的评审意见却让人有些哭笑不得。

所属频道 前沿研究
[[保留1]]

最近,机器学习顶会 ICLR 2027 的第一轮审稿意见开始陆续放出来。


对论文作者而言,这往往是个挺紧张的节点。几个月乃至一两年的活儿,总算要交给同行去审。方法、实验、理论推导,都会被审稿人一项项细看,挑出研究里确实存在的问题。



[[保留3]]


可今年不少人打开 OpenReview,看到的评审意见让人哭笑不得。ICLR 2027 的同行评审,转眼成了 AI 圈里一场大规模的吐槽。


[[保留5]]

有人让作者解释标准差


有人把 AI 提示词直接贴了上来


[[保留7]]加州大学伯克利分校的 Hanchen Li 先被点了名。他发帖说,自己收到的 ICLR 评审意见里,对方要他们解释什么叫「standard deviation」(标准差)。他还打趣,这一下像是又坐回了高中课堂。


[[保留9]]



原帖并没贴出完整论文和评审上下文,审稿人到底是想让作者补上统计定义,还是对论文里具体的用法有疑问,从现有信息看不出来。


不过,这则帖子很快还是引来了大量围观。


Ravid Shwartz Ziv 晒出的情况更让人哭笑不得。他把三位审稿人的意见一并贴了出来。


头一位审稿人写的是:「The paper is well-written and addresses an important problem. However, the authors should consider additional baselines.」第二位审稿人几乎一字不差地把这句话又写了一遍。


轮到第三位,风格陡然一转:「Certainly! Here is a review of the paper」,之后才进入正儿八经的评审内容。连 AI 生成文本里常见的那种对话式开场白,都没被清理掉。


前两份评语像出自同一个模板,第三份则把 AI 生成的痕迹留得更明显。让作者更没脾气的是,这些意见最后全都进了正式的同行评审流程。



另一位研究者 Konstantin Grotov 碰到的问题,跟 AI 辅助写作有关。他说,自己投给 ICLR 的论文收到了一条评审意见,矛头主要指向 AI 的使用情况。



麻烦在于,这篇论文已经按要求披露了 AI 辅助写作。



Grotov 后来解释,审稿人当然有权对 AI 的使用提出质疑,但得给出具体的技术论据,讲清楚这种使用怎样影响了论文质量、研究结果或者可信度。光凭论文用了 AI 就当作拒稿理由,显然站不住脚。


再往下的一则案例,就更耐人寻味了。


研究者 Artur Chakhvadze 晒出了一份评审意见。写这份意见的审稿人直接承认,自己的专业背景不够,没法对这篇论文做出像样的评估。


Chakhvadze 反倒觉得这是好事——起码这位审稿人老实交代了自己的能力边界。他顺带抱怨,自己见过不少评审连论文所在领域的基础知识都没搞清楚,照样打出 3/4 的高信心分。



帖子下面意见不一。有人说,审稿人主动讲明自己不熟悉这个方向,总比不懂装懂、胡乱编一份意见要负责。也有人反问:专业背景对不上,这篇论文当初怎么就分到了他手上?Chakhvadze 后来补了一句,审稿人本身未必有错,该被追问的是分配和管理评审的那套流程。



几则帖子看下来,问题其实分好几种:有的没把论文读透,有的可能靠 AI 代写评语,还有的被分到了自己不熟的领域。归根到底都指向同一件事——作者收到的评审意见,究竟能不能支撑学术判断?


AI 擅长找毛病

却未必知道什么毛病值得拒稿


讨论中有一条观点格外扎眼。


德克萨斯大学奥斯汀分校的 Jiaxin Pei 说,2026 年最让他头疼的审稿毛病,是 AI 审稿人好像分不清论文的「局限性」和真正动摇论文根基的「关键问题」。


他的判断是,大语言模型随手就能给一篇论文列出上百个局限性,再优秀的经典论文也逃不掉。可这并不代表那些论文就该被拒。



这话戳中了 AI 参与同行评审的一处要害。科研论文几乎不可能面面俱到:实验规模或许偏小,有些场景没覆盖到,方法可能依赖特定假设,理论分析的适用范围也有限。这些都是研究里再正常不过的局限。


论文能不能立住,关键要看这些局限是否动摇了核心贡献。


审稿人要求作者补更多数据集、扩大模型规模、加做对照实验,这本身没问题。可要是现有实验已经够支撑论文的核心结论,额外实验就未必能成为拒稿的理由。反过来说,最关键的实验设计有漏洞,或者理论推导里存在修不好的错误,那其他部分写得再漂亮,论文也可能站不住。


真正考验的是判断问题轻重的能力。大模型偏偏容易把这两件事搅在一起:它能一条接一条地列出潜在问题,却未必分得清哪个问题才真正影响研究结论。结果就是评审意见越写越长,要求补的实验越来越多,决定论文质量的核心问题反倒被埋没了。


Jiaxin Pei 的这条帖子,让不少研究者产生了共鸣。


有人指出,这种毛病正在渗进同行评审机制本身。现在每场 AI 学术会议上,似乎都会冒出这么一批审稿人:一边给论文打低分,一边又要求作者补做新实验,而这些实验要么无关紧要,要么只是对现有实验做点小修小补。



也有人给出了一个很直接的判断标准:假如把这个问题修好,论文的核心结论会变吗?答案是否定的,那它可能只是个普通的局限性,算不上能否定整篇论文的关键缺陷。知道什么值得关注、什么可以接受,恰恰是同行评审最需要的能力。


结语


把这些案例摆到一起看,ICLR 这次的争议就不只是审稿人水平的问题了。


更大的背景在于,AI 正在同时改写学术研究的生产端和评价端。


同行评审这件事,高度依赖专业知识和时间投入。论文数量的增速,未必是专业审稿人的增速能追上的。ICLR 2027 项目主席团队此前就专门解释过这一点:9 月 2 日,该团队发布官方文章,分析了 AI 时代同行评审面临的新压力。


https://blog.iclr.cc/2026/09/02/submission-policies-for-iclr-2027/


机器学习领域这几年扩张很快,新入行的人比资深研究者多得多,能扛专业评审的人手恐怕追不上投稿量的上涨,这是ICLR 2027项目主席团队给出的判断。生成式AI又把写论文的门槛压低了:哪怕对某个研究方向并不熟,也能靠AI攒出一篇看上去像模像样的稿子。另一边,审稿人把评审活交给AI,同样成了待解的难题。


评审资源吃紧,ICLR 2027为此摆出一套办法:限制投稿数量,强化互惠审稿制度。审稿义务也收得更紧——名字出现在3篇及以上投稿里的作者,至少要审够6篇论文;每篇投稿还得有至少一位符合规定资格的作者注册成审稿人,并承诺评审至少3篇。要是所有作者都不具备相应资格,这项要求可以豁免。



对AI,ICLR没有一刀切禁止,审稿人可以用大模型辅助撰写评审意见和元评审,但得有限度、负责任。前提写得很清楚:用了就要披露。只要大模型参与生成或修改评审意见的任何部分,审稿人还得交出自己最初独立写的那份论文评估,以及与大模型的全部交互记录;多轮对话的,各轮输入内容也要一并提供。


规则里还写明,AI生成的评审若含虚假信息、幻觉或失实陈述,或者评审本身质量差,审稿人可能被认定没履行互惠审稿义务,从而受到纪律处分。处罚手段包括把他作为作者参与的全部投稿直接拒掉,或者限制其今后向会议投稿。


眼下公开的只是ICLR首轮评审意见。作者和审稿人的公开讨论会持续到11月18日,最终录用结果预计12月16日公布。作者仍可对错误评审提出质疑,审稿人也能依据新信息改动自己的评分。


参考链接:

https://x.com/mbilgehanertan/status/2118760558854070637

https://x.com/jiaxin_pei/status/2118714662892327158

https://x.com/norpadon/status/2118896999709684071

https://x.com/lihanc02/status/2118843054975336646

https://x.com/kgrotov/status/2118695897890804071

https://x.com/ziv_ravid/status/2118718086920413494

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯云MaaS:混元研发体系重组后,模型如何落到真实业务

    作者 | 土豆过去几年,大模型厂商发布新产品,总少不了一张密密麻麻的 Benchmark 成绩表。但当模型真正进入工作场景,评判标准就没那么简单了。今年 3 月,一项研究分析了 43 套 Agent 评测基准,涉及超过 7.2 万项任务,并与美国劳动力市场的 1016 种职业进行对照。结果发现,现有评测高度集中于编程等

    来源 腾讯网
  2. 西湖大学蚂蚁集团新剪枝框架:校准数据错位,稀疏解码反而变慢有解了

    你有没有想过,为什么有些大模型剪枝后用起来感觉怪怪的,明明测试集上分数不低,一到真实对话或者长文写作就露馅?这篇来自西湖大学和蚂蚁集团的论文,就是在挖这个问题的根。他们发现了一个被整个领域忽略的bug:剪枝时用来校准的数据,和模型实际生成时看到的数据,压根不是同一种分布。这个发现听起来简单,但顺着往下...

    来源 腾讯网
  3. GPT-6 Astra领跑BioBasicsBench:100项湿实验室任务得分66.7%

    2026年11月6日,OpenAI联合酶设计公司Ligo发布BioBasicsBench,这是一个包含100项湿实验室任务的评测基准,使用真实实验原始数据而非论文精修图。七个模型参与测试,GPT-6 Astra以xhigh推理设定下66.7%的平均得分居首,但OpenAI自己也承认,这一分数不意味着模型已能在实验室做出

    来源 AI 科技快讯
  4. Goodfire推Mechanistic Shaping:RL奖励作弊率100%降至2%

    Goodfire于2026年11月5日发布Mechanistic Shaping论文,通过神经元探针直接修改训练目标,将原本100%奖励作弊的RL模型诚实率提升至96-98%。该方法同时应用于视觉模型,阻止其依赖伪相关特征。Time杂志同日报道,此为训练阶段实时利用可解释性信号压制reward hacking的首个可复

    来源 AI 科技快讯
  5. 大晓机器人双脑协同:一次滑移如何变成可复用经验

    【TechWeb】11月6日消息,一次普通的取杯任务中,机器人找到水杯、规划接近方向,却在抬起时发生滑移;它调整接触位置,重新抓取并完成任务。对使用者而言,任务已经结束;但对持续学习的具身智能系统而言,真正值得追问的是:为什么滑?这次调整在什么条件下有效?换一只杯子、一副夹爪,甚至另一台机器人,这段经验还能否...

    来源 腾讯网
  6. 29岁亚历山大·王与HRT实习旧友:一张合影串起480亿美元AI版图

    一个由华尔街量化实习生组成的“硅谷新黑帮”,再次走入聚光灯下。 智东西11月6日报道,近期,英国《金融时报》刊发了对Meta首席AI官、29岁华裔创业者亚历山大·王(Alexandr Wang)的人物报道,讨论了他在Meta内部的影响力,以及未来接替扎克伯格掌管这家科技巨头的可能性。 而接班人传闻出现两天后,亚历山大·

    来源 AI 行业观察
  7. 埃森哲报告被指15条引用造假:AI幻觉还是编造案例?

    IT之家 11 月 8 日消息,埃森哲(Accenture)被指发布了一份充斥人工智能“幻觉”的研究报告,其中不仅包含大量虚假信息,还出现了多处疑似捏造的研究案例。据 GPTZero 最新分析,这家咨询巨头发布的一份报告涉嫌包含 15 条虚假引用,以及完全虚构的案例研究,因此正受到外界审查。这份名为《跨越式发展》(Le

    来源 腾讯网
  8. OpenAI CFO 弗莱尔:今年美国中期选举不会影响公司的 IPO 计划

    IT之家 11 月 7 日消息,OpenAI CFO 莎拉 · 弗莱尔认为,尽管 2026 年美国中期选举改变了国会的政治格局,但公司的 IPO 计划并未受到影响。当地时间 6 日,弗莱尔接受 CNBC 直播采访时说:“你看,我们拿着管理者的薪水,就是要应对各种可能出现的情况。我不认为有什么事情对我们产生了重大影响。”

    来源 腾讯网
  9. 从一次滑移到可复用经验:大晓“双脑协同”如何让机器人少走弯路

    为什么需要“双脑”协同?三个递进闭环第一是自主执行闭环,让机器人更可靠完成当前任务。双脑协同希望建立的,正是任务推理与物理预测通过真实反馈相互校正、执行认识经过验证进入后续学习、学习与研发方法持续改进的路径。让一台机器人付出的探索,为更多机器人省下重复试错的代价——这是大晓双脑协同试图推动的进步。

    来源 TechWeb
  10. OpenAI重置按钮换人管?Tibo转岗做安全,Andrew接手产品体验

    Tibo 不发糖了?因为Open AI 的内部安全烂透了 作者丨高允毅 编辑丨岑 峰 OpenAI 的“赛博义父”好像换人了?最先发现不对劲的是敏锐的网友。 11 月 4 日,Codex 团队的产品负责人 Andrew Ambrosino 发帖称,关于 OpenAI 产品的任何意见都可以反馈给他。 Tibo 在下面跟了

    来源 AI 行业观察
  11. AI算力扩张卡在哪:燃气轮机排到2031年,电工却要培养四五年

    (本文作者为 斯凯有话说,钛媒体经授权发布)文 | 斯凯有话说很多人以为 AI 最大瓶颈是芯片、资金与算力,俄亥俄州这座燃气电厂项目给出不一样答案:资本、土地、并网全部就位,算力扩张却卡在电力设备交付与一线电工缺口,全球 AI 正在从资本密集,转向人力密集的硬约束时代。俄亥俄州,卡罗尔县。一座叫Chestnut Run

    来源 腾讯网
  12. 宇树联手红杉设创投计划:Q3净利降17.37%,研发投入增191.48%

    (本文作者为 硅碳变量,钛媒体经授权发布)文|硅碳变量,作者|沈浪10月末,宇树科技联合红杉中国宣布,共同成立“杉宇·创计划”。专注发掘与投资具身智能、机器人应用及其上下游关键技术、其他前沿硬科技等领域的早期创业项目。在硬科技成为全球资本确定性主线的当下,科技企业下场做VC早已不是新鲜事。不完全统计显示...

    来源 腾讯网
  13. 马斯克宣布Cybertruck停产:2027年让路Cybercab,年销已跌至2万辆

    【TechWeb】11月8日消息,日前,埃隆·马斯克在社交平台X上发布了一则简短声明:特斯拉将于2027年年中前后,在得克萨斯州奥斯汀超级工厂“逐步停止”Cybertruck的生产。此时距离这款棱角分明的电动皮卡开始交付,仅过去三年半。马斯克给出的理由是,需要为无人驾驶出租车Cybercab腾出产能空间。他将这款车型称

    来源 AI 行业观察
向下滚动自动加载更多