PremiseCheck研究:让AI审稿先拆断言再核对,成本能降多少?
先说一个场景。你是一篇论文的作者,凌晨两点打开评审意见,看到这样一条: “这篇论文的可复现性有限,因为只在 Gopher 模型上做了测试,而这个模型既不开放 API 也不开放权重。” 你心里一沉,因为你们明明用的是 OPT-6B,而且附录里专门写了复现步骤。你去 rebuttal 里解释,评审可能不看,AC 大概也不会
设想这样一个场景:你是论文作者,凌晨两点打开评审意见,其中一条写着"这篇论文的可复现性有限,因为只在……"
这类情况并不少见。论文数量这几年涨得飞快,评审人手却没怎么增加。更麻烦的是,越来越多评审意见本身就出自AI之手。不管是人写的还是AI写的评论,都可能出现"把论文说成它没说过的那样"。这种错误会误导作者、扭曲决策,而按当下的体量,靠人工逐条核对已经不现实。
来自Lehigh大学、UBC和Vector Institute的研究团队,决定把"核对一条评审意见是否属实"单独拎出来当作一个任务研究。他们的出发点很简单:一条评论值得读,前提是它对论文的描述是真的。
真正有意思的发现是,他们指出了一个几乎被所有人忽略的错位:弄懂一条评论在说什么,与核对它是否属实,是两件成本差得极远的工作,而现有系统一直把这两件事捆在一起做。
读论文这件事,到底贵在哪
先看任务本身长什么样。给定论文D,以及从某份评审里摘出的一条评论c,系统要给出一个0到1之间的分数,分数越低,说明这条评论越可能含事实性错误。
所谓评审事实性错误,指评论说了某些论文并不支持的话。它不关心"这个意见重不重要",只关心"论文里到底有没有这个事实"。
研究把错误划成四类,沿用
这里有个关键观察,也是整篇论文成本逻辑的起点。
从论文长度看:NLP领域的中位数是8.5k token,机器学习9.1k,自然科学14.4k;而一条评论的中位数只有17、48、70个词。一条评论和它所指的论文,体量差了几百倍。
假如让前沿大模型对每条评论单独判断,那它每核对一条评论都得把论文重读一遍。一篇论文通常有十几条评论,一份评审又包含好几段。评审数量一多,成本就线性甚至超线性地往上翻,几十万份评审算下来,账单难以想象。
那改用便宜模型行不行?这里有一种专门的模型品类需要说清楚。
决策模型
问题是,直接拿来用,AUROC只有49.9,基本等于抛硬币。原因在于,一条评审意见往往混着好几个断言,其中不少还是隐含的。
比如"作者难道没有测试其他模型吗"这个问句,本身就预设了"论文没有测试其他模型"。这层预设藏在语气里,只做单句判定的模型根本抓不住。再加上"最弱前提决定整体"这类逻辑,单条长评论对
于是就有了论文的核心洞察,我倾向把它称作一次漂亮的成本拆解:
弄明白一条评论在断言什么,需要强语言模型,但不需要它去读论文。读论文才是贵的那一半;而断言一旦被写成明确的句子,便宜的
不拆开又会怎样?眼前摆着两种失败。用强模型,准确率还行,可每条评论都要重读全文,成本按论文长度乘评论数爆炸式增长。用弱模型,成本几乎为零,但在整条评论上退化成随机猜测。夹在中间的级联方案,把可疑评论挑出来交给强模型,听着不错,可级联照样得把大量评论连同论文一起送给昂贵模型;实测下来,它花掉参考方案大约四分之三的钱,准确率却在三个子集上全都输给
换个说法就明白了。这好比核对一张快递单上的信息与仓库实物是否一致。
每核对一栏就让仓库管理员亲自跑一趟货架,核对十栏就得跑十趟,一趟也省不掉。换成只让一个不懂业务的小工对着照片看一眼,他连"客户说的缺货"指哪一件都分不清。聪明的做法是:先由懂行的人把单子翻译成几条明确的检查项,比如"型号是否为A""数量是否为12",再让小工拿着清单一次进仓库,一趟全查完。
四步流水线:拆、分流、核对、取最低
整个框架分四步,通用大模型只在第一步出场,而且它在第一步里始终没看过论文。
第一步是拆解。语言模型把一条评论重构为论证结构,给出结论和若干条前提,每条前提都写成一句自足、可判真假的陈述句,条数在1到6条之间。提示词明确要求它同时挖出显式与隐式断言,包括问句背后预设了什么,也明确禁止它添加评审没提过的内容。
有个设计细节我觉得相当精妙:语言模型写前提时会被要求"说'论文'",也就是把指代对象写死。
为什么要这么较真?评审在评论里说"这里"或"它"时,指代对象在前文里可能是另一篇论文。附录里就有一个真实反例:一条正确的评论描述的是另一篇论文里的表征相似性分析和线性映射,拆解器机械地把"论文"改写成"the paper",结果两条前提在字面上都不成立,
接下来的环节是分流。并非每一条前提都得拿去和论文对照。
有些前提说的是论文本身,例如“论文没报告数据集 X 上的结果”。可另一些前提靠的是通用常识,比如“方法 Y 是这项任务的标准基线”。要是问“按这篇论文,方法 Y 算不算标准基线”,答案多半是否定的,论文没必要去陈述这类领域常识。这样一来,一条原本正确的前提就会被错误地压低。
为此系统先做一次轻量路由:只把前提本身交给决策模型,不带论文,让它估计一下,不靠外部知识、只看论文就能判断真假的概率有多大。超过 0.5 就走论文路线,否则走知识路线。
这一步划得来吗?有实测数据。
再往后是核对。决策模型同时读论文和前提,按路线回答对应的问题。走论文路线时问的是“这个命题根据论文是否成立”,走知识路线时问的是“这个命题是否成立”。
这里还有第二个我很欣赏的工程巧思。Jev 只按输入计费,输出不计费,所以系统能在一次调用里同时问 16 种不同措辞的问题,再取平均。
这 16 种措辞中,8 种问“论文支持这个命题吗”,另外 8 种问“论文是否包含与这个命题矛盾的信息”,后者的概率取反。数据显示,只用 4 种措辞时 AUROC 就开始趋于平稳;用满 16 种,AUROC 从 63.1 涨到 65.7,增益显著。增益主要来自那些反向提问,原因很实在:正向问“论文支持吗”会惩罚论文里根本没提到的东西,反向问“论文矛盾吗”就避开了这个坑。在自然科学数据集上,把支持式提问换成矛盾式提问,AUROC 从 63.3 直接跳到 67.5。
最后一步是聚合。一条评论只要依赖了任何一个错误前提,它就包含事实性错误,因此整条评论的分数取所有前提里的最低分。
为什么不用平均分?实测下来,平均分会滑到 59.4,而最低分是 61.8。这里有个挺有意思的取舍:要是把“判断层面的错误”也算进标签里,平均分反倒略好一些,54.7 对 53.3。换句话说,选最低分是冲着“事实正确性”这一个目标特意做的锐化,系统因此更锋利,也更偏科。后面做错误分析时,这条分界线会一再冒出来。
还有一点得讲明白:错误是怎么冒出来的。一条正确评论平均带 3.3 条前提,只要有一条被误判,整条评论就被打成“错误”。这可不是纸上担心。把 Jev 换成专门做事实核查的
这个聚合规则像什么?像你出门前的检查清单。
清单上的每一项都得打勾才算过关,漏掉一项就走不了。这么做很安全,可清单本身要是写错了一项,你就得白等一整天。取最低分走的正是这个路子:真正的错误保证漏不掉,代价是对拆解环节的任何失误都毫无抵抗力。实测数据也印证了这一点——NLP 数据上的误报有 58% 出自拆解环节,问题大多出在清单写错了,检查那一环反倒基本没出错。
跑出来的结果,比想象的更离谱
主实验在三个领域的评论上逐条核查,每条评论单独处理。参考基线是中等推理强度下的
中等推理拆解器下,
推理强度调低的版本更有意思。NLP 上 AUROC 反而到了 64.1,超过参考,成本只有 34.3%。完全不推理的版本是 63.1,成本 24.6%,延迟 45%。
把拆解器的推理能力拿掉,怎么反而更好?因为拆解本身用不着推理。它干的事就是把一条评论重写清楚,难的不是推理,是忠实。这个发现跟当下主流的“
看成本拆解图会更直观。整体判断时,推理 token 占了
还有一点:论文长度对相对成本的影响方向。按学术直觉,论文越长省得越多,这确实成立,只是幅度很小——最短三分之一论文的相对成本是 53.3%,最长三分之一是 48.5%。原因在于只有 Jev 会读全文,而它便宜到几乎算不上成本项,真正花钱的是拆解器读的那条短评论。
不妨做个反事实:假如让语言模型去逐条核对前提,成本会怎样?答案是暴涨。同样这些前提,拿 GPT-5.5 当核对器,整条流水线的成本是整体判断的 3.1 倍,准确率却一点不比 Jev 高,62.7 对 63.0。三倍的钱换不来一个点的提升,这正是“该省的地方省了反而不行、不该省的地方省了也没损失”的典型错配。
换个说法。这就像请一位资深编辑来给一份稿子做校对。
要是让他把全部参考资料读完、再逐句核对,那每核对一句都得把资料重读一遍。可这位资深编辑真正不可替代的地方,是判断“作者这句话到底想说什么”,是理解意图那一步。至于“资料里到底写没写这个数字”,一个刚入职的实习生翻一遍就够了,而且翻得一样准。PremiseCheck 的做法,就是把资深编辑和实习生各自放在他们真正不可替代的位置上。
这份准确度不是某一个模型撑起来的
论文特别强调了一点:效果来自分工,而不是某个特定的模型。
换成核对器角色后,四个来自不同来源的模型基本都追平了整体版 GPT-5.5,开源模型也在其中。
但这里有条分界线。拆解器一旦弱到某个程度就顶不住了,会掉 2 到 6 个点。有意思的是,
反方向同样成立。Jev、Kev-27B、
另有一张能力图值得单独说。研究者拿 Jev 和 GPT-5.5 在一连串原子操作上做了对比。核对单条前提、给前提路由、判断问题在论文里有没有答案,这三项 Jev 与 GPT-5.5 打平甚至更优,路由一项还高出 0.8。可到了“判断整条评论对不对”这一步,两个模型都跟抛硬币差不多。
这就把很多事说通了。Jev 并非没本事,是放错了位置。核对一句明确的断言,它是行家;理解一整段话在讲什么,它一塌糊涂。把这两件事拆开,正是这篇论文干的事。
它解决了什么,又没解决什么
应用场景有两个。一个是评审还在写的过程中逐条即时核查,这也是主实验的设定;另一个是评审写完之后,
真正的甜点在于把两个分数融合起来,也就是取百分位排名的平均。两者相关性只有 0.56,融合后达到 71.5,成本 28%,明显高于批量整体判断。道理也不难懂:两个系统犯错的地方不太一样,一个有拆解环节的失误,另一个受推理成本拖累显得粗糙,一平均就互相补上了。
论文还模拟了一种更贴近实际的用法:只把最可疑的一小部分评论推给人看。
NLP 数据里含事实性错误的评论只占 4.8%。在这 5% 最可疑的评论中,PremiseCheck 命中错误的比例是随机的两到三倍,而整体版 GPT-5.5 在这方面几乎不比随机强多少,尽管两者的 AUROC 差不多。对一篇有错误的论文,让
这个差异值得停一下。AUROC 相近,实际找人来看的效率却差这么多,说明排序质量在头部和整体上压根不是一回事,而落地时值钱的恰恰是头部。
再看它失手的地方,这部分反倒信息量最大。
三个标注者把 164 个采样失败归到了具体环节。NLP 的误报有 58% 出在拆解,也就是拆解器给评论添了话、换了对象,或者用模糊的量词改掉了原意。自然科学的误报有 45% 出在核对环节。NLP 的漏报里则有 40% 是标签本身就可疑,整体版 GPT-5.5 在这 20 条可疑标签的评论上也判错了 12 条。
还有一条边界必须直说。这套方法只管“事实错了”,不管“判断错了”。一条评论事实层面完全正确,只是说“这个担忧不重要”或者“这个要求 unreasonable”,系统就处理不了。数据显示,在自然科学评论上把判断层面的错误也计入时,PremiseCheck 落后整体版 GPT-5.5 达 4.4 个点;换成纯事实标签,这个差距就没了。
原因在哪?“一条前提错了,整条就错”这条规则对事实性错误是精确的,放到判断题上就不成立。一个合理的抱怨往往就建立在事实正确的基础上,拿逻辑去衡量合理性,尺子本身就用错了。
数据本身的分层同样有看头。人类评论的错误率在 NLP 任务上是 4.6%,AI 评论为 7.4%;到了自然科学,人类是 2.3%,AI 评论 2.9%。机器学习这一块只留下论证,也就是带理由的评论,错误率就冲到了 21.3%。把这三组数放在一起看,错误率高低更多取决于数据怎么筛、按什么口径算,跟哪个人群更不靠谱关系不大。
同一思路还能用到别处,但有个真实的软肋
论文自己列了几个方向。最大的一块是拆解环节的忠实性,既然 NLP 上的误报大多出在这里,那么做一个更贴近评审原话的拆解器就是下一步。其次是判断层面的错误,那需要完全不同的方法。第三是继续测试开源的决策模型。
但我读下来,真正的软肋是那个“指代”问题。附录里的反例太典型了:一条正确评论讲的是另一篇论文的内容,拆解器把“论文”改写成“the paper”,两条前提立马变成假的。这不是模型能力的问题,而是任务边界定义本身带来的,评论里的“论文”未必指被评审的那篇。
还有个地方我没完全想通。论文说三个领域的提示词各不相同,机器学习版限制最多 4 条前提,自然科学版要求标注每条前提的类型,只有论文型前提才会被核对。这种按领域定制提示词的做法效果确实明显,机器学习版把 AUROC 从 60.8 拉到了 68.7。可我好奇的是,哪天来了一篇横跨物理和 NLP 的论文,该用哪一版提示词?
写在最后
读完这篇论文,我脑子里一直绕着一个画面。
一个 AC 已经忙得够呛,手头压着三篇论文、九份评审,另有二十条可疑评论等他核实。以前他要么靠印象判断,要么索性略过。如今系统会先把最可疑的三条评论拎出来,每条底下都注明被论文驳倒的那条具体前提,再给出它被判定为假的概率。
他不用再重读论文,只需看一眼那句话,然后决定这份评审到底有没有读懂这篇论文。
这件事的价值不在于省下多少 API 费用。省下来的是人的注意力,是那种被分配到真正需要判断的地方的注意力。一个系统如果只会说“这条评论有问题”,却说不清问题在哪,那它其实没减轻任何负担。
Q&A
先看PremiseCheck到底是什么。这是Lehigh大学等机构提出的审稿评论事实核查框架。它的做法是让大模型把一条评论拆成若干条明确前提,再交给廉价的决策模型逐条对照论文,最后取最低分作为这条评论的总分,成本大约只有GPT-5.5的一半。
它凭什么比直接用GPT-5.5便宜?关键在于把贵的环节和便宜的环节分开了。弄清评论在说什么,需要大模型,但这一步不必读论文;真正贵的是读论文那半。一旦断言写得足够明确,便宜的决策模型就能接手,推理一关掉,成本可以降到四分之一。
局限也很清楚。PremiseCheck只查事实错误,评论本身合不合理,它不管。在NLP上,58%的误报来自拆解器加话或改指代;而且只要一条前提出错,整条评论就会被判错,对拆解环节的失误几乎没有抵抗力。