PremiseCheck研究:让AI审稿先拆断言再核对,成本能降多少?

资讯 腾讯网 作者:科技行者 全文 6055 字 · 约 16 分钟读完 分类开源学术研究机器人

先说一个场景。你是一篇论文的作者,凌晨两点打开评审意见,看到这样一条: “这篇论文的可复现性有限,因为只在 Gopher 模型上做了测试,而这个模型既不开放 API 也不开放权重。” 你心里一沉,因为你们明明用的是 OPT-6B,而且附录里专门写了复现步骤。你去 rebuttal 里解释,评审可能不看,AC 大概也不会

所属频道 开源生态机器人与具身智能前沿研究

设想这样一个场景:你是论文作者,凌晨两点打开评审意见,其中一条写着"这篇论文的可复现性有限,因为只在……"

这类情况并不少见。论文数量这几年涨得飞快,评审人手却没怎么增加。更麻烦的是,越来越多评审意见本身就出自AI之手。不管是人写的还是AI写的评论,都可能出现"把论文说成它没说过的那样"。这种错误会误导作者、扭曲决策,而按当下的体量,靠人工逐条核对已经不现实。

来自Lehigh大学、UBC和Vector Institute的研究团队,决定把"核对一条评审意见是否属实"单独拎出来当作一个任务研究。他们的出发点很简单:一条评论值得读,前提是它对论文的描述是真的。

真正有意思的发现是,他们指出了一个几乎被所有人忽略的错位:弄懂一条评论在说什么,与核对它是否属实,是两件成本差得极远的工作,而现有系统一直把这两件事捆在一起做。

读论文这件事,到底贵在哪

先看任务本身长什么样。给定论文D,以及从某份评审里摘出的一条评论c,系统要给出一个0到1之间的分数,分数越低,说明这条评论越可能含事实性错误。

所谓评审事实性错误,指评论说了某些论文并不支持的话。它不关心"这个意见重不重要",只关心"论文里到底有没有这个事实"。

研究把错误划成四类,沿用

这里有个关键观察,也是整篇论文成本逻辑的起点。

从论文长度看:NLP领域的中位数是8.5k token,机器学习9.1k,自然科学14.4k;而一条评论的中位数只有17、48、70个词。一条评论和它所指的论文,体量差了几百倍。

假如让前沿大模型对每条评论单独判断,那它每核对一条评论都得把论文重读一遍。一篇论文通常有十几条评论,一份评审又包含好几段。评审数量一多,成本就线性甚至超线性地往上翻,几十万份评审算下来,账单难以想象。

那改用便宜模型行不行?这里有一种专门的模型品类需要说清楚。

决策模型

问题是,直接拿来用,AUROC只有49.9,基本等于抛硬币。原因在于,一条评审意见往往混着好几个断言,其中不少还是隐含的。

比如"作者难道没有测试其他模型吗"这个问句,本身就预设了"论文没有测试其他模型"。这层预设藏在语气里,只做单句判定的模型根本抓不住。再加上"最弱前提决定整体"这类逻辑,单条长评论对

于是就有了论文的核心洞察,我倾向把它称作一次漂亮的成本拆解:

弄明白一条评论在断言什么,需要强语言模型,但不需要它去读论文。读论文才是贵的那一半;而断言一旦被写成明确的句子,便宜的

不拆开又会怎样?眼前摆着两种失败。用强模型,准确率还行,可每条评论都要重读全文,成本按论文长度乘评论数爆炸式增长。用弱模型,成本几乎为零,但在整条评论上退化成随机猜测。夹在中间的级联方案,把可疑评论挑出来交给强模型,听着不错,可级联照样得把大量评论连同论文一起送给昂贵模型;实测下来,它花掉参考方案大约四分之三的钱,准确率却在三个子集上全都输给

换个说法就明白了。这好比核对一张快递单上的信息与仓库实物是否一致。

每核对一栏就让仓库管理员亲自跑一趟货架,核对十栏就得跑十趟,一趟也省不掉。换成只让一个不懂业务的小工对着照片看一眼,他连"客户说的缺货"指哪一件都分不清。聪明的做法是:先由懂行的人把单子翻译成几条明确的检查项,比如"型号是否为A""数量是否为12",再让小工拿着清单一次进仓库,一趟全查完。

四步流水线:拆、分流、核对、取最低

整个框架分四步,通用大模型只在第一步出场,而且它在第一步里始终没看过论文。

第一步是拆解。语言模型把一条评论重构为论证结构,给出结论和若干条前提,每条前提都写成一句自足、可判真假的陈述句,条数在1到6条之间。提示词明确要求它同时挖出显式与隐式断言,包括问句背后预设了什么,也明确禁止它添加评审没提过的内容。

有个设计细节我觉得相当精妙:语言模型写前提时会被要求"说'论文'",也就是把指代对象写死。

为什么要这么较真?评审在评论里说"这里"或"它"时,指代对象在前文里可能是另一篇论文。附录里就有一个真实反例:一条正确的评论描述的是另一篇论文里的表征相似性分析和线性映射,拆解器机械地把"论文"改写成"the paper",结果两条前提在字面上都不成立,

接下来的环节是分流。并非每一条前提都得拿去和论文对照。

有些前提说的是论文本身,例如“论文没报告数据集 X 上的结果”。可另一些前提靠的是通用常识,比如“方法 Y 是这项任务的标准基线”。要是问“按这篇论文,方法 Y 算不算标准基线”,答案多半是否定的,论文没必要去陈述这类领域常识。这样一来,一条原本正确的前提就会被错误地压低。

为此系统先做一次轻量路由:只把前提本身交给决策模型,不带论文,让它估计一下,不靠外部知识、只看论文就能判断真假的概率有多大。超过 0.5 就走论文路线,否则走知识路线。

这一步划得来吗?有实测数据。

再往后是核对。决策模型同时读论文和前提,按路线回答对应的问题。走论文路线时问的是“这个命题根据论文是否成立”,走知识路线时问的是“这个命题是否成立”。

这里还有第二个我很欣赏的工程巧思。Jev 只按输入计费,输出不计费,所以系统能在一次调用里同时问 16 种不同措辞的问题,再取平均。

这 16 种措辞中,8 种问“论文支持这个命题吗”,另外 8 种问“论文是否包含与这个命题矛盾的信息”,后者的概率取反。数据显示,只用 4 种措辞时 AUROC 就开始趋于平稳;用满 16 种,AUROC 从 63.1 涨到 65.7,增益显著。增益主要来自那些反向提问,原因很实在:正向问“论文支持吗”会惩罚论文里根本没提到的东西,反向问“论文矛盾吗”就避开了这个坑。在自然科学数据集上,把支持式提问换成矛盾式提问,AUROC 从 63.3 直接跳到 67.5。

最后一步是聚合。一条评论只要依赖了任何一个错误前提,它就包含事实性错误,因此整条评论的分数取所有前提里的最低分。

为什么不用平均分?实测下来,平均分会滑到 59.4,而最低分是 61.8。这里有个挺有意思的取舍:要是把“判断层面的错误”也算进标签里,平均分反倒略好一些,54.7 对 53.3。换句话说,选最低分是冲着“事实正确性”这一个目标特意做的锐化,系统因此更锋利,也更偏科。后面做错误分析时,这条分界线会一再冒出来。

还有一点得讲明白:错误是怎么冒出来的。一条正确评论平均带 3.3 条前提,只要有一条被误判,整条评论就被打成“错误”。这可不是纸上担心。把 Jev 换成专门做事实核查的

这个聚合规则像什么?像你出门前的检查清单。

清单上的每一项都得打勾才算过关,漏掉一项就走不了。这么做很安全,可清单本身要是写错了一项,你就得白等一整天。取最低分走的正是这个路子:真正的错误保证漏不掉,代价是对拆解环节的任何失误都毫无抵抗力。实测数据也印证了这一点——NLP 数据上的误报有 58% 出自拆解环节,问题大多出在清单写错了,检查那一环反倒基本没出错。

跑出来的结果,比想象的更离谱

主实验在三个领域的评论上逐条核查,每条评论单独处理。参考基线是中等推理强度下的

中等推理拆解器下,

推理强度调低的版本更有意思。NLP 上 AUROC 反而到了 64.1,超过参考,成本只有 34.3%。完全不推理的版本是 63.1,成本 24.6%,延迟 45%。

把拆解器的推理能力拿掉,怎么反而更好?因为拆解本身用不着推理。它干的事就是把一条评论重写清楚,难的不是推理,是忠实。这个发现跟当下主流的“

看成本拆解图会更直观。整体判断时,推理 token 占了

还有一点:论文长度对相对成本的影响方向。按学术直觉,论文越长省得越多,这确实成立,只是幅度很小——最短三分之一论文的相对成本是 53.3%,最长三分之一是 48.5%。原因在于只有 Jev 会读全文,而它便宜到几乎算不上成本项,真正花钱的是拆解器读的那条短评论。

不妨做个反事实:假如让语言模型去逐条核对前提,成本会怎样?答案是暴涨。同样这些前提,拿 GPT-5.5 当核对器,整条流水线的成本是整体判断的 3.1 倍,准确率却一点不比 Jev 高,62.7 对 63.0。三倍的钱换不来一个点的提升,这正是“该省的地方省了反而不行、不该省的地方省了也没损失”的典型错配。

换个说法。这就像请一位资深编辑来给一份稿子做校对。

要是让他把全部参考资料读完、再逐句核对,那每核对一句都得把资料重读一遍。可这位资深编辑真正不可替代的地方,是判断“作者这句话到底想说什么”,是理解意图那一步。至于“资料里到底写没写这个数字”,一个刚入职的实习生翻一遍就够了,而且翻得一样准。PremiseCheck 的做法,就是把资深编辑和实习生各自放在他们真正不可替代的位置上。

这份准确度不是某一个模型撑起来的

论文特别强调了一点:效果来自分工,而不是某个特定的模型。

换成核对器角色后,四个来自不同来源的模型基本都追平了整体版 GPT-5.5,开源模型也在其中。

但这里有条分界线。拆解器一旦弱到某个程度就顶不住了,会掉 2 到 6 个点。有意思的是,

反方向同样成立。Jev、Kev-27B、

另有一张能力图值得单独说。研究者拿 Jev 和 GPT-5.5 在一连串原子操作上做了对比。核对单条前提、给前提路由、判断问题在论文里有没有答案,这三项 Jev 与 GPT-5.5 打平甚至更优,路由一项还高出 0.8。可到了“判断整条评论对不对”这一步,两个模型都跟抛硬币差不多。

这就把很多事说通了。Jev 并非没本事,是放错了位置。核对一句明确的断言,它是行家;理解一整段话在讲什么,它一塌糊涂。把这两件事拆开,正是这篇论文干的事。

它解决了什么,又没解决什么

应用场景有两个。一个是评审还在写的过程中逐条即时核查,这也是主实验的设定;另一个是评审写完之后,

真正的甜点在于把两个分数融合起来,也就是取百分位排名的平均。两者相关性只有 0.56,融合后达到 71.5,成本 28%,明显高于批量整体判断。道理也不难懂:两个系统犯错的地方不太一样,一个有拆解环节的失误,另一个受推理成本拖累显得粗糙,一平均就互相补上了。

论文还模拟了一种更贴近实际的用法:只把最可疑的一小部分评论推给人看。

NLP 数据里含事实性错误的评论只占 4.8%。在这 5% 最可疑的评论中,PremiseCheck 命中错误的比例是随机的两到三倍,而整体版 GPT-5.5 在这方面几乎不比随机强多少,尽管两者的 AUROC 差不多。对一篇有错误的论文,让

这个差异值得停一下。AUROC 相近,实际找人来看的效率却差这么多,说明排序质量在头部和整体上压根不是一回事,而落地时值钱的恰恰是头部。

再看它失手的地方,这部分反倒信息量最大。

三个标注者把 164 个采样失败归到了具体环节。NLP 的误报有 58% 出在拆解,也就是拆解器给评论添了话、换了对象,或者用模糊的量词改掉了原意。自然科学的误报有 45% 出在核对环节。NLP 的漏报里则有 40% 是标签本身就可疑,整体版 GPT-5.5 在这 20 条可疑标签的评论上也判错了 12 条。

还有一条边界必须直说。这套方法只管“事实错了”,不管“判断错了”。一条评论事实层面完全正确,只是说“这个担忧不重要”或者“这个要求 unreasonable”,系统就处理不了。数据显示,在自然科学评论上把判断层面的错误也计入时,PremiseCheck 落后整体版 GPT-5.5 达 4.4 个点;换成纯事实标签,这个差距就没了。

原因在哪?“一条前提错了,整条就错”这条规则对事实性错误是精确的,放到判断题上就不成立。一个合理的抱怨往往就建立在事实正确的基础上,拿逻辑去衡量合理性,尺子本身就用错了。

数据本身的分层同样有看头。人类评论的错误率在 NLP 任务上是 4.6%,AI 评论为 7.4%;到了自然科学,人类是 2.3%,AI 评论 2.9%。机器学习这一块只留下论证,也就是带理由的评论,错误率就冲到了 21.3%。把这三组数放在一起看,错误率高低更多取决于数据怎么筛、按什么口径算,跟哪个人群更不靠谱关系不大。

同一思路还能用到别处,但有个真实的软肋

论文自己列了几个方向。最大的一块是拆解环节的忠实性,既然 NLP 上的误报大多出在这里,那么做一个更贴近评审原话的拆解器就是下一步。其次是判断层面的错误,那需要完全不同的方法。第三是继续测试开源的决策模型。

但我读下来,真正的软肋是那个“指代”问题。附录里的反例太典型了:一条正确评论讲的是另一篇论文的内容,拆解器把“论文”改写成“the paper”,两条前提立马变成假的。这不是模型能力的问题,而是任务边界定义本身带来的,评论里的“论文”未必指被评审的那篇。

还有个地方我没完全想通。论文说三个领域的提示词各不相同,机器学习版限制最多 4 条前提,自然科学版要求标注每条前提的类型,只有论文型前提才会被核对。这种按领域定制提示词的做法效果确实明显,机器学习版把 AUROC 从 60.8 拉到了 68.7。可我好奇的是,哪天来了一篇横跨物理和 NLP 的论文,该用哪一版提示词?

写在最后

读完这篇论文,我脑子里一直绕着一个画面。

一个 AC 已经忙得够呛,手头压着三篇论文、九份评审,另有二十条可疑评论等他核实。以前他要么靠印象判断,要么索性略过。如今系统会先把最可疑的三条评论拎出来,每条底下都注明被论文驳倒的那条具体前提,再给出它被判定为假的概率。

他不用再重读论文,只需看一眼那句话,然后决定这份评审到底有没有读懂这篇论文。

这件事的价值不在于省下多少 API 费用。省下来的是人的注意力,是那种被分配到真正需要判断的地方的注意力。一个系统如果只会说“这条评论有问题”,却说不清问题在哪,那它其实没减轻任何负担。

Q&A

先看PremiseCheck到底是什么。这是Lehigh大学等机构提出的审稿评论事实核查框架。它的做法是让大模型把一条评论拆成若干条明确前提,再交给廉价的决策模型逐条对照论文,最后取最低分作为这条评论的总分,成本大约只有GPT-5.5的一半。

它凭什么比直接用GPT-5.5便宜?关键在于把贵的环节和便宜的环节分开了。弄清评论在说什么,需要大模型,但这一步不必读论文;真正贵的是读论文那半。一旦断言写得足够明确,便宜的决策模型就能接手,推理一关掉,成本可以降到四分之一。

局限也很清楚。PremiseCheck只查事实错误,评论本身合不合理,它不管。在NLP上,58%的误报来自拆解器加话或改指代;而且只要一条前提出错,整条评论就会被判错,对拆解环节的失误几乎没有抵抗力。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI编码效率被评审吃掉:哈佛718家企业数据与2026工具链新变量

    哈佛研究证实AI生成代码并未提升实际交付量,瓶颈已转移至评审环节。Code Mode与Harness架构演进将安全边界移入沙箱,开源工具正拆解工程硬墙。具身智能方面,南京智造大会与北京人形中心论文显示,行业焦点从表演转向落地成本与分层协同。整体趋势表明,AI行业已从技术叙事进入商业化验证、可审计性与稳定交付的深水区。

    来源 AI 应用前沿
  2. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  3. 谷歌论文曝RSI内部落地:SIM机制让AI经验跨模型遗传

    新智元报道 谷歌内部,或许真正实现了RSI!从此,Gemini已能「继承经验」持续自我进化,Gemini新模型不再从零开始!或许也正是这个原因,谷歌最近跟疯了似的不停发模型。Gemini 4 Hydrogen才发布不到一周,更强的Gemini 4 Neon就来了。答案,或许藏在谷歌与宾夕法尼亚州立大学深夜联合发布的一篇

    来源 腾讯网
  4. 华为云发布具身智能模型:不造机器人,造机器人的世界

    机器人缺的不是身体,是经验。新眸原创·作者 | 棠宁中国具身智能企业里,每五家就有四家选择昇腾云。这个比例是华为云在发布会上自己披露的。同一天,华为云发布并开源了CloudRobo-WM1.2,7B参数,基于Wan2.2视频骨干,在RoboTwin2.0和LiberoPro2.0两个评测基准中排名第一。一个云厂商,先让

    来源 腾讯网
  5. 亚马逊披露中国背景AI代理11分钟自主攻破东亚医疗影像服务器零日漏洞

    亚马逊威胁情报披露,中国背景黑客利用开源AI渗透框架Cairn,指挥AI代理在9月对东亚大学医疗影像服务器发起攻击。代理在MONAI Label中发现路径遍历零日漏洞,11分钟内完成从API测绘到root权限获取的全流程。这是云厂商首次正式归因AI代理独立完成漏洞发现与利用的事件,MONAI Label补丁已于11月1

    来源 AI 行业观察
  6. OpenAI发布MedChemBench:AI药物化学推理测评,99题覆盖761个分子

    IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布 MedChemBench 基准,用于评估 AI 模型在药物化学研究中的推理能力,包括识别分子结构、解读实验结果、比较化合物及预测其性质等。OpenAI 表示,模型在重建分子结构和解释实验依据方面表现较强,但在化合物筛选和数值性质预测方面

    来源 AI 行业观察
  7. 贝佐斯再创业:410亿美元估值押注物理世界AI

    卸任亚马逊CEO五年后,贝佐斯联合创立Prometheus,估值飙升至410亿美元。这家公司不造聊天机器人,而是试图用AI重构实体制造业,打造“通用AI工程师”。文章解析其技术路径、数据困境及背后的资本野心,探讨AI从比特世界向原子世界迁移的真实挑战。

    来源 AI 应用前沿
  8. 深夜,美股AI血崩,英伟达市值已跌去2.7万亿美元

    智东西(公众号:zhidxcom)编译 | ZeR0编辑 | 漠影智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%

    来源 腾讯网
  9. ARTEX开源:AI Agent驱动渗透测试,Planner与Worker如何分工

    ARTEX 是一个基于 LLM Agent 的自动化渗透测试平台,采用 Go 和 Next.js 构建。它通过 Planner 和 Worker 协作,自动梳理资产、生成攻击向量并记录流量。本文介绍其核心架构、部署流程及在授权测试中的实际应用,强调人工复核的重要性。

    来源 AI 应用前沿
  10. Metric AI开源亚美尼亚语模型Ayb 0.5:90亿参数跻身前三

    Metric AI团队推出了Ayb 0.5系列开源语言模型,包含0.8B、4B和9B三个版本。该系列基于Qwen3.5架构,针对亚美尼亚语进行了深度适配,在ArmBench基准测试中表现优异,甚至超越了部分参数量更大的模型。Ayb 0.5不仅支持文本生成和指令遵循,还保留了完整的视觉语言能力,能够用亚美尼亚语描述图片。

    来源 AI 应用前沿
  11. 蚂蚁集团上半年赚152亿:AI三线并进,支付、应用与机器人齐发力

    11月19日,阿里2026年三季度财报披露,上半年从蚂蚁集团获收益50.23亿元,据此推算蚂蚁上半年利润约152亿元,同比增约17%。增长主要得益于公允价值收益净增加,部分被科技及新增长举措投入抵消。CEO韩歆毅重申保持高强度AI投入,推动技术向多元场景渗透,今年以来蚂蚁围绕构建底座、打造应用等布局。

    来源 AI 产业速递
  12. 英伟达7连跌市值蒸发2.74万亿美元,美股AI板块集体重挫

    智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%,亚马逊暴跌4%。 芯片股也愁容惨淡。美国芯片股费城半导体指数周五

    来源 AI 行业观察
  13. GPT-6.2 Astra解出Smoktunowicz定理:94分钟写出全球首个形式化证明

    Vals AI最新高难数学基准测试中,GPT-6.2 Astra以87.50%的准确率登顶。面对Lean公共数学库缺失的三个关键定理,Astra自主定义“容量”这一新数学工具,绕开原论文证明路线,仅用94分钟、1794行Lean代码,完成Smoktunowicz间隙定理的全球首个形式化证明。

    来源 华尔街见闻
  14. 陪伴机器人绕不开的坎:心言“巴布”靠软件基因破局?

    (本文作者为 机器最前线,钛媒体经授权发布)文 | 机器最前线近年来,情感陪伴正从私人感受变成消费事实。据国金证券数据显示,2025年中国陪伴经济市场规模已超500亿元,2026年预计突破800亿元;中国青年报社的调查显示,有47.3%的人在孤独时会进行虚拟陪伴类消费,有21.5%已将其变成日常习惯。在此背景下,不少机

    来源 腾讯网
  15. 亚马逊封堵AI购物助手,马斯克放话:也许该做个对手

    AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了! 10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。 他吐槽: 那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。 人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上! 而亚马

    来源 AI 行业观察
  16. 刚刚,DeepSeek张博创业曝光:开源个人Agent

    聚是一团火,散是满天星。 刚刚,前DeepSeek V1作者、DeepSeek-VL项目负责人Tony Zhang(张博),正式公布了自己的新创业项目:Linger。 方向,正是当下最火的个人Personal Agent。 路线也是比较有意思,当同行都在做APP,他们优先选择了电脑。 这意味着,Linger能操纵你电脑

    来源 AI 行业观察
向下滚动自动加载更多