康奈尔大学新论文:语言模型复制粘贴为何会失手,CP头补齐短板

资讯 网易科技 作者:网易 全文 8315 字 · 约 21 分钟读完 配图 1 张

让语言模型学会"复制粘贴":一篇关于CPLM的解读

康奈尔大学新论文:语言模型复制粘贴为何会失手,CP头补齐短板(配图 1)

语言模型偶尔会把刚在眼前出现过的词说错,这种情况你遇到过吗?

比方说,你先告诉它"我家猫叫做小橘",聊了几句再让它复述猫的名字,它有时会冒出一个"小黄"。这听起来挺反常——注意力机制不是号称能"看到"整个上文吗?按理说,复制粘贴该是语言模型最拿手的操作之一。

康奈尔大学的论文《Copy-Paste Language Models》给出了不一样的答案。作者Nathan Godey和Yoav Artzi发现,对Transformer来说复制并没有想象中容易,背后还卡着一个长期被忽视的结构性瓶颈。有意思的是,他们只加了一个很轻量的小模块,就部分绕开了这道坎,135M到1.7B参数规模全线性能都有提升。

事情得从头讲。

复制难在何处

先看一个数据:FineWeb-Edu(Hugging Face发布的高质量网页教育文本预训练语料库)里,约60%的词在它所在的4000词上下文窗口中已经出现过一次。

语言本身就充满重复。文档会反复提到同一个人名,对话会呼应前面说过的话,代码里同一个变量名被引用无数次。"从上文复制"因此几乎是语言模型最基础、最高频的操作。

Transformer里有一类专门的注意力头叫归纳头(induction head,关注"如果A后面跟过B,那么再次看到A时就去拿B"这种模式的注意力头),还有检索头(retrieval head,专门从长上下文里精准定位信息的注意力头)。有这些机制在,理论上模型复制信息应该轻而易举。

可论文作者做了一个很朴素的实验,结果出人意料:词表(vocabulary,模型能够识别和生成的全部词元集合,现代大模型通常有几万到十几万个词)足够大时,普通Transformer在一个极简单的合成复制任务上直接失败了。

任务简单到什么地步?把一个随机词在序列里重复一遍,让模型预测后半段。前半段等于把答案写好了,模型只须抄一遍,按理是送分题。然而词表规模涨到512k时,普通模型的准确率只有34%,和瞎蒙差不多。

症结在哪?作者把矛头指向一个平时不太引人注意的部件:LM头(language modeling head,模型最后一层,负责把隐藏状态转换成词表上概率分布的线性投影层)。

这里要先交代一个背景。模型内部处理文本用的是维度为D的隐藏向量(比如D=576或者2048),要预测下一个词,就得把这个向量映射到词表大小V的空间上(V通常是几万)。LM头干的就是这件事,它是一个V×D的矩阵。

问题就藏在D远小于V这个结构里。一来,模型能表达的概率分布种类受限,业内管这叫softmax瓶颈(softmax bottleneck,由于LM头维度远小于词表规模,导致模型无法表达某些概率分布的理论限制,2018年由杨志林等人首次提出)。

更关键的是另一件事,也是论文真正关注的核心:反向传播(backpropagation,神经网络训练时根据预测误差从输出层往输入层逐层计算梯度、更新参数的过程)中,V维度的梯度信号要被硬生生压进D维空间,再传回模型主体。

压缩就有损失。论文引用同一批作者此前的研究,证明LM头反向传播时丢掉的梯度信息量几乎和一个同形状的随机矩阵相当,丢失程度基本取决于D和V的比例。换言之,词表越大、隐藏层维度相对越小,训练信号被这道"窄门"压扁得越厉害。

打个比方,一栋几万平米的大楼只留一个单人宽的安全出口。平时人少还凑合,一旦需要紧急疏散——比如模型要学"复制"这种必须精确对应到某个词元位置的能力,信息量巨大——这个单人宽的出口就会把大部分人堵死在楼里。不给大楼开一道新门,楼里的人(也就是训练信号)再想出去,能通过的也只有那么点。

复制恰恰最依赖精确的位置信息,被这道窄门卡得最惨。这也就解释了为什么小词表上模型copy还凑合,词表一大表现就崩。

CP头:为语言模型另开一道门

问题清楚了,解法思路也就顺理成章:LM头这道门太窄,那就再开一道,专门放复制相关的信号过去。

论文的核心创新由此而来——Copy-Paste模型(CPLM,Copy-Paste Language Model,在传统语言模型基础上增加一个专门负责"指向上文位置"的轻量级模块)。

CP头(Copy-Paste head,CPLM里新加的一个轻量模块,它靠类似自注意力的机制,为当前位置的预测算出指向过去某个位置的概率分布)的设计思路来自更早的指针网络;这种网络结构由Vinyals等人在2015年提出,能让模型直接从输入序列里“指”向某个位置,而不从固定词表里选词,早期多用在编码器-解码器和循环神经网络上。

指针网络这个思路一度颇流行,后来自注意力机制和Transformer崛起,大家觉得注意力既然已经能看到整个上文,单独做指针模块像是多此一举。论文作者不认同这个直觉:注意力确实能"看到"上文,但看到之后,最终还是要经过那道窄门才变成预测结果。指针这个老思路其实没过时,只是大家一直没意识到,它解决的是输出端的瓶颈,而非输入端的信息获取问题。

具体看CP头的工作方式:模型在当前位置算出一个查询向量(query,用于和上文的键向量做匹配,判断当前位置应该"关注"上文哪些地方),上文每个位置算出一个键向量(key,代表该位置的特征,供后续位置的查询向量匹配比对),两者做点积再做softmax归一化,就得到一个对上文每个位置的注意力分布。

接着把落在同一个词上的那些位置概率累加起来,得到的概率分布就只落在“前文出现过的词”这个小范围里了。它覆盖的范围不再是几万个词的整张词表,而是前文真正出现过的那些位置,一般也就几百到几千个。

关键就在这儿。LM头的梯度得从V这个维度挤过去,通道很窄;CP头不同,它的梯度只要穿过t维(t就是当前位置,也就是前文长度)这道口子。t往往比V小得多,通道宽了,信息折损自然就少。

那模型怎么分辨此刻该复制还是照常预测?论文安排了一个挺巧的触发办法:往词表里塞一个特殊标记,LM头给这个标记的概率就当成“开关”用。这个概率高,说明模型认为眼下该复制,CP头的预测权重随之被放大;概率低,则仍旧主要靠LM头来预测。

这个做法有个挺实际的好处:开关信号本身就是LM头softmax算出来的,所以解码(decoding,即模型生成文本时逐词预测的过程)时可以先对这个开关采样,一旦判定不用复制,CP头的计算直接跳过,省下一笔算力。

不过光有开关还不够。模型要是判断“该复制了”,可前文里压根没有合适的词可抄,又该怎么办?缺少补救手段的话,模型只能从一堆不合适的候选里硬挑一个,出错概率很大。

为此论文补了一个sink机制(sink是一个可学习的“哨兵”位置,CP头一旦判断前文没有合适的复制对象,就把注意力分给它,把决策权交回LM头)。

这个思路让我想到办公室里常见的一种流程优化:客服热线如果用户的问题自助语音就能解决,那就直接解决,但系统必须留一个“转人工”的口子。没有这条退出通道,用户碰上自助系统处理不了的问题就会被卡在死循环里,反倒比不设自助还糟。sink机制起的就是这个“转人工”按钮的作用,CP头拿不准的时候可以体面地把决策权还给LM头,不必被迫在烂选项里硬选。

模型最终的预测,是把LM头的分布和CP头的分布按“开关乘以非转人工概率”得出的权重加权混合。整个流程端到端训练,没有引入任何额外的监督信号,什么时候复制、从哪儿复制,都是模型自己学出来的。

从头预训练:数字说话

设计思路之外,还得看实际效果。研究团队训练的模型从135M参数一路做到1.7B参数,用的FineWeb-Edu数据多达200B(2000亿)token,backbone(主干网络,指Transformer模型除输出头以外的核心结构)涵盖了几种主流类型:全注意力(full attention,每个位置都能看到之前所有位置)、滑动窗口(sliding window,每个位置只看前面固定数量的位置,比如256个token,用来省内存)、两种交替使用的混合架构,以及Gated DeltaNet(一种线性注意力的循环结构,状态大小不随序列长度增长,适合处理超长文本)。

训练动态上的结果很直接:每种backbone上,CPLM都比普通模型更快压到后者最终的损失水平——全注意力和混合架构快1.25倍,滑动窗口架构则整整快了2倍。

1.7B规模的下游任务评测也印证了这一点。

HellaSwag、LAMBADA、PIQA、SciQ、ARC、WinoGrande这几个标准benchmark上,CPLM平均比普通模型高0.4到0.9个百分点,计算开销大约只多3%,几乎可以忽略。提升最明显的是LAMBADA(要求模型根据长段落预测最后一个词,目标词常常在前文出现过),高出2.5到4.0个百分点,正好说明复制能力对这类任务的价值。

论文里有个地方挺值得说:CPLM的提升并不只出现在那些真需要复制的token上。研究者按模型分配给标记的概率把token分组,结果发现,即便概率接近0、模型几乎完全靠LM头预测的那些token,CPLM照样比普通模型表现更好。

也就是说,CP头带来的好处不只是多开了一条复制通道。整个训练过程都被它改变了,主干网络本身得到了更充分的训练——好比给整栋楼新开一道门,复制信号顺畅通过之余,其他楼层的通风也跟着变好了。

滑动窗口的意外之喜

接下来这部分结果,我个人觉得是整篇论文里最有想象空间的。

滑动窗口模型的长处是省内存:它不必像全注意力那样缓存整个上下文的键值对(KV cache,Transformer推理时为避免重复计算,把之前所有位置的键值向量缓存下来,序列越长,缓存占的内存越大),只缓存窗口内那部分就行。

代价也很明显——窗口之外的信息,模型原则上根本看不到。

论文发现,给滑动窗口模型配上CP头之后,这个代价被大幅抵消了。

具体数字很能说明问题:1.7B规模的滑动窗口CPLM,窗口只设256个token,困惑度(perplexity,衡量模型预测准确程度的指标,数值越低预测越准)居然能跟全注意力模型相当,而缓存内存只有后者的十二分之一。

怎么做到的?答案在CP头缓存的“复制键”上——这是一种轻量向量,每个token只存一份,而且这份缓存可以独立于窗口大小存在。换句话说,backbone本身虽然只看得到256个token,CP头却能借助这些复制键“看”到整段历史。

研究者还专门做了滚动困惑度测试,把模型放到16000 token的长文档上跑,长度是训练时的4倍,结果很震撼:普通模型的困惑度一超过训练长度就急剧上升,全注意力模型甚至直接发散;CPLM的困惑度反而随位置增加持续下降,滑动窗口CPLM到16000 token时,复制的平均距离超过2000个token,远远超出它256 token的窗口范围。

打个比方,一个近视的人裸眼只能看清三米内的东西,可他手上有台望远镜,视力管不着它,几十米外的场景照样拍得清清楚楚,拍完低头翻照片,远处细节一样认得出。backbone就是那双近视眼,CP头是那台望远镜。没了望远镜,近视的人只能看着三米之外的信息彻底丢掉,普通滑动窗口模型就是这个处境。

单针检索实验把差距拉得更开:把一个7位数字的“魔法数字”随机埋进长达64000 token的填充文本,让模型把它找出来。滑动窗口CPLM的平均准确率从14.3%升到99.4%,无论深度、长度如何,几乎都能准确找到那根针,此时上下文长度已经达到训练长度的16倍。

这套机制的好处不止于预训练。研究团队拿Tulu-3数据集对1.7B模型做监督微调,也就是SFT(Supervised Fine-Tuning,在预训练模型上用带标签的任务数据再训练,让模型更贴合具体任务),方向覆盖数学、代码、指令遵循。

微调之后,CPLM在几乎所有benchmark上都压过对应的普通模型,平均高出1.2到5.1个百分点。数学上的差距最显眼:全注意力CPLM比普通模型高3.9分,滑动窗口CPLM高出7.9分。研究者的说法是,数学推理常常要走大量链式思考(chain-of-thought,先一步步展开推理过程再给最终答案),其中反复用到前面推出的中间结论,复制能力强的模型干这类活更顺手。

检索增强生成(RAG,Retrieval-Augmented Generation,先从外部文档库检索相关信息,再让语言模型基于检索结果生成答案)是另一个应用场景。研究者在HotpotQA数据集上做了一个很极端的实验:backbone完全看不到文档内容,文档只能经由CP头的缓存被模型访问。

即便backbone对文档一无所知,CPLM仍能保住90%到97%的准确率;干扰文档加到500篇,精确匹配率还有34%到38%,跟能完整看到文档KV缓存的模型打平,而占用的缓存只有全注意力模型的五十分之一。

这让我想到图书馆的索引卡片。要找某句话,不必把整本书搬到桌上,只要索引卡片够准——也就是CP头的复制键够准——直接翻到那一页就行。没有索引系统,就得把整本书摊在桌上,也就是缓存完整的KV,占地方又低效。CP头干的正是这种高效索引的活:文档编码一次,复制键可以反复用,不用每查一次就重翻整本书。

归纳头去哪了?论文最后用不小篇幅验证这套机制背后的原理是否真站得住。

他们先复现了此前关于LM头梯度瓶颈的实验设计,直接测CP头在反向传播中保住了多少信号。LM头反向传播时丢失的梯度范数超过99%,与此前研究结论一致;CP头即便压缩比例接近一个随机矩阵,由于它作用的空间维度小得多(t而不是V),在序列早期位置能保住高达85%的梯度范数,比LM头宽裕得多。

更直接的验证来自SpamLang合成任务:每个序列重复一个随机符号,看模型能否学会这种极端规律的复制模式。词表涨到512k时普通模型准确率只有34%,CPLM在所有词表规模下都稳定解决,准确率接近100%。

研究者还做了两组对照实验,给“CP头缓解梯度瓶颈”的理论上了双保险。第一组是梯度阻断:人为切断CP头通往backbone的梯度通道,让它只作为额外输出层存在,不参与反向传播塑造主干。结果CPLM的提升幅度掉到原来的四分之一左右——大部分收益确实来自那条额外梯度通路,而不是单纯多了一个输出头。

第二组是字节级语言建模。字节级词表只有257个符号,比隐藏层维度还小,LM头不再是瓶颈,梯度能无损传回backbone。此时CPLM与普通模型几乎一样,差距只有0.001到0.002这种量级,落在误差范围内。这组对照很有说服力:若CP头真是靠绕开LM头瓶颈起作用,瓶颈一旦不存在,它就该没了用武之地,实验结果恰好印证了这一点。

关于归纳头还有个有趣的发现。研究者用随机序列重复的探针任务测量backbone里学了多少归纳头,结果CPLM的backbone用远更少的归纳头就实现了比普通模型更强的复制。普通模型在T=2048这种长度下表现甚至不如纯随机猜测,CPLM则几乎完美预测了重复部分。

这像一个团队原本要十几个人轮流盯不同任务,来了个专职记录员,把需要精确复制记忆的活全接过去,那十几个人就能腾出手专心干别的。复制这项专项工作由CP头承担,主干网络里原本分散在十几个头上的归纳功能,就浓缩进了更少的几个头。

论文还有一些没展开讲的边角料,做了不少细致的消融实验,值得简单说一句。

比如CP头里查询和键的维度对效果影响很小,维度64和维度2048表现几乎一样,意味着可以用很小的维度省内存,效果不打折。

sink机制在窗口较小的backbone上作用更明显,窗口512以上基本没区别。这符合直觉:窗口越小,backbone越判断不准“上文有没有合适的词可抄”,sink这条退路就越有价值。

研究者还对比了一种更朴素的方案:直接给普通模型加一个神经缓存,按隐藏状态相似度检索历史token。调完参数后,这个缓存几乎被模型自动关掉,带来的提升可以忽略。这进一步说明,CPLM的收益来自把复制机制和主模型联合训练,而不是给模型外挂一个检索工具。

这套方法后来还被用于 NanoGPT speedrun——一项社区里比谁能把训练速度压到极致的竞赛,结果比此前的最好成绩快了 11.3%,也是 2024年12月以来架构层面幅度最大的一次提速。可见 CPLM 的好处并非只有在大规模实验室资源下才显现的边际收益,放到工程上已经高度优化的极限场景里,它同样站得住。

写在后面

论文读下来,那些漂亮的 benchmark 数字反倒不是让我印象最深的部分,真正抓住我的是那个字节级语言建模的对照实验。

它差不多就是“控制变量法”的教科书式示范:研究者并未停留在“CPLM 效果更好”这一条结论上,而是主动去找一个 CPLM 本该失效的场景,再验证它确实失效。这种自己拆自己台的做法,在论文里并不多见,多数工作更愿意把正面案例堆得满满的。

sink 机制为什么非有不可,这个细节也值得单独拎出来讲。按论文的说法,sink 的作用集中在训练早期和小窗口场景,这背后其实指向一个更普遍的规律:凡是“强制选择”的机制,只要没留退出通道,早期就容易出问题。模型刚起步时压根不知道自己该不该信自己的判断,此时给它留一条“拿不准就把决策权交回去”的后路,比硬逼着它每次都给出明确答案要稳当。这个道理不只对语言模型管用,很多决策系统的设计里也说得通。

我还在琢磨另一点:论文把复制限定在“上文出现过的 token”这个范围,尚未扩展到更抽象的“片段级复制”,也没有跨文档复制。作者在结尾也承认了这一点,称这是很自然的一步。假如有一天模型能复制的不是单个词,而是整段逻辑结构,我们对“语言模型究竟在学什么”的理解会不会再被改写?这个问题我眼下答不上来,但确实该接着追下去。

Q&A

Q1:Copy-Paste Language Models是什么?

A:Copy-Paste Language Models(CPLM)由康奈尔大学的研究者提出,是一种语言模型架构。它在传统 LM 头之外多加了一个轻量的 Copy-Paste 头,让模型可以直接指向上文的某个位置来做预测,由此避开传统 LM 头在反向传播中造成的梯度压缩瓶颈。

Q2:CPLM相比普通语言模型有什么实际优势?

A:在 135M 到 1.7B 参数规模上,CPLM 的困惑度和下游任务表现全线提升,训练速度最快可提升 2 倍;滑动窗口版本只用十二分之一的内存,就能达到全注意力模型的效果;长文本检索准确率也大幅提高,而多出来的计算开销不到 3%。

Q3:CPLM为什么能提升语言模型的复制能力?

A:传统 LM 头得把词表维度的梯度信号压进隐藏层维度,压缩过程中大量训练信号被丢掉了;CP 头作用的空间维度是上文长度,不是整个词表,梯度损失要小得多,等于给模型开了第二条更顺畅的训练信号通道。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. LSHub 发布 P1 与 MAX 工程 AI 终端:覆盖八大专业,两种部署可选

    日前,四川无量枢人工智能科技有限公司(品牌 LSHub)推出 LSHub P1 与 LSHub MAX 两款工程 AI 智能终端,面向建筑工程行业提供 CAD 出图辅助、工程量计算辅助、图纸审查辅助及工程专业知识问答四类应用。 两款产品对应两种部署需求 LSHub P1 为主力产品,形态是巴掌大小的 AI 智能盒子,连

    来源 AI 行业观察
  2. 拓竹MakerWorld创作者靠积分赚55万:模型社区为何难复制

    模型社区成了 3D 打印厂商争夺的下一块阵地。 作者丨姚单 编辑丨董子博 2026 年 9 月底,一个 3D 打印模型社区收益榜上排第一的创作者,纯靠赚积分,已经攒下价值约 55 万元人民币的收益。年末是购机和打印高峰,照这个势头,全年冲到 80~90 万元也不成问题。 这不是个例。头部创作者一年收入高达 40 万美金

    来源 AI 行业观察
  3. 心智永生实验:冷冻、固定与扫描,三条路能否存下“我”?

    从低温冷冻到醛基固定,从连接组图谱到全脑仿真,一批科学家正试图把“自我”从衰亡的肉体中抢救出来。MIT Technology Review 的圆桌讨论聚焦这一古老而激进的问题:我们想保存的究竟是大脑组织,还是那个正在思考的“我”?技术在进步,但结构能否等于体验,仍是横亘在永生梦想前的最深鸿沟。

    来源 AI 科技快讯
  4. 李彦宏的“最紧迫”与雷军的“热想象”

    APEC时间,科技掌门人谈了什么?作者/ IT时报 孙妍 综合报道编辑/ 孙妍 11月17日至18日,2026年亚太经合组织(APEC)工商领导人峰会在深圳前海国际会议中心举行。作为亚太经合组织第三十三次领导人非正式会议的配套活动,峰会由中国贸促会主办,主题为“共促繁荣,共赢未来”,2000余位政商代表参会,参会企业包

    来源 腾讯网
  5. 16岁辍学创业做AI导弹:他把“击杀成本”当卖点

    16岁高中生Henrijs Dandzbergs辍学加入YC,创办AI导弹初创公司,宣称要用新型导弹把美国及其盟友的“击杀成本”降到最低。本文梳理其背景、产品逻辑与争议,并追问:当战争效率被硅谷式指标衡量,创新与伦理边界在哪里?

    来源 AI 科技快讯
  6. 企业用 AI 面试我,我能用 AI 回答吗?

    写在前面 在面试时,使用 AI 来回答问题,是对企业和个人来说,都已经是一个已经无法回避的问题。 有 HR 对此深恶痛绝,认为是诚信问题。一个面试官和我说过一个真事,当时线上面试的时候,他们希望候选人分享自己做过的一个项目,结果候选人一不小心投屏的时候把 AI 辅助回答给亮了出来。 本来他们对于候选人的资质非常认可,但

    来源 AI 行业观察
  7. 马斯克深圳谈中美关系与特斯拉FSD,力挺黄仁勋

    埃隆·马斯克(Elon Musk)。图片由AI生成 北京时间11月19日,身在中国深圳的埃隆·马斯克(Elon Musk)谈到了自己对中国的印象。他称赞深圳的城市规模、现代化程度和科技产业活力,建议外界亲自来中国看看,并表示自己对中国抱有敬意。 在谈及中美关系时,他表示,双方保持良好关系、经贸磋商取得积极进展,对两国乃

    来源 AI 行业观察
  8. 稀疏自编码器要喂多少数据:华盛顿大学与IBM测试给出新答案

    你有没有遇到过这种情况:攒钱买了顶配电脑,结果发现日常用的软件,其实中配机器就能流畅运行,那些多花的钱,买的是心理安慰,而不是真实需求。机器学习圈子里正在发生一件类似的事。训练稀疏自编码器,这个听起来很专业的东西,大家默认的做法是砸几亿到几十亿个数据token进去,越多越好,仿佛数据量就是正义。但华盛顿大学和IB...

    来源 腾讯网
向下滚动自动加载更多