康奈尔大学新论文:语言模型复制粘贴为何会失手,CP头补齐短板
让语言模型学会"复制粘贴":一篇关于CPLM的解读

语言模型偶尔会把刚在眼前出现过的词说错,这种情况你遇到过吗?
比方说,你先告诉它"我家猫叫做小橘",聊了几句再让它复述猫的名字,它有时会冒出一个"小黄"。这听起来挺反常——注意力机制不是号称能"看到"整个上文吗?按理说,复制粘贴该是语言模型最拿手的操作之一。
康奈尔大学的论文《Copy-Paste Language Models》给出了不一样的答案。作者Nathan Godey和Yoav Artzi发现,对Transformer来说复制并没有想象中容易,背后还卡着一个长期被忽视的结构性瓶颈。有意思的是,他们只加了一个很轻量的小模块,就部分绕开了这道坎,135M到1.7B参数规模全线性能都有提升。
事情得从头讲。
复制难在何处
先看一个数据:FineWeb-Edu(Hugging Face发布的高质量网页教育文本预训练语料库)里,约60%的词在它所在的4000词上下文窗口中已经出现过一次。
语言本身就充满重复。文档会反复提到同一个人名,对话会呼应前面说过的话,代码里同一个变量名被引用无数次。"从上文复制"因此几乎是语言模型最基础、最高频的操作。
Transformer里有一类专门的注意力头叫归纳头(induction head,关注"如果A后面跟过B,那么再次看到A时就去拿B"这种模式的注意力头),还有检索头(retrieval head,专门从长上下文里精准定位信息的注意力头)。有这些机制在,理论上模型复制信息应该轻而易举。
可论文作者做了一个很朴素的实验,结果出人意料:词表(vocabulary,模型能够识别和生成的全部词元集合,现代大模型通常有几万到十几万个词)足够大时,普通Transformer在一个极简单的合成复制任务上直接失败了。
任务简单到什么地步?把一个随机词在序列里重复一遍,让模型预测后半段。前半段等于把答案写好了,模型只须抄一遍,按理是送分题。然而词表规模涨到512k时,普通模型的准确率只有34%,和瞎蒙差不多。
症结在哪?作者把矛头指向一个平时不太引人注意的部件:LM头(language modeling head,模型最后一层,负责把隐藏状态转换成词表上概率分布的线性投影层)。
这里要先交代一个背景。模型内部处理文本用的是维度为D的隐藏向量(比如D=576或者2048),要预测下一个词,就得把这个向量映射到词表大小V的空间上(V通常是几万)。LM头干的就是这件事,它是一个V×D的矩阵。
问题就藏在D远小于V这个结构里。一来,模型能表达的概率分布种类受限,业内管这叫softmax瓶颈(softmax bottleneck,由于LM头维度远小于词表规模,导致模型无法表达某些概率分布的理论限制,2018年由杨志林等人首次提出)。
更关键的是另一件事,也是论文真正关注的核心:反向传播(backpropagation,神经网络训练时根据预测误差从输出层往输入层逐层计算梯度、更新参数的过程)中,V维度的梯度信号要被硬生生压进D维空间,再传回模型主体。
压缩就有损失。论文引用同一批作者此前的研究,证明LM头反向传播时丢掉的梯度信息量几乎和一个同形状的随机矩阵相当,丢失程度基本取决于D和V的比例。换言之,词表越大、隐藏层维度相对越小,训练信号被这道"窄门"压扁得越厉害。
打个比方,一栋几万平米的大楼只留一个单人宽的安全出口。平时人少还凑合,一旦需要紧急疏散——比如模型要学"复制"这种必须精确对应到某个词元位置的能力,信息量巨大——这个单人宽的出口就会把大部分人堵死在楼里。不给大楼开一道新门,楼里的人(也就是训练信号)再想出去,能通过的也只有那么点。
复制恰恰最依赖精确的位置信息,被这道窄门卡得最惨。这也就解释了为什么小词表上模型copy还凑合,词表一大表现就崩。
CP头:为语言模型另开一道门
问题清楚了,解法思路也就顺理成章:LM头这道门太窄,那就再开一道,专门放复制相关的信号过去。
论文的核心创新由此而来——Copy-Paste模型(CPLM,Copy-Paste Language Model,在传统语言模型基础上增加一个专门负责"指向上文位置"的轻量级模块)。
CP头(Copy-Paste head,CPLM里新加的一个轻量模块,它靠类似自注意力的机制,为当前位置的预测算出指向过去某个位置的概率分布)的设计思路来自更早的指针网络;这种网络结构由Vinyals等人在2015年提出,能让模型直接从输入序列里“指”向某个位置,而不从固定词表里选词,早期多用在编码器-解码器和循环神经网络上。
指针网络这个思路一度颇流行,后来自注意力机制和Transformer崛起,大家觉得注意力既然已经能看到整个上文,单独做指针模块像是多此一举。论文作者不认同这个直觉:注意力确实能"看到"上文,但看到之后,最终还是要经过那道窄门才变成预测结果。指针这个老思路其实没过时,只是大家一直没意识到,它解决的是输出端的瓶颈,而非输入端的信息获取问题。
具体看CP头的工作方式:模型在当前位置算出一个查询向量(query,用于和上文的键向量做匹配,判断当前位置应该"关注"上文哪些地方),上文每个位置算出一个键向量(key,代表该位置的特征,供后续位置的查询向量匹配比对),两者做点积再做softmax归一化,就得到一个对上文每个位置的注意力分布。
接着把落在同一个词上的那些位置概率累加起来,得到的概率分布就只落在“前文出现过的词”这个小范围里了。它覆盖的范围不再是几万个词的整张词表,而是前文真正出现过的那些位置,一般也就几百到几千个。
关键就在这儿。LM头的梯度得从V这个维度挤过去,通道很窄;CP头不同,它的梯度只要穿过t维(t就是当前位置,也就是前文长度)这道口子。t往往比V小得多,通道宽了,信息折损自然就少。
那模型怎么分辨此刻该复制还是照常预测?论文安排了一个挺巧的触发办法:往词表里塞一个特殊标记,LM头给这个标记的概率就当成“开关”用。这个概率高,说明模型认为眼下该复制,CP头的预测权重随之被放大;概率低,则仍旧主要靠LM头来预测。
这个做法有个挺实际的好处:开关信号本身就是LM头softmax算出来的,所以解码(decoding,即模型生成文本时逐词预测的过程)时可以先对这个开关采样,一旦判定不用复制,CP头的计算直接跳过,省下一笔算力。
不过光有开关还不够。模型要是判断“该复制了”,可前文里压根没有合适的词可抄,又该怎么办?缺少补救手段的话,模型只能从一堆不合适的候选里硬挑一个,出错概率很大。
为此论文补了一个sink机制(sink是一个可学习的“哨兵”位置,CP头一旦判断前文没有合适的复制对象,就把注意力分给它,把决策权交回LM头)。
这个思路让我想到办公室里常见的一种流程优化:客服热线如果用户的问题自助语音就能解决,那就直接解决,但系统必须留一个“转人工”的口子。没有这条退出通道,用户碰上自助系统处理不了的问题就会被卡在死循环里,反倒比不设自助还糟。sink机制起的就是这个“转人工”按钮的作用,CP头拿不准的时候可以体面地把决策权还给LM头,不必被迫在烂选项里硬选。
模型最终的预测,是把LM头的分布和CP头的分布按“开关乘以非转人工概率”得出的权重加权混合。整个流程端到端训练,没有引入任何额外的监督信号,什么时候复制、从哪儿复制,都是模型自己学出来的。
从头预训练:数字说话
设计思路之外,还得看实际效果。研究团队训练的模型从135M参数一路做到1.7B参数,用的FineWeb-Edu数据多达200B(2000亿)token,backbone(主干网络,指Transformer模型除输出头以外的核心结构)涵盖了几种主流类型:全注意力(full attention,每个位置都能看到之前所有位置)、滑动窗口(sliding window,每个位置只看前面固定数量的位置,比如256个token,用来省内存)、两种交替使用的混合架构,以及Gated DeltaNet(一种线性注意力的循环结构,状态大小不随序列长度增长,适合处理超长文本)。
训练动态上的结果很直接:每种backbone上,CPLM都比普通模型更快压到后者最终的损失水平——全注意力和混合架构快1.25倍,滑动窗口架构则整整快了2倍。
1.7B规模的下游任务评测也印证了这一点。
HellaSwag、LAMBADA、PIQA、SciQ、ARC、WinoGrande这几个标准benchmark上,CPLM平均比普通模型高0.4到0.9个百分点,计算开销大约只多3%,几乎可以忽略。提升最明显的是LAMBADA(要求模型根据长段落预测最后一个词,目标词常常在前文出现过),高出2.5到4.0个百分点,正好说明复制能力对这类任务的价值。
论文里有个地方挺值得说:CPLM的提升并不只出现在那些真需要复制的token上。研究者按模型分配给标记的概率把token分组,结果发现,即便概率接近0、模型几乎完全靠LM头预测的那些token,CPLM照样比普通模型表现更好。
也就是说,CP头带来的好处不只是多开了一条复制通道。整个训练过程都被它改变了,主干网络本身得到了更充分的训练——好比给整栋楼新开一道门,复制信号顺畅通过之余,其他楼层的通风也跟着变好了。
滑动窗口的意外之喜
接下来这部分结果,我个人觉得是整篇论文里最有想象空间的。
滑动窗口模型的长处是省内存:它不必像全注意力那样缓存整个上下文的键值对(KV cache,Transformer推理时为避免重复计算,把之前所有位置的键值向量缓存下来,序列越长,缓存占的内存越大),只缓存窗口内那部分就行。
代价也很明显——窗口之外的信息,模型原则上根本看不到。
论文发现,给滑动窗口模型配上CP头之后,这个代价被大幅抵消了。
具体数字很能说明问题:1.7B规模的滑动窗口CPLM,窗口只设256个token,困惑度(perplexity,衡量模型预测准确程度的指标,数值越低预测越准)居然能跟全注意力模型相当,而缓存内存只有后者的十二分之一。
怎么做到的?答案在CP头缓存的“复制键”上——这是一种轻量向量,每个token只存一份,而且这份缓存可以独立于窗口大小存在。换句话说,backbone本身虽然只看得到256个token,CP头却能借助这些复制键“看”到整段历史。
研究者还专门做了滚动困惑度测试,把模型放到16000 token的长文档上跑,长度是训练时的4倍,结果很震撼:普通模型的困惑度一超过训练长度就急剧上升,全注意力模型甚至直接发散;CPLM的困惑度反而随位置增加持续下降,滑动窗口CPLM到16000 token时,复制的平均距离超过2000个token,远远超出它256 token的窗口范围。
打个比方,一个近视的人裸眼只能看清三米内的东西,可他手上有台望远镜,视力管不着它,几十米外的场景照样拍得清清楚楚,拍完低头翻照片,远处细节一样认得出。backbone就是那双近视眼,CP头是那台望远镜。没了望远镜,近视的人只能看着三米之外的信息彻底丢掉,普通滑动窗口模型就是这个处境。
单针检索实验把差距拉得更开:把一个7位数字的“魔法数字”随机埋进长达64000 token的填充文本,让模型把它找出来。滑动窗口CPLM的平均准确率从14.3%升到99.4%,无论深度、长度如何,几乎都能准确找到那根针,此时上下文长度已经达到训练长度的16倍。
这套机制的好处不止于预训练。研究团队拿Tulu-3数据集对1.7B模型做监督微调,也就是SFT(Supervised Fine-Tuning,在预训练模型上用带标签的任务数据再训练,让模型更贴合具体任务),方向覆盖数学、代码、指令遵循。
微调之后,CPLM在几乎所有benchmark上都压过对应的普通模型,平均高出1.2到5.1个百分点。数学上的差距最显眼:全注意力CPLM比普通模型高3.9分,滑动窗口CPLM高出7.9分。研究者的说法是,数学推理常常要走大量链式思考(chain-of-thought,先一步步展开推理过程再给最终答案),其中反复用到前面推出的中间结论,复制能力强的模型干这类活更顺手。
检索增强生成(RAG,Retrieval-Augmented Generation,先从外部文档库检索相关信息,再让语言模型基于检索结果生成答案)是另一个应用场景。研究者在HotpotQA数据集上做了一个很极端的实验:backbone完全看不到文档内容,文档只能经由CP头的缓存被模型访问。
即便backbone对文档一无所知,CPLM仍能保住90%到97%的准确率;干扰文档加到500篇,精确匹配率还有34%到38%,跟能完整看到文档KV缓存的模型打平,而占用的缓存只有全注意力模型的五十分之一。
这让我想到图书馆的索引卡片。要找某句话,不必把整本书搬到桌上,只要索引卡片够准——也就是CP头的复制键够准——直接翻到那一页就行。没有索引系统,就得把整本书摊在桌上,也就是缓存完整的KV,占地方又低效。CP头干的正是这种高效索引的活:文档编码一次,复制键可以反复用,不用每查一次就重翻整本书。
归纳头去哪了?论文最后用不小篇幅验证这套机制背后的原理是否真站得住。
他们先复现了此前关于LM头梯度瓶颈的实验设计,直接测CP头在反向传播中保住了多少信号。LM头反向传播时丢失的梯度范数超过99%,与此前研究结论一致;CP头即便压缩比例接近一个随机矩阵,由于它作用的空间维度小得多(t而不是V),在序列早期位置能保住高达85%的梯度范数,比LM头宽裕得多。
更直接的验证来自SpamLang合成任务:每个序列重复一个随机符号,看模型能否学会这种极端规律的复制模式。词表涨到512k时普通模型准确率只有34%,CPLM在所有词表规模下都稳定解决,准确率接近100%。
研究者还做了两组对照实验,给“CP头缓解梯度瓶颈”的理论上了双保险。第一组是梯度阻断:人为切断CP头通往backbone的梯度通道,让它只作为额外输出层存在,不参与反向传播塑造主干。结果CPLM的提升幅度掉到原来的四分之一左右——大部分收益确实来自那条额外梯度通路,而不是单纯多了一个输出头。
第二组是字节级语言建模。字节级词表只有257个符号,比隐藏层维度还小,LM头不再是瓶颈,梯度能无损传回backbone。此时CPLM与普通模型几乎一样,差距只有0.001到0.002这种量级,落在误差范围内。这组对照很有说服力:若CP头真是靠绕开LM头瓶颈起作用,瓶颈一旦不存在,它就该没了用武之地,实验结果恰好印证了这一点。
关于归纳头还有个有趣的发现。研究者用随机序列重复的探针任务测量backbone里学了多少归纳头,结果CPLM的backbone用远更少的归纳头就实现了比普通模型更强的复制。普通模型在T=2048这种长度下表现甚至不如纯随机猜测,CPLM则几乎完美预测了重复部分。
这像一个团队原本要十几个人轮流盯不同任务,来了个专职记录员,把需要精确复制记忆的活全接过去,那十几个人就能腾出手专心干别的。复制这项专项工作由CP头承担,主干网络里原本分散在十几个头上的归纳功能,就浓缩进了更少的几个头。
论文还有一些没展开讲的边角料,做了不少细致的消融实验,值得简单说一句。
比如CP头里查询和键的维度对效果影响很小,维度64和维度2048表现几乎一样,意味着可以用很小的维度省内存,效果不打折。
sink机制在窗口较小的backbone上作用更明显,窗口512以上基本没区别。这符合直觉:窗口越小,backbone越判断不准“上文有没有合适的词可抄”,sink这条退路就越有价值。
研究者还对比了一种更朴素的方案:直接给普通模型加一个神经缓存,按隐藏状态相似度检索历史token。调完参数后,这个缓存几乎被模型自动关掉,带来的提升可以忽略。这进一步说明,CPLM的收益来自把复制机制和主模型联合训练,而不是给模型外挂一个检索工具。
这套方法后来还被用于 NanoGPT speedrun——一项社区里比谁能把训练速度压到极致的竞赛,结果比此前的最好成绩快了 11.3%,也是 2024年12月以来架构层面幅度最大的一次提速。可见 CPLM 的好处并非只有在大规模实验室资源下才显现的边际收益,放到工程上已经高度优化的极限场景里,它同样站得住。
写在后面
论文读下来,那些漂亮的 benchmark 数字反倒不是让我印象最深的部分,真正抓住我的是那个字节级语言建模的对照实验。
它差不多就是“控制变量法”的教科书式示范:研究者并未停留在“CPLM 效果更好”这一条结论上,而是主动去找一个 CPLM 本该失效的场景,再验证它确实失效。这种自己拆自己台的做法,在论文里并不多见,多数工作更愿意把正面案例堆得满满的。
sink 机制为什么非有不可,这个细节也值得单独拎出来讲。按论文的说法,sink 的作用集中在训练早期和小窗口场景,这背后其实指向一个更普遍的规律:凡是“强制选择”的机制,只要没留退出通道,早期就容易出问题。模型刚起步时压根不知道自己该不该信自己的判断,此时给它留一条“拿不准就把决策权交回去”的后路,比硬逼着它每次都给出明确答案要稳当。这个道理不只对语言模型管用,很多决策系统的设计里也说得通。
我还在琢磨另一点:论文把复制限定在“上文出现过的 token”这个范围,尚未扩展到更抽象的“片段级复制”,也没有跨文档复制。作者在结尾也承认了这一点,称这是很自然的一步。假如有一天模型能复制的不是单个词,而是整段逻辑结构,我们对“语言模型究竟在学什么”的理解会不会再被改写?这个问题我眼下答不上来,但确实该接着追下去。
Q&A
Q1:Copy-Paste Language Models是什么?
A:Copy-Paste Language Models(CPLM)由康奈尔大学的研究者提出,是一种语言模型架构。它在传统 LM 头之外多加了一个轻量的 Copy-Paste 头,让模型可以直接指向上文的某个位置来做预测,由此避开传统 LM 头在反向传播中造成的梯度压缩瓶颈。
Q2:CPLM相比普通语言模型有什么实际优势?
A:在 135M 到 1.7B 参数规模上,CPLM 的困惑度和下游任务表现全线提升,训练速度最快可提升 2 倍;滑动窗口版本只用十二分之一的内存,就能达到全注意力模型的效果;长文本检索准确率也大幅提高,而多出来的计算开销不到 3%。
Q3:CPLM为什么能提升语言模型的复制能力?
A:传统 LM 头得把词表维度的梯度信号压进隐藏层维度,压缩过程中大量训练信号被丢掉了;CP 头作用的空间维度是上文长度,不是整个词表,梯度损失要小得多,等于给模型开了第二条更顺畅的训练信号通道。