Transformer模型可按算力伸缩:阿姆斯特丹大学提出免重训弹性剪枝
你有没有遇到过这样的场景:公司上线了一个AI模型,平时流量不大的时候用得挺顺畅,可一到促销季或者突发热点事件,请求量瞬间暴涨,服务器直接扛不住。这时候工程师们往往只有两个选择:要么提前备好一个超大杯的模型应对峰值,平时大部分算力都在浪费;要么准备一个省着用的小模型,结果高峰期一来,用户体验直接崩掉。这...
公司上了AI模型,平时流量小,跑得挺顺;一到促销季或突发新闻,请求量猛增,服务器顶不住。工程师通常只有两条路:提前备一个超大模型扛峰值,平时算力大多闲着;或者用省资源的小模型,高峰一来体验就垮。
这矛盾不新鲜。夏天开空调那几小时,用电量能到平时三倍,电网不会为这几小时把全年发电能力拉满,靠的是调度。AI模型长期缺这种调度能力。厂商产品线只有S、B、L几个固定尺寸,选了中杯就一直是中杯,没法临时挤出大杯的余量,也没法把大杯的料省着留到急用。
阿姆斯特丹大学和荷兰TNO研究所的论文标题很直白:“你的Transformer其实一直很有弹性”(Your Transformer Is Secretly Elastic)。它要回答的是:训练好的模型,能不能不重训,随时按算力预算伸缩大小?
剪枝为什么一直做不好
要看清这篇论文的贡献,先得弄明白传统压缩方法卡在哪。
结构化剪枝*:删掉整个功能单元(比如神经元或注意力头)而不是零散单个权重,以此给模型瘦身。好处是剪完能直接在普通硬件上跑得更快,不用专门的加速芯片。
结构化剪枝听着简单:找出模型里不重要的部分,剪掉。问题是每剪一次,都是为一个固定目标算力产出一个专属模型。要支持10种算力预算,就得生产、存储、维护10个模型文件。更麻烦的是拿模型做检索时(比如给图片或文本生成向量,再去数据库找相似内容),不同剪枝版本生成的向量可能互不兼容,每个版本甚至得单独建一套索引库。
好比开快递公司,面对不同重量的包裹,不买一辆能调载重的卡车,而是买十辆不同吨位的卡车,每辆还配独立调度系统和车库。维护成本直接爆炸。
弹性方案早有人试,代价不小。有的方法要重新设计架构,从零训练“嵌套”结构的模型(比如MatFormer),手里那些花了几百万美元预训练好的模型全得推倒重来。有的方法要做大量微调才能获得弹性,对几十亿参数的大模型来说,微调成本依然高得吓人,还得找到和原始预训练数据分布匹配的微调数据,本身就难办。
论文提到同一团队的前作SnapViT(Simoncini et al., 2025),尝试很聪明:不重训,用进化搜索找一个全局重要性排序,给每个MLP模块和注意力头打分,分越高越重要,推理时从排名末尾往上砍。思路已很接近这篇论文,但留下一个明显缺陷。
MLP*:多层感知机,Transformer每个模块里负责“思考”的结构,通常由两层线性变换加一个非线性激活函数组成,含大量神经元。
注意力头*:Transformer里负责“关注”输入序列不同位置关系的子模块,一个模型通常有多个注意力头并行工作,像同时用多个视角理解一句话。
SnapViT给每个MLP模块和每个注意力头各打一个分,但分数是整体性的,模块内部神经元之间的相对排序固定不变。也就是说,某个神经元在模块内初始排名靠后,实际却很重要,想留住它,就得连带保留模块里所有排它前面的神经元,哪怕那些根本没用。像班级选拔优等生参赛,规则却必须按座位号往后选,后排真正的学霸,除非把前面同学全选上,否则轮不到。
这篇论文要做的,就是打破座位号规则,让每个神经元和每个注意力头都有独立分数,摆脱组内顺序的束缚。
给每个神经元单独打分,靠什么
要给每个神经元单独算重要性分数,拍脑袋不行,得有理论支撑。
论文走的是二阶泰勒展开的路子。一个参数重不重要,可以看“删掉它,模型损失会增加多少”。这个增加量在数学上能用损失函数对参数的二阶导数(Hessian矩阵)近似。
Hessian矩阵*:描述函数曲率的二阶导数矩阵,这里用来衡量“删掉某个参数会让模型表现差多少”。矩阵越大计算量越夸张,论文只取对角线部分做近似估计。
完整算Hessian矩阵开销大到不现实(参数量动辄几十亿,完整矩阵根本存不下),论文沿用前人做法,只用对角线近似,并用经验Fisher信息(梯度平方在校准数据上取平均)估计对角线。视觉模型用自监督的DINO目标函数,文本模型用对比学习常见的InfoNCE损失。这两种损失不需要标签,自监督训练出的模型也能直接套用。
这里有个关键认知陷阱,论文自己也点明了:对角线近似有三个明显弱点。
一是完全忽略神经元之间的相互作用,假装每个神经元孤立存在,实际它们协同工作,砍掉一个可能影响另一个。二是估计分数用的代理损失函数(比如DINO目标)不一定反映下游任务(如图像分类、文本检索)的真实表现。三是不同模块之间、不同类型单元之间的分数不在可比的量纲上,没法直接拿A模块一个神经元的分数去跟B模块一个注意力头的分数比大小。
这三个弱点,正是论文接下来重点攻克的地方。
硬剪枝不能求导,那就换个软的
这是整篇论文最核心的技术突破。
剪枝说到底就是“留还是删”的二选一,数学上属于阶跃函数。这种函数求不了导,梯度下降也就无从下手。打个比方,你想调一个开关的灵敏度,可它只有“全开”和“全关”两档,中间没有过渡,你压根判断不出往哪边微调会更好。
论文的办法是把这只硬开关换成能平滑过渡的旋钮。用数学语言说,就是用sigmoid函数把硬选择变成软掩码:借助这种S形曲线函数,把“保留/删除”的非黑即白决策转成0到1之间连续取值的“软”权重,损失函数于是能对重要性分数求导,梯度下降也就能用来优化了。
落到操作上,给定某个稀疏度目标b(比如砍掉40%的算力),先在当前排序里划出一条分界线,论文称其为阈值κb,指排在这条线上最后一个被保留单元的分数。接着用sigmoid函数,把每个单元的分数与这条线的距离换算成0到1之间的软权重。排名远高于分界线的,权重接近1,基本等于完全保留;远低于分界线的,权重接近0,基本等于完全删除;卡在分界线附近的则落在中间地带,这些单元的权重对分数变化最敏感,梯度信号也最强。
设计上有个巧处:论文没有只盯一个稀疏度目标,而是一口气设了14个,从5%到70%,每隔5%一个。每一步优化都把14个目标的损失取平均,拿这个平均损失去更新分数。
为什么要这么费事、同时兼顾14个目标?因为单一阈值下,只有分界线附近的单元能拿到有用的梯度,离得远的几乎收不到任何学习信号。换成多个不同阈值,一个在阈值A附近没什么动静的单元,很可能恰好落在阈值B的敏感区间里。整个优化过程中,几乎每个单元都有机会被“照顾”到,拿到调整自己排名的机会。
这好比学校要给全校学生排名次,可你没法让每个老师挨个给每个学生面谈打分,太耗时间。学校于是想出个办法:组织14场难度不同的测验。每场测验只能精确区分中等水平附近那一小段学生的差距,太好或太差的学生在这场比赛里一律是满分或零分。但只要14场测验的难度覆盖得足够广,每个学生总有机会在某一场里恰好落进那个“能被精确区分”的区间,最终拼出一张相对完整、准确的全校排名表。要是偷懒只办一场测验,那些成绩远在平均线之外的学生,真实水平就永远无从得知。
这套流程还带着一个关键约束:优化期间模型原本的权重完全冻结,只调整每个单元的重要性分数——准确说是分数的对数形式,这样能保证分数始终为正。所以优化完成后产出的不是新的权重文件,而是一份全新的排序表。推理时照着这份表从底部往上砍,就能得到任意稀疏度的模型,不必为每个稀疏度重跑一次优化。
省下的硬盘空间和部署成本,正是破解本文开头那个“多个固定尺寸模型”困境的根本手段。
实验结果:剪得越深,优势越明显
论文在27个视觉和文本Transformer编码器上做了测试,参数规模从2200万到80亿不等,覆盖图像分类、语义分割、文本嵌入和检索四大类任务。
在ImageNet-1k的图像分类任务上,论文对比了五种一次性剪枝基线方法:FPTP、SparseGPT、OPTIN、VBP、SnapViT。浅层剪枝时,也就是剪掉比例不大、比如20%、30%的情况下,这些基线方法表现都还可以,和论文方法差距不大。
可一旦剪枝深度超过30%,所有基线方法的准确率都开始断崖式下跌,论文方法却依然维持着相对平稳的下降曲线。具体数字:50%稀疏度(意味着砍掉一半计算量)时,论文方法在DINOv3模型上比表现最好的对手高出40.3个百分点;到了60%稀疏度,差距进一步扩大到28.4个百分点(对比DeiT-III模型)。
最让人印象深刻的例子出在DINOv3 ViT-H+/16这个大模型上。剪到50%稀疏度,等于直接删掉4.27亿个参数,可它在ImageNet-1k的线性探测准确率上只掉了0.8个百分点,全程不需要任何权重修正或重新训练。这意味着原本每识别100张图片大约认错15张的模型,砍掉接近一半参数后变成认错大约16张,几乎感觉不出差别。
模型越大,剪枝的空间也越大
论文还专门研究了模型规模对剪枝效果的影响,这个发现其实挺反直觉。
按常理想,参数越多,是不是意味着每个参数都更“重要”,剪起来该更小心?实验结果恰恰相反:模型规模越大,对深度剪枝的容忍度反而越高。
拿DeiT-III系列来说,50%稀疏度下,最小的ViT-S/16准确率掉了33.2个百分点,最大的ViT-H/14只掉了5.3个百分点。DINOv3系列更夸张:ViT-B/16在50%稀疏度下掉了26.1个百分点,更大的ViT-H+/16只掉了1.8个百分点,甚至在40%稀疏度之前几乎感觉不到性能损失。
背后的逻辑其实不难理解。越大的模型里“冗余”往往越多,就像一个庞大的图书馆,真正被频繁借阅的核心藏书可能只占一小部分,大量书架空间放的是重复或低频使用的内容。剪枝就是在帮你识别并清理那些低频使用的“闲置书架”,图书馆规模越大,可清理的闲置空间往往也越多。
论文里还有个特别有意思的发现,来自DINO WebSSL这个包含6个不同规模模型(300M到7B参数)的家族。研究者发现,把一个更大的模型(比如3B或7B参数)剪枝之后,表现甚至能超过直接部署一个更小的、完整未剪枝的模型(比如dense的2B或5B模型)。这意味着选部署方案时,与其纠结“要不要用更小的模型”,不如考虑“用更大的模型剪枝之后再部署”,后者在同样的算力预算下可能反而效果更好。这对实际工程决策是个挺有价值的提醒。
不过,这种规模上的好处放到文本模型上就没那么突出了。BGE和Qwen3这两个文本编码器家族中,模型变大之后,损失幅度的走向并不稳定;Qwen3的4B模型在60%稀疏度下,损失甚至比0.6B模型还大。论文也直言,文本模型对深度剪枝更敏感,尤其是基于解码器架构的嵌入模型,像Qwen3和E5-Mistral,敏感度明显高过双向编码器(如BGE和E5)。这套方法眼下还没完全啃下这块短板。
索引不动,查询端可伸缩
实际落地时有个很常见的局面:你早先用一个完整的大模型,把海量数据(图片库也好、文档库也好)编码成向量并建好了索引,这一步成本往往不低,不可能说改就改。可等到用户来查询,你又希望按当前服务器负载,挑一个多“瘦”的模型去编码这条查询,同时不影响它与已有索引的匹配效果。
论文把这种情形叫作“非对称”部署:索引端固定,查询端模型弹性伸缩。实验里,基线方法在浅层剪枝时还勉强能用,剪枝一深,匹配效果就迅速垮掉——50%稀疏度下,表现最好的基线在AugReg、DINOv3、SigLIPv2三个模型上的准确率全部跌破6%。这篇论文的方法则相对稳得住,在DINOv3上比最佳对手高出49.4个百分点。
文本检索也差不多。BEIR基准测试上,60%稀疏度时,论文方法针对Qwen3 8B模型比最佳基线领先最多36.5个百分点。
这带来什么?就好比给电动车装了一台输出功率可调的电机,你可以按路况(流量压力)在“经济模式”和“性能模式”之间切换,底盘(索引)却不用整套换掉。
实际速度能快多少
理论计算量(FLOPs)降下来,不等于真跑起来就快,中间还隔着硬件适配、内存访问模式这些工程细节。论文为此做了真实的速度测试。
在A100 GPU上,用fp16精度加torch.compile编译,把AugReg ViT-B/16剪到60%稀疏度,吞吐量达到原始密集模型的1.80倍,单次查询延迟降到原来的1/1.26,也就是快了26%。在不同稀疏度之间切换,平均只需0.46毫秒,这点开销基本可以忽略。
论文还发现,剪枝“怎么切”同样影响实际速度。不加约束的话,剪完的MLP隐藏层维度可能是个很怪的数字,比如1347,这种不规整的形状在GPU上跑反而低效。若把剪枝约束成按8或64的整数倍来砍,矩阵形状更“整齐”,吞吐量还能再涨,eager执行模式下比不加约束时快1.63倍。代价是准确率会掉一点,深度剪枝时更明显,60%稀疏度下大约损失3个百分点。
说到底,这是典型的工程权衡:要更规整的硬件效率,还是要更精细的排序自由度,没有标准答案,得看具体场景更看重速度还是精度。
造一个弹性模型要多久
这套方法要给每个神经元单独打分再优化,会不会比传统剪枝慢很多?
论文给的数据是:构建一个覆盖6个稀疏度目标的完整弹性模型,最小的ViT-S/16只要8.7分钟,参数量是它29倍的ViT-H/14也只要40.7分钟。时间开销的增长明显慢于参数量的增长,论文称之为“次线性”增长。
对比其他基线,SparseGPT、SnapViT和FPTP确实更快,但都处在“几分钟到几十分钟”这个量级,算不上悬殊。真正的分水岭是OPTIN和VBP:处理ViT-H/14,它们分别要34.6小时和53.7小时,比这篇论文的方法慢了50倍以上。对需要快速迭代、频繁部署新模型的工程团队来说,这个差距分量不轻。
消融实验给出的解释
论文还做了一组拆解实验,想回答几个更根本的问题。
其一,给每个神经元单独打分,这份“自由度”究竟值多少?论文设了对照:从最粗的“每个子层一个缩放因子”,一步步细化到“每个神经元一个独立分数”,在相同优化计算量下比准确率。结果准确率随粒度细化单调上升,从29.4%一路涨到59.7%,几乎翻倍。这说明,允许更小粒度的单元独立调整相对排序,才是性能提升的核心来源,而不只是优化算法本身更强。
其二,这套优化流程能不能“纠正”一个很糟的初始打分?研究者故意用随机打分、纯按权重大小打分这类差方法做初始化,结果优化之后,糟糕的起点也能被大幅拉回。比如随机初始化,20%稀疏度下优化后准确率从58.2%升到76.8%,涨了18.6个百分点,几乎追平精心设计的DINO初始化。可见这套优化机制本身纠错能力很强,哪怕一开始判断不太靠谱。但在60%这种深度剪枝下,初始化质量仍有影响,好起点还是比差起点多出十几个百分点的优势。
其三,同时兼顾14个稀疏度目标联合优化,会不会“顾此失彼”,拖累某个单一目标?实验给出的答案相反:联合优化在所有被测的单一稀疏度点上,都好于专门针对那一点单独优化的版本,差距从20%稀疏度下的0.4个百分点,拉大到60%稀疏度下的3.6个百分点。多个目标之间的信息是互补的,并非互相争抢的资源。
论文也坦率承认了局限。它在视觉模型和双向文本编码器上表现强劲,可对基于解码器架构的文本嵌入模型(Qwen3、E5-Mistral这类由生成式语言模型改造的嵌入模型),深度剪枝时依然吃力。研究团队把这个问题,以及把这套方法推广到扩散模型(图像生成)和自回归语言建模(文本生成),都留给了未来工作。
写在后面
读完这篇论文,最让我记住的不是那些漂亮的准确率数字,而是它对“排序”这件事的重新理解。
说到剪枝,多数人脑子里还是那套老思路:挑出不重要的部分,删掉,判断一次就完事。这篇论文给出的提醒是,重要性并非某个单元单独拥有的属性,它得把该单元和其余所有单元摆在一起、在给定的稀疏度条件下才能定出相对关系。同一个神经元,模型要砍掉20%时它可能很关键,换成要砍掉60%,它的重要性排名恐怕得推倒重算,对手换了。
招聘也是类似的道理。团队只补1个人,某个候选人也许排不上号;团队忽然要招10个人,同一个人的相对位次就完全不一样了。论文想说的其实是,“重要性”天生离不开上下文,而传统剪枝方法一直把它当成固定不变的属性来处理,真正该反思的或许正在这里。
还有一处让人意外:模型越大,反而越好剪。按直觉,大模型每个参数都经过仔细训练,动哪个都舍不得。可论文里 DINO WebSSL 那组实验清楚地显示,剪枝后的大模型能比完整的小模型表现更好。这暗示,眼下训练大模型的方式本身可能就在产生大量冗余,并非把每份参数都用到了刀刃上。这种冗余究竟来自训练方式,还是模型规模带来的某种必然,论文没有给出答案,但这个问题值得接着追下去。