字节跳动联合CMU论文:AI猜得准为何反而更慢,MAT与单轮耗时的拉锯
你可能觉得,让AI模型一次性多猜几个字,总归比一个字一个字蹦出来要快。这个直觉大体没错,但2024年以来,一批研究者发现事情没那么简单。有些模型明明猜得更准了,整体生成速度却没怎么涨,甚至更慢了。这篇来自字节跳动、卡内基梅隆大学和弗吉尼亚理工的论文,就是在拆解这个让人困惑的现象,并给出了一套解决方案,叫D...
很多人会觉得,让AI模型一次多猜几个字,总比一个字一个字往外蹦要快。
这个直觉大体没错,可2024年以来,一批研究者发现事情没那么简单。有些模型明明猜得更准了,整体生成速度却没怎么涨,甚至更慢。来自字节跳动、卡内基梅隆大学和弗吉尼亚理工的这篇论文,拆解的就是这个让人困惑的现象,并给出了一套解决方案,叫
大模型答话时,是一个字一个字往外吐的。你抛给它一个问题,它先算出第一个字,再把这个字当作依据去算第二个字,如此一直算到整句话结束。这套做法叫
*
这种"一棒接一棒"的节奏慢得让人心急。于是有人动了个脑筋:让一个小模型来搭把手,先替大模型"猜"出后面几个字大概是什么,再由大模型一口气核对这些猜测准不准。猜中的直接留用,猜偏的就在那里切断重来。这套流程就是投机解码
*
妙就妙在,大模型做验证比做生成快得多——验证能并行计算,不用一步步来。打个比方,让一个资深编辑审稿,比让他从头写一篇文章快得多。审稿时他一眼扫过去就能判断对错,写作却必须一句接一句构思。投机解码就是把"写"的活儿外包给小模型,大模型只管"审"。
问题是,这个小模型(草稿模型)要怎么猜才最有效率?
早期的草稿模型也是一个字一个字猜的,速度有限。后来有人琢磨,能不能让草稿模型一次性把好几个字都猜出来?这就是
*
听起来很美好,猜得又快又多,应该稳赚不赔吧?
论文开头就泼了一盆冷水:更强的并行预测能力,不代表更高的
这是整篇论文最值得琢磨的反直觉之处。按常理,草稿模型预测能力更强、猜对率更高,总体速度应该跟着涨。可实验数据显示,有些配置下草稿模型猜得更准了,实际
验证规则是"一票否决",前面错了后面全白搭
先讲第一个机制。大模型核验草稿时有一条硬性规则:只认从开头起连续答对的那一段,一旦有某个位置猜偏了,后面即使全对也不作数。
论文对此给出了精确的数学刻画。假定草稿模型一口气猜了若干个词,设N为通过验证的词数,那么每一轮可被接受的词数期望值,就是把前面各位置全部答对的"存活概率"逐项相乘再累加。换句话说,第10个位置的预测若想真正见效,前9个位置必须一个不差地命中。
这就是为什么论文反复强调"
可以把它想成一局多米诺骨牌,只是规则很特别:裁判只认从第一块倒下起、连续倒下的那一串,中途只要有一块没倒,后面倒得再齐也不算数。你要是光顾着把第15块、第20块骨牌摆得更精巧,却不管第3块容易被风刮倒的毛病,那些用心打磨的后段骨牌就永远没机会亮相。如果不优化这种
这就解释了论文观察到的现象:训练和推理窗口都固定为16个词时,10.9%的验证轮次能把整段草稿全部接收,可见模型其实有本事猜得更长。研究者随后把训练和推理窗口都拉到32,准确长度确实被撑开了,可与此同时"猜1到4个词就被打断"的比例也升了上去,说明窗口拉长后早期出错的情况更多了。窗口一大,模型需要同时照顾的预测跨度随之变大,早期位置上的预测质量就被摊薄了。
吞吐量
第二个机制更直白:即便你真的把平均接受词数(论文称MAT,Mean Accepted Tokens)提了上去,只要每一轮草稿生成加验证的耗时也跟着水涨船高,整体速度就未必能提起来。
论文把吞吐量拆成一个简单的比值:吞吐量等于MAT除以
*
这个公式看着不复杂,指导作用却很大。它说明,任何想抬高吞吐量的改动,都得同时回答两个问题:这么做能不能把MAT推上去,这么做会不会让
好比一家外卖配送站在琢磨要不要让骑手一趟多带几单。多带几单确实能让骑手"一趟顶几趟",等于MAT上去了。可要是货太多逼得骑手绕远路、送达时间被拖长,单轮(也就是一趟配送)的耗时也跟着涨,最后算总账,整体配送效率未必能提高,甚至可能因超时投诉而更糟。不把"单趟耗时"算进去,只盯着"一趟能带几单"这一个指标,很容易做出得不偿失的决定。
搞清楚了这两个机制,
训练阶段:把每个位置的损失拆成三个独立的齿轮
论文提出了一个很巧妙的分析框架,把每个预测位置的训练损失拆成三个因子相乘:这个位置要不要计入训练(inclusion)、这个位置的权重该打多少(weighting)、以及这个位置本身的预测损失怎么算(prediction loss)。
这套拆解的意义在于,三个齿轮可以分别调,不必每次都从头设计一整套新的训练方法。基于这个框架,论文搭出了三套组合策略。
第一套策略叫混合窗口训练。
这样一来,模型不得不把更多注意力放在短窗口的早期预测质量上,同时对长窗口、远距离的预测覆盖也不会丢。论文给出的实验图显示,
拿运动员打比方就明白了。教练要是只按马拉松全程配速来练,短跑的爆发力就没人管,枪一响就可能被甩开,后半程配速再科学也追不回来。换成短跑、中长跑、马拉松轮着练,各个距离上的状态就比较均衡,不会专攻一项、另一项掉链子。不搞混合窗口,模型就像只练长跑的人,短距离预测上要吃亏。而投机解码里,短距离恰恰是最容易被"一票否决"的脆弱环节。
第二套策略叫块内随机揭示。
*
这个思路是从扩散语言模型那边借来的数据增强手法。以往是整个未来区块全遮住,让模型蒙着眼猜;现在按一定概率随机揭开一部分,模型在"知道部分答案"的前提下预测剩下的内容。训练场景因此更丰富,不再只有"全盲猜测"这一种模式。
实验也说明,这个策略得跟混合窗口搭着用才见效。单把揭示策略加进{4, 8, 16, 32}这种含很短窗口的组合里,效果反而更差。窗口太短,能遮盖的位置本来就少,揭掉一部分后剩下的学习信号更稀薄。研究者于是把短窗口下限从4提到8,问题就避开了。
第三套策略是全文最有意思的创新,叫接受度加权损失,简称AWL。
*
设计背后的核心洞察是:此前的方法也会给靠前位置更大权重(位置衰减),可这个权重是固定写死的,不随具体样本变化。AWL换了个做法,引入动态计算的接受度分数——用标准投机采样接受规则,算出草稿模型在每个位置的预测被目标大模型"认可"的概率,再把这些概率逐位连乘,当作该位置损失的权重。
训练初期,草稿模型预测能力弱,接受度分数普遍偏低,连乘之后靠后位置的权重被压得很小,训练信号自然集中在区块最前面几个位置。等模型在早期位置上越来越准,累积接受度分数升上来,后面位置才慢慢分到更多训练权重。说到底,这是让训练的"注意力"跟着验证规则的真实约束走,而非人为画一条固定的衰减曲线。
这让人想到带新人的情形。新员工刚入职,经理不会一上来就让他独立扛整个项目的所有环节,而是先盯住最基础、最容易出错的那一步,等这一步稳了再逐步放手,让他接触后面更复杂的环节。要是一开始就把注意力平摊到所有环节,新人多半在基础处就摔跟头,后面学得再好也白搭,流程本身可能在第一步就被叫停。AWL所做的,就是把"抓基础、再放权"这套策略变成一个能随训练进度自动调整的数学公式。
消融实验显示,三套策略叠在一起,MAT从固定16窗口训练的基线一路上涨16.1%,其中AWL贡献的增量是三者里最大的一块。
有一点要澄清。论文作者很诚实地指出,这些策略的增益并非简单相加,彼此存在重叠效应。比如混合窗口和块内揭示都作用在"哪些位置参与训练"和"预测损失怎么算"这两个因子上,两者合起来的提升就小于各自单独提升之和。这种实事求是的态度,让整个分析框架更显可信。
推理阶段:三个旋钮,一个一个拧
训练把模型的预测能力打磨好了,接下来是部署。论文把推理阶段要调的配置归成三个维度:目标模型条件化深度、草稿模型本身的深度,以及推理时每轮猜测的区块大小。
第一个维度是目标条件化深度,问的是:草稿模型做预测时,要参考大模型多少层的隐藏特征?
*
直觉上,参考层数越多,信息越丰富,预测应该越准。论文做了细致的成本分析后却发现,"多读几层"这个操作本身代价极低。原因在于,大模型本来就要把所有层的特征算出来,这是它自己生成文本的必经之路,草稿模型只是"顺手"多拿几层现成数据,不需要大模型额外多算什么。实测数据显示,从读取9层特征增加到读取全部35层,吞吐量变化幅度不到1%,某些设置下甚至只下降0.53%。
换句话说,既然“多读几层”的成本几乎可以忽略,那就没有节省的必要,有多少层就全部用上。论文由此定下方案:Qwen3-8B模型最后采用的配置中,目标条件化层数直接给到35层。
第二个维度是草稿模型深度,情况要复杂一些。
草稿模型本身也是神经网络,有自己的层数。层数越多,预测能力通常越强,但每多一层就要多算一遍,这是实打实的计算开销,不像读取目标模型特征那样近乎免费。
论文做了细致实验,测量草稿模型从2层加到12层时,每多加一层带来的MAT增量。数据呈现出清晰的边际递减:从2层加到3层,MAT猛涨零点几分;到8层以后再往上加,增量已经微乎其微,某些区块大小下,12层相比8层的增量甚至是负的。
另一组实验专门测延迟和层数的关系,发现在固定接受长度条件下,延迟几乎随层数线性增长,拟合优度(R方)高达0.9975。
把两组观察合起来,论文给出了一个数学证明:在MAT增量递减、延迟线性增长(或增长速度不减)的前提下,吞吐量关于层数的曲线一定是单峰的,先涨后跌,不会反复涨跌。也就是说,找到这个峰值就行,不必把每个层数都试一遍,二分搜索之类的方法就能快速定位。
这像往一碗汤里加盐。刚开始加一点,鲜味明显提升,你乐意继续加;加到某个程度后,再加带来的鲜味提升越来越不明显,咸度的副作用却在稳步累积。总有一个点,过了它继续加盐,汤只会又咸又难喝。不清楚这个"先升后降"的规律,可能一路加到底,以为盐越多越好,结果毁掉整锅汤。草稿模型选层数也是同一个道理,盲目堆层数不会一直有好处,找到那个甜蜜点才是关键。
论文实测显示,区块大小设为16、24、32时,Qwen3-8B配6层草稿模型吞吐量最高;区块大小为8时,最优配置变成4层。说到底,并不存在通用的"最佳层数",层数得跟着区块大小一起调。
第三个维度是推理区块大小,也就是每轮草稿模型一口气要猜出多少个词。
论文在这里再次用上了前面说的混合窗口训练技巧。训练阶段模型已经见过8、16、24、32这几种长度的窗口,因此同一个训练好的模型不用重新训练,推理时就能灵活切换区块大小,当前任务下哪种区块大小吞吐量最高就用哪种。
论文的表格数据显示,混合窗口训练出来的模型在8、16、24、32这四种推理区块大小下的MAT表现,全面超过只用固定32训练的模型,在16这个区块大小上的表现也接近专门针对16训练的模型。这说明了混合窗口训练的通用性:一个模型打天下,不必为每种部署场景单独训一个版本。
实测效果:速度提升真金白银
把训练策略和推理配置选择结合起来,
核心数据如下:Qwen3-4B模型上,DScout相比传统逐词生成(自回归)平均加速3.84倍;Qwen3-8B模型上这个数字是4.14倍。和同类最强方法
更值得关注的是,在不同模型、不同并发请求量的服务场景下,仅靠灵活选择推理区块大小(无需重新训练模型),就能比固定用区块大小16的配置额外提速最多9.75%。这个发现的实际价值在于,服务部署团队不必为每种流量场景单独训一套模型,用混合窗口训练好的那一个模型,根据当下并发情况实时切换区块大小就够了。
论文还提到一个值得玩味的细节:高并发场景下(32个请求同时处理),某些情况下选更短的区块大小反而比长区块跑得快,即便MAT因此降低。原因在于高并发时每轮计算资源被多个请求分摊,草稿区块太长会拉长单轮耗时,抵消了多猜几个词带来的好处。这进一步印证了论文开篇提出的核心观点:MAT高不等于吞吐量高,必须两者一起看。
写在后面
读完这篇论文,最触动我的是那个"一票否决"的验证规则所引出的连锁反应。
谈到预测系统的评价,大家往往只盯住"准确率"一个数,默认它越高系统就越强。论文却提出,这个指标还得看它落在什么使用规则里。规则若是"连续正确才算数",各位置上的准确率提升并不等价——越靠前,收益越大,越往后越不值钱。这个道理放到别处也成立。拿产品推荐列表来说,用户通常只扫前几条,那优化时前几条的准确率就远比第十条之后的关键,尽管两边在纯数字上看着一样好看。
AWL这个设计也让我想了很久。它没拿一条固定公式去规定"哪个位置更要紧",而是让重要性跟着模型自己的训练进度走。这种"自适应权重"说白了就是把优化目标和实际使用中的约束绑在一起,不靠经验随手设一条衰减曲线。这类做法在不少工程问题里都能借用:只要你能把"这东西实际会不会被用到"量化出来,就能把这个量化结果送回训练过程里去。
论文也没回避一个遗留问题:眼下的区块大小是按每个模型、每种并发设置提前测好再定死的,做不到依据当下的接受率和延迟实时调节。作者在讨论部分说,一个自然的延伸是做成在线策略,让系统根据最近几轮的实际表现来调区块大小。真做出来,会不会更接近理论上的最优吞吐量?这就留给后面的研究者了。
Q&A
Q1:DScout是什么?
A:DScout是一种让AI大模型生成文字更快的技术,通过优化
Q2:为什么草稿模型猜得更准,整体速度却不一定更快?
A:验证规则是"连续正确才算数",前面位置一旦猜错,后面再准也白搭;再说多猜会拉长每轮计算耗时,耗时涨上去把多猜的好处吃掉,整体吞吐量就上不去。论文之所以强调MAT与延迟要一并权衡,原因就在这里。
Q3:接受度加权损失(AWL)具体是怎么起作用的?
A:每个预测位置在真实验证流程里被轮到的概率不同,AWL据此动态调整它在训练损失中的权重。训练初期模型预测能力弱,靠后位置的权重会被压下来;等早期预测变准了,后面位置的权重才慢慢抬升,训练目标也就更贴近验证规则的实际约束。