LLM推理中持续进化:仅前向传播实现下游任务自适应
随着人工智能(AI)系统的大规模部署,AI 服务正成为能源消耗增长的关键驱动因素,尤其是在大型语言模型(LLM)推理服务方面。LLM 服务过程中,基于真实用户交互生成的大规模 LLM 推理促使我们重新思考如何利用推理过程本身来改进服务系统,特别是实现高效的特定任务 LLM 自适应。主流的 LLM 自适应方法基于调优技术
AI系统大规模铺开之后,AI服务成了能耗攀升的主要推手之一,LLM推理服务尤其明显。LLM服务期间,来自真实用户交互的海量推理也在提示另一件事:推理过程本身能否用来改进服务系统,特别是让模型高效地针对特定任务完成自适应。
现有主流做法依赖调优技术(比如近来兴起的
用一句话说清思路:模型在推理过程中持续进化,只走前向、不做反向传播,就能适配下游任务。
论文题目是 Efficient LLM Adaptation with Forward-Only Passes。
研究团队:
论文链接:https://arxiv.org/abs/2611.10610
NeurIPS 官方页面:https://neurips.cc/virtual/2026/loc/atlanta/poster/148809
核心贡献:
办法是拿 LLM 前向传播里的激活值
这项工作的目标是:在 LLM 推理服务过程中,只靠前向传播就让模型高效自适应。为此团队提出仅前向搜索,用来加快选定权重矩阵的识别,做法是借助
其一,SVD 分解带有多个 SVD 分量
其二,把所有 SVD 分量的激活值相加,就能还原标准的前向传播。
第三,
前向传播测量
结果
结果是这样的:对照基于梯度的 LASER-Grad,前向方法峰值内存更低、加速比更高;对照穷举搜索的 LASER,加速比同样更高,精度则基本相当。
论文给出的结论是,在知识推理、知识干预、多跳推理、事实验证、公平性与偏见评估、幻觉检测、信息检索等一系列数据集上,前向搜索的峰值内存占用低于梯度方法,加速比更高;与穷举搜索相比,加速比更高,准确率相当。
GPT-J 上报告的准确率(Acc,%)、加速比与峰值内存(Mem)
Roberta 上报告的准确率(Acc,%)、加速比与峰值内存(Mem)
扩展实验进一步说明,前向搜索既有效又稳健,还能增强微调过程。
GPT-J
Roberta 在 Bios Gender 上的表现
团队还把实验铺到参数量最高 570 亿的各种 LLM 上,覆盖 LLaMA2、DeepSeekV1、Mistral、Qwen2 及其
消融实验显示,所提出的高效分层搜索算法能有效且稳健地加速计算,下游精度保持不变。同时,与 LASER-Grad 相比,仅前向方法在不同序列长度下峰值内存明显更低,加速比更高。
实验把 Key、Query、Value 等权重矩阵也加入默认的 FFN 输入/输出之中。结果显示,仅前向搜索得到的 top-j 权重矩阵,与只考虑默认 FFN 输入/输出时一致。也就是说,注意力模块里的权重矩阵可以忽略,计算因此更快。
相关工作:
涉及的方向包括 LLM 压缩、LLM 自适应和仅前向学习。
LLM 压缩方面:模型压缩技术一般追求在不损下游精度的前提下减少模型存储。到目前为止,量化、蒸馏、张量分解、剪枝、键值缓存压缩等 LLM 压缩方法同样以保住下游精度为目标,但多少需要额外步骤,比如微调与对齐,或者压缩之后再靠推理把下游精度提上来。值得注意的是,在奇异值分解(SVD)中有的放矢地去掉权重矩阵的高阶分量,反而能提升下游精度。
LLM 自适应方面:把 LLM 适配到下游任务,通常走调优技术和知识增强技术两条路。调优技术涵盖监督式微调(SFT)、PEFT(例如
仅前向学习方面:新兴的仅前向学习算法代表了一种有前景的模型自适应走向——从依赖反向传播转为更直接地依赖前向传播,在 LLM 规模空前的当下这一点尤其重要。不过,仅前向学习能否扩展到更深的模型(比如 LLM),仍是个难题。在仅前向传播技术中,
结语
新兴的
说到底,这套方法彻底不做反向传播的梯度计算,内存占用低、加速比高,未来完全可能在真实的 LLM 推理服务中实现在线实时适应。系统可以拿用户交互产生的偏好数据或自标记验证数据,在服务期间动态、低成本地调整模型,让它更贴合特定任务或用户群体,商业价值很高。
参考链接:
该团队的另一项工作把目光投向反向传播之外。Baichuan Huang、Alexander Ororbia 与 Amir Aminifar 在 TechRxiv 上发表了 2026 年的论文《Backpropagation-Free Learning: On the Emergence of Forward-Only Algorithms》,讨论纯前向算法的出现。
DOI: https://doi.org/10.36227/techrxiv.176739859.93468234/v1