NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成
NeurIPS 2026|如何让LLM在推理中不断进化
AI 系统铺得越来越开,AI 服务也跟着成了能耗上涨的一大推手,LLM 推理服务尤其明显。真实用户交互会产生海量的 LLM 推理,这也让人重新考虑一件事:能不能拿推理过程本身去改进服务系统,尤其是把面向特定任务的 LLM 自适应做得更高效。
眼下主流的 LLM 自适应路子有两条。一条是调优,比如参数高效微调(PEFT)、提示调优;另一条是知识增强,比如检索增强生成(RAG)、提示工程。知识增强靠注入知识实现,和推理过程中改动内部权重没有关系;调优则通常离不开反向传播,相比推理本身会多出一笔资源开销。反倒是一种新兴的仅前向学习方法[1],只依赖前向传播,在 LLM 推理里正成为一种有前景的自适应方案。
一句话说清:LLM 在推理过程中持续进化,不靠反向传播、只走前向,就能适配下游任务。
-
论文标题:Efficient LLM Adaptation with Forward-Only Passes
-
研究团队:隆德大学(瑞典), Google DeepMind (纽约)
-
论文链接:https://arxiv.org/abs/2611.10610
-
NeurIPS 官方页面:https://neurips.cc/virtual/2026/loc/atlanta/poster/148809
核心贡献:
思路是用 LLM 前向传播中激活值的角度集中度,来判断参数 SVD 里不同 rank 对激活值的贡献大小,再据此把这些 ranks 裁掉。
论文要做的事,是在 LLM 推理服务过程中只靠前向传播就把自适应高效完成。为此团队提出仅前向搜索,用来加快锁定所选权重矩阵:办法是利用奇异值分解(SVD)分量在激活与隐藏状态之间造成的角度集中度差异。每个 SVD 分量引起的激活的角度集中度,被用来衡量它对隐藏状态角度集中度的贡献是分散还是集中。这套前向搜索的步骤如下:
第一步,先做含多个 SVD 分量的 SVD 分解。
第二步,把全部 SVD 分量的激活值加起来,就能还原出标准的前向传播。
第三步,算角度集中度。
前向传播这一步用来测角度集中度,看哪个权重矩阵的离散度最高,接下来就对它做降秩。
结果
与梯度法 LASER-Grad 相比,这套前向做法峰值内存压得更低,加速比也更高;放到穷举搜索法 LASER 面前,加速比同样占优,精度则基本持平。在知识推理、知识干预、多跳推理、事实验证、公平性与偏见评估、幻觉检测、信息检索等多类数据集上,上述结论都成立:峰值内存占用低于梯度法,加速比高于梯度法;对上穷举搜索法,加速比更高,准确率相当。
评估对象是 GPT-J,报告指标为准确率(Acc,%)、加速比与峰值内存(Mem)。
Roberta 一侧,同样给出准确率(Acc,%)、加速比和峰值内存(Mem)三项。
扩展实验进一步说明,前向搜索方法既有效又稳健,还能增强微调过程。
GPT-J
Roberta 在 Bios Gender 上的表现见下图。
实验覆盖的模型范围也铺得比较开。参数规模最高到 570 亿的 LLM 都跑了一遍,包括 LLaMA2 DeepSeekV1、Mistral、Qwen2 以及它们的专家混合模型(MoE)版本,多模态的 Gemma 4 也在其中。结果显示,前向搜索方法的泛化能力相当强。
消融实验验证了我们提出的高效分层搜索算法:它既能有效、鲁棒地加速计算,下游精度也没有掉。和 LASER-Grad 对比,仅前向的做法在不同序列长度下峰值内存明显更低,加速比也更高。
我们把 Key、Query、Value 这些权重矩阵一并加进了默认的 FFN 输入/输出。结果发现,仅前向搜索得到的 top-j 权重矩阵,和只考虑默认 FFN 输入/输出时是一样的。也就是说,注意力模块里的权重矩阵基本可以忽略,计算速度因此能提上来。相关结果见下图。
相关工作:
相关方向涉及 LLM 压缩、LLM 自适应和仅前向学习。
先看 LLM 压缩。这类模型压缩技术一般追求的是在不影响下游精度的前提下减少模型存储。目前已有的方法包括量化、蒸馏、张量分解、剪枝和键值缓存压缩,目标同样是保住下游精度;不过它们或多或少要额外加步骤,比如做微调和对齐,或者压缩完再靠推理把下游精度提上去。另外一个现象是,在奇异值分解(SVD)里选择性地去掉权重矩阵的高阶分量,反而能提高下游精度。
LLM 想要贴合下游任务,常见做法分两条路:调优与知识增强。调优这边有监督式微调(SFT)、PEFT(低秩自适应 LoRA、适配器调优等)、提示调优、前缀调优、偏置高效微调(BEFT)、指令调优,还有下文要说的对齐技术以及测试时训练。问题是这些手段基本都离不开反向传播。就算是不用训练的 LLM 对齐方法,跟推理本身比起来,额外开销照样跑不掉。知识增强则是另一套:ICL、提示指令、检索增强生成、提示工程、激活控制以及基于工具的方法,它们靠增强提示或注入信息起作用,跟在 LLM 推理过程中改动内部权重是两条互不相交的路。
近两年冒出来的仅前向学习算法,给模型自适应指了个新方向:不再依赖反向传播,而是直接靠前向传播。放在当下 LLM 规模空前庞大的背景下,这一点尤其关键。可要把仅前向学习推广到更深的模型(比如 LLM),可扩展性仍是块难啃的骨头。在前向传播类技术里,前向梯度法能通过对多个扰动取平均,或者借局部损失把梯度估得更准,从而扩展到更深的模型;零阶优化则能撑到更深的模型和 LLM。至于扩展到 LLM 的进化策略,要么得调输入提示/嵌入,要么得反复迭代(调整)前向传播。
结语
这些新兴的仅前向学习方法只跑前向传播,后向传播一概不用,眼下正一步步进入大模型领域,作用也越来越实在。
说到底,本文提出的方法把反向传播的梯度计算彻底拿掉了,内存占用低、加速比高,将来完全有条件在真实的 LLM 推理服务里做在线实时适应。系统可以拿用户交互产生的偏好数据,或者自标记的验证数据,在服务过程中动态、低成本地调整模型,让它更贴合特定任务或用户群体。这条路子的商业价值相当高。
参考链接:
[1] Baichuan Huang, Alexander Ororbia, Amir Aminifar. Backpropagation-Free Learning: On the Emergence of Forward-Only Algorithms. TechRxiv. 2026.
DOI: https://doi.org/10.36227/techrxiv.176739859.93468234/v1