NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成

资讯 AI 行业观察 全文 2769 字 · 约 7 分钟读完 配图 14 张 分类大模型

NeurIPS 2026|如何让LLM在推理中不断进化

所属频道 模型发布
NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 1)


AI 系统铺得越来越开,AI 服务也跟着成了能耗上涨的一大推手,LLM 推理服务尤其明显。真实用户交互会产生海量的 LLM 推理,这也让人重新考虑一件事:能不能拿推理过程本身去改进服务系统,尤其是把面向特定任务的 LLM 自适应做得更高效。


眼下主流的 LLM 自适应路子有两条。一条是调优,比如参数高效微调(PEFT)、提示调优;另一条是知识增强,比如检索增强生成(RAG)、提示工程。知识增强靠注入知识实现,和推理过程中改动内部权重没有关系;调优则通常离不开反向传播,相比推理本身会多出一笔资源开销。反倒是一种新兴的仅前向学习方法[1],只依赖前向传播,在 LLM 推理里正成为一种有前景的自适应方案。


一句话说清:LLM 在推理过程中持续进化,不靠反向传播、只走前向,就能适配下游任务。


NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 2)


  • 论文标题:Efficient LLM Adaptation with Forward-Only Passes

  • 研究团队:隆德大学(瑞典), Google DeepMind (纽约)

  • 论文链接:https://arxiv.org/abs/2611.10610

  • NeurIPS 官方页面:https://neurips.cc/virtual/2026/loc/atlanta/poster/148809


核心贡献:

思路是用 LLM 前向传播中激活值的角度集中度,来判断参数 SVD 里不同 rank 对激活值的贡献大小,再据此把这些 ranks 裁掉。


论文要做的事,是在 LLM 推理服务过程中只靠前向传播就把自适应高效完成。为此团队提出仅前向搜索,用来加快锁定所选权重矩阵:办法是利用奇异值分解(SVD)分量在激活与隐藏状态之间造成的角度集中度差异。每个 SVD 分量引起的激活的角度集中度,被用来衡量它对隐藏状态角度集中度的贡献是分散还是集中。这套前向搜索的步骤如下:


第一步,先做含多个 SVD 分量的 SVD 分解。


NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 3)


第二步,把全部 SVD 分量的激活值加起来,就能还原出标准的前向传播。


NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 4)


第三步,算角度集中度。


前向传播这一步用来测角度集中度,看哪个权重矩阵的离散度最高,接下来就对它做降秩。


NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 5)


结果


与梯度法 LASER-Grad 相比,这套前向做法峰值内存压得更低,加速比也更高;放到穷举搜索法 LASER 面前,加速比同样占优,精度则基本持平。在知识推理、知识干预、多跳推理、事实验证、公平性与偏见评估、幻觉检测、信息检索等多类数据集上,上述结论都成立:峰值内存占用低于梯度法,加速比高于梯度法;对上穷举搜索法,加速比更高,准确率相当。


NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 6)



NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 7)

评估对象是 GPT-J,报告指标为准确率(Acc,%)、加速比与峰值内存(Mem)。


NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 8)

Roberta 一侧,同样给出准确率(Acc,%)、加速比和峰值内存(Mem)三项。


扩展实验进一步说明,前向搜索方法既有效又稳健,还能增强微调过程。


NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 9)

GPT-J 


NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 10)

Roberta 在 Bios Gender 上的表现见下图。


实验覆盖的模型范围也铺得比较开。参数规模最高到 570 亿的 LLM 都跑了一遍,包括 LLaMA2 DeepSeekV1、Mistral、Qwen2 以及它们的专家混合模型(MoE)版本,多模态的 Gemma 4 也在其中。结果显示,前向搜索方法的泛化能力相当强。


NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 11)


消融实验验证了我们提出的高效分层搜索算法:它既能有效、鲁棒地加速计算,下游精度也没有掉。和 LASER-Grad 对比,仅前向的做法在不同序列长度下峰值内存明显更低,加速比也更高。


NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 12)
NeurIPS 2026:LLM 推理自适应,仅靠前向传播就能完成(配图 13)


我们把 Key、Query、Value 这些权重矩阵一并加进了默认的 FFN 输入/输出。结果发现,仅前向搜索得到的 top-j 权重矩阵,和只考虑默认 FFN 输入/输出时是一样的。也就是说,注意力模块里的权重矩阵基本可以忽略,计算速度因此能提上来。相关结果见下图。


相关工作:

相关方向涉及 LLM 压缩、LLM 自适应和仅前向学习。


先看 LLM 压缩。这类模型压缩技术一般追求的是在不影响下游精度的前提下减少模型存储。目前已有的方法包括量化、蒸馏、张量分解、剪枝和键值缓存压缩,目标同样是保住下游精度;不过它们或多或少要额外加步骤,比如做微调和对齐,或者压缩完再靠推理把下游精度提上去。另外一个现象是,在奇异值分解(SVD)里选择性地去掉权重矩阵的高阶分量,反而能提高下游精度。


LLM 想要贴合下游任务,常见做法分两条路:调优与知识增强。调优这边有监督式微调(SFT)、PEFT(低秩自适应 LoRA、适配器调优等)、提示调优、前缀调优、偏置高效微调(BEFT)、指令调优,还有下文要说的对齐技术以及测试时训练。问题是这些手段基本都离不开反向传播。就算是不用训练的 LLM 对齐方法,跟推理本身比起来,额外开销照样跑不掉。知识增强则是另一套:ICL、提示指令、检索增强生成、提示工程、激活控制以及基于工具的方法,它们靠增强提示或注入信息起作用,跟在 LLM 推理过程中改动内部权重是两条互不相交的路。


近两年冒出来的仅前向学习算法,给模型自适应指了个新方向:不再依赖反向传播,而是直接靠前向传播。放在当下 LLM 规模空前庞大的背景下,这一点尤其关键。可要把仅前向学习推广到更深的模型(比如 LLM),可扩展性仍是块难啃的骨头。在前向传播类技术里,前向梯度法能通过对多个扰动取平均,或者借局部损失把梯度估得更准,从而扩展到更深的模型;零阶优化则能撑到更深的模型和 LLM。至于扩展到 LLM 的进化策略,要么得调输入提示/嵌入,要么得反复迭代(调整)前向传播。


结语


这些新兴的仅前向学习方法只跑前向传播,后向传播一概不用,眼下正一步步进入大模型领域,作用也越来越实在。


说到底,本文提出的方法把反向传播的梯度计算彻底拿掉了,内存占用低、加速比高,将来完全有条件在真实的 LLM 推理服务里做在线实时适应。系统可以拿用户交互产生的偏好数据,或者自标记的验证数据,在服务过程中动态、低成本地调整模型,让它更贴合特定任务或用户群体。这条路子的商业价值相当高。


参考链接:

[1] Baichuan Huang, Alexander Ororbia, Amir Aminifar. Backpropagation-Free Learning: On the Emergence of Forward-Only Algorithms. TechRxiv. 2026.

DOI: https://doi.org/10.36227/techrxiv.176739859.93468234/v1



图片


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com BlueLM蓝心大模型 蓝心大模型官网,vivolm,vivo自研的通用大模型 简介 蓝心大模型(BlueLM ),强大的语言理解能… 聊天对话 · vivo.com 云知声山海大模型 云知声山海大模型是一个多功能、跨领域的智能大模型,它通过集成丰富的知识库和先进的自然语言处理技术,为用户提供… 大模型与开发平台 · unisound.com 子曰” 大模型 子曰是网易有道推出的教育领域垂直大模型,包含基于子曰大模型研发的六大创新应用——“LLM翻译”、“虚拟人口语… 聊天对话 · youdao.com 曹植大模型 曹植大语言模型是国内首个垂直行业专用的自主可控的国产GPT大语言模型,由达观数据研发。这个模型可以准确完成多… 聊天对话 · datagrand.com 西湖大模型 西湖大模型官网,智商情商俱佳的多模态大模型 简介 西湖大模型是西湖心辰开发的多模态大模型,西湖大模型既具备通… 聊天对话 · xinchenai.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. LLM推理中持续进化:仅前向传播实现下游任务自适应

    随着人工智能(AI)系统的大规模部署,AI 服务正成为能源消耗增长的关键驱动因素,尤其是在大型语言模型(LLM)推理服务方面。LLM 服务过程中,基于真实用户交互生成的大规模 LLM 推理促使我们重新思考如何利用推理过程本身来改进服务系统,特别是实现高效的特定任务 LLM 自适应。主流的 LLM 自适应方法基于调优技术

    来源 腾讯网
  2. Anthropic纳斯达克上市:1.5万亿美元估值背后,大模型正发生六个变化

    王强 腾讯研究院前沿科技研究中心主任今天晚上,Anthropic,这家成立不到六年的公司将在纳斯达克挂牌,股票代码ANT。其发展速度和规模,不得不说是一个技术和商业史上的奇迹,也让人们窥见了AI对未来经济、社会的巨大影响。按每股83美元的最终发行价,其完全摊薄估值约1.5万亿美元。根据目前大家的预期,上市后其市值可能会

    来源 腾讯网
  3. 200万个追踪标记潜入AI供应链,数据托管私密性被证伪

    一项巧妙的隐私实验揭开了AI供应链的隐秘角落。研究人员将约200万个带有唯一标记的“金丝雀”秘密植入提示词与数据流中,结果这些本应保持私密的追踪信息出现在大模型生态的多个环节。实验证明,用户数据在AI供应链中并不会真正保持私密,泄露的范围与深度远超想象。

    来源 AI 科技快讯
  4. 光禾AI推企业级智能体平台,FDE模式破解企业改造难题

    大模型进入企业后,如何与内部知识、业务系统和工作流程结合,成为企业推进AI应用的一道实际门槛。员工可以借助通用工具完成问答和内容生成,但涉及内部数据、多系统协作和具体业务执行时,企业仍需要解决系统接入、权限管理和持续运维等问题。 光禾AI选择以企业级智能体平台为底座,通过FDE项目改造服务,将AI能力嵌入企业实际业务。

    来源 AI 行业观察
  5. DeepSeek调整API计费:搜索与网页抓取不再单收费,只按Token算

    11月18日12:00起,DeepSeek正式实施全新API计费规则,开发者在调用大模型过程中触发的服务端搜索与网页抓取功能不再单独收费,全面转为仅按模型Token用量计费。这一调整进一步简化了大模型的商业化计费链路,直接降低了开发者构建联网AI应用的综合成本。 根据DeepSeek官方披露的规则,

    来源 AI 开发者社区
  6. 问诊AI?一场死亡背后的追问

    查症状、看药品说明书、理解检查报告,优先用有明确医学语料来源、答案带引用且被设计为“转介医生”而非“替代医生”的专业医疗AI产品,而不是把通用聊天大模型当成全科大夫。

    来源 凤凰科技
  7. 港中深与微软研究院推ConvexLLM:语音免转写直连大模型

    在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。 核心创新:C-Gate 架构与“凸包映射”原理

    来源 AI 开发者社区
  8. 国产大模型接连限额:算力都去哪了?

    ► 文 观察者网心智观察所 2026年11月16日,不少用户在打开DeepSeek客户端或网页版时,意外收到了一条弹窗提示。系统告知用户,受算力约束,平台不再支持存续超过7天且无活跃交互的长对话,单次输入文字上限被缩短到约4万字,连续使用不到2小时的免费用户甚至会直接触发每日使用额度上限。无独有偶,就在20天前的10月

    来源 腾讯网
  9. 阿里云单季收入609.73亿增53%:吴泳铭称算力紧缺长期存在

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。 剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重

    来源 AI 行业观察
  10. 黄仁勋离任连锁反应:英伟达评级遭下调,AMD被做空机构盯上

    【TechWeb】11月20日消息,黄仁勋卸任英伟达CEO带来的震荡仍在AI芯片产业链持续蔓延。19日行业接连爆出多重利空:英伟达遭遇勒索组织数据威胁、穆迪下调其信用评级展望,同时做空机构发布报告质疑另一家由华人CEO主导的芯片企业AMD订单真实性与流动性安全,叠加台积电对英伟达超额订单提出预付现金要求,AI芯片板块的

    来源 AI 行业观察
  11. 国星宇航港股首日破发:AI卫星转型未改营收结构,2026亏损预增

    中经记者 陈婷 赵毅 深圳报道11月13日,国星宇航(06935.HK)在香港联交所挂牌上市,公司股价开盘报24.44港元/股,较发行价24.9港元/股跌1.85%。截至当日收盘,报24.02港元/股。招股书显示,国星宇航是国内聚焦AI卫星的商业航天企业,于2018年12月发射了中国第一颗AI应用卫星,于2024年9月

    来源 腾讯网
  12. 李彦宏雷军同台谈AI,宇树王兴兴:机器人想象力超汽车

    11月17日至18日,2026年亚太经合组织(APEC)工商领导人峰会在深圳前海国际会议中心举行。作为亚太经合组织第三十三次领导人非正式会议的配套活动,峰会由中国贸促会主办,主题为“共促繁荣,共赢未来”,2000余位政商代表参会,参会企业包括115家世界500强企业。百度李彦宏、小米雷军、比亚迪王传福、宁德时代曾毓群、

    来源 AI 行业观察
  13. 曙光8000支撑成果:国产超集群拿下戈登·贝尔奖

    【TechWeb】11月20日消息,2026年国际超级计算大会(SC26)传来重磅喜讯:由全国产十万卡AI超集群曙光8000提供算力支撑的中国科研成果闪耀国际舞台,一项斩获被誉为“高性能计算领域诺贝尔奖”的ACM戈登·贝尔奖,另一项成功入围戈登·贝尔气候建模奖决赛。 从今年7月正式投用至今,短短四个多月,曙光8000再

    来源 AI 行业观察
  14. 商汤AI落地:模型算力应用并进,港股AI商业化迎双增长

    导读THECAPITAL从模型、算力到应用,商汤正在打通AI落地的多个环节。本文3125字,约4.6分钟作者 | 冯晓亭 编辑 | 吾人来源 | 融中财经2026年,越来越多的AI企业走进港股市场。从大模型、算力芯片到智能驾驶,产业链上的公司相继受到投资者关注。随着壁仞科技、智谱、MiniMax等企业陆续上市,港股也成

    来源 腾讯网
  15. 大语言模型开处方:单次就诊平均花费314美元,是人类医生三倍

    大语言模型(LLM)提供的临床诊疗方案,其费用是人类医生方案的三倍。一个研究小组让24个AI根据200个就诊记录提出诊断和治疗方案,这些就诊记录涉及不同的健康问题。随后,他们将AI模型提出的方案与医生实际提供的诊疗进行了比较。AI比医生开了更多的检查单、更多专科转诊和更多药物。按照AI的方案,患者每次就诊的平均费用..

    来源 腾讯网
向下滚动自动加载更多