LLM推理中持续进化:仅前向传播实现下游任务自适应

资讯 腾讯网 作者:机器之心 全文 1962 字 · 约 5 分钟读完 分类大模型能源电力

随着人工智能(AI)系统的大规模部署,AI 服务正成为能源消耗增长的关键驱动因素,尤其是在大型语言模型(LLM)推理服务方面。LLM 服务过程中,基于真实用户交互生成的大规模 LLM 推理促使我们重新思考如何利用推理过程本身来改进服务系统,特别是实现高效的特定任务 LLM 自适应。主流的 LLM 自适应方法基于调优技术

所属频道 模型发布算力与芯片

AI系统大规模铺开之后,AI服务成了能耗攀升的主要推手之一,LLM推理服务尤其明显。LLM服务期间,来自真实用户交互的海量推理也在提示另一件事:推理过程本身能否用来改进服务系统,特别是让模型高效地针对特定任务完成自适应。

现有主流做法依赖调优技术(比如近来兴起的

用一句话说清思路:模型在推理过程中持续进化,只走前向、不做反向传播,就能适配下游任务。

  • 论文题目是 Efficient LLM Adaptation with Forward-Only Passes。

  • 研究团队:

  • 论文链接:https://arxiv.org/abs/2611.10610

  • NeurIPS 官方页面:https://neurips.cc/virtual/2026/loc/atlanta/poster/148809

核心贡献:

办法是拿 LLM 前向传播里的激活值

这项工作的目标是:在 LLM 推理服务过程中,只靠前向传播就让模型高效自适应。为此团队提出仅前向搜索,用来加快选定权重矩阵的识别,做法是借助

其一,SVD 分解带有多个 SVD 分量

其二,把所有 SVD 分量的激活值相加,就能还原标准的前向传播。

第三,

前向传播测量

结果

结果是这样的:对照基于梯度的 LASER-Grad,前向方法峰值内存更低、加速比更高;对照穷举搜索的 LASER,加速比同样更高,精度则基本相当。

论文给出的结论是,在知识推理、知识干预、多跳推理、事实验证、公平性与偏见评估、幻觉检测、信息检索等一系列数据集上,前向搜索的峰值内存占用低于梯度方法,加速比更高;与穷举搜索相比,加速比更高,准确率相当。

GPT-J 上报告的准确率(Acc,%)、加速比与峰值内存(Mem)

Roberta 上报告的准确率(Acc,%)、加速比与峰值内存(Mem)

扩展实验进一步说明,前向搜索既有效又稳健,还能增强微调过程。

GPT-J

Roberta 在 Bios Gender 上的表现

团队还把实验铺到参数量最高 570 亿的各种 LLM 上,覆盖 LLaMA2、DeepSeekV1、Mistral、Qwen2 及其

消融实验显示,所提出的高效分层搜索算法能有效且稳健地加速计算,下游精度保持不变。同时,与 LASER-Grad 相比,仅前向方法在不同序列长度下峰值内存明显更低,加速比更高。

实验把 Key、Query、Value 等权重矩阵也加入默认的 FFN 输入/输出之中。结果显示,仅前向搜索得到的 top-j 权重矩阵,与只考虑默认 FFN 输入/输出时一致。也就是说,注意力模块里的权重矩阵可以忽略,计算因此更快。

相关工作:

涉及的方向包括 LLM 压缩、LLM 自适应和仅前向学习。

LLM 压缩方面:模型压缩技术一般追求在不损下游精度的前提下减少模型存储。到目前为止,量化、蒸馏、张量分解、剪枝、键值缓存压缩等 LLM 压缩方法同样以保住下游精度为目标,但多少需要额外步骤,比如微调与对齐,或者压缩之后再靠推理把下游精度提上来。值得注意的是,在奇异值分解(SVD)中有的放矢地去掉权重矩阵的高阶分量,反而能提升下游精度。

LLM 自适应方面:把 LLM 适配到下游任务,通常走调优技术和知识增强技术两条路。调优技术涵盖监督式微调(SFT)、PEFT(例如

仅前向学习方面:新兴的仅前向学习算法代表了一种有前景的模型自适应走向——从依赖反向传播转为更直接地依赖前向传播,在 LLM 规模空前的当下这一点尤其重要。不过,仅前向学习能否扩展到更深的模型(比如 LLM),仍是个难题。在仅前向传播技术中,

结语

新兴的

说到底,这套方法彻底不做反向传播的梯度计算,内存占用低、加速比高,未来完全可能在真实的 LLM 推理服务中实现在线实时适应。系统可以拿用户交互产生的偏好数据或自标记验证数据,在服务期间动态、低成本地调整模型,让它更贴合特定任务或用户群体,商业价值很高。

参考链接:

该团队的另一项工作把目光投向反向传播之外。Baichuan Huang、Alexander Ororbia 与 Amir Aminifar 在 TechRxiv 上发表了 2026 年的论文《Backpropagation-Free Learning: On the Emergence of Forward-Only Algorithms》,讨论纯前向算法的出现。

DOI: https://doi.org/10.36227/techrxiv.176739859.93468234/v1

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com BlueLM蓝心大模型 蓝心大模型官网,vivolm,vivo自研的通用大模型 简介 蓝心大模型(BlueLM ),强大的语言理解能… 聊天对话 · vivo.com 云知声山海大模型 云知声山海大模型是一个多功能、跨领域的智能大模型,它通过集成丰富的知识库和先进的自然语言处理技术,为用户提供… 大模型与开发平台 · unisound.com 子曰” 大模型 子曰是网易有道推出的教育领域垂直大模型,包含基于子曰大模型研发的六大创新应用——“LLM翻译”、“虚拟人口语… 聊天对话 · youdao.com 曹植大模型 曹植大语言模型是国内首个垂直行业专用的自主可控的国产GPT大语言模型,由达观数据研发。这个模型可以准确完成多… 聊天对话 · datagrand.com 西湖大模型 西湖大模型官网,智商情商俱佳的多模态大模型 简介 西湖大模型是西湖心辰开发的多模态大模型,西湖大模型既具备通… 聊天对话 · xinchenai.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  2. Anthropic纳斯达克上市:1.5万亿美元估值背后,大模型正发生六个变化

    王强 腾讯研究院前沿科技研究中心主任今天晚上,Anthropic,这家成立不到六年的公司将在纳斯达克挂牌,股票代码ANT。其发展速度和规模,不得不说是一个技术和商业史上的奇迹,也让人们窥见了AI对未来经济、社会的巨大影响。按每股83美元的最终发行价,其完全摊薄估值约1.5万亿美元。根据目前大家的预期,上市后其市值可能会

    来源 腾讯网
  3. 国产大模型接连限额:算力都去哪了?

    ► 文 观察者网心智观察所 2026年11月16日,不少用户在打开DeepSeek客户端或网页版时,意外收到了一条弹窗提示。系统告知用户,受算力约束,平台不再支持存续超过7天且无活跃交互的长对话,单次输入文字上限被缩短到约4万字,连续使用不到2小时的免费用户甚至会直接触发每日使用额度上限。无独有偶,就在20天前的10月

    来源 腾讯网
  4. 霍普金斯大学研究:美国电网设备2027年或临短缺?

    约翰斯 · 霍普金斯大学近日在《Cell Reports Sustainability》期刊发表的一项研究显示,美国最早可能在 2027 年就面临电网设备短缺,影响新建电厂和数据中心并网。到 2030 年,变压器和变流器的短缺问题或将进一步恶化。

    来源 IT之家
  5. 问诊AI?一场死亡背后的追问

    查症状、看药品说明书、理解检查报告,优先用有明确医学语料来源、答案带引用且被设计为“转介医生”而非“替代医生”的专业医疗AI产品,而不是把通用聊天大模型当成全科大夫。

    来源 凤凰科技
  6. 强模型不用每步都亲自动手,当个审稿人就够了

    你有没有遇到过这种上司:明明手下有个实习生能干活,但他总觉得"还是我自己来比较放心",结果事事亲力亲为,把自己累得半死,效率还上不去。大语言模型做智能体任务的时候,长期以来就是这么个状态。一个客服智能体要处理用户的退款请求,可能得走个三四十步:查用户信息、查订单、核对政策、查库存、最后才能执行退款、回...

    来源 腾讯网
  7. OpenAI自曝递归自我提升,智能体指数级爆发,人类已成瓶颈

    OpenAI毫无征兆地宣布:「递归自我提升」(RSI,Recursive Self-Improvement)的齿轮,已经正式开始转动。 通俗来说,OpenAI亲口作证:AI开始研发AI了! 长久以来,人们都在猜测超级人工智能(ASI)会在哪一天降临。大家盯着大模型的跑分,盯着参数量的飙升。 但OpenAI明确告诉你:通

    来源 AI 行业观察
  8. 中石油独山子石化:百万吨乙烯装置核心设备改电驱

    中国石油独山子石化塔里木120万吨乙烯工程核心装置。来源:中国石油中国今年已有两个新投产的大型乙烯生产装置,率先使用电力驱动的主压缩机文|《财经》记者 徐沛宇编辑|黄凯茜大型石化装置动力设备的电气化转型,在今年取得了突破性的项目落地进展,为行业减碳打通了新路径。占全国二氧化碳排放总量12%左右的石油化工行业,因排放源复

    来源 腾讯网
  9. DeepSeek调整API计费:搜索与网页抓取不再单收费,只按Token算

    11月18日12:00起,DeepSeek正式实施全新API计费规则,开发者在调用大模型过程中触发的服务端搜索与网页抓取功能不再单独收费,全面转为仅按模型Token用量计费。这一调整进一步简化了大模型的商业化计费链路,直接降低了开发者构建联网AI应用的综合成本。 根据DeepSeek官方披露的规则,

    来源 AI 开发者社区
  10. 港中深与微软研究院推ConvexLLM:语音免转写直连大模型

    在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。 核心创新:C-Gate 架构与“凸包映射”原理

    来源 AI 开发者社区
  11. 活体肝脏体外存活七周,器官移植迎来临界点

    澳大利亚团队宣称让一颗人类肝脏在体外生命支持系统中存活七周,刷新纪录;同日,一笔十亿美元级电池交易落地,而围绕AI热潮的争论仍在继续。本期《The Download》将三条线索并置:器官保存的时间尺度、储能产业的资本押注,以及技术叙事的真伪之辨。

    来源 AI 科技快讯
  12. COP31启动第二次全球盘点:气候承诺怎样进入具体行业

    界面新闻实习记者 | 朱清华当地时间11月18日,第二次全球盘点(GST2)在联合国气候变化大会(COP31)期间启动。按照《巴黎协定》安排,全球盘点每五年开展一次,评估全球气候行动的整体进展,为各国下一轮行动提供参考。第一次全球盘点(GST1)于2023年COP28完成,提出加快能源转型、扩大可再生能源规模、提高能源

    来源 腾讯网
  13. 沈辉:钙钛矿电池量产待验证,太空光伏仍在起步期

    11月19日,“2026第九届国际光伏与储能产业大会”在成都继续举行。在全行业经历深度产能调整的当下,本届大会不仅聚焦产能出清,还首次设立钙钛矿主题馆,将钙钛矿叠层、太空光伏等前沿路线推至台前。

    来源 每日经济新闻
  14. OpenAI前沿训练安全框架:夜间告警无人应答即自动暂停

    OpenAI于2026年11月18日发布前沿模型训练安全案例框架,要求训练运行在推进前通过对齐、遏制、监控三维度审查。核心机制包括夜间优先安全告警无人响应时系统自动暂停,以及新问题导致安全案例失效即须暂停。该框架借鉴航空与核电行业实践,明确限定于前沿强化学习训练阶段,目前仍属 aspirational 北极星

    来源 AI 科技快讯
  15. 港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

    语音与多模态AI发展中,让大模型直接“听懂”声音并复杂推理是核心方向。香港中文大学(深圳)与微软研究院联合提出ConvexLLM多模态统一建模新架构,为语音与语言融合提供新思路。其核心创新为C-Gate架构与“凸包映射”原理,意在突破传统先将语音转写为文本、再交由大语言模型处理的链路。

    来源 AI 产业速递
  16. OpenAI推前沿训练安全框架:夜间告警无人应答就自动暂停

    OpenAI于2026年11月18日发布前沿模型训练安全案例框架,要求训练运行在推进前通过对齐、遏制、监控三维度审查。核心机制包括夜间优先安全告警无人响应时系统自动暂停,以及新问题导致安全案例失效即须暂停。该框架借鉴航空与核电行业实践,明确限定于前沿强化学习训练阶段,目前仍属 aspirational 北极星目标。

    来源 AI 行业观察
  17. 肝脏体外存活七周:器官移植的时间窗口被改写

    澳大利亚团队宣称让一颗人类肝脏在体外生命支持系统中存活七周,刷新纪录;同日,一笔十亿美元级电池交易落地,而围绕AI热潮的争论仍在继续。本期《The Download》将三条线索并置:器官保存的时间尺度、储能产业的资本押注,以及技术叙事的真伪之辨。

    来源 AI 行业观察
  18. 国内推出首个智能座舱 AI 分级评价体系,共分为 C1 到 C5 五级

    IT之家 11 月 20 日消息,据央视新闻今日报道,随着新能源汽车快速普及,日前,中国汽车技术研究中心推出了国内首个汽车智能座舱 AI 能力分级评价体系。 IT之家从报道获悉,这次中汽中心推出的 AI 能力分级评价体系,共分为 C1 到 C5 五级,把座舱 AI 主观体验转化为可量化的评价指标,覆盖八大能力和行为属性

    来源 AI 行业观察
  19. OpenAI 开放 GPT-Live-1.1 API:开发者可接入实时双向语音对话

    IT之家 11 月 20 日消息,OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交

    来源 腾讯网
向下滚动自动加载更多