华为杨浩AICon北京开讲:昇腾算力下大模型推理怎么加速

资讯 AI 行业观察 全文 1816 字 · 约 5 分钟读完 配图 1 张 分类大模型算力

当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

所属频道 模型发布算力与芯片

当 Agent 真正走进企业流程,哪些活能交给 AI 干?50 多个实战案例会给出答案。

AI 的角色正在变。早先它是帮着回答问题的工具,如今开始理解目标、调用系统、把任务做完,成了干活的承担者。Agent 一旦进入企业流程,要问的就不是「怎么把 AI 做出来」,而是哪些工作能交出去、结果怎么验收、权限、成本与风险怎么控住。大模型往推理、工具调用、多模态和长任务方向走,开发重心也从单次调用转到上下文、工具、执行环境与反馈回路的设计上;Coding Agent 同样不只是补代码,而是能读懂代码库、跑测试、接手复杂任务的工程协作者。OpenAI、Google Cloud、Anthropic 最新的做法指向同一个判断:模型决定 Agent 能做什么,工程决定它能不能真进生产、真创造价值。

2026 年 AICon 人工智能开发与应用大会 · 北京站就定在 12 月 18–19 日,地点是北京新云南皇冠假日酒店。大会主题为探索 A 应用边界,13 大技术专题覆盖大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构及组织变革等方向,一线技术专家会到场,讲 AI 技术突破和企业规模化落地的真实做法。

华为高级技术专家、人工智能科学家杨浩已确认参加「大模型推理与算力调度实践」专题,带来题为《基于昇腾算力的大模型推理加速研究与实践》的分享。他以 AI Coding 长上下文场景为切入点,梳理昇腾推理的四大核心难题:算力利用率低、KV Cache 开销大、首 Token 延迟高、多卡通信有瓶颈,并围绕吞吐、时延、显存占用和 MFU 等指标做系统优化。

分享分「研究 + 实践」两条线走。研究这块盯的是推理性能瓶颈分析和下一代算力演进;实践这块主要讲基于 A3 平台的 Infra 调度优化,以及 TurboQuant 算子的工程落地,把问题分析、技术优化、效果验证到未来展望整个链条讲完整。

杨浩是华为高级技术专家、人工智能科学家,北京邮电大学通信与信息系统博士,师承两院院士陈俊亮老师。搜索推荐、机器翻译这些 AI 相关领域,他做了十年以上研发,手里有 10+ICLR/ICASSP 等顶会论文和国内外专利,还带团队拿过 WMT/WAT NEWS/DOMAIN/QE/APE 冠军。

他在本次会议的详细演讲内容如下:

演讲提纲

  1. AI 推理性能现状与目标

    AI Coding 长上下文场景最容易把访存、通信、显存三处瓶颈放大,序列一长,KV 就随上下文线性膨胀。思路是用模型量化(W4A8)和 KV Cache 量化打底,把吞吐提上去、TTFT 压下来、显存省出来。

  2. 昇腾推理 Infra 加速实践

    算力主力是昇腾 A3,PD 分离、投机推理、动态批处理都落了地,再靠分级 KV 缓存和多卡并行调度让通信与计算重叠起来,在并发和时延之间找最优配比。A3 的实测数据也会给出。

    精度不变的前提下,摸高场景拿到了收益:1M 长序列请求,并发数从 4 提到 10,提升 2.5 倍

  3. CANN 融合算子加速实践

    核心是 TurboQuant:在 Hadamard 旋转域上做量化,权重接近最优量化,KV 压到 3~4bit。用 CANN/Ascend C 融合算子链,中间 buffer 省掉,kernel 调度减少,算子随 CANN 商发、在 vLLM-Ascend 主版本落地

    精度不变的前提下,业务场景也拿到了收益:3P1D 架构下,TPOT 维持在 30ms,TTFT 控在 10s 以内,吞吐提升 3 倍 +

  4. 下一代昇腾与异构算力思考

    他会结合昇腾 950 的应用进展,讲代际算力怎么提升、怎么适配,再往异构算力池化、训推一体和近存互联上探,撑住复杂 Agent 和超大模型场景。

听众收益:

  • 听完能弄明白 AI Coding 长上下文场景里算力利用率、KV Cache、首 Token 延迟、多卡通信这些瓶颈在哪,也能了解 PD 分离、投机推理、动态批处理、分级 KV 缓存等 Infra 优化手段,以及它们在吞吐、时延、显存优化上怎么用。

  • 低比特量化、KV Cache 压缩和融合算子的优化思路同样会讲到,从算法设计、算子开发到推理框架集成的关键路径怎么走,配合 A3 平台实测案例,看这些技术在长上下文场景里能拿到多少性能收益。

华为杨浩AICon北京开讲:昇腾算力下大模型推理怎么加速(配图 1)
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 苹果测试Apple Intelligence每日额度,iCloud+订阅可扩容最高20倍

    苹果正测试为 Apple Intelligence 云端 AI 设每日额度。iOS 27.3 Beta2 等测试版及支持文档显示,高算力服务器端任务将不再免费无限使用。限额覆盖新版 Siri、相册智能修图(消除、扩图、空间重构)、Image Playground、快捷指令云端大模型及接入私有云的第三方应用。日常设置等轻

    来源 AI 产业速递
  2. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  3. DeepSeek收紧免费对话限制引众怒,用户反求收费

    【TechWeb】11月15日起,多名用户在社交平台发帖称,DeepSeek已对App与网页版的长对话功能实施了使用限额。页面弹窗显示:“因算力不足,不再支持超过7天不活跃的长对话。”随后几天,愤怒与不解迅速在社交平台发酵。11月18日,话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。但与一般产品限流引发的骂

    来源 腾讯网
  4. 蚂蚁灵波具身大模型赛:48小时真机比拼,TARS战队夺冠

    对于方兴未艾的具身智能产业而言,蚂蚁灵波科技CEO朱兴在接受采访时强调,行业目前还在快速迭代,尚未迎来具身智能的Scaling Law时刻。但是随着一些技术落地验证和产学研生态的协同,也会加速具身智能的进化。

    来源 TechWeb
  5. 李彦宏APEC中英文两场对话:AI价值最终在应用层

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  6. 李彦宏APEC谈AI:价值在应用层,最紧迫是找到合适场景

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  7. 英伟达七年19笔并购:AI推理为主,克制是常态

    如果只看英伟达的营收和市值,很容易把它当成一家“卖算力/芯片的公司”。 但如果看它过去七年做过的很多笔并购案,会发现另一个不一样的英伟达。这是一家并购风格理性克制,把“技术”当成核心能力的公司:它很少为了并表收入而收购,也很少为了消灭对手而收购,它买的大多是能把它的GPU变成更强、更难绕开的技术能力。 据 IT桔子收录

    来源 AI 行业观察
  8. 李彦宏谈AI泡沫:算力投入大,应用落地不及预期

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会于今日在深圳举办。在“共建开放普惠的人工智能创新生态”研讨环节,百度集团董事长兼首席执行官李彦宏表示,当前行业在算力、基础设施投入巨大,但 AI 上层应用落地成效不及预期,若应用层迟迟无法突破,AI 泡沫风险或将显现。尽管如此,李彦宏对 AI 长期

    来源 腾讯网
  9. Model ML融资2.5亿美元:AI代理替投行分析师改模型、做PPT

    据TechCrunch报道,AI创业公司Model ML完成2.5亿美元融资,主打为投行与咨询顾问自动更新财务模型和演示文稿。其代理能理解交易全貌,在新信息影响分析时自动同步修改。这轮融资折射出资本对金融垂直AI的押注:投行初级员工的建模与做PPT苦活,正成为大模型最现实的落地场景之一。

    来源 AI 科技快讯
  10. Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元

    科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

    来源 IT之家
  11. 黄仁勋离职后英伟达营收仍看涨:AI算力狂热能否撑起增长故事?

    据TechCrunch报道,尽管创始人兼CEO黄仁勋因丑闻离职令英伟达陷入动荡,公司仍预计创纪录的营收势头不会中断。这份乐观指引背后,是AI算力需求的持续狂热,也是客户集中、竞争加剧与治理重建的多重考验。市场正在追问:没有了“皮衣教主”的英伟达,还能把增长故事讲多久?

    来源 AI 科技快讯
  12. AI等硬科技企业密集赴港上市,商业化验证成为估值分水岭

    伴随港交所18C特专科技机制落地,一批大模型、AI算力芯片、自动驾驶、机器人等硬科技企业密集赴港递表、挂牌上市,港股市场正成为国内未盈利科技企业重要的境外融资枢纽。但市场呈现明显冷热分化,部分头部标的基石认购火热、上市后再融资通道顺畅,不少新股遭遇破发、成交低迷、一二级估值倒挂。港股在承接新质生产力资产的同时,正迎来一

    来源 AI 行业观察
  13. 中广天择:AI算料业务成新增长曲线,AI漫剧产品陆续上线

    中广天择在2026年第三季度业绩说明会上表示,公司在AI方面已有布局。旗下数智中心以40万小时4K超高清视频与200万小时高保真音频建立起高质量垂类算料库,与国内头部大模型企业达成合作,AI算料业务已成为公司新的增长曲线。同时,公司AI漫剧业务也已经陆续有产品上线。公司将积极推动人工智能、大数据等前沿技术在业务全流程中

    来源 AI 行业观察
  14. APEC专题|王兴兴谈AI与机器人:公开进展只是“水面以上”,底层迭代远超外界感知

    11月17日,在深圳举办的APEC工商领导人峰会上,宇树科技创始人王兴兴作为科技企业代表,分享了对AI与机器人领域发展态势的判断。 王兴兴表示,未来几年AI大模型与机器人领域潜力巨大,是当下最令他激动的方向。他用“水面以上”与“水面以下”作比喻:普通大众目前看到的AI技术、机器人技术进展,大多只是“水面以上”的部分;而

    来源 AI 行业观察
  15. 英伟达份额降至28%,摩根大通称CUDA壁垒正被AI攻破

    摩根大通指出,英伟达在2026年算力协议中份额仅剩28%,AMD、谷歌TPU等竞品强势崛起;与此同时,CUDA护城河三天被AI攻破。开源市场则遭遇监管收紧,出口合规风险上升。尽管英伟达当前估值具备吸引力,但支撑高增速预期的两大引擎均已动摇。

    来源 华尔街见闻
  16. 开源社区请愿黄仁勋回归英伟达

    据MIT Technology Review报道,一项要求恢复黄仁勋担任英伟达CEO的请愿在社交媒体上流传,并出现包括埃隆·马斯克在内的知名签名者。事件折射出开源社区对英伟达GPU生态、AI算力供应与公司领导力的复杂情绪。本文梳理请愿背景、黄仁勋与开源运动的关系,并分析其象征意义。

    来源 AI 科技快讯
  17. 网易智企发布双向AI安全架构,Agent越权风险怎么治?

    “当AI从“回答问题”走向“执行任务”,安全治理的边界也必须同步延伸。“数据安全”、“内容审核”曾是企业讨论AI风险时最常见的关键词。但当AI开始读取内部资料、调用外部工具、连接业务系统,甚至按目标完成一连串任务,问题已不只是模型会不会说错话,而是它会不会做错事。11月3日,在2026年世界互联网大会“互联网之光”博览

    来源 腾讯网
  18. 李晗离职可灵AI:快手技术副总裁出身,下一步未定

    11月18日,据“申妈的朋友圈”援引知情人士消息,原快手技术副总裁、可灵AI高管李晗已离职,下一步去向尚未确定。李晗2019年加入快手任技术副总裁,2026年1月起全面负责基础大模型和推荐模型两大核心算法业务,同年6月转岗可灵AI,此次离职距转岗约5个月。

    来源 凤凰科技
向下滚动自动加载更多