华为杨浩AICon北京开讲:昇腾算力下大模型推理怎么加速
当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向
当 Agent 真正走进企业流程,哪些活能交给 AI 干?50 多个实战案例会给出答案。
AI 的角色正在变。早先它是帮着回答问题的工具,如今开始理解目标、调用系统、把任务做完,成了干活的承担者。Agent 一旦进入企业流程,要问的就不是「怎么把 AI 做出来」,而是哪些工作能交出去、结果怎么验收、权限、成本与风险怎么控住。大模型往推理、工具调用、多模态和长任务方向走,开发重心也从单次调用转到上下文、工具、执行环境与反馈回路的设计上;Coding Agent 同样不只是补代码,而是能读懂代码库、跑测试、接手复杂任务的工程协作者。OpenAI、Google Cloud、Anthropic 最新的做法指向同一个判断:模型决定 Agent 能做什么,工程决定它能不能真进生产、真创造价值。
2026 年 AICon 人工智能开发与应用大会 · 北京站就定在 12 月 18–19 日,地点是北京新云南皇冠假日酒店。大会主题为探索 A 应用边界,13 大技术专题覆盖大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构及组织变革等方向,一线技术专家会到场,讲 AI 技术突破和企业规模化落地的真实做法。
华为高级技术专家、人工智能科学家杨浩已确认参加「大模型推理与算力调度实践」专题,带来题为《基于昇腾算力的大模型推理加速研究与实践》的分享。他以 AI Coding 长上下文场景为切入点,梳理昇腾推理的四大核心难题:算力利用率低、KV Cache 开销大、首 Token 延迟高、多卡通信有瓶颈,并围绕吞吐、时延、显存占用和 MFU 等指标做系统优化。
分享分「研究 + 实践」两条线走。研究这块盯的是推理性能瓶颈分析和下一代算力演进;实践这块主要讲基于 A3 平台的 Infra 调度优化,以及 TurboQuant 算子的工程落地,把问题分析、技术优化、效果验证到未来展望整个链条讲完整。
杨浩是华为高级技术专家、人工智能科学家,北京邮电大学通信与信息系统博士,师承两院院士陈俊亮老师。搜索推荐、机器翻译这些 AI 相关领域,他做了十年以上研发,手里有 10+ICLR/ICASSP 等顶会论文和国内外专利,还带团队拿过 WMT/WAT NEWS/DOMAIN/QE/APE 冠军。
他在本次会议的详细演讲内容如下:
演讲提纲
-
AI 推理性能现状与目标
AI Coding 长上下文场景最容易把访存、通信、显存三处瓶颈放大,序列一长,KV 就随上下文线性膨胀。思路是用模型量化(W4A8)和 KV Cache 量化打底,把吞吐提上去、TTFT 压下来、显存省出来。
-
昇腾推理 Infra 加速实践
算力主力是昇腾 A3,PD 分离、投机推理、动态批处理都落了地,再靠分级 KV 缓存和多卡并行调度让通信与计算重叠起来,在并发和时延之间找最优配比。A3 的实测数据也会给出。
精度不变的前提下,摸高场景拿到了收益:1M 长序列请求,并发数从 4 提到 10,提升 2.5 倍
-
CANN 融合算子加速实践
核心是 TurboQuant:在 Hadamard 旋转域上做量化,权重接近最优量化,KV 压到 3~4bit。用 CANN/Ascend C 融合算子链,中间 buffer 省掉,kernel 调度减少,算子随 CANN 商发、在 vLLM-Ascend 主版本落地
精度不变的前提下,业务场景也拿到了收益:3P1D 架构下,TPOT 维持在 30ms,TTFT 控在 10s 以内,吞吐提升 3 倍 +
-
下一代昇腾与异构算力思考
他会结合昇腾 950 的应用进展,讲代际算力怎么提升、怎么适配,再往异构算力池化、训推一体和近存互联上探,撑住复杂 Agent 和超大模型场景。
听众收益:
-
听完能弄明白 AI Coding 长上下文场景里算力利用率、KV Cache、首 Token 延迟、多卡通信这些瓶颈在哪,也能了解 PD 分离、投机推理、动态批处理、分级 KV 缓存等 Infra 优化手段,以及它们在吞吐、时延、显存优化上怎么用。
-
低比特量化、KV Cache 压缩和融合算子的优化思路同样会讲到,从算法设计、算子开发到推理框架集成的关键路径怎么走,配合 A3 平台实测案例,看这些技术在长上下文场景里能拿到多少性能收益。