北大卓有为AICon演讲:多智能体推理调度与缓存优化
当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向
当 Agent 真正嵌入企业流程,哪些环节能交给 AI 来做?50 + 实战案例将给出答案。
AI 的角色正在变化:从只负责答疑的辅助工具,变成能理解目标、调用系统、把任务做完的执行者。Agent 进入企业流程之后,真正要回答的已经不只是"怎么把 AI 造出来",而是哪些活能交给它、产出怎么验收、权限与成本风险怎么控制。大模型能力往推理、工具调用、多模态和长任务方向延伸,开发重心也随之从单次调用转到上下文、工具、执行环境和反馈回路的设计上;Coding Agent 不再局限于补全代码,已经能读懂代码库、跑测试、接手复杂工程任务。OpenAI、Google Cloud、Anthropic 的最新做法都指向同一点:模型决定 Agent 的能力上限,工程决定它能不能进生产、能不能产生价值。
2026 年 AICon 人工智能开发与应用大会 · 北京站定在 12 月 18–19 日,地点是北京新云南皇冠假日酒店。大会主题为探索 A 应用边界,共设 13 大技术专题,涉及大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构以及组织变革等方向,一线技术专家将到场讲解 AI 技术突破和企业规模化落地的实际经验。
北京大学助理教授卓有为已确定参加"大模型推理与算力调度实践"专题,带来《面向多智能体应用的大模型推理调度与缓存优化》主题分享。多智能体应用的执行依赖复杂、工具调用频繁、上下文交互密集,大模型推理系统虽然有批处理和缓存复用,仍会遇到关键任务抢资源、工具等待时显存闲着、跨智能体缓存重复等问题。报告围绕这些痛点介绍两项工作。TokenCake 感知智能体之间的依赖关系和运行状态,配合动态显存分区、主动缓存卸载和预测式回迁,把任务调度和缓存管理放在一起优化,减少关键路径阻塞和上下文重算。TokenDance 则针对轮次化协作中的共享上下文,用集合式缓存复用、差分存储和融合恢复,降低跨智能体的重复计算与存储开销。实验显示,这些方法能明显压低多智能体应用的端到端时延,提高资源利用率,也让有限显存下的并发服务能力更强。
卓有为是北京大学集成电路学院助理教授、博士生导师,入选国家高层次青年人才计划,主持国家重点研发计划青年科学家项目。他的研究集中在集成电路与计算机科学的交叉领域,尤其是基于先进器件和集成工艺的计算机体系结构与设计自动化。本科就读于清华大学计算机系,博士毕业于南加州大学计算机系,导师为钱学海教授。
演讲的具体内容安排如下:
演讲提纲
-
应用背景:多智能体协作给推理系统出了哪些难题
以协作式代码生成、深度研究和社会模拟为例,拆解任务分解、工具调用、结果汇聚和多轮交互这些典型执行流程
梳理左右应用性能的主要因素:任务依赖关系决定哪些能先跑,工具耗时长短影响资源空转的窗口,上下文膨胀则同时加重计算和存储负担
把性能视角从单次模型调用的速度,拉高到任务完成时间、轮次时延,以及能满足服务目标的并发规模
-
瓶颈分析:借 KV Cache 看清资源为何用得不划算
时间层面:智能体在等外部工具返回时,缓存还占着显存;一丢了之,后面又得重新计算,开销反而更大
空间层面:多个智能体争抢显存,非关键任务可能把关键路径任务的缓存空间挤掉
共享层面:不同智能体收到相同内容,但各自的私有历史和内容位置不一样,常规前缀缓存难以复用
分析方法:把执行时间线、依赖图和缓存生命周期放在一起看,找出等待、抢占、重算和重复存储分别来自哪里
-
TokenCake:让调度与显存管理感知智能体状态
应用信息怎么表达:把智能体依赖关系、工具调用事件和运行状态传给推理系统
空间调度:依据图结构和运行状态排优先级,用动态显存分区保证关键任务持续推进
时间调度:趁工具调用窗口把闲置缓存主动卸载,再用预测式回迁减少恢复执行时的传输等待
协同机制:剖析任务优先级、显存压力和迁移成本三者的关系,讲清调度与缓存管理怎样共同作用于端到端性能
-
TokenDance:轮次级的缓存共享与差分存储
协作模式:解析"各智能体生成结果—集中汇聚—分发共享上下文"这一 All-Gather 交互过程
集合式复用:保留提示词的逻辑块结构,把兼容的请求成组处理,摊薄重复的缓存复用开销
差分存储:以共享主副本加智能体私有差分的方式,减少相似缓存的重复保存
差分恢复被并进缓存传输流程里,由此省掉额外搬运数据的开销。
这套优化并非无条件成立。共享上下文占多大比例、请求之间能不能兼容、输出质量会不会下滑,都会左右实际收益。
-
落到工程上怎么接?应用编排层、推理调度器与缓存管理模块之间需要约定好交换哪些信息,同时要说明与现有推理引擎的集成方式。这一部分围绕实践与案例评估展开。
案例分析分两条线:一条是代码生成和深度研究,看关键路径怎么优化;另一条是 GenerativeAgents 和 AgentSociety,看多轮共享与并发扩展的表现。
评估不能只盯一个数。端到端时延、尾延迟、缓存占用、迁移开销、并发容量、任务质量要一并看,否则单项指标好看,系统的真实代价就被盖住了。
工程上还得做取舍:工具时延忽高忽低、缓存共享程度发生变化、负载持续增长时,策略怎么选、回退路径怎么设、收益怎么验证,都需要逐一讨论。
-
方法论上,优化推理系统的起点是应用本身的协作结构。依赖关系、工具等待、上下文共享这些信息,可以被转化成底层能直接利用的信号。任务调度、缓存生命周期与数据表示要放在一起考虑,厘清不同优化手段之间的配合关系。具体流程则是“工作负载分析—瓶颈定位—机制设计—端到端验证”。
听众收益
-
系统诊断能力要建立起来:弄懂多智能体应用里依赖阻塞、工具等待和缓存冗余各自怎么起作用,才能判断性能问题该在哪一层解决。
-
架构优化思路也要掌握:关键路径调度、缓存卸载与回迁、跨智能体共享这些机制分别在什么条件下适用,是推理平台设计与技术选型的依据。
-
容量与成本评估方法同样要形成:把时延目标、显存预算、并发规模与任务质量结合起来评估方案,才能支撑上线前的容量规划和投入决策。
演讲亮点
-
两项系统工作说明了多智能体协作特征如何变成可量化的性能收益。TokenCake 在论文的显存受限配置下,端到端时延相比 vLLM 最多降低 47.06%;TokenDance 在所评估工作负载及相同服务时延约束下,可支持的并发智能体数量最高达到启用前缀缓存的 vLLM 的 2.7 倍。从瓶颈分析、机制设计到实验验证,这条完整路径听众都能看到。