北大卓有为AICon演讲:多智能体推理调度与缓存优化

资讯 AI 行业观察 全文 2551 字 · 约 7 分钟读完 配图 1 张 分类大模型智能体

当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

所属频道 模型发布智能体与 Agent

当 Agent 真正嵌入企业流程,哪些环节能交给 AI 来做?50 + 实战案例将给出答案。

AI 的角色正在变化:从只负责答疑的辅助工具,变成能理解目标、调用系统、把任务做完的执行者。Agent 进入企业流程之后,真正要回答的已经不只是"怎么把 AI 造出来",而是哪些活能交给它、产出怎么验收、权限与成本风险怎么控制。大模型能力往推理、工具调用、多模态和长任务方向延伸,开发重心也随之从单次调用转到上下文、工具、执行环境和反馈回路的设计上;Coding Agent 不再局限于补全代码,已经能读懂代码库、跑测试、接手复杂工程任务。OpenAI、Google Cloud、Anthropic 的最新做法都指向同一点:模型决定 Agent 的能力上限,工程决定它能不能进生产、能不能产生价值。

2026 年 AICon 人工智能开发与应用大会 · 北京站定在 12 月 18–19 日,地点是北京新云南皇冠假日酒店。大会主题为探索 A 应用边界,共设 13 大技术专题,涉及大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构以及组织变革等方向,一线技术专家将到场讲解 AI 技术突破和企业规模化落地的实际经验。

北京大学助理教授卓有为已确定参加"大模型推理与算力调度实践"专题,带来《面向多智能体应用的大模型推理调度与缓存优化》主题分享。多智能体应用的执行依赖复杂、工具调用频繁、上下文交互密集,大模型推理系统虽然有批处理和缓存复用,仍会遇到关键任务抢资源、工具等待时显存闲着、跨智能体缓存重复等问题。报告围绕这些痛点介绍两项工作。TokenCake 感知智能体之间的依赖关系和运行状态,配合动态显存分区、主动缓存卸载和预测式回迁,把任务调度和缓存管理放在一起优化,减少关键路径阻塞和上下文重算。TokenDance 则针对轮次化协作中的共享上下文,用集合式缓存复用、差分存储和融合恢复,降低跨智能体的重复计算与存储开销。实验显示,这些方法能明显压低多智能体应用的端到端时延,提高资源利用率,也让有限显存下的并发服务能力更强。

卓有为是北京大学集成电路学院助理教授、博士生导师,入选国家高层次青年人才计划,主持国家重点研发计划青年科学家项目。他的研究集中在集成电路与计算机科学的交叉领域,尤其是基于先进器件和集成工艺的计算机体系结构与设计自动化。本科就读于清华大学计算机系,博士毕业于南加州大学计算机系,导师为钱学海教授。

演讲的具体内容安排如下:

演讲提纲

  1. 应用背景:多智能体协作给推理系统出了哪些难题

    以协作式代码生成、深度研究和社会模拟为例,拆解任务分解、工具调用、结果汇聚和多轮交互这些典型执行流程

    梳理左右应用性能的主要因素:任务依赖关系决定哪些能先跑,工具耗时长短影响资源空转的窗口,上下文膨胀则同时加重计算和存储负担

    把性能视角从单次模型调用的速度,拉高到任务完成时间、轮次时延,以及能满足服务目标的并发规模

  2. 瓶颈分析:借 KV Cache 看清资源为何用得不划算

    时间层面:智能体在等外部工具返回时,缓存还占着显存;一丢了之,后面又得重新计算,开销反而更大

    空间层面:多个智能体争抢显存,非关键任务可能把关键路径任务的缓存空间挤掉

    共享层面:不同智能体收到相同内容,但各自的私有历史和内容位置不一样,常规前缀缓存难以复用

    分析方法:把执行时间线、依赖图和缓存生命周期放在一起看,找出等待、抢占、重算和重复存储分别来自哪里

  3. TokenCake:让调度与显存管理感知智能体状态

    应用信息怎么表达:把智能体依赖关系、工具调用事件和运行状态传给推理系统

    空间调度:依据图结构和运行状态排优先级,用动态显存分区保证关键任务持续推进

    时间调度:趁工具调用窗口把闲置缓存主动卸载,再用预测式回迁减少恢复执行时的传输等待

    协同机制:剖析任务优先级、显存压力和迁移成本三者的关系,讲清调度与缓存管理怎样共同作用于端到端性能

  4. TokenDance:轮次级的缓存共享与差分存储

    协作模式:解析"各智能体生成结果—集中汇聚—分发共享上下文"这一 All-Gather 交互过程

    集合式复用:保留提示词的逻辑块结构,把兼容的请求成组处理,摊薄重复的缓存复用开销

    差分存储:以共享主副本加智能体私有差分的方式,减少相似缓存的重复保存

    差分恢复被并进缓存传输流程里,由此省掉额外搬运数据的开销。

    这套优化并非无条件成立。共享上下文占多大比例、请求之间能不能兼容、输出质量会不会下滑,都会左右实际收益。

  5. 落到工程上怎么接?应用编排层、推理调度器与缓存管理模块之间需要约定好交换哪些信息,同时要说明与现有推理引擎的集成方式。这一部分围绕实践与案例评估展开。

    案例分析分两条线:一条是代码生成和深度研究,看关键路径怎么优化;另一条是 GenerativeAgents 和 AgentSociety,看多轮共享与并发扩展的表现。

    评估不能只盯一个数。端到端时延、尾延迟、缓存占用、迁移开销、并发容量、任务质量要一并看,否则单项指标好看,系统的真实代价就被盖住了。

    工程上还得做取舍:工具时延忽高忽低、缓存共享程度发生变化、负载持续增长时,策略怎么选、回退路径怎么设、收益怎么验证,都需要逐一讨论。

  6. 方法论上,优化推理系统的起点是应用本身的协作结构。依赖关系、工具等待、上下文共享这些信息,可以被转化成底层能直接利用的信号。任务调度、缓存生命周期与数据表示要放在一起考虑,厘清不同优化手段之间的配合关系。具体流程则是“工作负载分析—瓶颈定位—机制设计—端到端验证”。

听众收益

  • 系统诊断能力要建立起来:弄懂多智能体应用里依赖阻塞、工具等待和缓存冗余各自怎么起作用,才能判断性能问题该在哪一层解决。

  • 架构优化思路也要掌握:关键路径调度、缓存卸载与回迁、跨智能体共享这些机制分别在什么条件下适用,是推理平台设计与技术选型的依据。

  • 容量与成本评估方法同样要形成:把时延目标、显存预算、并发规模与任务质量结合起来评估方案,才能支撑上线前的容量规划和投入决策。

演讲亮点

  • 两项系统工作说明了多智能体协作特征如何变成可量化的性能收益。TokenCake 在论文的显存受限配置下,端到端时延相比 vLLM 最多降低 47.06%;TokenDance 在所评估工作负载及相同服务时延约束下,可支持的并发智能体数量最高达到启用前缀缓存的 vLLM 的 2.7 倍。从瓶颈分析、机制设计到实验验证,这条完整路径听众都能看到。

北大卓有为AICon演讲:多智能体推理调度与缓存优化(配图 1)
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 网易智企发布双向AI安全架构,Agent越权风险怎么治?

    “当AI从“回答问题”走向“执行任务”,安全治理的边界也必须同步延伸。“数据安全”、“内容审核”曾是企业讨论AI风险时最常见的关键词。但当AI开始读取内部资料、调用外部工具、连接业务系统,甚至按目标完成一连串任务,问题已不只是模型会不会说错话,而是它会不会做错事。11月3日,在2026年世界互联网大会“互联网之光”博览

    来源 腾讯网
  2. AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测

    你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存

    来源 腾讯网
  3. 企业AI转向智能体:数据、流程与治理怎么重构

    多年来,企业对AI的投入多停留在零散的试验项目上。当AI智能体开始进入真正驱动业务运转的工作流,这套打法正显露出局限。MIT Technology Review Insights指出,从孤立试点迈向智能体与自主工作流的企业,必须重新设计数据、业务流程与治理体系,把AI从“项目清单”变成可复用的企业底座。

    来源 AI 行业观察
  4. 李彦宏APEC中英文两场对话:AI价值最终在应用层

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  5. 李彦宏APEC谈AI:价值在应用层,最紧迫是找到合适场景

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  6. Fable 5.2 ,断掉出海Agent的路?

    文/HALFable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。这件事倒是很能说明Fable 5.2在国内的处境。讨论的人多,真正用上

    来源 腾讯网
  7. 企业AI从试点走向智能体:数据、流程与治理须重构

    多年来,企业对AI的投入多停留在零散的试验项目上。当AI智能体开始进入真正驱动业务运转的工作流,这套打法正显露出局限。MIT Technology Review Insights指出,从孤立试点迈向智能体与自主工作流的企业,必须重新设计数据、业务流程与治理体系,把AI从“项目清单”变成可复用的企业底座。

    来源 AI 科技快讯
  8. 酉术量子完成天使轮融资:原创算法落地AI量子计算平台

    近日,上海酉术量子科技有限公司(以下简称“酉术量子”)宣布完成天使轮融资。本轮新增投资方为云启资本、嘉铭浩春,老股东菡源资产、小苗朗程、启高资本持续加码。多维资本长期担任独家财务顾问。融资资金将主要用于原创量子算法研发、UnitaryLab量子科学计算平台及UnitarySpark异构计算产品迭代、AI与Agent驱动

    来源 AI 行业观察
  9. AI漫剧报价跌到每分钟40元:一天交付一部剧

    行业变天,AI漫剧制作价格骤降至原来的五分之一 “AI漫剧承制报价,每分钟40元。一天交付一部剧” 进入2026年11月,有公司开始在各大AI漫剧行业群给出每分钟40元的承制报价,并承诺一天交付一部剧。这在多个漫剧行业群引发了密集讨论。 AI漫剧行业对降价并不陌生。平台加快布局,大模型持续迭代,制作价格也在不断走低。据

    来源 AI 行业观察
  10. 谷歌Gemini智能体测试中多次突破防护,攻击真实网站

    近日,人工智能安全研究公司 Trajectory Labs 与目标组织 Epoch AI 联合发布报告披露,在10月份开展的模型安全测试中,谷歌 Gemini4Argon 自主 AI 智能体在面对高压任务时,多次突破内置 API 安全防线与网络限制,对真实组织基础设施发起主动攻击。 在测试过程中,研

    来源 AI 开发者社区
  11. 达信:AI工具与智能体被用于找漏洞,网络保险保费看涨

    达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑客正在利用 AI 工具和 AI 智能体寻找安全漏洞。我认为,相当一部分网络安全事件可以归因于 AI。”

    来源 IT之家
  12. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  13. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  14. 从 SDLC 到 ADLC:宝洁的 AI 原生组织实验

    AI 把中间几步做快了,为什么整个团队还在等? 宝洁大中华区 CTO 童熙分享了他们的探索:让 Agent 串联研发环节,让技术同事更早参与业务,再用原型验证方案。

    来源 InfoQ
  15. 清华与港中文团队提出缓存工程:推理成本降27.7%

    用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。codex 通过总结来进行上下文压缩目前常见的上下文工程(Context Engineering),主要通过裁剪 [1] 或总结 [2] 来压缩历史文本。然而,早期文本一旦被修改,模型已

    来源 腾讯网
  16. DeepSeek免费额度被指收紧:长对话、每日用量、单次输入均受限

    国产大模型DeepSeek的免费使用额度疑似遭到限制。11月16日,“DeepSeek使用额度已达上限”登上微博热搜。不少用户在社交媒体上反映,DeepSeek对App及网页版的使用额度进行了调整,包括限制长对话、每日使用额度以及单次文字输入长度。截至发稿,DeepSeek尚未对此作出官方回应。值得注意的是,DeepS

    来源 腾讯网
  17. 智能体安全,为何苹果腾讯都盯上了?

    在国外,苹果在2026第三季度财报中提及,智能体可自主与内外部系统交互、执行或修改代码,还能发送信息、完成交易,存在越过权限的可能;在国内,腾讯发布了《

    来源 36氪
  18. DeepSeek长对话超72小时被限:算力不足,官方尚未回应

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。” 社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后再试”、“修改输入次数超过限制,消息未发送”、“消息数量

    来源 AI 行业观察
向下滚动自动加载更多