微软王芷AICon演讲:Agent上线后如何观测评估与持续优化

资讯 AI 行业观察 全文 1763 字 · 约 5 分钟读完 配图 2 张 分类智能体大模型

当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

所属频道 模型发布智能体与 Agent

AI 开始接手企业里的实际工作,哪些活能交给它干?50 + 实战案例将给出答案。

AI 的角色已经变了。过去它是帮人答题的助手,如今正变成能领会目标、调用系统、把任务做完的执行者。Agent 真进了企业流程,大家关心的就不再是「怎么把 AI 造出来」,而是哪部分工作能放心交给它、交付成果怎么验收、权限和成本风险怎么管住。大模型往推理、工具调用、多模态和长任务方向走,开发的重心也跟着从单次调用挪到上下文、工具、执行环境和反馈回路的设计上。Coding Agent 同样如此,早先只是补全代码,现在能读懂代码库、跑测试、扛下复杂任务,成了工程上的协作者。OpenAI、Google Cloud、Anthropic 最新的做法都说明一件事:Agent 能干什么由模型决定,能不能真进生产、真产生价值,则由工程决定。

2026 年 AICon 人工智能开发与应用大会 · 北京站定在 12 月 18–19 日,地点是北京新云南皇冠假日酒店。大会主题为探索 A 应用边界,共设 13 大技术专题,方向包括大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构以及组织变革等。届时会有一线技术专家到场,聊 AI 技术突破和企业规模化落地的真实做法。

微软高级解决方案工程师王芷已确认参加「智能体评测与生产可靠性探索」专题,带来《从可用到好用:Agent 的观测、评估与持续优化》主题分享。Agent 从 Demo 走进真实业务,难题就换了:以前问能不能跑起来,现在问怎么知道它跑得好不好、又该怎么接着优化。王芷这次会围绕 Agent 的 Observability、Evaluation 和 Optimization 讲,从一次 Agent 请求的完整执行链路切入,说明怎样借助 Trace 和运行数据找出 Agent 的毛病,怎样搭一套可量化、可重复的评估体系,以及怎样从 Prompt、Model、Tool 和 Workflow 等层面把 Agent 越调越好。

微软王芷AICon演讲:Agent上线后如何观测评估与持续优化(配图 1)

王芷是微软高级解决方案工程师,主攻生成式 AI、AI Agent、Cloud Native 与企业数据智能等方向。这几年她一直在企业 AI 应用的架构设计和落地一线,关注模型选择与路由、Agentic AI、企业级 AI 治理和开发者体验。她愿意把复杂技术拆成能落地的架构和实践,也常通过技术分享和社区交流,推动 Agent 在企业里规模化用起来。

她此次演讲的具体内容如下:

演讲提纲

  1. Agent 上线,考验才真正开始

    Demo 里表现挺好的 Agent,到了真实场景为何可能不稳

    碰上复杂的 Agent Workflow,怎么判断毛病出在 Model、Prompt、Tool 还是执行链路

  2. Observe:把 Agent 的运行过程摊开来看

    对一次完整的 Agent Execution 做 Trace

    盯住模型推理、Tool Calling、Latency、Token 等关键运行信息

    顺着 Trace 迅速找出异常行为和失败路径

  3. Evaluate:别停在「感觉不错」,改为量化评估

    把 Evaluation Dataset 和评估基线建起来

    从回答质量、任务完成度、工具调用等角度给 Agent 打分

    让不同 Prompt、模型和 Agent 版本之间能拿数字比高低

  4. Optimize:让数据真正推着 Agent 往前走

    依据 Trace 和 Evaluation 的结果找准优化方向

    从 Prompt、Model、Tool 和 Workflow 几个层面一起下手优化

    把 Quality、Latency 和 Cost 放在一起权衡,别只盯模型效果

听众收益

  • 搞明白生产级 Agent 为什么离不开 Observability、Evaluation 和 Optimization

  • 学会用 Trace 定位 Agent 问题的基本路子

  • 弄懂 Evaluation Dataset、Evaluator 和评估基线该怎么搭

  • 从Prompt、Model、Tool、Workflow这几个层面入手,Agent都能找到优化空间,这是需要掌握的一项能力。

  • 另一项要弄明白的,是怎么在Quality、Latency和Cost三者之间,依据数据来做优化取舍。

微软王芷AICon演讲:Agent上线后如何观测评估与持续优化(配图 2)
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 网易智企发布双向AI安全架构,Agent越权风险怎么治?

    “当AI从“回答问题”走向“执行任务”,安全治理的边界也必须同步延伸。“数据安全”、“内容审核”曾是企业讨论AI风险时最常见的关键词。但当AI开始读取内部资料、调用外部工具、连接业务系统,甚至按目标完成一连串任务,问题已不只是模型会不会说错话,而是它会不会做错事。11月3日,在2026年世界互联网大会“互联网之光”博览

    来源 腾讯网
  2. Anthropic上线Claude关联账单测试:OAuth计费打通第三方应用

    据多家媒体报道,Anthropic近日在Claude平台推出测试版关联账单功能,并同步启动第三方应用关联计费OAuth测试,被视为其构建开放生态的关键一步。此举顺应大模型从对话工具向智能体、多应用平台演进的趋势,旨在打通第三方应用与底层平台的计费及互联,推动生态开放与协作。

    来源 AI 产业速递
  3. 小红书内测“搭搭”App:普通人可造Agent搭子,官方未回应

    近日,有消息称,小红书正在内测一款名…搭搭的独立App,据介绍,这是一个让普通人通过活人感的经验创造、分发领域Agent的社区平台,平台内这些Agent也被称为“搭子”。据报道,目前,产品内已上线设计美学、求职等数十个搭子,通过图文对话方式进行聊天。 此外,该产品还开放了群聊能力,用户可以把搭子当成群成员拉入对话。对于

    来源 AI 行业观察
  4. Ankole谈Business Agent架构:多人共用Agent为何失控

    机器之心发布继 Coding Agent 之后,Muse、Grok Bot 等 Personal Agent 产品也快速成熟。不少团队尝试把它们引入组织:要么给每位成员部署一套,要么把同一个 Agent 接进部门群聊。但单人使用表现稳定的 Agent,一旦放到多人协同场景总是表现得非常不及预期。这是因为用户在使用 Ag

    来源 腾讯网
  5. AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测

    你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存

    来源 腾讯网
  6. 小米雷军:AI 是一个全新的时代,一定会带来非常多的商业机会

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。 据新浪科技报道,小米集团创始人、董事长兼首席执行官雷军表示,过去四年,AI 大模型技术突飞猛进,给我们的生活和工作带来了巨大的变化。但 AI 能够落地的场景非常有限,能够真

    来源 AI 行业观察
  7. 小红书内测「搭搭」:把个人生活经验做成Agent

    内容编辑丨特工小师 特工小天内容审核丨特工少女前两个月我们在编辑部讨论过一个问题:Personal Agent 这个概念今年越来越热,国内互联网大厂里,谁最有可能做出一个真正围绕个人生活的 Agent?当时我脑子里第一个跳出来的答案是小红书。我们生活里那些很个人的事情,买什么防晒霜、周末去哪吃饭、装修选什么风格、养猫喂

    来源 腾讯网
  8. 蚂蚁国际杨鹏:AI与通证化重塑资金流动,普惠可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  9. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  10. AgentOS实战:企业AI Agent怎样从聊天转向办事?

    2026 年,企业不再满足于 AI 陪聊。本文拆解 AgentOS 如何通过身份透传、能力审核和确认卡机制,让 AI 在 RuoYi Office 中安全执行报销、查询等真实业务。重点分析“人在回路”的必要性及选型避坑指南。

    来源 AI 应用前沿
  11. Snowflake前沿工程团队:七周定制医疗AI模型,编码效率最高提升八倍

    2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式! 对于大多数企业而言,有前景的 AI 试点项目并不稀缺。真正的挑战在于,如何通过严格的评估、明确的数据所有权归属以及可信的数据治理,将这些试点项目转化为业务可以信赖的生产

    来源 AI 行业观察
  12. 业务本体:面向 AI 与数据分析,统一规范业务概念与指标口径 | 技术趋势

    2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式! 11 月 3 日,我们宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与

    来源 AI 行业观察
  13. Strands Box:给Agent套上沙箱,决策模型砍掉输出头

    AWS首席开发者布道师Darko介绍决策模型文丨苏扬编辑丨徐青阳让Agent往readme.md里加一行 Hello,这条再普通不过的指令却被拒绝了。11月18日,亚马逊云科技(AWS)在北京举办了一场开发者沟通会,邀请首席开发者布道师Darko详细讲解了AWS为开发者提供的构建Agent的工具箱“Strands”。写

    来源 腾讯网
  14. 供应链Agent如何落地?从理解业务到执行闭环

    甲子光年宋涛解读Agent商业化路径,以洞隐科技为例,探讨行业上下文如何转化为可执行、可验证的业务能力。一家供应链企业可能已经部署了ERP、WMS、TMS等多套系统,但当运输延误影响客户交期,工作人员仍需要跨系统查询订单、协调承运商,再逐一更新业务状态。系统已经实现数字化,为什么完整业务任务仍离不开大量人工衔接?11月

    来源 腾讯网
  15. Exa年化收入破1亿美元,Vercel收购Traces,Agent基建竞争升温

    2026年末的AI圈不再只盯着模型参数,而是转向了更务实的基础设施。Exa凭借Agent搜索需求实现年化收入1亿美元,Vercel收购Traces试图定义新的软件原语,Google Cloud则指出算力瓶颈已转移至数据I/O。与此同时,国内大厂开始主动限制模型的攻击能力,Claude Code团队公开了高比例AI生成代

    来源 AI 应用前沿
  16. 腾讯LightVela实测:多Bot加云电脑,云端个人助理能干什么?

    很奇怪,一款几个月前上线的AI产品,为什么又受到了很多人的关注。 最近这段时间,腾讯的云端AI Agent产品LightVela重新出现在不少人的视线范围内。实际上,LightVela早在今年4月就开启了公测,并在9月底正式面向所有用户开放。 最初,LightVela主要是将开源Hermes Agent搬上云端,让用户

    来源 AI 行业观察
  17. 县域小店商家算起“AI账”:2026年“Agent元年”目光投向何方

    作者 |尔尔‍‍‍编辑 | 车卯卯小城的AI账本2026年,被不少人称为“Agent元年”。3月,OpenClaw掀起了一阵“养虾”热潮。在那之后,AI行业的目光密集投向一线写字楼 —— 写代码、做文档、画PPT。办公场景成了各家厂商竞逐的主战场。据《2026年中国AI办公智能体产业发展白皮书》,仅半年内,就有超过20

    来源 腾讯网
  18. Copilot成办公新入口:微软把Word、Excel装进对话界面

    微软宣布 Copilot 正式从“侧边栏助手”升级为“工作操作系统”,Word、Excel、PowerPoint 不再作为独立应用被打开,而是作为能力内嵌在 Copilot 的对话界面中。下一步是全天候在线的智能体(always-on agents)。这标志着办公软件从“打开应用找功能”转向“表达意图、由 A

    来源 AI 科技快讯
  19. 腾讯WorkBuddy日活破1000万:日均Token超100万亿,企业500强渗透过半

    腾讯2026年第三季度财报披露,AI助手WorkBuddy截至11月初日活突破1000万,日均Token调用量超100万亿,成为中国大语言模型日均Token用量最高的AI产品。自今年3月发布以来,它已完成100多个大版本更新,迭代迅速;C端火热同时,B端也在拓展,开放平台上线仅两个月,Buddy应用已取得进展。

    来源 AI 产业速递
  20. 腾讯WorkBuddy日活破千万:日均Token超100万亿,500强渗透一半

    腾讯今日发布 2026 年第三季度财报,其中披露了 WorkBuddy 的最新数据:截至 11 月初,这款 AI 助手日活跃用户数已突破 1000 万,日均 Token 调用量超过 100 万亿,一举成为中国大语言模型日均 Token 用量最高的 AI 产品。自今年 3 月发布以来,它已完成 100

    来源 AI 开发者社区
  21. 观壹智能完成数亿元首轮融资:IDG资本领投,谢伟迪任CEO

    近日,投中网获悉,生命模型智能公司观壹智能(OneX Intelligence)宣布完成首轮数亿元融资,由IDG资本领投,创世伙伴创投(CCV)、沄柏资本、交大菡源资产、云启资本跟投,财务顾问为棕榈资本。本轮资金将主要用于生命智能基础模型研发、湿实验平台建设和产业合作验证。 据投中嘉川CVSource数据,观壹智能由上

    来源 AI 行业观察
向下滚动自动加载更多