微软王芷AICon演讲:Agent上线后如何观测评估与持续优化
当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向
AI 开始接手企业里的实际工作,哪些活能交给它干?50 + 实战案例将给出答案。
AI 的角色已经变了。过去它是帮人答题的助手,如今正变成能领会目标、调用系统、把任务做完的执行者。Agent 真进了企业流程,大家关心的就不再是「怎么把 AI 造出来」,而是哪部分工作能放心交给它、交付成果怎么验收、权限和成本风险怎么管住。大模型往推理、工具调用、多模态和长任务方向走,开发的重心也跟着从单次调用挪到上下文、工具、执行环境和反馈回路的设计上。Coding Agent 同样如此,早先只是补全代码,现在能读懂代码库、跑测试、扛下复杂任务,成了工程上的协作者。OpenAI、Google Cloud、Anthropic 最新的做法都说明一件事:Agent 能干什么由模型决定,能不能真进生产、真产生价值,则由工程决定。
2026 年 AICon 人工智能开发与应用大会 · 北京站定在 12 月 18–19 日,地点是北京新云南皇冠假日酒店。大会主题为探索 A 应用边界,共设 13 大技术专题,方向包括大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构以及组织变革等。届时会有一线技术专家到场,聊 AI 技术突破和企业规模化落地的真实做法。
微软高级解决方案工程师王芷已确认参加「智能体评测与生产可靠性探索」专题,带来《从可用到好用:Agent 的观测、评估与持续优化》主题分享。Agent 从 Demo 走进真实业务,难题就换了:以前问能不能跑起来,现在问怎么知道它跑得好不好、又该怎么接着优化。王芷这次会围绕 Agent 的 Observability、Evaluation 和 Optimization 讲,从一次 Agent 请求的完整执行链路切入,说明怎样借助 Trace 和运行数据找出 Agent 的毛病,怎样搭一套可量化、可重复的评估体系,以及怎样从 Prompt、Model、Tool 和 Workflow 等层面把 Agent 越调越好。
王芷是微软高级解决方案工程师,主攻生成式 AI、AI Agent、Cloud Native 与企业数据智能等方向。这几年她一直在企业 AI 应用的架构设计和落地一线,关注模型选择与路由、Agentic AI、企业级 AI 治理和开发者体验。她愿意把复杂技术拆成能落地的架构和实践,也常通过技术分享和社区交流,推动 Agent 在企业里规模化用起来。
她此次演讲的具体内容如下:
演讲提纲
-
Agent 上线,考验才真正开始
Demo 里表现挺好的 Agent,到了真实场景为何可能不稳
碰上复杂的 Agent Workflow,怎么判断毛病出在 Model、Prompt、Tool 还是执行链路
-
Observe:把 Agent 的运行过程摊开来看
对一次完整的 Agent Execution 做 Trace
盯住模型推理、Tool Calling、Latency、Token 等关键运行信息
顺着 Trace 迅速找出异常行为和失败路径
-
Evaluate:别停在「感觉不错」,改为量化评估
把 Evaluation Dataset 和评估基线建起来
从回答质量、任务完成度、工具调用等角度给 Agent 打分
让不同 Prompt、模型和 Agent 版本之间能拿数字比高低
-
Optimize:让数据真正推着 Agent 往前走
依据 Trace 和 Evaluation 的结果找准优化方向
从 Prompt、Model、Tool 和 Workflow 几个层面一起下手优化
把 Quality、Latency 和 Cost 放在一起权衡,别只盯模型效果
听众收益
-
搞明白生产级 Agent 为什么离不开 Observability、Evaluation 和 Optimization
-
学会用 Trace 定位 Agent 问题的基本路子
-
弄懂 Evaluation Dataset、Evaluator 和评估基线该怎么搭
-
从Prompt、Model、Tool、Workflow这几个层面入手,Agent都能找到优化空间,这是需要掌握的一项能力。
-
另一项要弄明白的,是怎么在Quality、Latency和Cost三者之间,依据数据来做优化取舍。