快手邱慧谈商业Agent：效果时延成本怎么平衡，动态知识库如何落地

大语言模型的能力还在往前走，电商场景里的智能对话系统也跟着变了——从过去那种传统FAQ问答，转向能规划、能决策、能调用工具的Agent架构。

下面是快手大模型应用算法专家邱慧在AICon 2026深圳站分享的内容，主题是《智能互动 Agent 在快手商业场景的落地实践》。他讲的是智能互动Agent在互动业务场景里怎么真正落地，重点说了商业Agent在效果、时延、成本三重约束下怎么做工程取舍，还涉及动态知识库搭建、用户模拟器训练、自进化策略和成交归因这几条技术路径。

商业Agent落地：背景与挑战

这回要聊的核心问题其实很直白：放到一个真实的商业场景里，得做哪些事，对话Agent才能真跑起来、跑得稳，还能一直变好。分三方面说。头一件是怎么建知识库，特别是动态知识库——我们场景里知识有时效要求，得弄清楚做什么，才能在真实商业场景里把它用好。第二件是怎么处理用户模拟和Agent自进化，别让模型越用越退化。第三件是怎么解决模型训练里奖励稀疏的问题：整个场景是对话场景，对话本身的奖励非常稀疏，最终有没有成交、有没有解决用户问题，只有到最后一轮才能拿到信号，那中间过程的奖励该怎么分配。最后简单展望一下，从一个商业Agent走向下一代Agent AI，还需要做哪些事情。

落地背景和挑战放在前面讲。端侧大家常提“不可能三角”；到了商业场景，我们的不可能三角是效果、时延和成本。这个关系不难理解：想要效果好，就得换更大的模型，还得给它加上思考过程，这么一来整体时延会上升，成本也跟着涨。核心问题就是怎么在商业场景下把这个三角平衡好，效果要能用，时延和成本又不能失控。

落到一个对话Agent的具体落地上，从下往上看，有四重约束。最底层是成本。商业场景的QPS和请求量都很大，数据又敏感。直接调外部开源API，数据安全和成本可控这两件事都很难保证。再往上一层是稳定性。高QPS环境下怎么保证稳定输出，是个很实际的问题。现在开源模型用得多，但有个通病：相对时延偏高，思考模式往往关不掉，输出也不稳定。在我们的业务场景下，其实希望模型输出尽量稳定可控。再往上，是知识的变化速度。比如直播或者大促的时候，商家改活动很频繁：可能这会儿是买二送一，过几分钟就成买三送一了。这种变化是实时的。知识更新不及时就有大风险，模型可能答错。最上面一层是进化问题。模型长期不更新，就会越用越退化，今天跑得好好的，明天冒出个新场景，效果就开始往下掉。

现成的方案为什么不用？大模型起来之前，我们做客服、AI经营小二这些场景，用的主要是传统小模型。技术栈基本是FAQ那一套：客服场景里BERT用得多，图像任务用EfficientNet，多模态后来有ALBEF之类的模型。这些东西做了很多年，效果一直不理想。根子在于小模型对复杂场景的理解能力不够。我们的对话场景很复杂，售后经营场景尤其如此，多轮对话里有大量追问。只做小模型分类，整体流畅度很差，也缺稳定的推理和规划能力。另外，真实场景里工具调用很多：用户问商品价格、问快递到哪儿了、问能不能退货，这些都要复杂的工具编排，小模型搞不定。

那开源大模型呢？现在开源模型确实越做越好，也越来越便宜。可问题是，开源模型通用，却不带我们的业务数据。世界知识它答得好，一碰到领域知识，表现就没那么好了。而且它可能答得“像模像样”，跟专家似的，但不一定能促进成交。最后还是绕回成本和稳定性：我们的场景希望模型一到两秒内返回结果。直接用开源大模型，一轮思考就可能超时。这些原因指向同一个结论：得自研大模型，拿自己的业务数据，训一个懂业务、会决策、能调工具的大模型，同时把成本压在安全边界内。

要做的事可以归成三块。一是知识库，希望它支持实时更新，把时效性保住。二是自进化，包括用户模拟器和自进化策略，这部分内容全部在业务场景下真实落地。三是成交归因，也就是前面说的稀疏奖励问题——只有到最后一轮才知道有没有成交或解决问题。我们会讲真实场景下怎么做分层奖励和信用分配。三块凑成一个闭环：知识库保证它答得对，进化机制保证它不越用越退化，成交归因让它把整个对话和交易策略学明白。

动态知识实时性：“知道什么”

建知识库之前，先得清楚要解决什么问题。头一个是时效和覆盖。索引滞后是所有业务、所有公司都躲不开的，索引怎么建都有滞后性。知识还散在各种载体上：商家维护的知识、商品详情页、直播口播、直播切片等等，很难有效归总和复用。第二个是可信和理解。知识来源多，商详页、口播、商家维护的信息之间可能打架。知识越多，冲突就越难避免。还有语义缺口的问题，有些知识检索起来难度更大。

为此我们先建了一套全域知识库。整条链路谈不上复杂，关键就是把各类知识收进同一种存储格式、统一成一套形式。知识规整之后，检索、存储和日后的更新都省事不少。知识来源有两个维度：一是对话维度，从用户与人工客服的真实聊天记录里挖知识；二是视频维度，从商家上传的短视频和直播内容里做知识提取。提取完会形成QA对，同时挂上entity。entity可以理解为知识归谁所有：商品维度的知识，像某个商品的价格，就挂在商品上；店铺维度的知识，像这家店一般发哪些快递，就挂在店铺上。

知识逐条打完intent标签，是为了后面检索方便。哪条知识归物流、哪条归商品、哪条属于其他维度，全靠intent来标。这么标完，整个知识库的规整度就上来了。有人可能觉得这活又脏又累，可回答质量能不能兜住，恰恰系在这一步上。

知识建好不等于一劳永逸，还得有持续的更新机制，眼下我们做到了天级别更新。用户问题一进来，先拿去和现有知识库做检索比对，判别交给大模型自己完成：撞上了就做冲突消减，重复了就做去重。模型能搞定的让模型搞定，搞不定的转人工check。这套机制一转起来，数据飞轮就动起来了——知识越用越准，覆盖面也越来越宽。可天级别、甚至小时级别的挖掘，还是喂不饱实时问答。直播这类场景里商家活动变得极快，这一秒一个活动，下一秒又换一个，光靠离线知识很难给用户精准回答。

针对这个问题，我们在图片知识这一侧做了轻量级优化。图片是商品最重要的知识载体之一。用户每问一个和某商品有关的问题，我们就把这个商品下的图片一次性全取回来，平均二十到三十张，不做索引。对比一下原来的索引库方案就清楚了：知识更新滞后，刷库时间还长。假设有一亿商品，每个商品底下二三十张图，全量刷库的量非常大；向量模型想换一个，先做AB实验要全量刷一遍，推全再全量刷一遍，计算量很吓人。所以我们把计算全放到在线：问题来了，取下商品下所有图片，在线做相关性检索，二十张里挑出一到两张最相关的，再交给下游稍大一点的模型推理。这个路数，跟排序里的粗排加精排差不多。不过这里卡着一个耗时瓶颈。

前面说过整体耗时要求很高，希望一秒内出结果，图片输入一大，耗时根本扛不住。于是我们把所有图片resize到224×224。按224×224的输入、patch size为28来算，token数大约六十多个，三十张图加起来也就一千八到两千左右，整体检索耗时能压在两百毫秒上下。图片稍大一点，耗时翻倍，检索可能就要一秒，这没法接受。可简单resize会带来两个麻烦：图上的文字可能糊了，整体语义信息也会变形。我们的做法是，先在大图上做embedding，同时在大图上加VCoT（Visual Chain of Thought），把对图片的各种讲解和商品相关知识都放进去，再用其他工具把这些VCoT信息提取出来。接着训练一个student模型，输入是224×224的低分辨率图片，输出的向量去对齐teacher模型在大图上学到的向量。说白了，就是拿小尺寸的向量去学大尺寸向量的表征能力，这是第一个VCoT对齐。

对应的rule我们加了两条。一条是srcc rule，管student和teacher模型对应向量的对齐，保的是下限，至少不比teacher模型差太多。另一条是task rule，就是模型自身的分类rule：图文相关性分成强相关、相关、不相关三类，做一个三分类任务。两层训练下来，student模型的向量对图片就能有比较好的理解。

应用层面还配了一个策略。不少大图上文字很多，resize之后看不清，我们就在推理阶段做些轻量级检测，比如用连通区域检测把字密集的区域抠出来，拼接之后再推理，图片上的关键知识信息就能留下来。从效果看，这套图文检索训练方法相比baseline有明显提升。

知识库搭好之后，使用层面有两点可以分享。一是给所有知识打编号。我们不让模型做长思考，可不思考模型又容易乱讲。解法是每条知识编一个号，强制模型输出编号——输出一个数字几乎不增加耗时，用短溯源代替长思考，推理时间不涨，还能很有效地压住“无中生有”。二是知识冲突处理。我们给知识设了优先级：较新的知识优先级更高；从人类对话里挖出来、还得人工确认的知识，优先级设低一些。靠优先级设置，缓解知识冲突带来的问题。

用户模拟与Agent自进化——“如何变好”知识库做好，只能保证模型不容易乱答、对用户问题答得比较好。还有个问题绕不开：怎么保证模型有效迭代，不会越用越退化，还能突破性能和能力的上限。先说背景，固定策略为什么在商业场景跑不好。头一个原因是反馈稀疏，前面已经讲过多次。第二个是环境一直在漂移，大促、时效性要求高的场景下，环境持续出现断层。第三个是更新遗忘，做业务的同学可能有体会：最近刚迭代了一个新能力，做着做着发现之前的能力不行了，能力断层就来了。第四个是预警缺失，上线之后什么也没做，指标就跌了，却缺一套有效的预警机制。

要解决迭代问题，先得有一个能迭代的环境。我们做了个用户模拟器。先回答一个根本问题：用户模拟器到底有没有必要？线上真实对话语料我们手里有，为什么还要模拟器？核心原因在于模型在持续迭代。模型一换，它给出的回答就变了；上一轮回答和之前不一样，下一轮就不能再拿用户之前的问题接着聊。所以我们需要一个能根据当前语境生成合理用户反应的模拟器。那为什么不直接拿开源大模型来做？我们做过实验，把用户画像喂给Gemini或者豆包这类模型，效果不太理想，很容易被认出是机器人。看右下角的图灵测试结果，Gemini和豆包都很容易被识别出当前发问的是个机器人。所以我们得自研用户模拟器，用快手自己的数据训练，让它能真实地模拟用户提问。

具体做法分两步走。第一步是 SFT，拿真实数据来训，不过我们额外塞进了一维 thinking 信息，这些 thinking 由超大模型生成。SFT 做完，图灵测试的指标已经好了不少，可还是不够。第二步是 RL（Reinforcement Learning），里面包含三块：token 级别的 alignment、分层 reward design，还有最后的 advantage 分配。所谓 token level alignment，就是让 student 模型在对应轮次上的输出向表现更好的模型看齐；分层 reward 则是对最终结果和中间结果做加权分配，同时补上一些格式约束的 rule。SFT 加 RL 都跑完，我们自家用户模拟器的图灵测试结果基本到了五五开——人已经分辨不出对面是机器还是人。

用户模拟器到位以后，后面攒数据、迭代、更新模型，整条链路就顺多了。我们维护了两套自进化策略，线上模型的更新策略都放在 prompt 里。

头一个是机制层面的更新，核心是三元组策略池。池子里存三类信息：策略本身、环境里的用户数据、还有环境数据。环境数据覆盖用户环境，比如用户当下的情绪状态、系统环境、商品环境。这些环境信息统一维护在同一个策略池中。再就是停止检测机制：一旦发现最近某些轮次的检测值偏大，就要触发策略重选，或者重新拉起一个策略。

这话说起来有点抽象，举两个例子。一是用户环境变了。本来跟用户聊得好好的，聊着聊着发现对方情绪不对、开始上火，这时候回答策略就不能照普通路子走，得多做安抚。这就是用户环境变化引起的策略切换。二是系统环境变了。比如某段时间来问某款商品退款的人特别多。起初我们照常告诉用户怎么退，可一旦察觉近期退款量异常偏高，整个回答就会转向保守，更多去问用户为什么退货，尽量护住商家权益。这就是系统环境变化带来的策略调整。线上用这套策略的方式，是把它写进 prompt，让模型检索当前这一轮该用哪个策略——沿用旧的，还是触发一次新的更新。

这么一来，用户、模型、策略、模拟用户之间就串成了一个完整闭环：用户和环境真实交互，产出训练数据；模型靠数据持续迭代，又生成新的数据和反馈；策略负责盯着变化。我们还另外设了围栏策略，新模型自进化之后要是策略跑偏，或者出现异常变化，可以回退。靠这个办法，线上模型既能一直更新，又不至于更新到某个诡异状态。

多轮长程归因——“怎么学”

知识库和自进化讲完，接下来是模型迭代里最要紧的一环：怎么学。这里要解决的是，怎么把最终奖励拆到关键的对话节点上去。

为什么难？因为成交和问题解决都落在最后一轮。可中间往往走了很多轮：先摸清用户需求，再做商品推荐和比较，用户比完可能还在犹豫，于是去消除顾虑，最后才促成成交。总不能说最终成交了，就只有最后一轮的奖励算数。中间环节的奖励怎么分？顾虑消除这件事很关键，可怎么让模型知道它关键？

先说动态环境建模。我们需要用户模拟器，在动态环境下产出对应数据。真实场景一直在变，所以得有一个能刻画这种变化的环境。接着是中间奖励打哪来的问题。session 级奖励只有最后一轮才有，中间的过程奖励从哪儿取？有个挺直观的办法：看这一轮模型有没有回答用户的问题、有没有把问题解决掉。连问题都没答上，这一轮肯定不算好轮次。这个判断可以交给 LLM-as-judge 来做。但有时候答了问题也未必答得好。比如答完之后跟一个反问，引用户多给点信息，反而更容易促成成交。至于 token level 的奖励，可以按自己的业务场景来设计：用得最多的是 LLM-as-judge，看当前有没有回答问题。要是业务更看重转化、觉得反问重要，那就把反问也列成一个奖励维度。这些都得结合具体场景定。

再就是整个分层奖励的分配机制。最终的 session 级别奖励怎么分回去？我们有个有效又朴素的办法：给每一轮做权重加权，token 级别给一个超参，这个超参能在对应数据集上搜出来。session 维度的分配也有几种选法：可以平均分，每轮权重一样；也可以做时间衰减。在我们业务实践里，时间衰减效果更好，越靠后的轮次分到的奖励越高。当然这跟业务有关，要是你的业务里越靠前的轮次越重要，比如第一轮就答错、后面全错，那就该让前面的权重更大。这些都可以在自己的场景里试。最后再补一个格式约束的 rule，相当于围栏：不管答得怎么样，格式至少得跟我设定的一致。让你输出一张卡片或一个按钮，就得照要求来。这样一套下来，最终结果被拆进了过程环节，模型能明白为什么成交，做到可解释、可学习，让一次真实交互变成下一次决策的样本。

不过还有个更深的问题：按朴素办法分完奖励，多轮对话里中间某几轮答错了，这条样本可能一直学不到。这种情况怎么办？我们有两个办法。

我们先用 forward-to-back 这个办法。中间某一轮答错了，就把后面更靠后的轮次奖励全部舍掉，只学答对的那几轮，一轮轮迭代下来，答对的轮次会越攒越多。另一个办法叫 back-to-forward，针对的是开头就错、但模型自己纠偏又把结果慢慢拉回来的情况。这类样本最后结果是对的，可不能就当它是一条好样本，不过里面确实有能学的东西。做法是先定位从哪一轮开始出错，把出错的轮次跳过，不让它们参与学习。定位起错轮次的手段不少，可以用熵最大来判断，也可以用 LM-as-judge 去看这一轮是不是开始出错了。再配上前面的奖励分配方式，只在对的轮次上分奖励。两种策略想达到的目的其实一样：把难例的利用率提上去。

那要是怎么学都学不会呢？这就得靠课程学习，眼下 OPD 等课程学习在业界都挺火。这里讲个比较管用的例子：模型起步阶段就是学不会，那就让教师模型给提示，比如发现第五轮错了，就告诉它第五轮该输出什么。之后再一点点撤掉提示：一开始告诉它第五、六轮怎么输出，学好了就只提示第五轮，再往后继续减少，最后完全让它自己把整个过程输出出来。这种课程学习在真实应用里效果很明显。

训练上还有几个 tips。一是选模型：分类任务用 2B 或 4B 的模型就够；生成任务放到我们这种对话场景里，9B 的模型相对更合适。二是奖励归因：无论做什么任务，这一步都很关键，得先把奖励拆明白，想清楚该有哪些奖励维度，才能指导模型迭代。三是数据配比：领域模型不能全拿业务数据来训，要掺一定比例的通用数据，不然通用能力会退化。

快手商业 Agent 矩阵

目前业务上主要有四个落地场景。一是数字员工π，干的是营销 Agent 的活。二是快语 AI 小二，对应电商客服。三是 AI 分身+ AI 助播，在直播间里回答用户提问。四是女娲互动，跟互动变现相关的场景。

时延和成本这两头，我们用的是关闭思考模式的中等规模模型，整体响应时间压在两秒以内。成本上，在线推理没有用外部大模型，大模型主要拿来生成数据，自己部署比调用外部大模型便宜不少。

回头看整条迭代链路，最早是 FAQ 架构，后来升到 multi-agent 架构，再升到多模态 agent，中间做了大量 RL 相关的工作。现在线上跑的是一套多模态、多 agent 的体系。

从商业 Agent 到下一代 Agentic AI

最后说说下一代 Agent AI 的方向。现在业界不少大厂和创业公司都在做“闭环”，让 Agent 不只回答问题，而是真能促进成交。它能识别用户诉求，做决策，决定该说什么，甚至在特定条件下给用户发券、做优惠，有点像真实场景里的讨价还价。它还该能复盘：今天为什么卖得不好，明天该怎么卖。这个方向是业界当前的重点。

第二个方向是 Agent world 的概念。所谓 Agent world，是指不只让 Agent 去卖东西，还能协助商家进货、做经营复盘等。可以由多个 Agent 协同，把整个电商经营环境搭起来，让 Agent 从完成一次对话，变成在动态环境里持续做经营协同和自我修正。在这个愿景下，人的角色变成设定目标和边界：不能给用户无限优惠，优惠给多了用户肯定买，但不能亏本；退货这类高风险动作要人工确认；其余的卖货、进货、经营可以试着交给模型去做。

会议推荐

8 折优惠只剩最后一周，现在报名立减 1160。12 月 18–19 日，AICon 全球人工智能开发与应用大会定在北京举行，主题围绕探索 A 应用边界展开。大会安排 13 大技术专题，方向包括大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构及组织变革等，一线技术专家会到场，分享 AI 技术突破和企业规模化落地的真实做法。查看更多详情可扫码或联系票务经理 13269078023 咨询。