快手邱慧谈商业Agent落地：知识库、自进化与成交归因怎么做

大语言模型的能力还在往前走，电商场景里的智能对话系统，也正从传统 Agent 架构往外迁。

快手大模型应用算法专家邱慧在 AICon 2026 深圳站讲了《智能互动 Agent 在快手商业场景的落地实践》。围绕互动业务场景里的真实落地，他把这套实践讲了一遍。

以下为演讲实录，由 InfoQ 做不改变原意的编辑整理。

今天要谈的问题其实很朴素：放到一个真实的商业场景里，得做哪些事，对话 Agent 才能真跑起来、跑得稳，还能越跑越好。邱慧从三方面展开。头一件是怎么建知识库，尤其是动态知识库——这个场景里知识有时效要求，得先弄清楚要做什么，它才能在真实商业场景里用得好。第二件是怎么处理用户模拟和 Agent 自进化，别让模型越用越退化。第三件是怎么解模型训练里的奖励稀疏：整个场景是对话场景，对话本身的奖励非常稀疏，有没有成交、有没有解决用户问题，信号只有到最后一轮才拿得到，中间过程的奖励该怎么分。最后他简单展望了一下，从一个商业 Agent 走到下一代 Agent AI，还有哪些事要做。

先看落地背景和挑战。在端侧，大家常提“

落到一个对话 Agent 的落地上，摆在面前的是四重约束，从下往上看。最底下是成本。商业场景下的

为什么不用现成的方案？大模型起来之前，客服、AI 经营小二这些场景主要靠传统小模型，技术栈基本就是 FAQ：客服场景用

那开源大模型呢？现在开源模型确实越做越好，也越来越便宜。可它通用，手里没有我们的业务数据。世界知识它答得不错，一碰到领域知识，表现就下来了。而且它答得“像模像样”，像个专家，却不一定能促成交。说到底还是成本和稳定性：这个场景希望模型一到两秒内返回结果，直接用开源大模型，一轮思考就可能超时。几条原因指向同一个结论——得自研大模型，拿自己的业务数据，训一个懂业务、会决策、能调工具的大模型，同时把成本压在安全边界内。

具体的事可以归成三块。一块是知识库，要能实时更新，保住时效性。一块是自进化，含用户模拟器和自进化策略，这些内容全都在业务场景里真实落地过。还有一块是成交归因，也就是前面说的稀疏奖励——只有到最后一轮才知道成交没成交、问题解决没解决。邱慧他们分享的是真实场景下分层奖励和信用分配怎么做的。三块扣成一个闭环：知识库保证答得对，进化机制保证不越用越退化，成交归因让它把整段对话和交易策略学明白。

建知识库之前，得先看清要解决什么。头一个问题是时效和覆盖。索引滞后是所有业务、所有公司都躲不开的，索引怎么建都有滞后。知识又散在各种载体上：商家维护的知识、商品详情页、直播口播、直播切片等，想有效归总和复用很难。第二个问题是可信和理解。来源一多，商详页、口播、商家维护的信息之间就可能打架；知识越多，冲突越难避免。还有语义缺口，有些知识检索起来难度更大。

对着这些问题，他们先搭了一个全域知识库。链路不算复杂，核心是把所有知识统一成一种存储格式和统一形式。规整之后，检索、存储和后续更新都更顺手。知识来源分两个维度。一是对话维度，用户和人工客服聊天产生的真实对话，从中挖知识。二是视频维度，商家上传的短视频和直播内容，从中做知识提取。提取完形成 QA 对，同时挂载

这一步做完，他们给每条知识加了

知识建好还得持续更新，目前做到了天级别。用户问题进来后，先跟现有知识库做检索对比，判别交给大模型自己完成。发现冲突就做冲突消减，有重叠就去重。模型能解决让模型解决，解决不了再让人工 check。靠这一整套机制，

可天级别、甚至小时级别的挖掘，还是喂不饱实时问答。直播这类场景里商家活动变得极快，这一秒一个活动，下一秒就换了，靠离线知识很难给用户精准回答。针对这一点，他们在图片知识这侧做了个轻量优化。图片是商品最重要的知识载体之一。用户每问一个某商品的问题，就把这个商品下的图片一次性全拿回来，平均二十到三十张，不做索引。好处可以对比着看：原来的索引库方案，知识更新滞后，刷库时间还长。假设有一亿商品，每个商品下面二十到三十张图，全量刷库的量非常大；向量模型想换一个，先做 AB 实验要全量刷一遍，推全再全量刷一遍，计算量非常庞大。所以所有计算都搬到线上：用户问题来了，把商品下所有图片取下来，在线做相关性检索，二十张图里挑一到两张最相关的，再交给下游稍大一点的模型推理。思路类似排序里的粗排加精排。

这里卡着一个耗时瓶颈。前面说过整体耗时要求很高，希望一秒内返回结果，图片输入一大，耗时根本扛不住。他们的做法是把所有图片 resize 到 224×224。按 224×224 的输入、patch size 为 28 来算，对应 token 数大约六十多个，三十张图加起来也就一千八到两千左右的 token，整体检索耗时能控制在两百毫秒左右。图片稍大一点，耗时就会翻倍，检索时间可能到一秒，那就不能接受了。

可简单 resize 会带来两个问题：图上的文字可能看不清，整个语义信息也会变形。他们的做法是先在大图上做 embedding，同时在大图上加

对应的 rule 他们加了两个。第一个是

应用层还有一项策略。不少大图里文字密密麻麻，一 resize 就看不清了。推理阶段我们会做点轻量检测，比如用连通区域检测，把字密集的区域抠出来拼接，然后再推理，这样图片里的关键知识信息就能留住。从结果看，这种图文检索训练方法比 baseline 提升明显。

知识库建好之后，使用层面有两条经验。第一，给每条知识编号。我们不让模型做长思考，可它不思考就容易乱讲，办法是每条知识配一个号，强制模型只输出编号。输出一个数字几乎不增加耗时，用短溯源替代长思考，推理时间没涨，“无中生有”还被压得很有效。第二是知识冲突处理：我们给知识设了优先级，较新的知识优先级更高，从人类对话里挖出来、还要人工确认的知识则设为较低优先级，靠优先级来缓解知识冲突。

知识库做好，只能保证模型不太乱答、对用户问题答得比较好。可还有一个问题：怎么保证模型有效迭代，不越用越退化，还能突破性能和能力的上限。先说背景，固定策略在商业场景里为什么跑不好。一是反馈稀疏，前面讲过多次；二是环境一直在漂移，大促、时效性要求高的场景下，环境持续发生断层；三是更新遗忘，做业务的同学可能有体会，最近迭代了一个新能力，做着做着发现之前的能力不行了，出现能力断层；四是预警缺失，很多时候上线后最近什么也没做，指标就跌了，却没有有效的预警机制。

要解决迭代问题，先得搭一个可以迭代的环境，我们做了个用户模拟器。先回答一个根本问题：用户模拟器有必要吗？线上真实对话语料我们有，为什么还要它？核心原因是模型在持续迭代。模型一变，回答就变；上一轮回答和之前不一样，下一轮就不能再拿用户之前的问题接着对话。所以需要一个能根据当前语境生成合理用户反应的模拟器。

那为什么不直接拿开源大模型当用户模拟器？我们做过实验，把用户画像喂给 Gemini 或者豆包这类模型，效果不太理想，很容易被认出是机器人。看右下角的图灵测试结果，Gemini 和豆包都很容易被识别出当前发问的是个机器人。所以我们得自研，用快手自己的数据训练，让它真实地模拟用户提问。

具体做法是两阶段训练流程。第一阶段是

有了用户模拟器，后面积累迭代数据、做模型更新，整个流程就顺畅多了。我们维护了两个自进化策略，线上模型的更新策略都放在 prompt 里。

第一个是机制层面的更新，核心是一个

这说起来比较抽象，举两个例子。一是用户环境变化：刚开始跟用户正常聊，聊着聊着发现用户情绪不对、开始生气了，这时回答策略就不能照常，而要多做安抚。这就是用户环境变化引发的策略切换。二是系统环境变化：比如最近一段时间咨询某款商品退款的人特别多，起初我们正常告诉用户怎么退款，可一旦发现退款量异常高，整个回答就会更保守，更多去问用户为什么退货，尽量维护商家权益，这就是系统环境变化带来的策略调整。这套策略在线上怎么用？放进 prompt，让模型检索当前轮该用什么策略，是沿用之前的，还是触发新的策略更新。

这样一来，用户、模型、策略、模拟用户之间就形成了一个完整闭环：用户和环境真实交互，带来训练数据；模型靠数据不断迭代，产生新的数据和反馈；策略负责监督变化。同时我们还设置了

知识库和自进化讲完，接下来是模型迭代里最核心的问题：怎么学。这里要解决的是把最终奖励拆解到关键的对话节点上。

为什么难？因为成交和问题解决都发生在最后一轮，可中间可能经历很多轮：先识别用户需求，再做商品推荐和比较，用户比较完可能还在犹豫，于是做顾虑消除，最后才促成成交。不能因为最终成交了，就说只有最后一轮的奖励重要。中间环节的奖励怎么分？顾虑消除很重要，可怎么让模型知道它重要？

先说动态环境建模。我们需要用户模拟器，在动态环境下产生对应数据。真实场景是动态变化的，所以必须有一个对应的环境来刻画这种变化。然后是中间奖励从哪来。最终的

再是整个分层奖励的分配机制。最终的 session 级别奖励怎么分配回去？我们有个比较有效也朴素的办法：给每一轮做权重加权，token 级别给一个超参，这个超参可以在对应数据集上搜索。session 维度的分配方式也有多种选择：可以平均分，每轮权重一样；也可以做

但这里有个更深的问题：按朴素方法分配奖励之后，多轮对话里中间某些轮答错了，这条样本可能一直学不到。这种情况怎么办？我们有两个方式。

第一种是 forward-to-back。中间某一轮答错了，后面轮次就都不分配奖励，只学答对的轮次，不断迭代，让答对的轮次越来越多。第二种是 back-to-forward。有时候一开始就答错了，后来模型靠自己的纠偏能力把结果慢慢掰了回来。这种样本最终结果是对的，但也不能简单当成一条好样本，不过它确实有值得学的地方。做法是找到从哪一轮开始错，把错的那些轮次跳过去，不参与学习。判断从哪轮开始错的方法很多，可以用熵最大的判断，也可以用 LM-as-judge 判断这一轮是不是开始出错。然后结合前面的奖励分配方式，只在对的轮次上做奖励分配。这两类策略目标一致：把难例的利用率提上去。

还有一类更难缠的情况：模型怎么训练都学不会，这时候就得靠课程学习。眼下 OPD 这类课程学习思路在业界很受关注。我们试过一个效果不错的做法：模型一开始完全学不会，就让教师模型给出提示，比如发现第五轮出错，就直接告诉它第五轮该输出什么。之后提示逐步收窄——起初连第五、第六轮一起提示，等模型掌握得差不多了，就只提示第五轮，再往后继续减少，最终让它独立完成整个过程的输出。这种课程学习在真实应用里确实管用。

训练上还有几点经验。先是模型选型：分类任务用 2B 或 4B 的模型已经够用；生成任务放在我们这类对话场景里，9B 的模型更合适。再是奖励归因：无论做哪类任务，这一步都很关键，得先把奖励拆明白，想清楚该有哪些奖励维度，模型迭代才有方向。最后是数据配比：领域模型不能清一色喂业务数据，必须掺入一定比例的通用数据，不然通用能力会退化。

我们目前在业务上主要落地了四个场景。一是数字员工π，干的是营销 Agent 的活。二是快语 AI 小二，对应电商客服。三是 AI 分身加 AI 助播，在直播间里解答用户提问。四是女娲互动，聚焦互动变现相关场景。

时延和成本这两项，我们用的是关闭思考模式的中等规模模型，整体响应时间压在两秒以内。成本这块，在线推理没有调用外部大模型，大模型主要拿来做数据生成；自己部署的开销比调用外部大模型低不少。

回头看整条迭代链路，最早是 FAQ 架构，后来升到 multi-agent 架构，再升到多模态 agent，中间穿插了大量 RL 相关工作。现在线上跑的是一个多模态、多 agent 的体系。

最后聊聊下一代 Agent AI 往哪走。业界不少大厂和创业公司现在都在做“闭环”，让 Agent 别只停留在回答问题，而是真正推动成交。它要能识别用户诉求、做出决策、判断该说什么，特定条件下还能给用户发券、做优惠，有点像真实场景里的讨价还价。复盘也得会：今天为什么卖得不好，明天该怎么卖，这个方向眼下是业界的重点。

另一个方向是 Agent world 的概念。所谓 Agent world，是指不只让 Agent 去卖货，还能帮商家管进货、做经营复盘。多个 Agent 可以协同起来，把整个电商经营环境搭起来，让 Agent 从完成一次对话，升级为在动态环境里持续做经营协同和自我修正。在这个设想下，人的角色变成设定目标和边界：不能无限制给用户优惠，优惠给多了用户肯定买，但不能亏本；退货这类高风险动作要人工确认；其余的经营、卖货、进货，可以试着交给模型去做。

会议推荐