很多人搜「rag 与 agent 哪个好」,其实心里已经想做一个能问自己资料的助手,只是不知道要不要再加多步决策那层。麻烦在于这两个词常被当成替代方案,实际是两层东西:一个管「把资料找出来塞进去」,一个管「自己决定下一步做什么」。这篇给一套按需求判断的顺序,先看手头活有没有多步、要不要改主意,再决定加不加 agent,最后附一个混用后的排查做法。
先看任务形状,不看名词热度
这个问题的答案不在模型选型表里,在你手上那件活里。把要做的事写成一句话,念一遍,听听有没有「先……再……如果……就……」这种拐弯。没有拐弯的,别急着上 agent。
举个具体的:用户问「你们退款政策第几条写了运费怎么算」,答案躺在一份文档里,检索出来照着念就完事。这种活上多步循环纯属给系统加噪音,调用的轮次多了,出错的地方也跟着多。反过来,如果是「帮我把这周工单里提到退款的挑出来,逐个核对订单状态,状态对不上的再去查物流」,这里头有顺序、有判断、有回头路,才轮得到 agent。
| 你这句话里的特征 | 大概率够用的做法 | 什么情况下不适用 |
|---|---|---|
| 问一句答一句,没有「然后」 | 检索 + 一次性生成 | 问题本身需要跨多份资料拼装时,单轮检索容易漏 |
| 答案要基于同一批资料一次成型 | 检索 | 资料之间相互矛盾、需要现场裁决时,一次成型会糊弄过去 |
| 有「先查 A,结果不行再换 B」 | 多步循环(agent) | 分支其实很固定、就那两三条,用工作流硬编码更好维护 |
| 查不到要自己换关键词重试 | 多步循环 | 检索库本身太脏,重试多少次都是错,先修数据 |
还要看失败时你的期待。希望它停下来告诉你「没找到」,那就控制在一问一答,把错误摆到台面上让人接手。希望它自己换个路子再试一次,才需要循环。这两件事对系统的要求完全不同,别混着谈。
- 把任务写成一句话,标出里面的先后和条件
- 问自己:答案是不是同一批资料一次给完
- 问自己:检索失败时,是停下报错还是自己换招
- 分支固定的,先写死流程,别急着上循环
- 实在拿不准,先用检索跑一版,看它卡在哪一步再决定
只做检索这条路的边界在哪
先说清楚检索这条路到底在干什么活:把资料切片、塞进向量库或倒排索引、按问题召回若干片段、拼进上下文交给模型作答。整条链路里模型只负责最后那一步。所以答歪了,九成不是模型笨,是前面切得碎、召不回、拼得乱。
我见过最典型的误判,是一堆人跑去换更大的模型,结果问题照旧。真正该看的是切片粒度:一份文档按固定字数硬切,把一张表格切成两半,把「前提条件」和「结论」分到两个块里,召回时只捞到后半截,模型再强也补不出上下文。先去站内的资料库页面核对模型能力边界,再回头翻自己的切片配置,顺序别搞反。
| 问题长什么样 | 检索链路能不能扛 | 原因 |
|---|---|---|
| 每次都是翻同一份文档就能答 | 能,够用 | 召回准了就直接拼上下文 |
| 答案要先算一遍再回来查第二轮 | 扛不住 | 链路是单向的,没有回头的动作 |
| 跨几个数据源比对后再取舍 | 扛不住 | 召回是并行捞片段,不做权衡 |
| 按上一步结果决定下一步查什么 | 扛不住 | 没有决策层,查什么在入口就定死了 |
| 问法换了几种但指向同一段资料 | 能,够用 | 本质还是单轮召回 |
想判断自己适不适用,有个笨办法但很准:把同一批真实问题人工答一遍,边答边记你翻了几次资料、翻的是不是同一份。如果每次都落在同一份文档上,那加个决策层纯属给自己找事,检索调好就够了。反过来,你要是答到一半得先算个数、再拿结果去查另一张表,那这条链路天生接不住。
- 抽十来个真实问题从客服记录或内部提问里抽,别自己编。挑那些有明确答案的,方便对照。
- 人工答一遍并记录动作每答一题记下:翻了几份资料、是不是同一份、中间有没有停下来算过东西。
- 按记录归类全是单份资料就能答的,归到检索够用;出现「算完再查」或「比完再选」的,归到需要决策层。
- 回头查切片和召回归到检索够用的那批如果还答错,先看切片有没有切断语义、召回条数够不够,别急着换模型。
还有个边界容易被忽略:检索链路对「不知道」这件事处理得很糙。召回总会返回几个片段,哪怕全都沾边不深,模型也倾向硬答。真要在这种场景下用,得在拼接那一步加个门槛,比如召回相似度低于某条线就直接回「资料里没有」。这个阈值多少合适,去站内的检测页面看你那套配置当时的实际表现,别照抄别人的数。
加了 agent,多出来的复杂度花在哪
加了 agent 之后,代码量未必涨多少,真正涨的是你要盯着的东西。原来一条链路跑完就完事,现在是个循环,每一轮都在决定「下一步调谁」。这个循环不设边界,它就能一直调下去,接口费用和等待时间都跟着走。
先说最容易漏的一块:工具边界。每个工具能干什么、参数填哪几格、拿到什么算成功,都得提前写死。写得含糊,模型就会拿它当万能钥匙,明明该查资料,它非要去调计算器。步数上限和终止条件也得一块定,不然它永远不会说「我答完了」。
| 复杂度 | 不加 agent 时 | 加了 agent 后实际要做的 |
|---|---|---|
| 循环控制 | 没有循环 | 每轮判终止,设步数上限、超时和失败重试次数 |
| 工具边界 | 不涉及 | 每个工具写清入参、返回格式、什么情况算失败 |
| 调试定位 | 答案不对就查检索 | 先分层:检索没料、选错工具、工具返回异常 |
| 日志 | 看最终结果 | 逐步留痕,每轮记下调了谁、传了什么、回了什么 |
调试这块差别最明显。以前答案不对,多半是检索没给对料,翻一下召回内容就知道。上了 agent,同一句错答案可能出在三层:料没召回来、模型选错了工具、工具本身返回了异常值。你不把日志按步记下来,就只能靠猜,改一版跑一遍,来回几下人就烦了。
- 资料量不大、问题类型单一:检索加一次生成基本够用,套循环纯属给自己找事
- 团队没人能长期盯日志:agent 出问题不会自己报错,得有人看每轮调了什么,没人看就别上
- 加了只是想让回答「更聪明」但问题本身是单步的:先回去优化检索和提示词,性价比更高
- 上面三条占两条,我建议先用检索扛着,把检索质量、切分和排序打磨好,再谈要不要循环
混着用时的搭法和排查顺序
真要做的时候,绝大多数项目不是二选一,而是让 agent 带着检索跑。关键是别把检索结果当成开场白塞进第一轮上下文里——那样 agent 后面想改口径就没机会了。更稳的搭法是把检索包成一个工具,交给 agent 自己决定查不查、查几轮、用什么词再查一次。
这么做有个代价:链路变长,出错的地方也变多。所以排查不能一上来就盯 agent 的调度,得从最底下往上剥。
- 先单独跑检索跳过模型,只喂查询词,看命中的片段是不是真答得上这个问题。召回内容就不对,后面再调 prompt 也是白费。顺手确认切分粒度和过滤条件没把关键段落切碎。
- 再单独跑一轮模型把上一步确认过的片段直接拼进上下文,让模型答一次。这一步答得好,说明是 agent 调度的问题;答得差,问题在提示词或片段组织方式,跟 agent 没关系。
- 最后看 agent 的调度前两步都通了才轮到这层。看它第一次为什么要查、查完为什么又查、参数里的查询词有没有越改越偏。多步改主意的场景在这层最容易暴露。
- 核对记录回看每次调用的输入输出,重点对两样东西:检索命中的片段、工具调用参数。缺了这两样,复盘基本只能靠猜。
| 现象 | 先查哪层 | 大概率问题 |
|---|---|---|
| 答非所问,但片段里有正确答案 | 模型层 | 提示词没约束输出范围,或片段排得太乱 |
| 模型说没找到 | 检索层 | 召回为空或片段被过滤掉 |
| 反复查同一件事 | 调度层 | 工具描述没写清适用边界,agent 不知道够了 |
| 越查越偏 | 调度层 | 查询词改写失控,缺少兜底叫停 |
| 结果时好时坏 | 记录层 | 输入输出没记全,无法定位是哪次调用变了 |
记录这块值得多说一句。日志只记最终回答等于没记。要把每轮的工具名、参数、返回片段原样留下,最好带个调用序号,这样出问题时能顺着链路倒推是哪一步开始歪的。这套做法在只做单轮问答的场景里不适用,那种情况直接看检索和模型两层就够了。
混着用时也别贪多,工具先只挂检索一个,把链路跑稳再往里加。加得越多,排查时剥的层越厚。具体到各家接口怎么接、参数填哪一格,去 工具目录(/tools) 按你用的框架找对应条目核对,比对着文档瞎试省时间。
常见问题
资料不多,是不是就不该用 agent?
不是不该,是没必要先上。资料少、问题类型固定时,检索加一轮生成通常就够,出问题也好定位。等你反复遇到「换个问法就答不出来」「要连着查两三个地方才能答」,再考虑让模型自己决定查什么。
直接上 agent 会不会最后效果更好?
效果上限可能更高,但前提是你愿意花时间调工具边界和终止条件。多数项目卡住不是因为模型不行,是循环跑起来之后没人盯日志,错了也说不清错在哪一层。
两个一起用,最先该测什么?
先测检索那一段单独跑准不准,命中内容对不对。这一步不过关,agent 再聪明也只能在错料上做决策;检索过关了,再测工具调用参数和步数是否收敛。