rag与agent哪个好?先看你有没有「多步改主意」这件事

接入与开发

把 rag 和 agent 的判断标准拆成可对照的几条,告诉你在什么需求下该只用检索、什么需求才值得上 agent,以及混着用时的排查顺序。

很多人搜「rag 与 agent 哪个好」,其实心里已经想做一个能问自己资料的助手,只是不知道要不要再加多步决策那层。麻烦在于这两个词常被当成替代方案,实际是两层东西:一个管「把资料找出来塞进去」,一个管「自己决定下一步做什么」。这篇给一套按需求判断的顺序,先看手头活有没有多步、要不要改主意,再决定加不加 agent,最后附一个混用后的排查做法。

先看任务形状,不看名词热度

这个问题的答案不在模型选型表里,在你手上那件活里。把要做的事写成一句话,念一遍,听听有没有「先……再……如果……就……」这种拐弯。没有拐弯的,别急着上 agent。

举个具体的:用户问「你们退款政策第几条写了运费怎么算」,答案躺在一份文档里,检索出来照着念就完事。这种活上多步循环纯属给系统加噪音,调用的轮次多了,出错的地方也跟着多。反过来,如果是「帮我把这周工单里提到退款的挑出来,逐个核对订单状态,状态对不上的再去查物流」,这里头有顺序、有判断、有回头路,才轮得到 agent。

你这句话里的特征大概率够用的做法什么情况下不适用
问一句答一句,没有「然后」检索 + 一次性生成问题本身需要跨多份资料拼装时,单轮检索容易漏
答案要基于同一批资料一次成型检索资料之间相互矛盾、需要现场裁决时,一次成型会糊弄过去
有「先查 A,结果不行再换 B」多步循环(agent)分支其实很固定、就那两三条,用工作流硬编码更好维护
查不到要自己换关键词重试多步循环检索库本身太脏,重试多少次都是错,先修数据

还要看失败时你的期待。希望它停下来告诉你「没找到」,那就控制在一问一答,把错误摆到台面上让人接手。希望它自己换个路子再试一次,才需要循环。这两件事对系统的要求完全不同,别混着谈。

  • 把任务写成一句话,标出里面的先后和条件
  • 问自己:答案是不是同一批资料一次给完
  • 问自己:检索失败时,是停下报错还是自己换招
  • 分支固定的,先写死流程,别急着上循环
  • 实在拿不准,先用检索跑一版,看它卡在哪一步再决定

只做检索这条路的边界在哪

先说清楚检索这条路到底在干什么活:把资料切片、塞进向量库或倒排索引、按问题召回若干片段、拼进上下文交给模型作答。整条链路里模型只负责最后那一步。所以答歪了,九成不是模型笨,是前面切得碎、召不回、拼得乱。

我见过最典型的误判,是一堆人跑去换更大的模型,结果问题照旧。真正该看的是切片粒度:一份文档按固定字数硬切,把一张表格切成两半,把「前提条件」和「结论」分到两个块里,召回时只捞到后半截,模型再强也补不出上下文。先去站内的资料库页面核对模型能力边界,再回头翻自己的切片配置,顺序别搞反。

问题长什么样检索链路能不能扛原因
每次都是翻同一份文档就能答能,够用召回准了就直接拼上下文
答案要先算一遍再回来查第二轮扛不住链路是单向的,没有回头的动作
跨几个数据源比对后再取舍扛不住召回是并行捞片段,不做权衡
按上一步结果决定下一步查什么扛不住没有决策层,查什么在入口就定死了
问法换了几种但指向同一段资料能,够用本质还是单轮召回

想判断自己适不适用,有个笨办法但很准:把同一批真实问题人工答一遍,边答边记你翻了几次资料、翻的是不是同一份。如果每次都落在同一份文档上,那加个决策层纯属给自己找事,检索调好就够了。反过来,你要是答到一半得先算个数、再拿结果去查另一张表,那这条链路天生接不住。

  1. 抽十来个真实问题从客服记录或内部提问里抽,别自己编。挑那些有明确答案的,方便对照。
  2. 人工答一遍并记录动作每答一题记下:翻了几份资料、是不是同一份、中间有没有停下来算过东西。
  3. 按记录归类全是单份资料就能答的,归到检索够用;出现「算完再查」或「比完再选」的,归到需要决策层。
  4. 回头查切片和召回归到检索够用的那批如果还答错,先看切片有没有切断语义、召回条数够不够,别急着换模型。

还有个边界容易被忽略:检索链路对「不知道」这件事处理得很糙。召回总会返回几个片段,哪怕全都沾边不深,模型也倾向硬答。真要在这种场景下用,得在拼接那一步加个门槛,比如召回相似度低于某条线就直接回「资料里没有」。这个阈值多少合适,去站内的检测页面看你那套配置当时的实际表现,别照抄别人的数。

加了 agent,多出来的复杂度花在哪

加了 agent 之后,代码量未必涨多少,真正涨的是你要盯着的东西。原来一条链路跑完就完事,现在是个循环,每一轮都在决定「下一步调谁」。这个循环不设边界,它就能一直调下去,接口费用和等待时间都跟着走。

先说最容易漏的一块:工具边界。每个工具能干什么、参数填哪几格、拿到什么算成功,都得提前写死。写得含糊,模型就会拿它当万能钥匙,明明该查资料,它非要去调计算器。步数上限和终止条件也得一块定,不然它永远不会说「我答完了」。

复杂度不加 agent 时加了 agent 后实际要做的
循环控制没有循环每轮判终止,设步数上限、超时和失败重试次数
工具边界不涉及每个工具写清入参、返回格式、什么情况算失败
调试定位答案不对就查检索先分层:检索没料、选错工具、工具返回异常
日志看最终结果逐步留痕,每轮记下调了谁、传了什么、回了什么

调试这块差别最明显。以前答案不对,多半是检索没给对料,翻一下召回内容就知道。上了 agent,同一句错答案可能出在三层:料没召回来、模型选错了工具、工具本身返回了异常值。你不把日志按步记下来,就只能靠猜,改一版跑一遍,来回几下人就烦了。

  • 资料量不大、问题类型单一:检索加一次生成基本够用,套循环纯属给自己找事
  • 团队没人能长期盯日志:agent 出问题不会自己报错,得有人看每轮调了什么,没人看就别上
  • 加了只是想让回答「更聪明」但问题本身是单步的:先回去优化检索和提示词,性价比更高
  • 上面三条占两条,我建议先用检索扛着,把检索质量、切分和排序打磨好,再谈要不要循环

混着用时的搭法和排查顺序

真要做的时候,绝大多数项目不是二选一,而是让 agent 带着检索跑。关键是别把检索结果当成开场白塞进第一轮上下文里——那样 agent 后面想改口径就没机会了。更稳的搭法是把检索包成一个工具,交给 agent 自己决定查不查、查几轮、用什么词再查一次。

这么做有个代价:链路变长,出错的地方也变多。所以排查不能一上来就盯 agent 的调度,得从最底下往上剥。

  1. 先单独跑检索跳过模型,只喂查询词,看命中的片段是不是真答得上这个问题。召回内容就不对,后面再调 prompt 也是白费。顺手确认切分粒度和过滤条件没把关键段落切碎。
  2. 再单独跑一轮模型把上一步确认过的片段直接拼进上下文,让模型答一次。这一步答得好,说明是 agent 调度的问题;答得差,问题在提示词或片段组织方式,跟 agent 没关系。
  3. 最后看 agent 的调度前两步都通了才轮到这层。看它第一次为什么要查、查完为什么又查、参数里的查询词有没有越改越偏。多步改主意的场景在这层最容易暴露。
  4. 核对记录回看每次调用的输入输出,重点对两样东西:检索命中的片段、工具调用参数。缺了这两样,复盘基本只能靠猜。
现象先查哪层大概率问题
答非所问,但片段里有正确答案模型层提示词没约束输出范围,或片段排得太乱
模型说没找到检索层召回为空或片段被过滤掉
反复查同一件事调度层工具描述没写清适用边界,agent 不知道够了
越查越偏调度层查询词改写失控,缺少兜底叫停
结果时好时坏记录层输入输出没记全,无法定位是哪次调用变了

记录这块值得多说一句。日志只记最终回答等于没记。要把每轮的工具名、参数、返回片段原样留下,最好带个调用序号,这样出问题时能顺着链路倒推是哪一步开始歪的。这套做法在只做单轮问答的场景里不适用,那种情况直接看检索和模型两层就够了。

混着用时也别贪多,工具先只挂检索一个,把链路跑稳再往里加。加得越多,排查时剥的层越厚。具体到各家接口怎么接、参数填哪一格,去 工具目录(/tools) 按你用的框架找对应条目核对,比对着文档瞎试省时间。

常见问题

资料不多,是不是就不该用 agent?

不是不该,是没必要先上。资料少、问题类型固定时,检索加一轮生成通常就够,出问题也好定位。等你反复遇到「换个问法就答不出来」「要连着查两三个地方才能答」,再考虑让模型自己决定查什么。

直接上 agent 会不会最后效果更好?

效果上限可能更高,但前提是你愿意花时间调工具边界和终止条件。多数项目卡住不是因为模型不行,是循环跑起来之后没人盯日志,错了也说不清错在哪一层。

两个一起用,最先该测什么?

先测检索那一段单独跑准不准,命中内容对不对。这一步不过关,agent 再聪明也只能在错料上做决策;检索过关了,再测工具调用参数和步数是否收敛。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。