搜这两个词进来的人,多半是搭完一版普通 RAG 发现答不准,或者听说 agentic RAG 能自己多轮检索,想知道值不值得换。真上手以后卡的点很具体:到底是检索没召回,还是模型没用好;多轮检索多花的那几轮调用值不值。这篇不铺概念,先把两种链路的差别摆出来,再给判断顺序和排查动作。
搜这两个词进来的人,情况差不多:搭完一版普通 RAG,发现答不准,或者听说 agentic RAG 能让模型自己多轮检索,想知道值不值得换。真上手后卡住的点很具体——到底是没召回,还是召回了一堆但没用上;多轮检索多花的那几轮调用,值不值。
这篇不铺概念,先把两条链路的差别摆出来,再给判断顺序和排查动作。看的时候对照你手里的日志,边看边核。
先看一轮能答完,还是必须接着查
普通 RAG 是固定一条链:切块、向量化、召回 top-k、拼进上下文、生成,跑完就结束。链路固定意味着出了问题好定位,答不准多半能归到召回那一段。agentic RAG 把检索做成可调用的工具,模型自己决定查不查、查几轮、要不要换关键词再查。灵活是真灵活,代价是轮数不固定,账单和延迟跟着不固定。
判断标准其实只有一条:这个问题的答案,能不能在一段资料里找全。能找全就用普通 RAG,别给它加戏。需要跨几份文档拼起来、或者得先确认一件事再追问下一步,才轮到 agentic 上场。
- 问题类型单一、资料量不大,加多轮检索只是把链路拉长,排查难度跟着上去,收益还不一定看得见
- 答案需要跨文档拼合、或者问题本身分步骤,普通 RAG 一次召回够不着,多轮才有意义
- 对首字时间敏感的场景,多轮检索会让用户等更久,先别急着换,评估完延迟再决定
- 团队里没人盯日志的话,agentic 的失败更隐蔽,出问题半天找不到原因,这点比成本更值得先想清楚
两种跑法坏起来长得不一样
普通 RAG 坏得很稳。召回为空,模型就答得很泛;召回噪音大,就答得偏。问题基本锁在切片方式和向量模型两处,改一处能复现,改完能对比。agentic RAG 坏得散:可能是工具描述写得含糊,模型压根不调检索;可能是步数上限太少,查一半就停;也可能是模型反复查同一个词空转,看着在干活,其实没往前推进。
所以排查顺序得反过来。普通 RAG 先看召回结果,agentic 先看轨迹。日志里工具被调了几次、每轮的 query 是什么、生成时上下文里到底塞了哪些片段,这三样对齐了,问题基本能定位到某一段。
| 现象 | 普通 RAG 先查哪 | agentic RAG 先查哪 |
|---|---|---|
| 回答很泛、像没看过资料 | 召回是否为空、切片是否切断了关键句 | 检索工具是否被调用、工具描述是否说清了用途 |
| 回答偏题、混进无关内容 | 召回条数和相似度阈值 | 某一轮 query 是否跑偏、上下文是否塞了太多片段 |
| 答题中途停住、不完整 | 生成长度参数 | 步数上限是否太低、是否触发超时 |
| 反复查同一件事、绕圈 | 通常不会出现这类现象 | 工具返回值格式是否让模型读不懂、要不要换查询词 |
有个常见误判:把 agentic 的空转当成模型能力差。实际用下来,多数是检索工具的参数没写清返回什么,模型不知道该拿它干什么,只能一遍遍重试。改工具描述比换模型管用。
多出来的那几轮调用,值不值先算清
普通 RAG 一次请求的花费基本可预测,因为链路固定。agentic RAG 每一轮检索加一轮生成都要单独算,轮数又由模型临场决定,预算只能按上限估。先定步数上限和单次会话的调用上限,跑一段时间看真实用量分布,再决定要不要放宽。不放宽也不是坏事,很多会话本来两三步就结束,上限设高了只是给失控留口子。
延迟同理。每多一轮检索,用户就多等一截。对聊天类场景,先测首字时间和完整回答时间的差距,再看多轮带来的准确率提升能不能补上等待。价格口径和用量基线别凭旧印象,到 /official-api 看当时的报价,到 /usage 核自己的用量记录。
- 先定上限给单次请求设步数上限和调用上限,超了就降级回一次普通检索,别让模型无限查下去。
- 跑基线用一批真实问题跑一周,记下每次会话的检索轮数分布和总耗时,看多轮到底集中在哪些问题上。
- 算账按分布估出平均轮数和峰值轮数,再到 /tools/model-cost-calculator 核当时的价格,算清最坏情况下的一次会话成本。
- 再决定放宽只有准确率提升明显、且峰值成本能接受,才调高上限;否则先压着,靠改工具描述降轮数。
改之前照着过一遍的动作清单
动手前先做一次归因,别一上来就换架构。拿十条答得不好的问题,回看生成时的上下文,确认是没检索到,还是检索到了但模型没用上。这两类的修法完全不同,前者改召回,后者改提示和上下文组织。
如果只调切片大小和召回条数就能救回大半,那就先别上 agentic。救不回来的,再考虑把检索封装成工具,让模型自己决定查不查。
- 回看上下文,把问题分成「没召回」和「召回了没用上」两类,各记几条
- 只动切片和召回参数,看能救回几条,能救回大半就先停在这里
- 要上的话,把检索写成带清晰描述的工具,明确输入输出格式,配步数上限和超时
- 上线后盯工具调用次数的分布,大量单轮就停的会话说明模型没在用工具,回头改描述
- 价格和额度口径有疑问,去 /price-watch 看当时的数字,别拿旧印象估
还有一点容易被忽略:普通 RAG 的评测集能直接复用,agentic 的多轮路径不好用同一套题衡量。换架构前先想清楚怎么验证准确率,没有验证手段就别急着改,改完也不知道是好是坏。
下一步把自己接口的当前价格和额度口径核一遍,再决定要不要给检索加轮次。中转站价格波动大,按当时的页面数字估预算更靠谱。→常见问题
普通 RAG 答不准,是不是直接换 agentic RAG 就行?
别急。先把答不准的问题分两类:资料里根本没有,还是资料有但没被召回。前一类换什么架构都没用,得补数据;后一类先调切片和召回条数,多半能救回来。只有需要跨多份文档拼答案、或者要边查边确认的场景,多轮检索才划算。
agentic RAG 一轮跑完要多久,会不会特别慢?
轮数不固定,所以延迟也不固定,每多一轮检索加生成就多一段等待。对首字时间敏感的产品,建议先限制步数上限,让它在两三轮内收敛,宁可答得保守一点。想量自己的基线,到 /tools/speed-test 测一下当前接口的延迟再说。
两种做法能混着用吗?
能,而且很常见。简单问题走固定链路,判定为需要跨文档或需要确认时再进多轮检索。关键是分流规则要写死、要能复盘,别让模型自己决定走哪条,否则出了问题连是哪条链路坏的都分不清。