agentic rag对比,多花的钱和踩的坑都在这几处

入门与上手

把 agentic RAG 和普通 RAG 放在一起比,说清两者在流程、成本和出错方式上的差别,给一套能照着走的判断顺序和验收动作。

搜 agentic rag 对比的人,多半已经跑通了普通 RAG,却发现问复杂问题还是答不准,于是听说让模型自己多轮检索会更好。问题在于两种做法花的钱、慢的速度、出错的位置完全不是一回事。这篇不堆概念,直接给一条判断线:什么信号说明该升级,升级前要改哪几处,上线后怎么验收。

搜 agentic rag 对比的人,多半已经跑通了普通 RAG,却发现问复杂点的问题还是答不准。这时候听说让模型自己多轮检索会更好,就想换。先别急着动手:这两种做法花的钱、慢的速度、出错的位置完全不是一回事。换之前得先弄明白,你要解决的到底是「召回不够」还是「一次没答好就没第二次机会」。

这篇不堆概念。给一条判断线:什么信号说明该升级、升级前要改哪几处、上线后拿什么验收。看完你至少能判断自己现在这套够不够用,以及真要换的话第一步落在哪。

先看清两者到底差在哪一步

普通 RAG 是一次检索定生死。切好块、向量化、召回 top-k、塞进上下文,模型只有一次机会。答案对不对,很大程度取决于那一次召回准不准,以及切片切得好不好。agentic RAG 把检索变成一个可以被反复调用的工具,模型自己决定查几次、换什么词、要不要换个数据源再看一眼。

差别就落在三个地方:谁决定检索时机、能不能拿到中间结果再追问、失败时有没有第二次机会。普通流程里这三件事都是写死的;agentic 流程里,它们是模型在运行时做的选择。选择多了,灵活性上来了,不确定性和开销也跟着上来。

钱和延迟花在哪,心里先有数

多轮检索意味着多次向量查询加多次模型调用。token 消耗按轮数叠加,延迟是串起来的——不是简单相加,而是链式,每一轮都要等上一轮的结果才能决定下一步。一轮问句本来两三秒能出,变成三四轮往返,用户体感就是另一个量级。

反过来,如果单次问句简单、答案就在两三个片段里,升级上去只会变慢变贵,收益接近零。这类问题占你实际流量的比例越高,升级越不划算。先别拍脑袋,拿真实的高频问题跑一遍再算。

  • 拿最近一周的真实提问抽样,按「一次召回够不够」分成够用和不够用两堆,看比例
  • 对不够用那堆,用站内工具估单次成本,再乘日均调用量,得出日成本增量
  • 延迟基线先在站内测速工具上量一遍,别拿感觉当结论
  • 把「最坏情况」也算进去:模型如果连续多轮还查不到,会不会一直转下去

成本估算别用别人的数字,你的切片大小、上下文长度、轮数上限都不一样。到 /tools/model-cost-calculator 和 /tools/token-price-calculator 按自己的参数填一遍,拿当时的数字说话。延迟这块到 /tools/speed-test 建个基线,后面验收才有对照。

这些情况下别急着上 agentic

知识库小、更新慢、问题集中在固定几类,这种场景普通 RAG 加好的切片和提示词就够了。切片这件事本身还有很大优化空间,先去看 /guides/knowledge-base-chunking-first-run 那条线,很多「召回不准」其实是切得不对,跟检索轮数没关系。

还有一种情况是硬约束:对响应时间有要求、用户等不了多轮往返的场景,比如实时客服的首响。这种场景上 agentic,体验只会更差,因为用户等的是第一句话,不是最后那句更准的答案。

场景特征更适合哪套原因
答案集中在少数固定文档、更新慢普通 RAG一次召回够用,多轮纯属浪费
问题需要跨文档比对、先查目录再定位agentic RAG单次召回覆盖不全,需要多步
首响时间有硬要求普通 RAG 优先多轮链式延迟很难压到首响标准
数据源多、模型得自己选查哪个agentic RAG选源本身就是决策点
团队还没做过检索日志先补日志再谈看不到每轮查了什么,升级等于盲飞

最后一条要单独说:做不到给检索工具设边界就先别用。不限制次数、不给超时、不限定可用数据源,模型会自己绕圈,账单和延迟一起失控。这不是模型笨,是你没给它画圈。

反过来说,问题需要跨文档比对、需要先查目录再定查哪份、一次召回明显不够用时,才是它的主场。判断标准就一句:你的失败案例里,有多少是「再查一次就能救回来」的?比例高才值得换。

真要换,按这个顺序动手

确定要换之后,最容易犯的错是一次性把所有数据源都挂上去、所有参数都放开。结果出了问题根本不知道是哪一环。正确的做法是先把最小闭环跑通,再逐步放开。

  1. 封装检索工具把检索做成一个有入参有出参的工具,先只接一个数据源。验证方式:单独调用这个工具,看返回结构是否稳定、空结果时是否报错而不是静默返回空。
  2. 设死上限最多检索几轮、单轮返回几条、总超时多少,写进配置而不是靠提示词祈祷。验证方式:故意问一个查不到的问题,看它是否在到达上限时停下并给出兜底回答。
  3. 留痕每轮查了什么词、召回了哪些片段、模型为什么决定再查,全存日志。验证方式:随便抽一条线上请求,能不能从日志里复原它的完整决策路径。
  4. 新旧对比验收拿同一批问题跑新旧两套,看答案正确率、平均轮数、单次成本、P95 延迟四项。哪项退步就回退,别四项里三项变好就整体上线。

验收时答案正确率别只看「对不对」,还要看「错得离不离谱」。agentic 流程有时候会绕一圈给出一个自信但跑偏的答案,比普通 RAG 直接说不知道更危险。所以兜底话术和「查不到就说查不到」的约束要提前写进去。

模型这边换不换先别急。同一个流程换个模型,轮数和成本结构都会变。到 /models 和 /benchmarks 看当时的评测口径,重点看跟「多步工具调用」相关的项,别只看总分。

下一步先用站内工具把自己的成本和延迟基线量出来,再决定换不换。没有基线,后面验收就是拍脑袋。

常见问题

agentic RAG 一定比普通 RAG 准吗?

不一定。它换来的是更多次纠错机会,代价是更多轮调用和更长的链路。问题本身简单、知识库干净的时候,多出来的轮次不带来准确率提升,只带来延迟和成本。先用一小批真实问题对比,看正确率有没有实质变化再决定。

怎么判断是检索没做好还是该上 agentic?

先把召回结果单独打出来看。如果正确答案的片段根本没被召回,那是切片和检索策略的问题,加多轮也没用;如果片段召回了但模型没用上,或者需要拼两三份文档才答得出,那才是多轮检索能补的地方。

上线后最该盯哪几个指标?

平均检索轮数、单次成本、P95 延迟、答案被人工判错的比率。轮数突然上涨通常意味着模型在原地打转;成本和延迟跟着轮数走。四项里任意一项明显变差,就先收紧轮数上限再排查。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。