大模型应用开发 rag 实战入门步骤,头一周最容易白忙的三件事

接入与开发

给第一次做 RAG 的开发者一条能走通的顺序:先跑通最小链路,再定评估口径,最后才调检索和分块,避开一上来就堆组件的常见返工。

搜「大模型应用开发 rag 实战入门步骤」的人,多半手里已经有份文档、有个 API Key,却不知道从哪儿下手:是先挑向量库,还是先写提示词,还是先把文档洗干净?这篇不讲原理课,只给一条能落地的时间顺序,以及每一步的判断标准和「做到什么程度算过关」。也会说清哪些顺序不适用于你——比如你手上只有十几页资料,或者要做的其实是 Agent 而不是知识库问答。

搜这个问题的人,通常不是卡在原理上。手上有一份文档,有 API Key,能调通一次对话,但下一步就僵住了:到底先挑向量库,还是先写提示词,还是先把文档洗干净?这三件事看起来都该做,坏就坏在顺序。第一周白忙一场,多半不是能力问题,是顺序错了。

下面给的是时间顺序,不是知识地图。每一步都带一个「做到什么程度算过关」的判断,让你知道什么时候可以往下走。也会说清楚这套顺序在哪些情况下不适用——比如你手上只有十几页资料,或者你要做的其实是让模型调工具而不是查知识库,硬套 RAG 只会多一层没用的检索。

先跑通「问一句、返一句」的最小闭环

第一周最常见的动作是打开浏览器搜「向量数据库怎么选」,然后花两天对比。这里先给判断:这个阶段选哪个向量库几乎不影响你最后能不能跑通,影响你跑通的是你有没有把链路每一环摆出来看。先拿一份几十页的文档切碎,用任意能出 embedding 的接口建个临时索引,检索两三条塞进提示词,让模型答一句带出处的回答。这就算闭环了。

过关标准不是答得准。第一版答得不准太正常了。过关标准是链路里每一环都看得见:切了几块、召回了哪几块、拼进提示词多少字、请求耗时多少。哪一环没打日志,后面所有调优都是猜。我见过有人改分块大小改了一下午,结果发现日志里根本没记召回块的内容,改完也不知道变化出在哪。

  • 切块这步先固定一个策略,别边调边换,不然出了问题分不清是谁的锅
  • 召回结果打印出块的首句和 id,能对上原文哪一段
  • 拼进提示词的字符数记下来,这个数字后面会一路涨
  • 整次问答的耗时打点,先量基线
  • 提示词里明确要求回答带出处,哪怕模型第一次答得磕巴

有一种情况这套流程不适用:你要做的其实是让模型调你自己的接口取数,比如查订单、查库存。那是工具调用的事,套 RAG 只会多一层无用检索。判断方法很简单——如果问题的答案在数据库里会实时变,而不是躺在文档里,就别往检索上凑。

在调参数之前,先攒一组能反复问的题

链路跑通之后,人会本能地去调参数。调之前得先有个尺子,否则改完只能凭感觉说「好像好一点」。准备十几到几十个真实问题,每个标好答案应该出现在哪份文档的哪一段。这组题不追求覆盖面,追求的是改一次配置能立刻看出有没有变差。

先只看两个指标,别贪多。召回的那几块里,正确答案在不在里面;最终回答里,引用有没有对错来源。前者不够就去动分块和检索,后者不够就去动提示词和生成约束。两个指标对应两条完全不同的修法,混在一起说「效果不好」根本没法查。

现象先去动哪别急着动哪
答案压根没被召回分块方式、文档清洗、向量化接口rerank、提示词
答案召回了但排在后面检索条数、rerank切块策略
召回的块对但回答跑偏提示词约束、生成侧引用要求检索链路
回答没有引用或引错块提示词格式要求、输出解析向量库选型

有个反例很具体:改完分块大小觉得「好像好一点」,但手头没有对照题,第二天换成另一个模型,就分不清是分块变好还是模型变好。这组题的价值就在于把这两个变量拆开。另外,如果某道题你自己都答不上来看哪份文档,别留着凑数,删掉。

分块和检索的调整顺序别弄反

顺序是:先调分块,再调检索条数,最后才考虑加 rerank。分块错了,后面加什么排序都是在错的东西里挑。这条顺序不新鲜,但实际做的时候人是反着来的——因为 rerank 听起来高级,接上就有成就感。

分块看文档类型。条文、手册这种天然有边界的,按结构切;连续叙述的,先按段落切再留一点重叠。重叠的作用是别让一句话被劈在两块里,不是越多越好。切完随手抽两三块读一遍,通顺、意思完整,就算过关。

  1. 定分块基线按文档结构切一版,抽三块人工读,判断是否意思完整;记录这个策略。
  2. 调检索条数从少量块起步,看召回里有没有正确答案,不够再加;每加一次都跑那组对照题。
  3. 判断是否上 rerank如果正确答案能被召回但排不进前面几位,再考虑 rerank;压根召回不到就先回分块那步。
  4. 回头看提示词前三条都稳了,再改生成侧的引用约束和答不了就说不知道的规则。

这套顺序有个不适用的场景:数据量极小、问题又都集中在同一份文档里,粗糙的检索也能过。这时候硬做分块调优、接 rerank,投入产出比很差。先确认自己的数据规模和问题分布,再决定要不要走全套。

跑起来之后,留几条能复盘的日志

第一周结束,你大概跑通了一个能回答问题的版本。这时别急着加功能,先看看日志留没留够。没有日志,下次质量下降就是一场猜谜。每次问答至少记这几样:问题原文、召回块的 id 或首句、拼进提示词的总字符数、模型返回的引用、整体耗时。

有两种坏法要分开记:回答里没有引用,和引用指向的块跟答案无关。前者多半是提示词没约束住,后者多半是检索混进了干扰块。分开记,修的地方才明确。接口慢和贵也要分开看,延迟先量基线,别凭感觉换模型;到 /tools/speed-test 先量出你这套链路的基础延迟,有个数再谈优化。

成本口径别只看调用单价。按一次问答的实际 token 用量记账,你会很快发现检索这层塞了多少东西进提示词。各接口当时的单价和计费规则差异,到 /price-watch 核对当时的数字,别拿旧印象做决策。

下一步把你现在用的接口和向量服务在两个页面各过一遍:延迟看基准,价格看口径,第一周的调优就有了参照系。

常见问题

RAG 入门一定要先学向量数据库吗?

不必。第一版完全可以用本地文件或内存里的小索引把链路跑通,等你确认问题出在检索而不是别处,再换正式的向量库。先选库容易把调试时间都花在部署上。向量库目录可以到 /stacks/vector-dbs 挑,但那是第二步的事。

怎么判断我的 RAG 该调检索还是调提示词?

看对照题。正确答案在召回块里但回答还是错,问题在生成这端,去改提示词和输出约束;正确答案压根没被召回,改提示词没意义,得回去动分块、向量化或检索条数。两类错法混着改,永远说不清是谁的功劳。

小团队做 RAG,哪些环节可以先用现成方案?

分块、向量化、检索这几步都有现成组件,先用着没问题;真正值得自己花时间的是文档清洗和那组对照题,这两样没有通用方案能替你做。至于用哪家模型、什么价,去 /models 和 /official-api 看当时的数字,别按别人文章里写的数做预算。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。