很多人一碰到「上下文窗口装不下」就想到上 RAG,结果文档塞进去了,回答还是答非所问。问题往往不在检索,而在你把它当成了万能扩容手段。这篇不重复讲 Token 和窗口的定义,只帮你想清楚:什么情况下 RAG 值得上,什么情况下该先做别的,以及决定要上之后按什么顺序动手。
RAG 这个词现在几乎成了「上下文不够用」的默认答案,但真正落地过的人会发现,文档是检索进来了,回答该跑偏还是跑偏。原因通常不是检索做得不好,而是你把它当成了万能的窗口扩容手段,指望它把「装不下」这件事一次性解决掉。
先把预期摆正:RAG 换的是输入侧的取数方式,不是窗口本身的容量。它值得上的场景有明确边界,边界外硬上只会多一层维护成本。下面按「它能解决什么、救不了什么、怎么判断、按什么顺序做」四段讲,你对着自己的场景逐条勾就行。
先分清:RAG 缓解的是「装什么」,不是「装多少」
把整本手册塞进窗口,和按问题取一小段塞进去,两者的输入占位完全不是一个量级。RAG 做的是后者——它不把窗口变大,只是让你别再一次性喂全文。所以真正被缓解的是「资料太多塞不进」和「模型没见过你的私有资料」这两类问题,而不是「单轮就要读完一整本书」那种硬需求。
- 省的是输入侧占位:只把和当前问题相关的那几段送进请求,而不是把全部资料铺开。
- 补的是知识和时效:模型训练时没见过的内部文档、近期更新的资料,靠检索现取现用。
- 给的是可追溯来源:回答能指回原文片段,这点在需要给出处的工作流里比省 Token 更值钱。
- 不解决窗口上限:如果一次任务本身要求模型同时看到全部内容做全局对比,检索救不了。
三种 RAG 救不了的情况,别白花力气
| 场景 | 为什么 RAG 帮不上 | 更该先做什么 |
|---|---|---|
| 需要全局推理 | 「找出所有互相矛盾的条款」这类任务要跨段比对,检索只能捞出零散片段,拼不回去 | 换长上下文模型,或先做结构化抽取再比对 |
| 非文本输入 | 表格结构、图里标注、扫描件版式,切块时结构信息就丢了,检索到的只是残缺文本 | 先做版面还原或结构化解析,再谈检索 |
| 模型本身能力不足 | 读不懂逻辑、算不对数,检索只是把同一个错答案换了段引文 | 先验证模型在给定原文时能不能答对,答不对就别加检索层 |
这三类的共同点是:瓶颈不在「资料没送进去」,而在「送进去了也没用」。遇到它们,先做右边那列的事,做完再回头看是否还需要 RAG。判断方法很简单——把标准答案所在的原文手动贴进对话,看模型能不能答对;答不对,检索做得再好也是白搭。
动手前先过一遍这张判断清单
- 数一数命中几条依次问自己:资料是否明显超出现有窗口?答案是否集中在少数段落?资料更新频率是否高于模型已有知识?是否必须给出处?是否愿意承担多一次检索调用?命中三条以上再认真考虑上 RAG。
- 只命中一两条时先试别的优先试精简提示词、把大问题拆成分批提问、或者换成窗口更大的模型。这三样改动成本低、见效快,很多时候做完就不需要检索层了。
- 区分「越聊越忘」和「资料装不下」如果只是多轮对话里早先内容被挤掉,那是会话管理问题,先做历史摘要压缩和裁剪,别一上来就搭检索。
- 拿不准就查资料再定到 /models 对照各家窗口规格与计费口径,看清楚是换模型更划算还是加检索层更划算,别凭感觉拍脑袋。
决定要上之后,按这个顺序动手
顺序错了,后面调参能把你耗死。下面四步是踩过坑之后比较稳的推进路径,每一步都有明确的验收动作,不要跳步。
- 切分按语义边界切,而不是按固定字数硬切;保留标题层级,片段之间留少量重叠。验收:随机抽几段,看单段是否还能独立读懂。
- 召回先把最朴素的向量召回跑通,再考虑加关键词混检。验收:用一组已知答案位置的问题,看目标片段有没有被召回进前列。
- 拼装把命中片段放在提问前面,明确标注来源,并在指令里写清「只用给定资料回答,找不到就说找不到」。验收:故意问一个资料里没有的问题,看模型是否老实说不知道。
- 验收准备一组「答案已知在文档第几段」的测试题,看召回是否命中了那一段,而不是只看最终答案读起来像不像。这一步是把问题定位到检索还是生成的关键。
这些场景建议先不上 RAG
- 资料总量很小、一次请求能直接放下:直接塞进提示词比搭一套检索管线省事得多。
- 单次任务、不做复用:临时查一份文档,人工贴进对话更直接,没必要为一次性需求做工程。
- 答案依赖实时一致性:检索到的旧快照和新数据打架时,检索反而放大矛盾,得先把数据源统一。
- 合规上不允许把原文外发:先解决脱敏与本地部署,再谈检索层怎么搭。
- 团队没人维护索引更新:资料一变索引就旧,没人跟进的检索层比不用还糟。
这几类的共同判断标准是:搭检索的长期成本高于它替你省下的那点输入占位。RAG 不是免费的,索引要更新、召回要调、评测要维护,这些都要有人管。如果答案一天一变而你又没有更新机制,检索出来的东西只会让你更没底。
下一步想动手前,先到 /tools/speed-test 跑一遍你常用的中转线路,确认基础调用稳定,再决定是在这上面加检索层,还是先解决线路和窗口的问题。→常见问题
上了 RAG 是不是就不用管上下文长度了?
不是。检索片段同样占窗口,命中太多、片段太长照样爆;而且多轮对话里的历史还在累积。RAG 只是把「塞整份资料」换成「塞几段」,窗口管理该做还得做,压缩历史、限制召回条数一样不能省。
为什么我接了 RAG 还是答不知道?
大概率是召回没命中,不是模型不行。先去查问题改写成什么样、片段怎么切、检索返回的到底是不是那一段。用「答案已知在第几段」的题目测一遍召回,比反复调提示词有效。
小团队没资源,最简单的起步做法是什么?
先用几十份文档跑通一条最小链路:切块、向量化、召回三条、拼进提示词、加一句「只依据资料回答」。跑顺了再谈混检、重排、加缓存。一上来搭复杂管线,出问题时你连哪一环坏了都定位不到。