做问答类产品时最容易撞上的墙:文档一多、对话一长,模型就开始记不住、答不全,加钱换更大窗口也治标不治本。这篇不重复讲上下文窗口本身是什么,而是把 RAG 的「不去塞满窗口、改为临时取用」这条思路拆开,给一套判断什么情况下它管用、什么情况下不适用的口径。
做问答类产品最容易撞上的一堵墙:文档一多、对话一长,模型就开始记不住、答不全。第一反应往往是加钱换个窗口更大的模型,但通常治标不治本——资料继续涨,窗口总会被吃满。RAG 的思路换个方向:不去把窗口塞满,而是每次只临时取用需要的那几段。这篇不重复讲上下文窗口本身是什么,只把这条思路拆开,给你一套判断它什么时候管用、什么时候不适用的口径。
先给一个总的判断:RAG 解决的不是「窗口不够大」,而是「一次请求里没必要把所有资料都放进去」。它把长文档的负担从模型窗口前移到检索环节,窗口只决定单次能看几段,不决定你一共能掌握多少资料。理解这一层,后面所有的取舍都好谈了。
先分清:窗口不够用的三种真实表现
很多人把问题笼统归为「窗口太小」,其实要先看自己踩的是哪一种,因为三种表现对应的修法完全不同。分不清这一点,很容易花了大钱换模型,结果症状一点没变。
- 塞不下:整份资料超长,硬塞会被截断,模型实际只看到开头和结尾,中间整段被丢掉;
- 塞得起但答不准:内容一长,中间段落容易被忽略,关键那句恰好落在模型没重点看的位置;
- 塞得起但用不起:每次问答都把全部资料重发一遍,消耗和延迟随着资料量一起涨,用户越多越明显。
判断自己属于哪一种,可以拿一批真实用户问题去跑:如果答案总是缺失在资料中段,多半是注意力问题;如果请求本身就被截断,是容量问题;如果回答质量还行但账单和响应时间一直涨,是成本问题。三种问题里,RAG 主要解决前两种的表象,第三种它也能压一压。
RAG 绕开窗口的两步:离线切、在线取
RAG 的做法可以拆成两个互不干扰的阶段,理解这个拆分,就理解了它为什么不受窗口限制。
- 离线把长资料切段并向量化把整份文档切成语义自洽的小段,逐段转成向量存进向量库。这一步完全在模型上下文窗口之外发生,存多少资料与窗口大小无关。
- 在线只召回相关片段用户提问时,把问题也转成向量,去库里找最相近的几段,再把这些片段拼进本次请求的上下文。
- 验证召回是否真的命中拿一批已知答案的问题反过来查:正确的那段有没有被召回、排在第几。命中率不行,先修切分和检索,别急着换模型。
顺着这个交换往下想:你的资料规模再大,真正进窗口的始终是少量片段,所以窗口大小只决定「一次能看几段」。真正决定成败的,是切分是否合理、检索能否命中。这一段能力边界,比模型选型更值得先花时间。
什么情况下这条路走不通
RAG 不是万能钥匙。下面几种情况要提前识别,否则上线后你会发现回答总是「差一口气」。
| 场景特征 | RAG 是否适用 | 更合适的做法 |
|---|---|---|
| 查具体事实、按片段回答 | 适用 | 以 RAG 为主,重点调检索 |
| 需要通读全文做全局归纳 | 不适用 | 换成带长上下文能力的模型,或先做分步摘要 |
| 资料无清晰切分点、段内强依赖 | 要谨慎 | 重新设计切分粒度,或改用整块处理 |
| 问题表述与资料用词对不上 | 不适用 | 先修检索(同义词、改写、混合检索) |
再补一条容易忽略的:如果业务要求「必须引用原文、不能编」,那检索质量就是生命线,没命中时宁可明确说「资料里没提到」,也不要让模型顺着语气往下编。这一点在面向客户的产品里尤其重要。
落地前的对照清单
下面这份清单按顺序过一遍,能帮你判断这个项目到底该不该用 RAG。不要跳步,前两步不成立,后面调参数都是白费。
- 先确认任务类型:查具体事实、按片段回答的适合 RAG;要整体总结、跨文档推理的先别急着上;
- 再确认资料形态:有没有稳定结构、能不能切成自洽的小段,切完读起来是否还通顺;
- 然后定召回数量与拼接顺序,以及答不出来时怎么兜底,比如明确回应「资料里没提到」;
- 最后用一批真实问题测命中率和答错时的表现,别只看回答通顺不通顺。
清单里最容易被跳过的是第三步的兜底。很多团队的 RAG 上线后最大的问题不是答不出,而是答得自信但错。设置好「无命中时的诚实回应」比多召回几段更划算。
如果你还想对比不同模型在长上下文任务上的实际表现,以及各家 API 的计费口径,别凭印象做决定。站内模型资料库和价格追踪都有按当时数据更新的对照表,先看清楚再选型,能少走不少弯路。
下一步想按任务类型对比模型的长上下文表现和计费口径,去站内模型库与价格追踪核对当时的数字,再决定是走 RAG 还是换更大窗口的模型。→常见问题
RAG 是不是就等于把上下文窗口无限放大了?
不是。窗口大小决定单次请求能塞多少字,RAG 决定这次请求里塞的是哪几段。资料总量可以远大于窗口,但模型每次真正读到的仍然只是窗口内的那几段,所以答得准不准更多取决于检索有没有把对的那段捞上来。
既然有 RAG,是不是就不用在意上下文窗口大小了?
仍然要在意。召回数量、每段长度、用户问题加历史对话都要挤进同一个窗口,窗口太小时你会被迫减少召回条数或砍掉对话历史,直接影响效果。具体模型的窗口取值可以到站内模型库对照,别凭印象估。
什么时候该放弃 RAG 改用长上下文模型?
任务需要通读全文、做跨段归纳,或者资料规模不大但逻辑强耦合时,直接给长上下文模型更省事。判断口径很简单,问自己「漏掉中间一段会不会答错」,会的话就别只靠检索。