rag 怎么解决 llm 上下文窗口有限的问题

入门与上手

讲清 RAG 为什么能绕开大模型上下文窗口限制,给开发者与产品经理一套可落地的拆解思路与判断标准。

做问答类产品时最容易撞上的墙:文档一多、对话一长,模型就开始记不住、答不全,加钱换更大窗口也治标不治本。这篇不重复讲上下文窗口本身是什么,而是把 RAG 的「不去塞满窗口、改为临时取用」这条思路拆开,给一套判断什么情况下它管用、什么情况下不适用的口径。

做问答类产品最容易撞上的一堵墙:文档一多、对话一长,模型就开始记不住、答不全。第一反应往往是加钱换个窗口更大的模型,但通常治标不治本——资料继续涨,窗口总会被吃满。RAG 的思路换个方向:不去把窗口塞满,而是每次只临时取用需要的那几段。这篇不重复讲上下文窗口本身是什么,只把这条思路拆开,给你一套判断它什么时候管用、什么时候不适用的口径。

先给一个总的判断:RAG 解决的不是「窗口不够大」,而是「一次请求里没必要把所有资料都放进去」。它把长文档的负担从模型窗口前移到检索环节,窗口只决定单次能看几段,不决定你一共能掌握多少资料。理解这一层,后面所有的取舍都好谈了。

先分清:窗口不够用的三种真实表现

很多人把问题笼统归为「窗口太小」,其实要先看自己踩的是哪一种,因为三种表现对应的修法完全不同。分不清这一点,很容易花了大钱换模型,结果症状一点没变。

  • 塞不下:整份资料超长,硬塞会被截断,模型实际只看到开头和结尾,中间整段被丢掉;
  • 塞得起但答不准:内容一长,中间段落容易被忽略,关键那句恰好落在模型没重点看的位置;
  • 塞得起但用不起:每次问答都把全部资料重发一遍,消耗和延迟随着资料量一起涨,用户越多越明显。

判断自己属于哪一种,可以拿一批真实用户问题去跑:如果答案总是缺失在资料中段,多半是注意力问题;如果请求本身就被截断,是容量问题;如果回答质量还行但账单和响应时间一直涨,是成本问题。三种问题里,RAG 主要解决前两种的表象,第三种它也能压一压。

RAG 绕开窗口的两步:离线切、在线取

RAG 的做法可以拆成两个互不干扰的阶段,理解这个拆分,就理解了它为什么不受窗口限制。

  1. 离线把长资料切段并向量化把整份文档切成语义自洽的小段,逐段转成向量存进向量库。这一步完全在模型上下文窗口之外发生,存多少资料与窗口大小无关。
  2. 在线只召回相关片段用户提问时,把问题也转成向量,去库里找最相近的几段,再把这些片段拼进本次请求的上下文。
  3. 验证召回是否真的命中拿一批已知答案的问题反过来查:正确的那段有没有被召回、排在第几。命中率不行,先修切分和检索,别急着换模型。

顺着这个交换往下想:你的资料规模再大,真正进窗口的始终是少量片段,所以窗口大小只决定「一次能看几段」。真正决定成败的,是切分是否合理、检索能否命中。这一段能力边界,比模型选型更值得先花时间。

什么情况下这条路走不通

RAG 不是万能钥匙。下面几种情况要提前识别,否则上线后你会发现回答总是「差一口气」。

场景特征RAG 是否适用更合适的做法
查具体事实、按片段回答适用以 RAG 为主,重点调检索
需要通读全文做全局归纳不适用换成带长上下文能力的模型,或先做分步摘要
资料无清晰切分点、段内强依赖要谨慎重新设计切分粒度,或改用整块处理
问题表述与资料用词对不上不适用先修检索(同义词、改写、混合检索)

再补一条容易忽略的:如果业务要求「必须引用原文、不能编」,那检索质量就是生命线,没命中时宁可明确说「资料里没提到」,也不要让模型顺着语气往下编。这一点在面向客户的产品里尤其重要。

落地前的对照清单

下面这份清单按顺序过一遍,能帮你判断这个项目到底该不该用 RAG。不要跳步,前两步不成立,后面调参数都是白费。

  • 先确认任务类型:查具体事实、按片段回答的适合 RAG;要整体总结、跨文档推理的先别急着上;
  • 再确认资料形态:有没有稳定结构、能不能切成自洽的小段,切完读起来是否还通顺;
  • 然后定召回数量与拼接顺序,以及答不出来时怎么兜底,比如明确回应「资料里没提到」;
  • 最后用一批真实问题测命中率和答错时的表现,别只看回答通顺不通顺。

清单里最容易被跳过的是第三步的兜底。很多团队的 RAG 上线后最大的问题不是答不出,而是答得自信但错。设置好「无命中时的诚实回应」比多召回几段更划算。

如果你还想对比不同模型在长上下文任务上的实际表现,以及各家 API 的计费口径,别凭印象做决定。站内模型资料库和价格追踪都有按当时数据更新的对照表,先看清楚再选型,能少走不少弯路。

下一步想按任务类型对比模型的长上下文表现和计费口径,去站内模型库与价格追踪核对当时的数字,再决定是走 RAG 还是换更大窗口的模型。

常见问题

RAG 是不是就等于把上下文窗口无限放大了?

不是。窗口大小决定单次请求能塞多少字,RAG 决定这次请求里塞的是哪几段。资料总量可以远大于窗口,但模型每次真正读到的仍然只是窗口内的那几段,所以答得准不准更多取决于检索有没有把对的那段捞上来。

既然有 RAG,是不是就不用在意上下文窗口大小了?

仍然要在意。召回数量、每段长度、用户问题加历史对话都要挤进同一个窗口,窗口太小时你会被迫减少召回条数或砍掉对话历史,直接影响效果。具体模型的窗口取值可以到站内模型库对照,别凭印象估。

什么时候该放弃 RAG 改用长上下文模型?

任务需要通读全文、做跨段归纳,或者资料规模不大但逻辑强耦合时,直接给长上下文模型更省事。判断口径很简单,问自己「漏掉中间一段会不会答错」,会的话就别只靠检索。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。