搭 RAG 时文档读进去了、问答却答不准,或者一条答案只截到半句话,多半问题出在切片这一层。这篇不聊框架怎么装,只说清楚切片到底在切什么、按什么粒度切、切完要额外付哪些代价,再给一套自查步骤,让你在动手前就知道该怎么定。
搭 RAG 的时候,文档明明已经读进去了,问答却答不准,或者一条答案只截到半句话,问题往往不在模型,而在切片这一层。切片就是把长文档改成一组「能被检索到的短块」,每块单独转成向量存起来,提问时只把最相关的几块回填给模型。这篇不聊框架怎么装,只说清楚在切什么、按什么粒度切、切完要额外付哪些代价,以及自查的先后顺序。
新手最容易犯的错是跳过这一步直接调模型,结果换了几个模型都不见好。其实切法基本决定了检索命中率,模型只负责在拿到的那几块里组织答案。动手前先把下面几节的判断标准过一遍,比事后返工便宜得多。
切片到底在切什么:把长文档改成「能被检索到的块」
模型一次能读的字数有限,长文档不能整篇塞进去,所以要拆成若干短块,各自转成向量入库。提问时先拿问题去检索,取回最相关的几块再拼进上下文。理解这一点很重要:切片不是为了压缩存储,而是为了「让检索能命中」。块切得对不对,直接决定最终答案有没有料。
这里有个绕不开的矛盾:块太大,检索回来一堆噪音,模型容易答偏;块太小,语义被切断,一句话被拆到两块里,谁都不完整。切法就是在噪音和断裂之间找平衡,这个平衡跟用哪个模型关系不大,跟文档长什么样关系很大。
- 块(chunk)
- 文档被拆开后的一段连续文本,是向量化和检索的最小单位。
- 重叠(overlap)
- 相邻两块之间保留一小段重复内容,用来救回跨块的句子。
- 元数据
- 随块一起存的来源信息,比如文件名、标题路径、页码。
按什么粒度切:四种常见切法和适用边界
没有一种切法通吃,先看文档类型再定。下面这张对照表可以直接拿着对号入座,注意「不适用」那一列,踩到这些情况就得换法。
| 切法 | 适合的文档 | 不适用的情况 |
|---|---|---|
| 按固定字数切 | 格式统一的说明文、日志类文本 | 表格密集、前后强关联的文档,容易把句子拦腰截断 |
| 按段落或标题层级切 | 手册、规章、产品文档 | 超长段落还要二次拆,块长参差不齐 |
| 按语义或结构切 | 多数企业问答、混合格式资料 | 纯靠模型判断边界成本高,文档量大时先别上 |
| 按问答对切 | 已有客服问答记录的场景 | 原始资料是连续叙述,硬凑问答对会失真 |
实操上多数人最终会落在「先按标题或章节收拢,再在段内二次细分」这套上:语义完整度够,块长也可控。纯语义判断的做法听起来高级,但每篇文档都过一次模型来判断边界,成本和耗时都上去了,文档量大的时候建议先用结构切法跑通再考虑。
- 先按文档自带的标题层级切出大段,别一上来就按字数硬切
- 超长的段落在内部再按句子或固定长度二次拆,拆的时候保留一点重叠
- 每块挂上标题路径和页码,方便回溯
- 拿一批真实问题跑检索,看命中的块里有没有答案,没答案就是切法或粒度不对
- 同一份文档换两三种切法各跑一遍对比,比反复换模型有效
切片的成本花在哪:不只是存一份文本
很多人以为切片只是多存几份文本,真正花钱的是嵌入调用。块数越多,调用次数越多,大致按「块数乘以每块平均字数」去估量级。具体单价别记死,到 嵌入模型页(/embeddings) 核对当时的数字,不同模型的口径差得不小。
长期成本在维护。原文一改就得重切、重新嵌入,没做增量更新的话每次都全量重跑,账单会在你没注意的时候涨上去。所以从第一天起就要给每块留文档 ID 和版本标记,改动时只重算受影响的那几块。
| 成本项 | 怎么产生 | 控制办法 |
|---|---|---|
| 嵌入调用 | 块数乘以每块字数,块越碎调用越多 | 先做结构切分控制块的数量,别过度细分 |
| 重复嵌入 | 原文改动后全量重跑 | 记录文档 ID 与版本,只重算改动部分 |
| 调参时间 | 同一份文档反复试切法 | 固定一小批测试问题,两三种切法对比后收敛 |
| 重叠带来的额外量 | 相邻块重复内容也会被计费 | 重叠只留够接上跨块句子的长度,别贪多 |
切完不对劲:按这个顺序排查
问答效果差的时候,很多人第一反应是换模型或改提示词,这通常是最不划算的一步。按下面这个顺序走,先排除切片问题,再动模型,能少走很多弯路。
- 先看召回把用户问题原样检索一次,看命中的块里到底有没有答案。没有答案就先别动提示词,问题在切法或检索层。
- 再查块完整性命中的块是不是从半句话开始,或者答案被截在下一块。这是切得太碎的典型症状,把粒度调粗或加一点重叠试试。
- 检查重叠设置块与块之间留点重叠能救回跨块句子,但重叠过多会让同一段内容反复计费,也会稀释检索结果,调到够用就好。
- 最后才怀疑模型前面几项都干净了,再去换模型或调参数,否则只是把错误换了个地方发生。
还有一种情况要注意:如果文档本身格式混乱,比如表格被拆成一行行文字、扫描件没做 OCR,那无论怎么切都好不了。这时先修数据源,别在切片参数上打转。判断标准很简单:拿原始文档人工看一眼,能不能一眼找到答案,找不到就先补数据质量。
下一步把自己的文档按上面的对照表跑一遍切法和检索,顺手到工具目录挑一个测速或检测工具,验证解析和检索链路是否正常,再决定要不要继续调参。→常见问题
知识库切片是什么意思,切得越细越好吗?
切片是把长文档拆成模型能检索到的小块。不是越细越好:切太碎语义被切断,检索回来的都是半句话;切太粗一块里混进好几段内容,噪音多又浪费上下文。按章节或段落切、保留一点重叠,通常比追求极短块更稳。
切片大小有标准答案吗,不按推荐值会怎样?
没有通用标准答案。要看文档类型:条款法规要保完整句子,操作手册可以稍大,客服问答可以更小。不按推荐值不会报错,只会体现在答不准、答一半上,所以调参做对照测试比抄别人的数字更有用。
文档更新后,整个知识库要重新切一遍吗?
不必全量重来。给每个块记下来源和版本,只重切改动的那几份文档,再替换旧块。全量重跑的问题不只是花嵌入调用,还会出现新旧块并存导致同一问题检索出两个矛盾答案。