知识库切片是什么意思,一次讲清做法、成本和注意点

入门与上手

讲清知识库切片的含义、常见切法怎么选、切完要花哪些成本,以及新手最容易踩的几个坑和排查顺序。

搭 RAG 时文档读进去了、问答却答不准,或者一条答案只截到半句话,多半问题出在切片这一层。这篇不聊框架怎么装,只说清楚切片到底在切什么、按什么粒度切、切完要额外付哪些代价,再给一套自查步骤,让你在动手前就知道该怎么定。

搭 RAG 的时候,文档明明已经读进去了,问答却答不准,或者一条答案只截到半句话,问题往往不在模型,而在切片这一层。切片就是把长文档改成一组「能被检索到的短块」,每块单独转成向量存起来,提问时只把最相关的几块回填给模型。这篇不聊框架怎么装,只说清楚在切什么、按什么粒度切、切完要额外付哪些代价,以及自查的先后顺序。

新手最容易犯的错是跳过这一步直接调模型,结果换了几个模型都不见好。其实切法基本决定了检索命中率,模型只负责在拿到的那几块里组织答案。动手前先把下面几节的判断标准过一遍,比事后返工便宜得多。

切片到底在切什么:把长文档改成「能被检索到的块」

模型一次能读的字数有限,长文档不能整篇塞进去,所以要拆成若干短块,各自转成向量入库。提问时先拿问题去检索,取回最相关的几块再拼进上下文。理解这一点很重要:切片不是为了压缩存储,而是为了「让检索能命中」。块切得对不对,直接决定最终答案有没有料。

这里有个绕不开的矛盾:块太大,检索回来一堆噪音,模型容易答偏;块太小,语义被切断,一句话被拆到两块里,谁都不完整。切法就是在噪音和断裂之间找平衡,这个平衡跟用哪个模型关系不大,跟文档长什么样关系很大。

块(chunk)
文档被拆开后的一段连续文本,是向量化和检索的最小单位。
重叠(overlap)
相邻两块之间保留一小段重复内容,用来救回跨块的句子。
元数据
随块一起存的来源信息,比如文件名、标题路径、页码。

按什么粒度切:四种常见切法和适用边界

没有一种切法通吃,先看文档类型再定。下面这张对照表可以直接拿着对号入座,注意「不适用」那一列,踩到这些情况就得换法。

切法适合的文档不适用的情况
按固定字数切格式统一的说明文、日志类文本表格密集、前后强关联的文档,容易把句子拦腰截断
按段落或标题层级切手册、规章、产品文档超长段落还要二次拆,块长参差不齐
按语义或结构切多数企业问答、混合格式资料纯靠模型判断边界成本高,文档量大时先别上
按问答对切已有客服问答记录的场景原始资料是连续叙述,硬凑问答对会失真

实操上多数人最终会落在「先按标题或章节收拢,再在段内二次细分」这套上:语义完整度够,块长也可控。纯语义判断的做法听起来高级,但每篇文档都过一次模型来判断边界,成本和耗时都上去了,文档量大的时候建议先用结构切法跑通再考虑。

  • 先按文档自带的标题层级切出大段,别一上来就按字数硬切
  • 超长的段落在内部再按句子或固定长度二次拆,拆的时候保留一点重叠
  • 每块挂上标题路径和页码,方便回溯
  • 拿一批真实问题跑检索,看命中的块里有没有答案,没答案就是切法或粒度不对
  • 同一份文档换两三种切法各跑一遍对比,比反复换模型有效

切片的成本花在哪:不只是存一份文本

很多人以为切片只是多存几份文本,真正花钱的是嵌入调用。块数越多,调用次数越多,大致按「块数乘以每块平均字数」去估量级。具体单价别记死,到 嵌入模型页(/embeddings) 核对当时的数字,不同模型的口径差得不小。

长期成本在维护。原文一改就得重切、重新嵌入,没做增量更新的话每次都全量重跑,账单会在你没注意的时候涨上去。所以从第一天起就要给每块留文档 ID 和版本标记,改动时只重算受影响的那几块。

成本项怎么产生控制办法
嵌入调用块数乘以每块字数,块越碎调用越多先做结构切分控制块的数量,别过度细分
重复嵌入原文改动后全量重跑记录文档 ID 与版本,只重算改动部分
调参时间同一份文档反复试切法固定一小批测试问题,两三种切法对比后收敛
重叠带来的额外量相邻块重复内容也会被计费重叠只留够接上跨块句子的长度,别贪多

切完不对劲:按这个顺序排查

问答效果差的时候,很多人第一反应是换模型或改提示词,这通常是最不划算的一步。按下面这个顺序走,先排除切片问题,再动模型,能少走很多弯路。

  1. 先看召回把用户问题原样检索一次,看命中的块里到底有没有答案。没有答案就先别动提示词,问题在切法或检索层。
  2. 再查块完整性命中的块是不是从半句话开始,或者答案被截在下一块。这是切得太碎的典型症状,把粒度调粗或加一点重叠试试。
  3. 检查重叠设置块与块之间留点重叠能救回跨块句子,但重叠过多会让同一段内容反复计费,也会稀释检索结果,调到够用就好。
  4. 最后才怀疑模型前面几项都干净了,再去换模型或调参数,否则只是把错误换了个地方发生。

还有一种情况要注意:如果文档本身格式混乱,比如表格被拆成一行行文字、扫描件没做 OCR,那无论怎么切都好不了。这时先修数据源,别在切片参数上打转。判断标准很简单:拿原始文档人工看一眼,能不能一眼找到答案,找不到就先补数据质量。

下一步把自己的文档按上面的对照表跑一遍切法和检索,顺手到工具目录挑一个测速或检测工具,验证解析和检索链路是否正常,再决定要不要继续调参。

常见问题

知识库切片是什么意思,切得越细越好吗?

切片是把长文档拆成模型能检索到的小块。不是越细越好:切太碎语义被切断,检索回来的都是半句话;切太粗一块里混进好几段内容,噪音多又浪费上下文。按章节或段落切、保留一点重叠,通常比追求极短块更稳。

切片大小有标准答案吗,不按推荐值会怎样?

没有通用标准答案。要看文档类型:条款法规要保完整句子,操作手册可以稍大,客服问答可以更小。不按推荐值不会报错,只会体现在答不准、答一半上,所以调参做对照测试比抄别人的数字更有用。

文档更新后,整个知识库要重新切一遍吗?

不必全量重来。给每个块记下来源和版本,只重切改动的那几份文档,再替换旧块。全量重跑的问题不只是花嵌入调用,还会出现新旧块并存导致同一问题检索出两个矛盾答案。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。