知识库切片是什么意思,步骤和注意事项

入门与上手

讲清知识库切片的原理、切分粒度怎么选、常见坑与验证顺序,帮第一次搭 RAG 的人把文档切成能检索的块。

搭 RAG 时最容易卡住的一步不是选模型,是把文档切多大。切太大,检索回来一段里全是无关内容,模型答得含糊;切太小,一句话被拆成三段,答案被割断。这篇讲清切片到底在切什么、按什么规则切、切完怎么验证,给一套能照着做的步骤和排查顺序。

搭 RAG 卡人的地方往往不在挑模型,而在把文档切多大。切大了,检索回来一段里塞着好几件事,模型只能答个大概;切小了,一句完整的话被拆成三段,答案跟着断掉。切片本质上是在替检索系统决定「一次能拿到多少上下文」,这个决定做错,后面换多好的模型都救不回来。

这篇只讲一个角度:切片怎么回事、按什么规则切、切完怎么验证。适合第一次搭知识库、手上有一批文档但还没想清楚怎么入库的人。已经跑起来但召回不稳的,也能拿这里的排查顺序对照一遍。

切片到底切的是什么

切片就是把一篇长文档拆成一段段小块,每块单独做嵌入、单独写进向量库。检索时命中的是块,不是整篇文档;模型看到的上下文也是块,不是原文全貌。所以块的质量直接决定了召回准不准、回答顺不顺,这一层模型本身补不回来。

嵌入
把每个块转成一串向量,语义相近的块在向量空间里靠得近,检索靠这个相似度找。
召回
用户提问后,系统从库里挑出最相关的若干块,这些块就是模型回答的全部依据。
块边界
一个块的起点和终点,边界定在哪,决定了信息会不会被切断。

几种常见切法怎么选

切法怎么做适合什么注意
固定长度切按字数或 token 数硬切结构混乱的纯文本、聊天记录容易切断表格、代码和一句完整定义
按结构切按标题层级、段落、条目切规范文档、手册、制度文档结构乱或没有标题时不好用
重叠切相邻块留一小段重叠答案常落在切口上的问答重叠过大,同一段内容反复被召回
父子块小块被检索,命中后把所在整段原文喂给模型需要完整上下文的问答实现复杂度高,检索和存储要分开管
  • 文档有清晰标题和段落,优先按结构切,块边界和人的阅读边界一致,最省心
  • 文档是各种来源拼起来的纯文本,先用固定长度切顶着,再慢慢补结构
  • 用户问题经常是「这个流程一共几步」这种要上下文的,考虑重叠切或父子块
  • 表格、代码、步骤清单无论哪种切法都整块保留,宁可超长也别在中间切

选切法别追求一步到位。先按文档类型挑一种能跑通的,拿真实问题去测,测出来的问题再反过来调切法,比一开始就把结构做得复杂更划算。

块大小和元数据怎么定

块大小没有通用最优值。一个稳妥的起点是让块里能装下一两个完整段落,再根据检索效果上下调。模型能接收多长的输入,可以到 /models 的模型资料和 /embeddings 的嵌入说明里核对当时的数值,别凭感觉拍。

  1. 先定一个起步大小按能装下一两个完整段落来估,用这批文档里最典型的一篇试切,观察有没有整段被拆开。
  2. 顺手打元数据每个块带上来源文件名、标题路径、页码或章节号。后面做出处引用、人工核对、失败排查全靠这些字段,切的时候打上比事后回补便宜太多。
  3. 特殊内容单独处理表格、代码、步骤清单整块保留;列表类内容按条目切,比按字数切稳定。
  4. 小批量试跑挑几十个真实问题,看检索回来的块里答案在不在,再决定放大还是调小。

切完怎么验证,答错了按什么顺序查

验证的核心是分开看检索和生成。很多「模型答得不好」其实是检索就没找到地方,或者找到的块里答案被切没了。按下面的顺序查,能少走弯路。

  1. 先查检索把用户真实问题拿去搜,看前几条命中的块里到底有没有答案。命中块里没答案,问题在切片,换模型没用。
  2. 再查生成命中块里有答案但回答变质,检查块里是否混进无关段落把模型带偏,或者块被切得前后缺主语、指代不明。
  3. 最后查覆盖拿一批高频问题跑一遍,统计有多少问题连一个相关块都召回不到。这类缺口通常是文档压根没入库,或者切得太碎。
  4. 回头调切法定位到是边界问题就换切法或加重叠,是粒度问题就调块大小,是覆盖问题就补文档源。
  • 命中块无答案:切片问题,优先调边界和粒度
  • 命中块有答案但答偏:块里混了噪声,或块被切碎导致上下文不全
  • 一个相关块都召回不到:先确认文档是否入库,再怀疑切得太碎
  • 回答缺细节:考虑父子块,把整段原文一起喂给模型

还有一点要注意:这套顺序适用于文档以说明性内容为主的场景。如果知识库大量是表格数据、法规条文或者代码,块边界规则要单独定,不能照搬正文段落的切法。各家中转站能不能稳定跑这类向量任务,可以到 /tools/speed-test 做一次连通性和延迟测试再决定,具体表现以当时测试结果为准。

下一步把切法和元数据定下来之后,接着要选嵌入模型、看输入长度上限,以及核对实际调用成本。到站内的模型资料库看当时的参数和价格数字,比凭经验估更靠谱。

常见问题

知识库切片和直接把整篇文档塞进上下文有什么区别?

塞整篇受上下文长度限制,文档一多就放不下,而且每次都要为无关内容付 token。切片是先把文档拆散存进检索库,提问时只取最相关的几块送进模型,既省长度也提高命中精度。文档很短、只有一两页时,不切片直接放也不是不行。

块切得越小,检索是不是越准?

小块命中精度通常更高,但答案容易被切断,模型拿到的是半句话,只能瞎猜。常见做法是检索用小块、生成用更大的上下文,折中一下。判断标准是看命中块能不能独立读懂,读不懂就说明切碎了。

切片要按 token 还是按字数算?

以模型和嵌入接口的计量口径为准,也就是 token。中文字数和 token 不是一比一,按字数估算容易在长文档上估偏,导致超长报错或白留空位。具体换算可以到 /tools 用token换算工具对一遍再定切分参数。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。