搭 RAG 时最容易卡住的一步不是选模型,是把文档切多大。切太大,检索回来一段里全是无关内容,模型答得含糊;切太小,一句话被拆成三段,答案被割断。这篇讲清切片到底在切什么、按什么规则切、切完怎么验证,给一套能照着做的步骤和排查顺序。
搭 RAG 卡人的地方往往不在挑模型,而在把文档切多大。切大了,检索回来一段里塞着好几件事,模型只能答个大概;切小了,一句完整的话被拆成三段,答案跟着断掉。切片本质上是在替检索系统决定「一次能拿到多少上下文」,这个决定做错,后面换多好的模型都救不回来。
这篇只讲一个角度:切片怎么回事、按什么规则切、切完怎么验证。适合第一次搭知识库、手上有一批文档但还没想清楚怎么入库的人。已经跑起来但召回不稳的,也能拿这里的排查顺序对照一遍。
切片到底切的是什么
切片就是把一篇长文档拆成一段段小块,每块单独做嵌入、单独写进向量库。检索时命中的是块,不是整篇文档;模型看到的上下文也是块,不是原文全貌。所以块的质量直接决定了召回准不准、回答顺不顺,这一层模型本身补不回来。
- 嵌入
- 把每个块转成一串向量,语义相近的块在向量空间里靠得近,检索靠这个相似度找。
- 召回
- 用户提问后,系统从库里挑出最相关的若干块,这些块就是模型回答的全部依据。
- 块边界
- 一个块的起点和终点,边界定在哪,决定了信息会不会被切断。
几种常见切法怎么选
| 切法 | 怎么做 | 适合什么 | 注意 |
|---|---|---|---|
| 固定长度切 | 按字数或 token 数硬切 | 结构混乱的纯文本、聊天记录 | 容易切断表格、代码和一句完整定义 |
| 按结构切 | 按标题层级、段落、条目切 | 规范文档、手册、制度 | 文档结构乱或没有标题时不好用 |
| 重叠切 | 相邻块留一小段重叠 | 答案常落在切口上的问答 | 重叠过大,同一段内容反复被召回 |
| 父子块 | 小块被检索,命中后把所在整段原文喂给模型 | 需要完整上下文的问答 | 实现复杂度高,检索和存储要分开管 |
- 文档有清晰标题和段落,优先按结构切,块边界和人的阅读边界一致,最省心
- 文档是各种来源拼起来的纯文本,先用固定长度切顶着,再慢慢补结构
- 用户问题经常是「这个流程一共几步」这种要上下文的,考虑重叠切或父子块
- 表格、代码、步骤清单无论哪种切法都整块保留,宁可超长也别在中间切
选切法别追求一步到位。先按文档类型挑一种能跑通的,拿真实问题去测,测出来的问题再反过来调切法,比一开始就把结构做得复杂更划算。
块大小和元数据怎么定
块大小没有通用最优值。一个稳妥的起点是让块里能装下一两个完整段落,再根据检索效果上下调。模型能接收多长的输入,可以到 /models 的模型资料和 /embeddings 的嵌入说明里核对当时的数值,别凭感觉拍。
- 先定一个起步大小按能装下一两个完整段落来估,用这批文档里最典型的一篇试切,观察有没有整段被拆开。
- 顺手打元数据每个块带上来源文件名、标题路径、页码或章节号。后面做出处引用、人工核对、失败排查全靠这些字段,切的时候打上比事后回补便宜太多。
- 特殊内容单独处理表格、代码、步骤清单整块保留;列表类内容按条目切,比按字数切稳定。
- 小批量试跑挑几十个真实问题,看检索回来的块里答案在不在,再决定放大还是调小。
切完怎么验证,答错了按什么顺序查
验证的核心是分开看检索和生成。很多「模型答得不好」其实是检索就没找到地方,或者找到的块里答案被切没了。按下面的顺序查,能少走弯路。
- 先查检索把用户真实问题拿去搜,看前几条命中的块里到底有没有答案。命中块里没答案,问题在切片,换模型没用。
- 再查生成命中块里有答案但回答变质,检查块里是否混进无关段落把模型带偏,或者块被切得前后缺主语、指代不明。
- 最后查覆盖拿一批高频问题跑一遍,统计有多少问题连一个相关块都召回不到。这类缺口通常是文档压根没入库,或者切得太碎。
- 回头调切法定位到是边界问题就换切法或加重叠,是粒度问题就调块大小,是覆盖问题就补文档源。
- 命中块无答案:切片问题,优先调边界和粒度
- 命中块有答案但答偏:块里混了噪声,或块被切碎导致上下文不全
- 一个相关块都召回不到:先确认文档是否入库,再怀疑切得太碎
- 回答缺细节:考虑父子块,把整段原文一起喂给模型
还有一点要注意:这套顺序适用于文档以说明性内容为主的场景。如果知识库大量是表格数据、法规条文或者代码,块边界规则要单独定,不能照搬正文段落的切法。各家中转站能不能稳定跑这类向量任务,可以到 /tools/speed-test 做一次连通性和延迟测试再决定,具体表现以当时测试结果为准。
下一步把切法和元数据定下来之后,接着要选嵌入模型、看输入长度上限,以及核对实际调用成本。到站内的模型资料库看当时的参数和价格数字,比凭经验估更靠谱。→常见问题
知识库切片和直接把整篇文档塞进上下文有什么区别?
塞整篇受上下文长度限制,文档一多就放不下,而且每次都要为无关内容付 token。切片是先把文档拆散存进检索库,提问时只取最相关的几块送进模型,既省长度也提高命中精度。文档很短、只有一两页时,不切片直接放也不是不行。
块切得越小,检索是不是越准?
小块命中精度通常更高,但答案容易被切断,模型拿到的是半句话,只能瞎猜。常见做法是检索用小块、生成用更大的上下文,折中一下。判断标准是看命中块能不能独立读懂,读不懂就说明切碎了。
切片要按 token 还是按字数算?
以模型和嵌入接口的计量口径为准,也就是 token。中文字数和 token 不是一比一,按字数估算容易在长文档上估偏,导致超长报错或白留空位。具体换算可以到 /tools 用token换算工具对一遍再定切分参数。