搭 RAG 的人常卡在这一步:文档读进来了,却被切成一堆前言不搭后语的片段,检索回来的内容没法用,模型只能硬编。这篇只讲切片本身,说明它为什么影响检索质量、几种常见切法各自适合什么文档、动手前要定哪几个参数,以及切完之后怎么验收。不讲 RAG 全流程,也不谈模型怎么选。
搭 RAG 的人常卡在切片这一步:文档读进来了,却被切成一堆前言不搭后语的片段,检索回来的内容没法用,模型只能硬编。切片说白了就是把长文档拆成一段段能单独检索、也能单独塞进提示词的文本块,每块配一个向量。它不显眼,但直接决定了检索质量的上限,切坏了后面提示词写得再好也救不回来。这篇只讲切片本身,帮你把原理、策略和验收理顺。
先说清边界:切片只对非结构化文档有意义,如果业务本身是查数据库字段、走精确条件过滤,那压根不需要切片。另外切片质量会同时影响召回和回答,召回拿错了块,后面无论怎么调提示词都没用。所以把它当成一个独立的工程环节去做,别当成导入流程里的一个默认参数。
切片到底在干什么,为什么它决定检索的上限
切片是在两个边界之间找平衡。切太大,一次塞进上下文的内容多,但噪声也一起进来了,模型容易被无关段落带偏;切太小,语义被切碎,一个完整的因果或条件被拆成两半,向量表达反而不准,检索出来的块单看都像废话。你要做的不是找某个最优值,而是让每块大致等于「一个能独立说清一件事的最小单元」。
- 块内自洽:单看这一块,能判断它在回答什么问题,不需要翻上文
- 块间有边界:相邻块之间不要共享半句话,重叠要控制在句子级别以内
- 带得出处:每块能追到具体来源文件和章节,回答里要能引用
- 噪声可控:过短的碎块、只有标题没正文的块,都应该被合并或过滤
- 可复测:同一份文档换个参数重切,能拿同一批问题做前后对比
有个常被忽略的点:切片不只是在准备数据,它其实是在替你定义「检索的粒度」。你切多大,检索就按多大去匹配,后面改起来要重跑全量索引,所以动手前把粒度想清楚,比切完反复调参省事得多。
几种常见切法对照:按字数、按段落、按结构、带重叠
| 切法 | 适合的文档 | 主要优点 | 要注意的地方 |
|---|---|---|---|
| 固定长度切分 | 格式杂乱、没有标题的纯文本 | 实现简单,块大小可控 | 容易在句子中间断开,需要配合重叠缓解 |
| 按段落或换行切 | 博客、说明文、会议记录 | 保住语义完整性 | 块长短差异大,遇到超长段落要再补一层切分 |
| 按文档结构切 | 产品手册、条款、带标题层级的文档 | 天然带上章节上下文,问答类优先 | 依赖文档本身结构规整,脏文档要先清洗 |
| 带重叠滑动切 | 教程、有前后衔接关系的长文 | 缓解边界断句,上下文更连贯 | 重叠区会增加存储和检索量,不是越多越好 |
实际项目里常见做法是组合用:先按结构切出章节,章节内再按段落切,超长段落再退回想固定长度切分,最后统一加一小段重叠。重叠的本质是给边界买保险,代价是同一句话可能出现在多个块里,检索时要注意去重,否则上下文会被同一内容反复占满。
- 固定长度切分
- 按字符数或 Token 数硬切,简单但会切断句子
- 语义切分
- 先按换行、标点判断语义断点,再在断点处下刀
- 结构切分
- 利用标题层级、表格、代码块等文档本身的结构做分块
- 重叠区
- 相邻块之间刻意重复的一小段内容,用来缓解断句
- 元数据
- 附在每块上的来源、章节、页码等信息,供引用与过滤
动手前要定下的几个参数和判断标准
- 定块大小按内容形态粗定:FAQ、条款类走小块,教程、报告类走大一些。没有通用最优值,先拿几十页真实文档试切,看单块读起来是否还成立,再拿去检索验证。
- 核对上下文上限块大小和模型能处理的上下文要一起看,概念对照可以到 /ai-dict/category/basics 查 Token 与上下文的相关词条,别让单块大到自己都装不下还要再截断。
- 统一元数据格式每块至少带来源文件名、章节标题、位置标记三项,格式在导入前就定死,后面回答引用和按来源过滤全靠它,临时补字段要重跑全量。
- 匹配嵌入模型粒度切块粒度和嵌入模型的输入特性要匹配,选型时到 /embeddings 页面对照各模型的规格再定,别先切完再发现模型吃不下。
- 留一份参数记录把块大小、重叠长度、切分规则写进配置并版本化,后面排查检索问题时第一件事就是确认参数有没有被动过。
参数定完不等于结束,最好同时准备两版切分做对照:一版按结构切,一版按固定长度切,用同一批真实问题去检索,看哪一版的命中落在预期章节里。这个对照成本不高,却能省掉后面大量返工。
切完怎么验收:一套可执行的检查顺序
切片没有「切完了」这种状态,只有「验收过」。验收顺序建议从单块质量走到端到端检索,先确认块本身是干净的,再确认检索能命中,最后才去看回答生成。顺序反了容易把切片问题误判成提示词问题。
- 抽检可答性:随机抽十几块单独读,问自己「只给这一块,能不能答对一个问题」,答不了说明块碎或切错了位置
- 反向检索:拿真实用户问题去检索,看返回的前几条是否落在预期章节,不对就先调块大小和重叠
- 碎片盘点:统计明显过短的块和纯标题块,这类基本是噪声,考虑合并进相邻块或直接过滤
- 边界检查:单独检查表格、列表、代码块有没有被切断,被切的这类文档单独走结构化切分
- 出处回溯:随机挑几条回答,确认引用的来源和页码能对上,对不上说明元数据没绑对
最后提醒一句:切片问题往往在检索阶段才暴露,所以验收时一定要用真实问题,别拿自己编的问题测,编出来的问题天然贴近你的切法,测不出毛病。跑完一轮把失败样本记下来,按块大小、边界、元数据三类归因,再决定下一轮改哪个参数。
下一步把切片参数定下来之后,真正决定问答效果的是嵌入模型和召回链路,站内资料库里可以按当时的数据做横向对照,看完再定选型比凭感觉靠谱。→常见问题
知识库切片是不是切得越细检索越准?
不是。块太小语义不完整,向量表达会失真,模型拿到碎片也拼不出答案。一般做法是先按文档结构切,再在超长段落上补二次切分,然后拿真实问题测召回效果,按结果调,而不是一味切细。
切片的块之间需要留重叠吗?
看文档类型。条款、合同这类边界清晰的,切在自然段上就行,重叠意义不大;教程、报告这类一句话跨段落的,留少量重叠能减少断句丢信息。重叠太多会导致同一内容被反复召回,浪费上下文,先留一点试试再调。
切片做完就能直接上线问答了吗?
还不能。切片只解决「文档怎么拆」,召回策略、提示词组织、引用来源展示都还没验证。至少要拿一批真实问题跑一遍,确认检索到的块能支撑答案,再考虑上线;检索效果不达标时,先回头调切片粒度,别急着换模型。