RAG 文档切分预览器
RAG CHUNK PREVIEW切块预览把准备入库的长文粘进来，按块大小与重叠切分，逐块看 token 数、总入库量与每次检索的成本；全部计算在浏览器本地完成，文档不上传、不保存。
粘贴要切分的文档
段落之间用空行分隔效果最好；没有空行时会按块大小硬切。
切分参数
先按段落边界切，段落本身超长时再硬切。
切分结果
块大小与重叠都在估算口径下计算，实际入库请用你所用分词库复核。
检索成本 = （每次召回的块 token 合计 + 输出 token）× 单价；只算 token 费用，不含嵌入、向量库与检索服务本身的费用。
逐块预览
抽查首尾几块最容易发现问题：块被切碎、块里混进标题、重叠太大导致重复计费。
块大小怎么定
常见起点是每块 300–800 token、重叠 10%–20%：块太小会丢上下文，答案经常缺半句；块太大则召回不准、每次请求更贵。问答型知识库偏小（300–500 token），长文档摘要与合同审查偏大（800–1500 token）。这些只是起点，真正定稿要用你自己的文档跑一遍：拿 20 个真实问题，看召回的块里是否包含答案，再调块大小与重叠。本页给的是估算值，入库前建议用你实际使用的分词库复核一遍。
怎么用切分预览
- 放进文档把正文粘贴进文本框，或用「导入文件」读入本地 txt / md / json 等纯文本；也可以点「载入示例」先看一遍流程。
- 设切分口径先选按 token 还是按字符，再选模型家族（决定 token 估算系数）；块大小默认 500、重叠默认 80，切法默认段落优先。
- 看统计与逐块预览右侧会给出块数、总字符、平均 / 最大 / 最小块大小；下方逐块列出内容，检查有没有被拦腰截断或整块没信息量。
- 估算成本并导出填 top-k 与单价估算建库与每次问答的花费；需要落地就复制全部或导出 JSONL，字段是 chunk 序号与正文。
RAG 切分常见问题
块大小到底该设多少？
没有通用最优解：本页给的是起点——中文知识库常见 300–800 token，技术文档与代码常到 1000–1500 token。真正定稿要拿你自己的检索问题测一轮召回，看答案缺不缺上下文，再回来调这个值。
重叠有什么用？会不会白花钱？
重叠（overlap）是为了让跨块句子不至于被切断后两边都检索不到，代价是要塞进向量库的 token 变多。一般取块大小的 10%–20%；本页把上限卡在块大小的一半，防止手滑填出「重叠比块还大」的参数。
这里算的 token 准吗？
是启发式估算，不是官方分词器：按中文字 / 英文单词 / 数字 / 标点分段后套经验系数，误差通常在 ±12% 以内。它适合做方案对比与预算，不能替代计费口径，真实用量请以你所用平台返回的 usage 为准。
文档会被上传吗？
不会。文件读取、切分、统计与导出全部在浏览器里完成，不调用本站接口、不写本地存储；刷新页面即清空。涉及内部资料也只在你自己机器上处理。
导出的 JSONL 长什么样？
每行一个 JSON 对象，含块序号 index 与正文 text；直接追加你自己的 metadata 字段就能喂向量库。如果向量库要求固定字段名，先导出再改字段比在这里改模板更快。
切出来块数特别多是不是有问题？
先看「平均块大小」：如果远小于你设的块大小，说明原文段落都很短、段落优先切法不会把相邻两段拼成一块，可以改用固定长度切法，或把块大小调大；反过来只有几块而每块都很长，就调小或减小重叠。
相关工具
切分预览与 token 估算在浏览器本地完成；估算按模型家族的分词口径，实际占用以模型返回为准。
