公司刚把几十份制度、手册丢进知识库,问三句答错两句,第一反应往往是「这工具不行,换一个」。结果换了两三家还是答不准,问题多半不在工具,而在喂进去的资料本身和处理方式。这篇给一套先自查语料与切分的排查顺序,让你在掏钱换工具之前把能自己修的部分修掉。
公司刚把几十份制度、手册丢进知识库,问三句答错两句,第一反应往往是「这工具不行,换一个」。结果换了两三家还是答不准,白花的钱和时间都够把资料重撸一遍了。问题多半不在工具,而在喂进去的资料本身,以及资料被怎么切开、怎么检索。
这篇给一套先自查语料与切分的排查顺序:先分清答不准是哪种症状,再按语料、切分、检索、模型的顺序从前到后查,把能自己修的部分修掉,最后才决定要不要换工具。每一步都给判断标准和动作,不需要技术背景也能照着做。
先别换工具:答不准的锅多数不在工具
有个很常见的验证办法:同样一份资料,导进另一个知识库工具,答案质量往往没有明显变化。几次下来还是一样,说明瓶颈在输入侧——资料怎么给、怎么切,工具换不出本质差别。先把这个判断做掉,能省下不少试错成本。
| 症状 | 多半出在哪一层 | 先做的动作 |
|---|---|---|
| 答非所问,扯到别的话题 | 检索命中错段落 | 回头查这段原文在库里被切成了什么样 |
| 答得笼统,像在念目录 | 切分块太大或原文缺少细节 | 把原文和答案对照,看是不是命中了一个大块 |
| 直接说「没有相关信息」 | 索引没建好或关键词搜不到 | 自己用原文关键词在库里搜一遍 |
| 答案对但引错出处 | 同一内容多份重复 | 先去重,再确认引用指向的文件 |
- 固定排查顺序:语料 → 切分 → 检索 → 模型,从便宜的查起,别一上来就怀疑模型。
- 真正该换工具的信号:语料干净、切分合理、检索能稳定命中原文,回答仍稳定跑偏。
- 不适用的情况:如果团队根本没人力做清洗和切分,换个省心的托管服务也算合理选择,代价是长期可控性下降。
- 症状先归类,再动手;同一批问题重问一遍,比对改动前后的命中情况,别凭感觉说「好像好点了」。
语料自查:喂进去的东西本身能不能用
语料层的目标只有一个:让检索出来的每一段都是干净、唯一、可读的。下面这几项按顺序过一遍,多数答不准在这一步就能找到原因。数字层面的对比可以到 /tools/speed-test 看当时的实测,别凭印象判断。
- 查版本与时效同一份制度有没有新旧两版同时在库里。旧版不删,等于给模型两个互相打架的答案,它会随机挑一个,答不准就成了必然。动作:把每份文件标上生效范围,过期版本直接移出库。
- 查格式扫描件、图片表格、带大量页眉页脚的导出 PDF,原文本身就是乱的。动作:想办法拿到文字可复制的版本,实在拿不到,就在上传前先人工校对一遍关键表格。
- 查重复与碎片同一段话散落在多个文件里,检索时互相挤占位次,把真正有用的段落顶下去。动作:按内容摘要做一次去重,重复的只留一份权威版本。格式清洗的通用做法可对照 /ai-nav/category/ai-note 里的工具说明。
- 查一句话有没有主语制度里大量出现「按上条规定执行」「参照附件」这类指代,脱离上下文就没人看得懂。动作:把关键规则改写成自包含的完整句,去掉跨段落的指代。
- 查敏感与权限资料涉密或不允许外发时,别急着上传清洗。动作:先看 /safety 的边界说明,再决定哪部分进库、放在哪一层。
这五项不用一次做全,先挑和你最离谱的那几个问题相关的那一两项查。改完拿同一批问题重问,比对答案是否变准,这是唯一靠谱的验收方式。
切分与检索:句子被切碎,模型自然答不准
切分是最容易被忽略的一层。切分太碎,一条完整规则被切成两半,检索命中的只有半句,答案自然缺胳膊少腿;切分太大,一个块里塞了七八个不相干的话题,命中后模型还得自己挑重点,容易挑错。这一层的判断标准很简单:命中的块里,是不是包含回答那个问题所需的完整信息。
- 自测检索
- 发问之前,先用问题的关键词在库里搜一遍,看能不能搜到原文
- 命中但答错
- 原文搜得到、排位靠前,问题多半在提示词或模型,不在切分
- 搜不到原文
- 说明切分或索引这一层出了问题,先把这两件事修好
- 调整节奏
- 改一次切分策略,用同一批问题重问,比较命中原文的比例,而不是凭感觉
- 先定切分单元:按标题、条款还是段落,选一个能保整条规则完整的粒度。
- 保留一点上下文:块与块之间留少量重叠,避免关键句刚好卡在边界上。
- 给每个块带上出处信息,答案引错出处时能顺着来源快速定位。
- 术语不清楚时用 /ai-dict 兜底,避免因为叫法不同搜不到原文。
- 不要为了「多切点显得覆盖广」而牺牲完整性,碎块多不等于召回好。
什么情况下这一层不用深究:资料本身就是短问答、每条独立成条,切分几乎没有调整空间,这时直接跳到下一步查检索和提示词更省时间。
十五分钟排查清单:照这个顺序走一遍
这套清单的目标不是一次性解决所有问题,而是让你在十五分钟内定位到「现在最该修哪一层」。走完一遍,如果再决定换工具,至少知道换的时候要带什么条件。
- 挑样本挑几个答得最离谱的问题,回头找出正确答案应该来自哪一段,先确认它在不在库里。
- 做检索把这几段原文拿去用关键词搜一遍,看能不能命中、命中在第几位。
- 分类处理命中不到或排位很靠后,先动切分与去重;命中靠前但回答还是错,再看提示词与模型。
- 留记录把这次排查的时间、问题样本、改动项记一行,下次遇到相同症状就知道上次动过什么,避免反复推翻。
做完这四步再去看工具。选型的时候把「中文检索效果」「切分策略能不能自己调」「引用溯源做到什么程度」这三条列成对照项,价格和额度到 /price-watch 核对当时的数字,别拿旧印象做决定。
下一步:带着清单去挑工具先按上面的清单把语料和切分修一轮,再拿修完的资料去试工具,比较才有意义。站内的中转站可信度检测和价格追踪能帮你把「能不能用、划不划算」这两件事一次看清。→常见问题
知识库答不准,是不是换个模型就好了?
多数情况下没用。模型只负责把检索到的段落组织成话,如果检索根本没拿到正确原文,换再贵的模型也只是换一种说法讲错。先用关键词在库里搜一遍正确答案所在段落,能搜到再谈换模型,搜不到就先修语料和切分。
文档一定要切分成小块才能用吗?
不一定,但块太大时模型要在一堆不相干内容里找重点,答得笼统的概率会升高。比较稳的做法是按语义边界切,比如一条制度、一个小标题切一块,而不是按固定字数硬切。切完拿同一批问题重问一遍,看命中原文的比例有没有变化再定。
自查到什么程度才该考虑换工具?
有个可以照着走的判断线:语料已去重、版本已统一、切分按语义边界调整过、关键词能稳定检索到正确段落,这四条都做到了回答还是错,那问题才更可能出在工具或模型的检索实现上,这时候换才有意义。否则换过去也是重来一遍。