RAG 效果差,很多人第一反应是换模型、调 prompt、加上重排。但实际用下来,问题往往在进料那一步:PDF 里的表格读成了乱码,网页正文混进一堆导航,数据库字段名没人看得懂。这篇不给你一份万能清单,而是给一套筛法:什么样的数据源值得先接,什么情况下该放弃,接进来之后按什么顺序验证。
RAG 效果差,多数人的第一反应是换模型、调提示词、加重排。实际用下来,问题常常出在进料那一步:PDF 里的表格读成乱码,网页正文里混着导航和推荐位,数据库字段名没人看得懂。这三件事,换多贵的模型都救不回来。所以这篇不给你一份所谓的万能清单,而是给一套筛法。先弄清什么样的数据源值得先接,什么情况下该果断放弃,接进来之后按什么顺序验证。手里那批候选资料,看完大概率能划掉一半。
挑数据源这件事,难的不是找清单,是承认大多数资料不值得接。有人一上来就把共享盘整个导进去,跑了两周发现召回出来的全是三年前的会议纪要和过期报价单。要避免这种返工,判断标准得放在动手前面。下面按「先认清上限、再分桶、再逐项检查、最后验证」的顺序讲,你照着走一遍就行。
先认清一件事:RAG 的上限在进料口就定了一半
同一份资料,切片方式和清洗质量不同,检索结果能差出一大截。这跟模型没关系。你切得碎,语义断了,模型拿到半句话也拼不出答案;你切得糙,噪声混进每一条片段,召回时全是无关内容在挤位置。所以别指望入库之后靠调参补救,进料口的问题只能在进料口解决。
判断一份资料值不值得接,我习惯看三个属性。格式规不规范,决定清洗成本;内容更不更新,决定这库半年后还能不能用;权限归谁管,决定你会不会接到一半被叫停。这三条里有一条含糊,就先放着。还有个更土的办法:问一句「有没有人愿意为这份资料写一段说明」。愿意写的人,说明这份资料是活的、有人认领的;没人愿意写的,接进来基本就是死库。
把候选资料分成四桶,别一锅端
把手里所有候选资料摊开,按接入难度分四桶。分桶的目的不是排优先级,是先把明显不该碰的那批划掉,省下后面反复试错的时间。第一桶是已经结构化的东西,内部 Wiki、接口文档、FAQ 表,格式规矩,接起来最省事。第二桶是半结构化的,带标题的 Markdown、产品说明书、有清晰层级的帮助中心页面,稍微处理一下就能用。
第三桶要清洗,扫描件 PDF、带大量表格的报表、聊天记录导出,这类不是不能接,是接之前得先评估清洗脚本写不写得出来。第四桶暂时别碰:图片为主的资料、频繁改动的临时文档、没人维护的旧库。这桶里的东西不是没价值,是现在接的性价比太低,等前三桶跑顺了再回头看。
| 分桶 | 典型资料 | 接入前要确认的事 |
|---|---|---|
| 结构化 | 内部 Wiki、接口文档、FAQ 表 | 字段和标题层级是否统一 |
| 半结构化 | 说明文档、帮助中心页面 | 正文抽取规则能不能稳定复现 |
| 需清洗 | 扫描件 PDF、报表、聊天导出 | OCR 质量与表格处理方案是否可行 |
| 暂不接 | 图片资料、临时文档、旧库 | 有没有人认领、更新频率是否可控 |
动手前先过一遍的五项检查
分完桶,对前三桶里打算接的资料逐份过检查。这五项不用工具,半个小时能筛掉大半不合适的。第一项,格式能不能抽出连续文本。随便抽几页转成纯文本,自己读一遍,五分钟就能看出值不值得继续。读着费劲的,后面模型读着也费劲。
- 抽文本试读从资料里随机抽几页转成纯文本,通读一遍,看句子是否连贯、表格有没有散架。
- 查更新来源问清楚这份资料靠什么更新。靠人工定期上传的库,半年后基本会烂掉,得有自动化或明确的责任人。
- 划权限边界确认哪些内容不该进来。接了不该接的内部文档,后面要整体回滚,代价比一开始多问一句大得多。
- 看长度分布统计单条资料的长度。太长的要切,太短的要合并,别无脑套固定字数,切完读一遍片段是否自洽。
- 找答疑人指定一个知道这份资料来龙去脉的人。出问题时能问到他,比任何文档都管用。
几类常见数据源的实际接入难度
纯文本和 Markdown 几乎零成本,重点在保留标题层级。切片时按标题走,别按固定字数硬切,一段话被拦腰截断,检索命中也是白搭。PDF 要先分清电子版还是扫描件,扫描件必须先过 OCR,这一步的质量决定后面全部。OCR 出来的错字,模型不会帮你纠,只会照着错字答。
网页和帮助中心,正文抽取比想象中难。导航栏、页脚、相关推荐,这些不剥掉,切出来的每一条片段都带着它们,检索时全是干扰。数据库和工单系统,字段名和枚举值要先翻译成人话,status=3 这种检索出来模型也读不懂。表格类资料,能用结构化查询解决的,别硬塞进向量库,这是两类问题,混在一起两头都不讨好。
- Markdown:按标题层级切片,保留路径信息
- 电子版 PDF:先抽文本再判断,注意分栏和页眉页脚
- 扫描件 PDF:OCR 之后人工抽读,错字多的先修再入库
- 网页:正文抽取规则要能复现,导航和推荐位剥离干净
- 数据库:字段名、枚举值翻译成可读描述再入向量
- 表格:能走查询的走查询,只有叙述性内容才进向量库
清洗顺序错了,等于白干
顺序这件事很容易被忽略。先去噪再切片,反过来会把噪声切进每一条片段里,后面再想挑出来就得逐条改。切片时记得保留来源标题和层级路径,检索命中之后模型才知道这段话说的是哪一块,不然它拿着一句「如上所述」完全不知道「上」在哪。重复内容先做去重,同一份资料存三份,召回时三条一起挤进来,把真正有用的那条挤掉了。
清洗规则写完之后,别急着全量入库。抽十条随机片段人工读一遍,读不通就回去改规则。这十分钟比后面调一周参数都值。常见的翻车是规则只在小样本上试过,全量跑完才发现某类文档全军覆没,只能整体回滚重来。
接进来之后按这个顺序验证,别一上来就看最终回答
很多人接完库第一件事就是问几个问题看回答对不对。这个顺序反了。回答错了,你分不清是召回没找到、拼装被截断,还是生成那侧出了问题,只能瞎猜。正确的顺序是倒过来看:先只看召回,拿几个真实问题去搜,命中的片段本身对不对;再看拼装,片段进上下文后有没有被截断、被无关内容冲淡;最后才看回答。
每次都留一份固定的问题集。改清洗规则、换切片方式、调召回条数之后,拿同一批问题重跑一遍对比。没有固定问题集,你改完只能凭感觉说「好像好点了」,这种判断不靠谱。问题集不用多,覆盖几类典型问法就够,关键是要固定下来长期用。
什么情况下这份数据源该放弃
放弃也是一种判断力。资料本身自相矛盾,且没人能裁定哪版是对的,接进来只会让模型两边都答,用户越问越糊涂。更新频率高到清洗脚本跑不过来的,比如每天改很多次的临时看板,接进来第二天数据就旧了。访问权限散落在多个系统、短期理不清的,先做权限统一,再谈接入。
还有一种情况:整份资料里只有一两条内容真正有用。这种直接写进系统提示词比建库省事得多,建库、切片、召回这一整套流程,为两条内容跑一遍不划算。判断标准很简单,问自己这份资料未来会不会持续增长、持续被问,答案是否,就别上 RAG。
上线之后要盯的几件事
上线不是终点。资料改过之后,旧切片可能还留在库里,定期抽查召回结果,看看有没有过时内容被捞出来。给每个数据源标注负责人和最后更新方式,别让清单变成一张没人认领的表格,这种表三个月后一定烂掉。新增数据源先小批量试跑,跑通了再全量导入,别一次全导进去再回头找问题,那时候你连问题出在哪份资料上都说不清。
想横向对比各家模型和接口的实际表现与接入成本,可以去站内的价格与模型资料库看当时的数字,再决定哪些环节值得多花钱。数据源这层筛干净了,后面的模型选择才有意义。
下一步把候选资料按四桶分完、过完五项检查之后,去站内模型与价格资料库对照当时的数字,确认接入成本,再决定先跑哪一桶。→常见问题
RAG 的数据源是不是越多越好?
不是。每多接一个源就多一套清洗规则和一份维护责任,召回时还会互相挤占位置。建议先接一到两个质量最高的源,把召回和回答跑顺,再按实际答不上的问题去补源,而不是先把能想到的都导进来。
PDF 一定要先做 OCR 吗?
看是哪一种 PDF。电子版 PDF 本身带文本层,直接抽就行;扫描件和图片型 PDF 抽出来是空的或者乱码,必须先过 OCR。判断方法很简单,抽一段文本出来看一眼,能读出完整句子就不用 OCR。
内部 Wiki 和帮助中心,哪个先接?
看谁能回答用户真正会问的问题。帮助中心通常内容更收敛、格式更规整,适合先跑通;Wiki 里往往混着会议记录和草稿,清洗成本高。如果业务问答主要靠 Wiki,那就先做 Wiki,但要先划出哪些页面算正式资料。
数据源更新了,旧内容怎么处理?
按来源做整体替换,别一条条改。给每份资料打上来源标识,更新时删掉该来源的全部旧切片再重新导入,能避免新旧版本同时被召回。频率不高的源可以定期全量重建,比增量维护省心。
直接让模型联网搜,还需要建 RAG 库吗?
看资料是不是公开且稳定。公开资料联网检索够用;内部文档、产品规格、客户约定这类东西网上搜不到,还是得自己建库。两者可以并存,内部资料走库,时效性问题走联网。