做 RAG 的时候,很多人卡在「东西存哪、怎么让模型找到」这一步:文档塞进提示词太长,关键词搜索又搜不到意思相近的句子。这篇不聊概念定义,只讲向量数据库在这条链路里的实际岗位——它负责哪一段、字段怎么设计、什么情况下你根本不需要它,以及出问题时按什么顺序排查。
做 RAG 的时候,很多人卡在「东西存哪、怎么让模型找到」这一步:文档塞进提示词太长,关键词搜索又搜不到意思相近的句子。这篇不聊概念定义,只讲向量数据库在这条链路里的实际岗位——它负责哪一段、字段怎么设计、什么情况下你根本不需要它,以及出问题时按什么顺序排查。
先记住一句话:大模型不会「记」你的资料,也不会在回答前翻你的文件。谁去翻、翻哪几段、翻出来怎么塞回去,这套活是检索层干的,向量数据库只是其中「存」和「查」两格。把它想成一个按意思找东西的仓库,而不是让模型变聪明的东西。
它在大模型应用里具体负责哪一段
流程摊开是这样的:文档切分成片段,用嵌入模型把每段转成一串数字(向量),连同原文和来源一起入库;用户提问时,问题也转成向量,去库里找语义上最接近的几段,拼进提示词交给大模型作答。向量数据库只管存和查这两格,前后两头的切分和生成换掉它也不会塌。
它真正替代的是关键词匹配,不是大模型。关键词搜索要求字面对上,用户问「怎么退押金」,文档里写的是「保证金退还流程」,字面一个词都不重合,照样能命中——这是靠意思接近,不是靠字面重合。
- 切分
- 把长文档拆成能单独检索的片段,粒度决定召回质量
- 嵌入
- 把文本转成向量,让「意思相近」变成「距离相近」
- 检索
- 按相似度取回若干片段,是向量库的核心动作
- 重排
- 对召回结果再排一次序,通常在库外做,不是必须
入库前想清楚四件事:切分、字段、过滤、去重
这四件事定错了,后面怎么调检索都白搭,而且改起来要把整个库重建。所以别急着选产品,先把数据形态想清楚。
- 切分粒度:切太碎丢上下文,切太大命中后塞不进提示词;常见做法是按标题层级切,再给每段补一句所属章节的说明
- 元数据:每条记录除了向量,还要带原文、来源、更新时间,否则检索回来没法给答案标出处,也没法按权限过滤
- 过滤条件:按用户、部门、文档状态先筛子集,再在子集里做相似度检索,比全库检索后再过滤靠谱
- 去重:同一段话存多份会让结果被同一来源刷屏,挤掉真正有用的其它段落,入库时就要干掉
判断切分是否合适有个笨办法:随机抽几条检索结果,看看取回来的片段读起来信息是否完整。如果一段话被拦腰截断、主语都在上一段,那就切细了;如果一段里混了好几个不同主题,那就切粗了。
什么时候其实不需要向量数据库
不是所有问答都要上向量库。下面几种情况,加了它只会多一个组件、多一层排查成本,收益却很有限。
| 场景 | 更合适的做法 |
|---|---|
| 资料量小、更新少 | 拼进提示词或做简单本地索引 |
| 只查编号、订单号、固定字段 | 传统数据库精确匹配或全文检索 |
| 答案要可复现、可审计 | 固定检索结果,或把结果落库做记录 |
| 还在验证效果阶段 | 先用托管检索或脚本跑通链路再考虑自建 |
尤其是精确匹配那类需求,语义检索反而会把不相关的结果排到前面。判断标准很简单:如果用户问的东西有唯一正确答案、答案就写在某个字段里,那就别用相似度找。
向量库解决的是「意思对不上但内容对」的问题;答案本来就有唯一值时,它是负担不是帮手。
容量与成本怎么估、什么时候该换方案
估算就看三块:向量条数、单条向量维度、每次提问要检索几次。条数大致是「文档总字数 ÷ 每段字数」,段切得越细条数越多,存储和检索开销一起涨。先按粗粒度跑一遍,效果好再细化,别一上来就切成小段。具体单价和维度对照,去嵌入模型页和向量数据库目录核对当时的数字。
- 先定粒度用粗切分跑通全链路,确认答得对,再逐级细化,每细化一次都重测召回
- 算条数文档总字数除以每段字数得到大致条数,乘上维度就是存储量级
- 压延迟数据量涨上来后先加过滤缩小候选集,比直接扩机器划算
- 看信号换方案出现「相关段落总排后面」或「加过滤后延迟抖动」再去比不同产品的口径
换方案的标准别定成「别人说某个更好」,要定成可观测的现象:一是召回的相关段落经常排在后面,二是加了过滤条件后延迟明显抖动。这两个信号没出现,换库只是心理安慰。
检索结果不对劲时,按这个顺序排查
最常见的错误是把「检索」和「生成」混在一起看,看到答得不好就怀疑数据库。其实很多问题是模型没引用,或者提示词拼得乱,跟库里存了什么没关系。按下面顺序分开验证。
- 先看是否没召回把查询原样打印出来,看返回片段里有没有人工判断该出现的段落;没有就查切分和嵌入模型是否适配中文
- 再看是否召回了没用上片段进了提示词模型却没引用,问题在提示词组织或模型本身,不在数据库
- 第三看排序相关片段在结果里但排位靠后,调相似度阈值或加关键词混合检索,别急着换库
- 第四看数据新鲜度文档更新了向量没重建,检索回来的还是旧内容;入库和更新要走同一条流水线,别手工补
- 最后量基线要对比改动前后效果,先固定一组测试问题跑一遍,把检索和生成分段计时
| 现象 | 先怀疑哪里 |
|---|---|
| 该出现的段落完全没返回 | 切分粒度、嵌入模型适配 |
| 返回了但答案不引用 | 提示词组织、模型行为 |
| 相关段落排在很后面 | 相似度阈值、是否需混合检索 |
| 答案停留在旧版本 | 向量未随文档重建 |
常见问题
向量数据库是不是必须配大模型才能用?
不是。它本质是一个存向量、按相似度查的数据库,人脸、图片、商品推荐都能用。在大模型应用里它只是「找资料」这一环,把检索结果交给大模型组织语言。你可以只用它做相似内容查找,不接任何模型。
用了向量数据库,模型就不会瞎编了吗?
不会。它只保证「该给的资料给你捞上来了」,不保证模型一定照着资料说。检索没召回、召回的是旧版本、或者模型忽略了资料,都会出现编造。要减少这类问题,检索和提示词两边都得管,不能只靠数据库。
小团队自建还是用现成的托管服务?
看两件事:数据量会不会长期涨、以及有没有专人维护。数据少、人手紧,先用托管把链路跑通更省事;等到条数上量、过滤条件复杂、或者有数据不能出内网的要求,再考虑自建。别为了「技术先进」提前上自建。