很多人第一次搭 RAG,卡在同一句话上:文档里一会儿叫 embedding 模型,一会儿叫向量模型,到底是一个东西还是两个环节?这篇不绕概念,先把这层关系理顺,再给你一条从选模型到灌库的最小动作线。想自己动手前,建议先翻一遍本页的分工表,知道哪一步容易白花钱、哪一步不能省。
刚接触 RAG 的人,十有八九会被这套叫法绕一下:一篇教程里叫 embedding 模型,另一篇叫向量模型,看多了会以为这是两个模块、两道工序。其实多数场景下它们指的就是同一个东西,只是中文圈习惯按「动作」和「用途」各起了一个名字。先把这层关系理顺,后面选型、灌库、迁移才不会被术语带着跑偏。
这篇不铺概念,只解决一件事:分清谁负责理解内容、谁负责把内容存起来,然后给你一条从挑模型到第一次检索跑通的最小动作线。动手之前建议先扫一眼下面的角色分工,知道哪一步最费钱、哪一步省不得,能少走不少回头路。
先破误区:嵌入模型和向量模型基本是一回事
embedding 既是动作也是结果:模型把一段文本、一张图片压成一串固定长度的数字,这个压缩动作叫「嵌入」,压出来的那串数字叫「向量」。所以「做嵌入的模型」和「产出向量的模型」两句话指向的是同一个对象,看文档时不用当成两个模块去分别找。
| 名字 | 落在流程的哪一步 | 实际指什么 |
|---|---|---|
| 嵌入模型 / embedding 模型 | 编码阶段 | 把文本变成向量的那个模型 |
| 向量模型 | 编码阶段(另一种叫法) | 同上,偏重它产出的是向量 |
| 向量数据库 | 存储与检索阶段 | 存向量、算相似度的系统,不是模型 |
| 对话模型 | 生成阶段 | 拿到检索结果后组织回答的那个 |
| 相似度算法 | 检索阶段 | 比对两个向量有多像的计算方式 |
- 中文技术圈习惯把过程叫「嵌入」、把用途叫「向量」,同一份文档里混用很常见,先别急着当成两个组件
- 真正要分开的是三类角色:负责编码的嵌入模型、负责存放和比的向量库、负责组织回答的对话模型
- 如果对方口中的「向量模型」其实指向量数据库或相似度算法,说明他在用词上把系统叫成了模型,先对齐上下文再往下聊
- 什么情况下这套说法不适用:涉及多模态时,图像、音频也各有自己的嵌入模型,不同模态的向量通常不能直接混在一起比
一次检索背后发生了什么:五个环节对号入座
用户提问到拿到回答,中间其实走了一条固定链路。把每个环节归属到具体组件,后面排查问题才知道该动哪一块,而不是一上来就怀疑对话模型不行。
- 切分文档把长文档拆成大小合适的片段;拆得太碎会丢上下文,拆得太大相似度会被稀释,这一步先定一个能跑通的粒度做基线
- 逐块编码嵌入模型把每个片段转成向量,这一步决定机器「看懂」了多少内容
- 存入向量库连同原文和少量元数据一起写进去,方便后续过滤和溯源
- 问题也编码用户提问用同一个嵌入模型转成向量,两边编码器不一致,相似度就没有意义
- 比相似度取回取回最像的若干片段拼进提示词,检索没捞到,再强的对话模型也只能编
这里有个容易踩的坑:同一批语料一旦换了嵌入模型,旧向量基本要全部重灌,因为不同模型产出的向量空间对不上。迁移前先估一下重灌的时间和接口开销,别默认「换个模型配置改一行」就完事。另外,RAG 的效果上限由检索决定,检索阶段没拿到正确片段,后面怎么调提示词都是白费。
挑嵌入模型看什么:维度、语种、长度、要不要重排
挑模型不用样样追求顶级,先按自己的语料特点排优先级,再看站内当时的资料对照。下面几条是可以直接拿去筛的判断标准。
| 判断维度 | 该看什么 | 不适用的情况 |
|---|---|---|
| 语种与领域 | 中英混排、行业术语密集的语料,通用模型判断相似度会变钝 | 纯英文通用问答,用通用模型问题不大 |
| 维度高低 | 维度高不等于更好,检索精度和存储开销要一起算 | 小规模语料,维度差异对体验影响很小 |
| 单次可处理长度 | 长文档能否一次编码进去,比维度更影响实际体验 | 文档本来就切得很碎,长度不是瓶颈 |
| 是否加重排 | 先跑通基础检索,出现「答案明明在库里却排不进前几」再加 | 语料规模很小,加重排收益有限还拖慢速度 |
- 先定语种和领域要求,拿自己的真实语料试,别用示例数据下的结论
- 再确认维度与单次可处理长度,这两项直接影响存储和切分策略
- 重排属于可选增益,跑通基础链路之后再考虑加,别一上来就堆组件
- 选型时到 嵌入模型(/embeddings) 页核对当时的维度与语言支持;存储侧到 向量数据库目录(/stacks/vector-dbs) 对照当前的方案口径,具体数字以页面为准
第一次搭的最小验证清单
第一次搭不要追求全,先拿到一条能跑通、能对比的最小闭环。重点是让「检索」和「生成」分开可测,这样出问题时才知道是没捞到还是不会答。
- 准备 20~50 条真实问答对,用示例数据跑出来的好结果没有参考价值
- 分开记录三件事:有没有捞到目标片段、捞到的是不是那一条、拼进提示词后回答有没有变准
- 换嵌入模型或换切分粒度时,用同一批问题重跑一遍做对照,别靠单次手感下结论
- 把「没捞到」的样本单独存档,这类样本最能告诉你切分或模型哪里不对
- 跑通后到 质量检测(/tools/quality-check) 看当时可用的评测口径,具体指标以站内页面为准
这套清单不保证你在任何语料上都能一次调好;如果业务本身查询表达就很模糊,或者问题需要跨多份文档推理,单靠一次检索加一段提示词往往不够,这时候要回到检索策略或引入多轮处理,而不是继续调模型参数。
下一步想自己动手前,先去嵌入模型页核对当时可选的模型与维度口径,再对着向量数据库目录挑一个能本地起步的存储方案,把上面那条最小链路跑通一遍,比继续看概念更快。→常见问题
嵌入模型和向量模型是同一个东西吗?
绝大多数场合是。embedding 指把内容变成向量的过程,向量是它的输出,所以「嵌入模型」和「向量模型」说的是同一个角色。真正要区分的是它和对话生成模型、向量数据库这三者,很多人卡住其实是因为把负责检索的和负责回答的混在一起了。
不搭向量库,直接调嵌入模型行不行?
小规模能跑,把向量存到本地文件或内存里做暴力比对也够用。但资料一多,检索速度和更新都会变麻烦,还要自己处理增量写入。什么时候不适用:语料量很小、只做一次性实验,可以先不引入独立向量库。
换了嵌入模型,为什么之前的向量要重做?
不同模型输出的向量空间不一样,数值含义和维度都不同,新旧向量混在一起比相似度等于乱比。所以换模型基本等同于重新灌一遍库。提前把原始文档留着、把索引做成可重建的,换模型时才不至于手忙脚乱。