embedding和向量化哪个好?先把这两个词的关系摆正再选

接入与开发

讲清 embedding 和向量化不是二选一的两条路,给出判断标准、选型顺序和能立刻动手的验证清单,帮你决定该买模型还是自己转。

搜索这两个词的人,八成是刚要做检索或者知识库,看到文档里一会儿写 embedding、一会儿写向量化,以为是两种方案,纠结该选哪个。其实它们压根不在同一个层级上,一个是模型能力,一个是转换动作。这篇把这两层拆开,告诉你什么时候只需要动作、什么时候必须挑模型,再给一套能照着跑的判断顺序和验证清单。

搜这两个词的人,八成是刚要做检索或者知识库,看到文档里一会儿写 embedding、一会儿写向量化,以为是两条可选的技术路线,纠结该选哪个。其实它们压根不在同一个层级上。先把这层窗户纸捅破,后面的选型才不至于白折腾。

说白了,一个是动作,一个是工具。你得先搞清楚自己眼下缺的是「把东西变成数字」这件事,还是「变出来的数字得带语义」这个能力。搞混了,就会出现拿关键词检索的方案去硬扛同义改写的查询,跑一段时间发现漏召回一堆,再回头返工。

先把层级摆正:一个动作,一个模型

向量化就是把文本、图片这类输入变成一串数字的动作。这个动作谁都能做,哪怕你用词频统计、哈希,甚至自己拍脑袋写个映射规则,产出也勉强算向量。它的门槛低到几乎不构成一个决策问题——真正让你纠结的从来不是「要不要向量化」,而是「用什么来向量化」。

embedding 指的是用训练好的语义模型产出向量,重点落在「语义相近的输入,距离也近」这件事上。同一个意思换个说法、换种语言,向量还是挨在一起。这才是你想花钱、花时间买的东西。所以别把两个词放在天平两端称,它们根本不是一个量级的概念。

向量化
把输入转成一串数字的流程步骤,任何方法都算
embedding
用语义模型做向量化,产出的向量带「意思相近就靠得近」的性质
两者的关系
向量化是流程里的那一步,embedding 是这一步用到的工具

什么时候不需要碰 embedding 模型

很多团队一上来就想着上语义模型,其实第一步该做的是把最土的检索跑通。关键词精确匹配、按编号查、按标签过滤,这些任务用传统检索又快又稳,还省掉一整套向量库和模型部署的麻烦。你要是只有几百条数据,整段塞进上下文让模型自己读,检索这一层都可以先不补。

判断信号很具体:如果你拿不准用户查询里会出现哪些同义词,换个说法就搜不到,那才是该上语义模型的时候。比如用户问「怎么退订」而文档里写的是「取消订阅」,纯关键词大概率漏。反过来,如果你的查询本来就是精确的编码、订单号、专有名词,语义模型反而可能把不相干的东西排上来。

  • 查询以编号、订单号、错误码为主:传统检索优先,别急着上模型
  • 数据量小到能整段放进上下文:检索这层可以晚点补
  • 查询和文档用词高度一致、术语固定:关键词够用
  • 中英混合查询、口语化提问、大量同义改写:这才轮到语义模型出场
  • 查询里有大量长尾生僻词、模型没见过的领域黑话:语义模型可能不如关键词稳

不适用的边界也得说清:一旦你的场景是多语言混合查询,或者用户习惯用大白话描述需求,传统检索的漏召回会很明显,这时候硬扛下去只会让用户觉得「搜了个寂寞」,该换就换。

真要挑模型时看哪几件事

决定上语义模型之后,第一件事不是去翻榜单,而是先看语种和领域。中文为主的场景、代码检索、法律医疗这类专业文本,各家模型的强弱差异挺大,通用榜单上的高分不代表在你的数据上也好使。第二件事是看向量维度带来的存储和检索成本,维度高不等于效果好,反而让索引更大、查询更慢。

还有一个容易被忽略的点:向量维度和分词器是绑定的,换模型就得整库重建,不能只换一半。你要是图省事只换查询侧不重建库,那出来的结果基本没法看。所以选型时就得把「未来换模型要重建」这个成本算进去。

最靠谱的办法是用你自己的几十条真实问题做小测,比看任何榜单都准。榜单口径和各家资料可以到 /embeddings 和 /benchmarks 核对当时的数字,但别把那几个数字当成选型的唯一依据——你的数据分布和榜单的评测集往往不是一回事。

看什么怎么判断什么情况下不适用
语种与领域拿你的真实问题混搭专业术语测召回纯通用闲聊场景,领域差异不明显
向量维度对比索引体积和查询延迟能否接受数据量极小、延迟不敏感时,可忽略
分词与切片切片长度对齐模型建议的输入长度短文本为主、基本不涉及长文切片时关系不大
换模型成本评估重建全量向量要多久一次性的实验项目,重建成本可忽略

最容易踩的坑:入库存的和查询用的不是同一个模型

这坑我见过不止一次。写库的时候用 A 模型,检索的时候图方便调了 B 模型的接口,两边向量空间对不上,返回的「最近邻」看着有结果,其实全是噪声。更难受的是调用不报错,接口正常返回,你就以为通了,直到用户反馈搜出来的东西风马牛不相及才反应过来。

同一模型的不同版本也可能不兼容。升级前别直接全量切换,先拿一小批样本对比升级前后的相似度分布,看看排序有没有明显漂移。换模型的正确顺序是:先停机或双写、重建全量向量、再切查询侧,别指望新旧向量能混着用。

  1. 确认模型一致检查入库脚本和查询接口里写的模型标识是不是同一个,别只看函数名,要看实际请求参数
  2. 做小样本校验拿几条已知相似和不相似的文本对,算一下相似度,确认排序符合直觉再往下走
  3. 升级时先双写新旧模型并行写一份向量,用离线评估对比召回,确认新模型更好再切
  4. 记录模型标识把模型名和版本写进向量库的元数据,出问题时能追查这批向量是谁生成的

一套能照着走的判断顺序

别一上来就搭向量库。先跑纯关键词检索,把评估集和指标准备好——这一步是在给自己留退路。没有基线的对比,你永远说不清新方案到底是变好了还是只是变了。

有了基线,再统计漏召回的具体例子,看这些漏掉的到底是同义改写类的,还是压根就是数据缺失。前者才该上语义模型,后者上了也白搭。挑两三个候选模型在评估集上跑一遍召回率,只有语义模型仍然不够时,才考虑同时上关键词和向量的混合检索。

  1. 第一步,跑通关键词基线用最简单的匹配把检索跑起来,把评估集和召回指标定下来
  2. 第二步,归因漏召回把搜不到的真实问题列出来,标出是同义改写、跨语言还是数据本身缺失
  3. 第三步,小规模试模型挑两三个候选 embedding 模型,在评估集上只测召回,不急着改线上
  4. 第四步,再决定要不要混合语义检索仍有明显漏召回时,才引入关键词加向量的混合方案
  5. 第五步,保留回退开关每一步都能切回上一版检索,别一次性把链路全换掉

上线前对一遍这张单子

模型选完了、链路也通了,别急着宣布搞定。下面这几条对一遍,能省掉后面不少半夜排查的功夫。尤其是切片长度那条,超长文本被截断会悄悄丢信息,不报错,但搜不到。

  • 确认入库和查询走同一个模型、同一份预处理逻辑,大小写、去空格这类处理要一致
  • 把模型标识写进向量库的元数据,未来能查清这批向量是谁生成、什么时候生成的
  • 切片长度跟模型建议的输入长度对齐,超长文本要主动切分而不是被默默截断
  • 留一条基线:老检索方式的召回结果存一份,方便对比是不是真的变好了
  • 查询侧的超时和降级策略定好,模型接口挂了不能把整个搜索拖垮

说到底,embedding 和向量化哪个好这个问题本身就问偏了。向量化是你要做的事,embedding 是你可以挑的工具。先确认自己真的需要语义检索,再挑工具,再盯住入库和查询的一致性。这几步走下来,比纠结名词靠谱得多。

下一步各家模型的维度、语种支持和价格口径经常变,别记脑子里的旧数字。去站内资料库对一遍当前情况,再结合你自己的评估集做决定。

常见问题

embedding 和向量化是不是一个东西?

不是同一个层级。向量化是动作,把输入变成数字数组;embedding 是这一步用的语义模型。你可以在没有 embedding 的情况下做向量化,比如词频统计,但那种向量没有语义能力。

用现成的 embedding 模型还要不要自己训练?

绝大多数团队不需要。先确认预训练模型在你的语料上召回够不够,不够再考虑微调或者换模型。自己训练的成本和重建成本都高,一般留到最后一步。

换 embedding 模型必须重建整个向量库吗?

是。向量空间是模型决定的,不同模型的维度也不同,混着存会得到无意义的距离。换模型等于全量重算,提前在架构上留出可重建的能力比较省事。

中文场景是不是一定要用中文专门的模型?

不一定,但要实测。有些多语言模型中文表现不差,有些中文专用模型在短查询上更稳。拿你的真实问题跑一遍召回,比看语种标签靠谱。

混合检索是不是比纯向量检索好?

不绝对。混合检索在专有名词、编号、精确匹配多的场景收益明显,但要多维护一路索引和融合逻辑。先确认纯向量检索漏在哪,再决定加不加。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。