搜text-embedding模型对比的人,十有八九是已经准备建向量库,站在选型那一步不知道从哪看起。榜单翻一圈,前几名隔几个月换一批,可换到自己那批文档上,效果未必跟着涨。这篇不讲谁第一,讲你怎么在自己场景里排出个先后:先定用途,再定维度与语种,最后拿几十条真实数据跑一遍。
搜 text-embedding 模型对比的人,多半已经准备建向量库了,卡在选型那一步不知道从哪看起。榜单翻一圈,前几名隔几个月换一批,可换到自己那批文档上,效果未必跟着涨。
这篇不讲谁第一。讲的是你怎么在自己场景里排出个先后:先定用途,再定维度跟语种,最后拿几十条真实数据跑一遍。顺序反了,翻多少榜单都是白翻。
先问一句:你是拿它做检索,还是做聚类和去重
这问题听着像废话,但实际选型时最常被跳过。检索类用途看的是「问句和文档能不能对得上」,短查询对长文档是常态,得挑对这种非对称匹配友好的模型。聚类、去重、分类看的是两段文本整体像不像,长度分布均匀,需求跟检索压根不是一回事。
同一个模型在这两件事上排名会掉个个儿。我见过拿聚类榜单的头部模型去做检索,结果口语化问句全排在后面,折腾半天才发现方向选错了。所以对比前先把用途写死,别拿一个榜套两种活。
| 用途 | 你关心什么 | 不适用的情况 |
|---|---|---|
| 检索 | 短问句能否召回长文档里的正确段落 | 只是做语义缓存命中判断,精度要求低,别在选型上耗太久 |
| 聚类 / 去重 | 两段等长文本整体相似度是否稳定 | 文档长度差异极大,分块没做好,再好模型也拉不开 |
| 分类 / 打标 | 同类文本是否聚得紧、异类是否分得开 | 标签体系本身定义模糊,先理标签再选模型 |
维度、语种、上下文长度,这三格里最容易先被卡住
维度高不等于效果好,但存储和检索开销是实打实涨的。数据量小的时候,高维度带来的收益很难补上这部分成本。反过来说,如果你后面要大规模铺开,维度就得提前考虑进去,别等库建好了才发现换不动。
中文为主的项目要专门验中文。很多模型英文漂亮,中文就拉不开差距,拿英文基准当结论属于自欺欺人。单条文本超长也得先确认模型输入上限,超了会被截断,而截断的位置往往正好丢掉关键信息。各模型当下的维度和语种标注,到 嵌入模型(/embeddings) 页面核对,数字以那页为准。
- 维度:先按预期数据量估算存储和查询开销,再决定往上加值不值
- 语种:中文样本单独跑一轮,别只看英文结果
- 上下文长度:确认单条输入上限,超长文本先设计好分块策略
- 距离度量:确认模型配套的度量方式,余弦和点积混用会出怪结果
拿三十条自己的数据跑一遍,比翻十页榜单有用
准备几十条真实查询,每条手工标出正确的那段文档,这就是你的小测试集。不用多,够看出差距就行。跑的时候统一分块方式和距离度量,只换 embedding 模型,否则分不清是模型好还是切分巧。
- 收集查询从真实使用场景里捞几十条,覆盖常见问法和难缠的口语化表达
- 手工标答案每条标出正确文档段落,标不准的样本直接丢掉,别硬凑
- 固定变量跑分块方式、距离度量保持一致,只换模型,逐个记录结果
- 看召回排名瞄的是正确文档有没有进前几名,不是单个相似度分数的绝对值
- 复盘反例排序反直觉时先怀疑分块和查询写法,再怀疑模型,这个顺序能省下不少换模型的时间
什么时候该换,什么时候换了也白换
错的全是同义改写、口语问法这类,换模型有机会。错的是文档里压根没写相关内容,换多少个 embedding 都救不回来。判断方法很简单:随手抽几条错例,看答案是不是真在库里,不在就别折腾模型了。
换模型意味着整个库要重算向量,这笔账要提前算进去。数据量大时不是点一下按钮的事。已经上线的系统,建议新旧模型并行跑一段,用同一批查询比对召回,别直接切。
| 看到的症状 | 先做什么 | 再做决定 |
|---|---|---|
| 同义改写召回差 | 看查询写法与分块 | 再考虑换模型 |
| 正确答案不在库里 | 补文档或改切分 | 换模型没用 |
| 上线后效果下滑 | 抽查新批次数据分布 | 再评估是否需要重算 |
现成的检测口径可以到 模型质量检测(/tools/quality-check) 和 模型质量监控(/tools/quality-monitor) 看,比自己拍脑袋定标准稳。涉及成本的部分,去 价格追踪(/price-watch) 核对当时的数字,别凭印象估算。
下一步把用途和候选模型列出来,再去站内嵌入模型页对一遍维度和语种,拿小测试集跑一轮,顺序对了,选型没那么玄。→常见问题
榜单第一的 embedding 模型,直接用在项目里行不行?
能用,但别省掉验证这步。榜单测的是公开数据集,你的文档领域、中文比例、分块长度都和它不一样。花半天做三十条查询的小测试,比事后怀疑检索效果省事得多。
向量维度和检索质量是正相关吗?
不是。维度影响的是表达空间上限和存储成本,实际效果取决于训练数据和你的场景匹配度。数据量不大时高维度的收益经常被存储和延迟成本吃掉,够用就行。
换 embedding 模型要重建整个向量库吗?
要。不同模型的向量空间不通用,混着用检索结果会乱。所以换模型是个有迁移成本的动作,建议先用小测试集确认新模型确实更好,再安排重建窗口。