搜「text-embedding哪个好」的人,多半已经在写检索或做知识库,卡在模型清单太长、榜单数字看不懂。这篇不给你排名,给你一套能自己跑出答案的流程:先确认你比的是同一件事,再用自己的语料做小样本测试,最后把价格和维度这两笔暗账算进来。看完至少能排除掉一半不合适的选项。
搜「text-embedding哪个好」的人,多半已经在写检索或者做知识库了,卡住的地方很具体:模型清单太长,榜单数字看不懂,不知道该信谁。这篇不给你排名。给你一套能自己跑出答案的流程——先确认你比的是同一件事,再用自己的语料做小样本测试,最后把维度和费用这两笔暗账算进来。
看完至少能排除掉一半不合适的选项。别急着找「最好」的那个,先找「不坏」的那个,剩下的用你自己的数据说话。
先确认你比的是同一件事
text-embedding 不是一个模子刻出来的东西。有的只输出向量,干干净净;有的要你在文本前面加指令前缀,加不加效果差一截;有的多语言和单语分开训练,中文版本和英文版本完全是两个模型。把这几种混在一张表里比分数,等于拿短跑成绩评游泳选手。
榜单也容易误导。大多数公开榜单跑的是英文通用语义任务,句子短、语法规范。你的语料如果是中文合同、客服工单、内部 wiki,参考价值要打折再打折。不是说榜单没用,是它回答的不是你的问题。
动手前先把三件事写下来,写在纸上或者文档里都行:查询和文档是不是同一种语言;查询通常几个字、文档通常多长,长度差多少;要不要跨语言检索(中文问、英文文档答)。这三条定了,后面筛模型才有依据。
- 语言:中文为主、英文为主、还是中英混合,先划清楚
- 长度:查询是短词还是整句,文档是段落还是整篇,切片策略跟着变
- 跨语言:需不需要中文查询命中英文资料,这条能直接砍掉一批单语模型
- 部署:走 API、本地跑、还是自己托管,反过来限制了可选范围
筛清单的顺序:从三处砍,不是从第一名挑
拿到一长串候选模型,很多人的第一反应是从第一名往下试。这个顺序是反的。应该从约束条件往下砍,砍完剩下的再试。砍的顺序有讲究,先砍最硬的约束。
- 第一刀砍语言中文为主的业务,先把中文语料上没验证过的选项放一边。不是永远不用,是别把它当首选去测,浪费测试时间。
- 第二刀砍部署方式能不能走 API、能不能本地跑、要不要自己托管,直接决定一半选项出局。本地跑还要看你的机器扛不扛得住,显存不够的模型再好在你这儿也跑不起来。
- 第三刀砍维度维度决定存储成本和检索速度。先查清楚你的向量库支持什么维度范围,超出的直接划掉,别等建索引建到一半才发现写不进去。
这三刀下去,清单通常只剩三到五个。到这一步再去站内 /embeddings 页面把模型资料对一遍,确认语言覆盖和维度输出;向量库那边去 /stacks/vector-dbs 看它支持什么维度、索引类型有哪些。两边对得上,才进测试环节。
维度高低不是越大越好,是钱和效果各让一步
维度这事儿容易被误解成「越高越聪明」。高维确实能装下更细的语义差别,但代价是实打实的:同样条数的向量,占的存储和内存成倍涨,建索引更慢,查询时算距离也更费。一个几百万条向量的库,维度翻一倍,内存账单能让你重新想想。
有些模型支持降维输出,这是个好用的中间路线:先用高维试效果,确认检索质量够用之后,落地时再压到低维。别一上来就奔着最大值去,也别为了省存储压到效果崩掉,中间找个平衡点。
| 考虑项 | 维度偏高时 | 维度偏低时 |
|---|---|---|
| 存储与内存 | 占用明显上升,备份和缓存都要跟着涨 | 省资源,小机器也扛得住 |
| 检索速度 | 距离计算更慢,高并发时更明显 | 快,适合查询量大的场景 |
| 语义细节 | 能区分更细的语义差别 | 相近但不同的概念容易混 |
| 建议 | 先试效果再降维落地 | 小库或对延迟敏感时优先 |
算存储的时候别只算向量本身。索引结构、备份副本、内存缓存都要算进去,实际占用往往比「条数乘维度乘字节数」大不少。拿不准就倒推:先看你的向量库和机器能扛住多少条乘维度,再在这个范围里挑模型,而不是先挑模型再发愁装不下。
花两小时做一次小样本自测,比看十篇评测有用
模型选到最后两三个,就得上自己的数据了。准备三十到五十条真实业务问题,每条配一条你认定的正确文档。别用公开数据集,就用你系统里真实存在的提问和答案,哪怕写得粗糙。
测试集里刻意塞几条口语化提问和带错别字的提问。真实用户不会按规范句式提问,这些脏数据最能暴露模型的实际表现。全都用干净句子测出来的结果,上线就翻车。
跑的时候看什么?看正确答案有没有进前几条,而不是看整体分数。一个模型平均分高,但你的核心业务问题老是排到后面,那对你就是不行。把结果记成一张表:模型、命中情况、单条耗时、单条花费,后面决策全靠它。
- 命中情况:正确文档排在第几位,前三没进就要留意
- 延迟:单条查询耗时,按你的并发量估算高峰表现
- 花费:按你的实际调用结构算,别只乘单价
- 失败样例:把没命中的问题单独记下来,看是模型问题还是切片问题
费用要按你的调用结构算,不是按单价乘条数
embedding 的费用有个特点:入库算一次,查询是长期反复的。两边权重完全不同。入库可能几百万条,但只跑一次;查询单次便宜,可每天几十万次。用同一个数平均,算出来的账没有意义。
还有一个容易漏的点:入库算的是切片数,不是文档数。一份长文档切出来可能几十条,成本差出几十倍。切片规则定下来之前,先估算会切出多少条,再拿这个数去算花费。
改一次切片规则,就要全量重跑一次 embedding。这笔返工成本最容易漏算,尤其在上线初期切片策略还在调的时候。预算里得给它留位置。具体价格口径去 /official-api 和 /embeddings 看当时的数字,再拿 /tools/model-cost-calculator 按你自己的量算一遍,别拿别人文章里的数字套。
这些情况下先别急着换模型
换模型之前先排除几种情况,不然换了也白换。第一种:检索结果差,但正确答案压根没被切进任何片段。这是切片问题,不是模型问题。先去检查切片边界,看看关键段落是不是被切断了。
第二种:查询词和文档用词差得远,又有大量专有名词。这种情况单靠 embedding 本来就吃力,先考虑混合检索或者加关键词兜底,比换模型见效快。第三种:只有几十条文档的小库。这个体量下主流模型差距不明显,把时间花在整理语料上回报更高。
还有一种要算清楚:换模型意味着全量重建索引。几百万条的库重建要多久、这段时间线上查询怎么办,评估好了再动。扛不住重建窗口就先别换,或者等业务低峰期再说。
落地前的对照清单
拍板之前过一遍下面这份清单,每条都能对上再上线。对不上的,回去补,别硬着头皮上。
- 语言覆盖对上你的语料,中文为主就确认中文表现
- 维度能被向量库接住,建索引那一步不会报错
- 单条延迟能满足你的查询并发,高峰期不拖后腿
- 先在测试环境全量建一次索引,记下条数和耗时,再定上线节奏
- 保留旧索引一段时间,出问题能切回去,别删完才发现新模型不行
- 上线后盯住命中率,别建完索引就不管了
最后补一句:没有哪个模型在所有场景都「好」。判断标准是你自己的测试集命中情况和算得过来的成本,不是榜单排名。这套流程跑一遍大概两小时,比翻十篇评测靠谱。
下一步去站内模型资料库把候选模型的维度、语言覆盖核对一遍,再用费用计算器按你自己的调用量算总账,两项都过再进测试。→常见问题
开源 embedding 和商用 API 该怎么选?
看你能不能承担运维。数据不能出内网、量大到 API 费用压不住、要自己调优,就走开源自托管;文档量不大、想快速上线、不想管机器,先用 API。用 /embeddings 对照规格,再拿自己的小样本各跑一遍。
向量维度是不是越高越好?
不是。维度高更容易区分细粒度语义,但存储、内存和检索耗时一起涨。如果你的库只有几万条文本,高维带来的提升往往看不出来,反而先被成本卡住。先按数据量倒推能接受的维度,再在这个范围里比效果。
中文场景要不要专门选中文模型?
如果你的查询和文档都是中文、且有不少行业词,专门在中文语料上训练过的模型通常更稳。但如果要跨语言检索,或者语料里中英混杂,就得优先看多语言能力,别只看中文单语表现。
换了 embedding 模型,之前的索引还能用吗?
不能混用。不同模型的向量空间不互通,换了就要全量重建。所以换之前先算两笔:重建要多久,这段时间检索怎么兜底。建议保留旧索引一段时间做对照,别一次性切死。
怎么判断检索差是模型的问题还是切片的问题?
先手动找你测试集里答错的那几条,看正确内容有没有被切进任何一个片段。如果压根没进去,是切片或文档清洗的问题;如果进去了但没被排到前面,才轮到怀疑模型。顺序搞反会白换好几次。