ollama 嵌入模型 中文怎么排查:先看是不是切词,再怀疑模型

模型与算力

讲清 ollama 跑嵌入模型时中文检索不准的排查顺序:从切词、调用方式到相似度打分,给出可照着做的验证动作和判断标准。

嵌入模型接进知识库,英文搜得挺准,换成中文就答非所问——这是搜「ollama 嵌入模型 中文怎么排查」的人最常见的场景。多数人第一反应是换个更大的模型,但换完还是不准。这篇按顺序给你一条排查路径:先确认问题出在哪一层,再决定要不要换模型,中间列出可执行的验证动作和「什么情况下这条不适用」。

嵌入模型接进知识库,英文搜得挺准,换成中文就答非所问——搜这个问题的人多半卡在这个场景。第一反应通常是换个更大的模型,但换完还是不准,白折腾一轮。

这篇给一条有顺序的排查路径:先确认问题出在哪一层,再决定要不要动模型。中间会写清楚每一步的验证动作,以及「什么情况下这一步不适用」,省得你把时间花错地方。

先把「切词」这一层排掉,再谈模型

中文没有空格,这是很多失败案例的根源。文本进了嵌入接口之前,如果被按空格切开、或者按单字硬切,模型看到的就不再是一句话,而是一堆碎片。模型再好,喂进去的东西已经散了。所以别急着换模型,先拿同一句话做对照。

  1. 准备一组对照句挑五到八句你业务里真实出现的中文问句,长度不一,有长有短。别用「你好世界」这种测试句,测不出问题。
  2. 整句喂一次把这些句子原样送进嵌入接口,记下每句的向量,以及它跟目标答案的相似度分数。
  3. 断句再喂一次把同样的句子按你怀疑的方式切碎——按空格、按标点、按固定字数——再跑一遍,看相似度差多少。
  4. 看差值下结论两种喂法的分数差得离谱,基本就是切分出了问题,跟模型没关系。先把预处理改对再谈别的。

这步不适用的场景也说清楚:如果你的语料本来就是短标签、关键词列表、商品名这种碎片化文本,切分带来的影响很小,可以跳过这一节,直接往下看调用方式。

调用方式对不对,决定向量有没有真的算出来

第二个坑在调用这一层。嵌入接口和对话接口是两回事,返回结构完全不同。有人把对话接口的返回硬当成向量用,或者把嵌入接口的返回塞进对话流程,结果拿到一堆无效数据,还在那怀疑模型中文不行。

嵌入接口
输入文本,返回一个定长数值数组,也就是向量;没有生成文字这回事。
对话接口
输入消息,返回生成的文本内容;它不给你向量,混着用就是错。
返回维度
向量里数字的个数,跟模型说明里写的维度必须对得上,对不上说明模型没加载成功。

具体怎么验证:先用单条文本跑一次,把返回的维度打印出来,跟模型说明对照。再用批量方式跑同样几条,看同一个句子的向量是否一致。不一致的话,去查是不是批量时被截断长度限制卡掉了尾巴,或者参数填在了不该填的那一格。

这里有个常见误判:有人看到返回里有一大串数字就以为是向量,其实那是别的字段。把返回结构整个打印出来看一眼,比猜快得多。

怎么判断是模型不行还是用法不对

前面两层都排干净了,才轮到判断模型本身。判断不能靠感觉,得有一小批带人工标注的中文测试集:准备若干中文问句,每句人工排出「哪几条答案应该最像」的顺序,再看模型给出的相似度排名对不对得上。

现象大概率原因下一步动作
原句自己跟自己的相似度都排不到第一用法问题,向量没算对回到调用那节,查维度、查参数、查截断
同义表达、近义说法总排在后面模型中文语感弱换模型,但要用同一批测试集对照
长句子准、短问句不准文本太短,信息量不够补上下文,或改用别的检索策略
偶尔错一条,其余都对正常波动,不是模型问题别动,样本量放大再看

判断标准要提前写死,别边看边改。我的建议是:连续多条都错,才算模型问题;偶尔错一条,先怀疑文本本身太短或太含糊。测试集至少十几条,条数太少得出的结论不牢靠。

还要注意一点:如果你的中文问句里混着大量英文术语、型号、缩写,模型表现差可能跟中英混排有关,不完全是中文能力问题。这种情况单独拆一组纯中文问句再测一次,能分清楚。

什么情况下才值得换模型

切分确认过了,调用方式确认过了,维度也对得上,测试集上仍然系统性出错——到这一步才值得考虑换模型。换的时候有个硬要求:固定同一批中文问句做前后对照,把两次的排名结果摆在一起看,别凭感觉说「好像好一点」。

  • 换之前把当前模型的测试结果存档,不然换完没法比
  • 换之后跑同一批问句,逐条对排名,不要只看总体印象
  • 新模型如果只是某几类问句变好、其余变差,不算进步
  • 换完记得回头复查切分和调用,新模型的维度、长度限制可能不一样

不适用换模型的情况也说清楚:如果查询本身就是长段落、答案又散落在文档多处,换模型收益有限。这时候该改的是检索策略,比如先做段落切分再做召回,或者加一层关键词兜底。把力气花在模型上,方向就错了。

排查顺序错了,换多少个模型都是在原地打转。
下一步各家嵌入模型的中文表现、维度、调用方式差异不小,换之前先去资料库把候选模型的实际参数核一遍,别只看名字大不大。

常见问题

中文检索不准,是不是一定要换更大的嵌入模型?

不一定。先确认文本切分、调用接口、返回维度三件事都没问题,再看相似度排名。很多情况下调整切分方式或换用针对中文训练的模型就够了,盲目上大模型只是把问题往后推。

同一句话两次算出来的向量不一样,正常吗?

同一个模型、同样的输入和参数,结果应该稳定。不一致通常是文本被截断、走了不同接口,或者批量与单条处理逻辑不同。把输入长度和参数打印出来对比,先定位是哪一格不一样。

怎么快速验证嵌入模型对中文到底行不行?

自己准备十来组中文问句和对应答案,人工排出「应该最像谁」,再跟模型返回的相似度顺序对照。看的是排序对不对,不是绝对分数高低。连续多条排错才算模型问题。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。