搜「ollama nomic embed text有哪些」的人,多数已经在搭本地知识库了:向量模型没配好,检索结果就是一堆不相关的段落。这篇不堆参数,先把 ollama 上这个系列的几个入口分清,再给判断标准和一套从拉取到验证的动作清单,最后说清哪些情况它其实不该用。
会去搜这个词的人,基本都在搭本地知识库这件事上走到一半了。文档切完,向量库建了一半,发现检索出来的段落跟问题八竿子打不着。多半不是切分出了问题,是嵌入模型这层没配明白。
这篇不聊参数表。先把 ollama 上这个系列能拿到的东西分清,再给一套从拉到验证的动作,最后说清什么情况它其实不该用。你要的是能立起来跑的第一条向量,不是把模型卡片背一遍。
搜这几个词的人,实际在 ollama 上能拿到什么
先说个最容易踩的认知差:nomic embed text 在 ollama 里拉下来的东西,是 embedding 模型,不是对话模型。它不吐句子,只吐一串浮点数。很多人的第一次报错就出在这——把嵌入模型的模型名填进了对话那一栏,然后接口回一句「不支持 generate」,你以为是模型坏了,其实是你拿它当聊天用了。
模型库里的条目按用途分,通用文本向量是一类,带任务前缀的用法又是另一回事。前缀不是单独的模型,是你调用时往输入前面拼的一句话,用来告诉模型「这是要检索的查询」还是「这是被检索的文档」。名字先对上,再动手拉,能省下一轮瞎试。
- 基础向量模型
- 拉下来直接出向量,适合先跑通链路、确认维度。
- 带任务前缀的调用
- 同一份权重,靠输入拼前缀区分查询和文档,前缀拼在哪一头要看你的检索方式。
- 和对话模型的关系
- 不是一个东西。对话模型在另一栏,配置时别混填。
- 同名不同构建
- 不同来源、不同量化可能不是同一份东西,两台机器拉下来别默认一模一样。
怎么判断该不该用它:三个问题先问自己
第一个问题,语料是不是以中文为主。如果是,别默认一个通用模型在中文上够用。拿几条你业务里最典型的问句,到站内嵌入模型页做横向对照,看当时的对比结果,而不是凭「它挺有名的」下决定。什么情况下不适用:语料本来就是英文技术文档为主,那中文侧的对照就不是你的关键指标。
第二个问题,你的检索长什么样。短句查长文,和长文查长文,对前缀的要求不一样。套错前缀掉的分,比换个模型还狠。第三个问题,库多大、多久更新一次。换一次模型,全量向量要重算,这个成本得提前摊开算,别等建完才发现重建要跑一整晚。
- 语料语言:中文占比高的,先做横向对照再定,别直接上手
- 检索形态:短查询查文档,和文档查文档,前缀策略不同
- 规模与更新频率:全量重建的耗时和机器负担要能接受
- 是否已有重排:没有重排、又要求精度的链路,单靠向量模型兜不住
从拉取到跑出第一条向量,动作按这个顺序来
顺序错了,排查就变成猜谜。最常见的误判是:服务根本没起,你去反复重拉模型,拉半天拉不下来,最后发现是端口没监听。这两步分开做,各验一次。
- 先确认服务在跑用一次最简单的请求打过去,能看到服务正常响应再往下走。返回连接拒绝,就把注意力放在服务上,别碰模型。
- 再拉模型名字按刚才对上的填,拉完看本地列表里有没有这个条目。列表里没有,后面所有调用都是白搭。
- 跑一条最简调用给一句短文本,让它返回向量,把返回的维度打出来。维度对不上,接向量库必报错,早点发现早点改。
- 把验证脚本固定下来换机器、换版本都跑同一条脚本,看输出维度和长度是否一致,比凭印象判断稳得多。
# 服务自检:先确认在监听
curl -s http://localhost:11434/api/tags
# 拉模型(名字按你核对过的填)
ollama pull <模型名>
# 跑一条最简向量调用,把维度打出来
curl -s http://localhost:11434/api/embeddings -d '{"model":"<模型名>","prompt":"测试一句话"}'接进知识库时,真正容易填错的那几格
这里出问题的方式很具体,不是「配置不对」这种笼统说法。嵌入模型的地址和对话模型的地址,往往不是同一个端口,也不是同一个模型名。配置页通常分成两栏,一栏填对话,一栏填嵌入,抄同一份过去,链路就断在第一步。
| 配置项 | 常见的错法 | 怎么确认对了 |
|---|---|---|
| 模型名 | 填入对话模型的名字 | 两栏分别填,嵌入栏只放向量模型 |
| 服务地址 | 和对话用同一个端口 | 单独测一次嵌入接口能返回向量 |
| 向量维度 | 改模型没改库 | 建库时填的维度和实际返回的一致 |
| 分段长度 | 切得比模型能吃下的长 | 尾部内容有没有丢,抽样看几段 |
| 前缀 | 查询和文档拼反了 | 用一条已知能命中的问句对照 |
维度和分段这两格最阴。改了模型不改库,等于把新旧向量混在一个空间里算距离,结果不是报错,是「看起来能跑但召回很怪」。分段比模型能吃的还长,尾部会被悄悄截掉,你不会收到任何警告。
结果不对劲时,按这个顺序查而不是重装
重装是最没效率的动作。先分清症状:是全部召回都不相关,还是只有某一类文档不相关。前者大概率是模型和维度的问题,后者更像是切分和前缀的问题。这两条路完全不一样。
- 拿一条你确定库里有原文的问句做对照,命不中就说明索引阶段就错了,跟检索参数无关
- 全部不相关:先查维度和模型名,再查前缀方向
- 只有某类文档不对:查那类文档的切分长度和格式解析
- 前两步都没排除,再去动相似度阈值和 top-k,否则是在给错误打补丁
- 每次只改一个变量,改完重跑同一条对照问句
什么情况下别用它
多语言混排、中文占比又高的场景,先去站内嵌入模型目录比对再定,别拿一个通用模型硬撑。硬撑的表现不是崩,是那种「能用但总差一口气」的召回质量,调参调不出来。
对检索精度要求高、链路里又没有重排的,单靠一个向量模型兜不住,得把重排也纳进来。已经有成熟向量库和既有模型在跑的团队,换模型的收益要先在小样本上量出来,再谈全量迁移——模型换一次,全量重算的账得先算清。
下一步先把你这边的语料语言和检索形态对上号,再去嵌入模型页做一次横向对照,比盲拉一个模型省事得多。→常见问题
ollama 里 nomic embed text 和对话模型能共用一个服务地址吗
地址通常可以共用,模型名必须分开填。很多配置界面把「对话模型」和「嵌入模型」分成两栏,抄同一份最容易出错。填完先用一条短句调一次,看返回的是文本还是向量,比看文档快。
拉下来之后怎么确认它是能用的
跑一次最简调用,看返回向量的维度和长度是否符合预期,再把同一条文本跑两遍看结果是否一致。维度不对就别往下接了,向量库那边一定会报错,早点发现比重装省事。
检索结果不相关,是模型不行还是我配错了
先分清是全部不相关还是部分不相关。全部不相关多半是维度或模型名对不上;只有某类文档差,通常是切分太长或任务前缀没用对。拿一条肯定能命中的问句试一次,就能把两类问题分开。
换嵌入模型,已有的知识库要重建吗
要。不同模型产出的向量不在同一个空间里,混着用距离没有意义。规模大的话先在样本集上比对新旧模型的召回差异,确认值得换再全量重建,别一上来就重跑整库。
中文语料为主的库,直接用它行不行
能跑,但别默认够用。中文检索对切词和语料分布敏感,建议先在站内嵌入模型页横向看一遍,再拿你自己的几十条真实问句做小样本对照,两边都跑一遍再定。