很多人是这么卡的:模型在 ModelScope 上看着好好的,照着教程敲进 ollama 却报错,或者模型是拉下来了、请求过去没反应。两个东西根本不是一个层的东西,混在一起查只会越查越乱。这篇按「模型从哪来、文件放哪、服务在不在、请求怎么发」四段走一遍,每段给能照着做的判断动作,也标清楚什么情况下这套顺序不适用。
模型在 ModelScope 上看着好好的,照着教程敲进 ollama 却报错;或者模型确实拉下来了,请求打过去没反应。这两种情况经常被当成同一个问题查,结果越查越乱。说白了,ModelScope 和 ollama 压根不是一个层的东西,中间没有自动打通。
这篇按四段走:模型从哪来、文件放哪、服务在不在、请求怎么发。每段给能照着做的判断动作。顺序别乱跳,跳了容易在错的地方使劲。最后也标清楚什么情况下这套顺序不适用。
先把两个东西各管哪一段划清楚
ModelScope 是模型仓库,职责是把权重文件交到你手上。ollama 是本地运行时,职责是把文件加载成能对外提供接口的服务。它俩之间没有自动连接的机制,你得自己把文件喂过去,或者用 Modelfile 指过去。
所以「仓库里找不到这个模型」和「ollama 起不来」是两码事,报错文字也长得完全不一样。判断方法很直接:看报错里冒出来的是下载、文件、格式这类词,还是端口、连接、超时这类词。前者回仓库那头查,后者查服务。
| 报错特征 | 大概率卡在哪 | 先动哪里 |
|---|---|---|
| 出现文件不存在、格式不支持、分卷缺失 | 模型文件层 | 核对仓库页面和本地文件 |
| 出现连接拒绝、超时、端口不通 | 服务层 | 看进程和监听端口 |
| 出现模型名找不到、401/403 | 请求层 | 核对名字、地址、鉴权 |
| 前面都通,只有加载那步失败 | 资源层 | 看显存和量化档位 |
模型这一层:拉没拉下来、格式对不对
先确认本地到底有没有这个文件,文件是不是完整的。分卷下载少一个包,下载阶段看着是成功的,加载阶段才炸。这种坑最容易让人以为环境坏了,其实是文件不全。
再确认格式。GGUF 之外的原生权重,比如 safetensors 那一类,不能直接扔给 ollama,得先转换或者走 Modelfile 引过去。这一步跳过了,重下多少次都没用。
- 对照仓库页标出的文件大小和本地实际大小,差得离谱就是没下全
- 检查是不是分卷,少一个就补齐,别只重下报错的那一个
- 确认扩展名和实际格式对得上,改后缀不等于转了格式
- 原生权重先转换或用 Modelfile 指向,别直接塞进模型目录
- 文件名和后续要引用的模型名先记下来,后面请求层要用
服务这一层:进程在不在、端口通不通
很多人一上来就改应用代码,其实服务压根没起来。先看进程状态,再看端口有没有在监听。这两步一分钟能做完,比翻代码快得多。
本机 curl 一次健康检查地址,通了才说明服务端没问题。不通就回启动日志里找,启动报错通常只有一两行关键信息,别在应用侧反复调参数。
- 看进程确认 ollama 的进程在不在跑,没跑就先拉起来,别急着看别的。
- 看端口确认监听地址和端口,是不是只绑了本机,外部访问时这点很关键。
- 本机自测用 curl 打一次健康检查地址,通了说明服务端正常,往下走请求层。
- 翻日志自测不通就看启动日志,重点找那一两行真正的报错,别从头读到尾。
请求这一层:地址、模型名、鉴权三格对不对
地址写错是最常见的一类。容器里访问宿主机、局域网访问另一台机器,写 127.0.0.1 一定不通,得换成宿主机的实际地址或者服务名。这个错和模型无关,但报错看起来很像服务挂了。
模型名要和本地实际存在的名字完全一致,带不带 tag 是两回事,名字对不上会直接回一个找不到模型。中间如果套了别的客户端或平台,报错信息通常被吞掉,回到最原始的 curl 请求试一次,能快速区分是自己写错还是中间层的问题。
- 地址
- 容器、局域网场景别写 127.0.0.1,换成实际可访问的地址
- 模型名
- 和本地列表里的名字逐字对上,tag 别漏也别多
- 鉴权
- 中间层如果加了 key,原始请求里也得带上,否则会被拦
- 原始请求
- 用 curl 绕开所有客户端,确认问题出在哪一侧
这套顺序什么时候不管用
显存不足导致的加载失败,前面四层全通,只有加载那一步失败。这时候该看显存和量化档位,不是链路问题。按四层顺序查会白走一圈,直接跳到资源这一头更快。
公司网络限制外网访问时,仓库那头根本连不上,先确认网络出口,别在 ollama 里折腾。还有一个快招:换个另一个模型能跑通,说明环境和链路都没问题,问题在这个模型本身,直接回模型那一层查。
先分清卡在哪一头,再决定动哪只手;顺序错了,越查越像环境坏了。下一步如果你要确认中转站或接口的连通性和速度,别靠猜,跑一次实际检测更直接;各家官方接口的价格和模型资料也可以对照着看,数字以页面当时为准。→
常见问题
模型在 ModelScope 上有,ollama 里却没有这个 tag,是不是不能用了?
两个仓库的模型清单不是同一份,ollama 里有没有这个 tag 取决于有没有人做过适配。没有的话就走本地文件加载那条路:把权重下下来,确认格式,用 Modelfile 指过去,别指望直接 pull 名字。
拉下来了、服务也起了,请求还是超时,从哪查?
先在本机 curl 一次,本机通、外部不通就是监听地址或防火墙的问题;本机也不通就回看服务日志。分清楚这两种情况,能省掉一大半瞎改配置的时间。
怎么快速判断是模型问题还是环境问题?
换一个确定能跑的小模型试一次。新模型能跑通,说明运行时和端口都没问题,问题在原来那个模型的格式、完整性或显存占用上;换一个也不行,就是环境层的事。