ollama 离线 部署 模型 windows

模型与算力

讲清 Windows 无网环境怎么装 Ollama、把模型文件离线搬进去并导入,附网内外两侧的准备和校验步骤。

内网机器、断网车间、不能联外网的开发机,想跑 Ollama 却卡在第一步:官网下不动、pull 直接超时。这篇把流程拆成「外网侧准备」和「内网侧导入」两段,告诉你哪些文件必须提前攒齐、目录怎么放、导入后怎么验证跑起来了。数字类信息(模型体积、显存占用)一律给判断方法,具体数值去站内页面核对。

内网机器、断网车间、不能联外网的开发机,想跑 Ollama 却卡在第一步:官网下不动、在线拉取直接超时。这事不是没法做,而是要把「联网」和「断网」两个阶段拆开,先在能上网的机器上把该下的东西下齐,再整包搬进内网导入。

下面按两段讲:外网侧准备什么、内网侧怎么放怎么验。模型体积、显存占用这类数字不写死,给判断方法,具体数值到站内页面核对当时的数字。真断网才走这套流程,能走代理就别折腾。

先在能上网的机器上把东西攒齐

外网机是整套流程的源头,源头上缺东西,内网就得来回跑。最容易被忽略的是安装包要下完整安装器,别下那种装完还要联网拉组件的引导版;装完把版本号记下来,后面内网导入对不上时第一个要查的就是它。

  • 安装包用完整离线安装器,装完确认服务能起、版本号记下来;
  • 模型不能只记「拉了哪个名字」,blobs 和 manifests 都要在,缺一个内网就加载失败;
  • 外网机和内网机的 Ollama 版本尽量对齐,大版本差太多时导入的模型可能读不出来,兼容范围到 /models/deploy 核对;
  • 准备一块移动硬盘或共享目录,模型动辄几个 G,整目录拷贝比压缩再解压更稳;
  • 外网机上先把模型跑一遍,确认能正常对话再搬,别把坏的搬进去。

模型文件到底藏在哪、要拷哪些

Windows 上模型默认放在当前账号目录下的 .ollama 里,真正要搬的是 blobs 和 manifests 两个子目录,少搬一个必报错。换过存储位置的先确认当前实际路径,改过环境变量之后老目录里可能只剩空壳,照着旧路径拷会白搬。

要搬的东西在哪漏了会怎样
blobs 目录.ollama 下的 blobs模型权重缺失,加载直接失败
manifests 目录.ollama 下的 manifests清单读不到,列表里看不到模型
安装器外网侧下载的安装包内网装不上或装成残件
许可证说明模型发布页或附带的许可文件商用场景下可能踩到授权边界

判断要留多大空间的办法,是把 blobs 目录的总大小和你打算跑的参数量、量化档位对上;量化和显存的关系用站内换算工具更省事,具体阈值到 /tools 核对。许可证也顺带看一眼,商用场景不是所有开源权重都能随便用,边界到 /safety 核对。

内网侧的安装、放置与导入验证

  1. 装安装器在内网机跑完整安装包,装完别急在线拉取,先确认服务能起来、本地接口有响应。
  2. 原样覆盖目录把外网侧的 blobs 与 manifests 按同样层级覆盖到内网目录下,路径层级不要自己加工或改名。
  3. 重新扫目录重启服务或让它重新扫描模型目录,再用列表命令看模型有没有出现;出现了说明清单文件被正确读到。
  4. 端到端验证跑一句话对话,看首次加载时间和输出速度是否可接受;跑不起来按「文件缺失—目录不对—版本不匹配—显存不够」顺序排查。

排查时别乱试。先看 blobs 里文件数对不对,再看目录层级有没有被多套一层,然后比对内外网版本号,最后才怀疑显存。顺序反了会浪费大量时间在硬件上。

后续加模型、换机器怎么做

  • 后续要添新模型,仍按「外网拉取—整目录搬运—内网覆盖」这条流水线走,别指望内网临时联网;
  • 多台内网机器部署时把这份目录当统一基线,一份来源,避免各机版本参差;
  • 定期回站内 /models 和 /price-watch 看模型与价格变动,但这只影响你选哪个模型,不影响搬运方式;
  • 判断适用性:如果内网机器能通过代理访问外网,直接在线装更省事,这套流程只在真断网时才划算。

加模型时最容易犯的错是只搬新的那一个,结果把旧的 manifests 覆盖没了。稳妥做法是整目录增量同步,而不是挑文件夹拷。

下一步想确认内网模型跑得快不快,用站内测速工具按同一段提示词对比首次加载和稳定输出,比凭感觉靠谱。

常见问题

内网机器完全没网,Ollama 装完能直接用吗?

能,前提是安装包和模型文件都提前搬到本地。安装器本身不依赖联网也能装完,真正会卡住的是模型加载,所以 blobs 和 manifests 两个目录必须一起拷全,缺任何一块都会在加载时报错,而不是在启动时报错。

直接把外网机器的 .ollama 整个目录复制过去可以吗?

多数情况可行,这也是最省事的做法。但要注意两边 Ollama 版本别差太多,路径结构要保持在同样的层级下,别自己新建一层文件夹。另外账号不同会导致默认目录不同,拷贝前先在目标机器确认当前实际使用的目录位置。

导入后模型列表里看不到,先查什么?

先查 manifests 有没有漏,很多人只拷了体积大的 blobs。其次查目录层级是不是被多套了一层。再对一遍两边版本号。最后才怀疑显存或内存不够,因为资源不足通常表现为加载慢或直接崩,而不是列表里查无此模型。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。