dify+ollama 本地部署 windows

模型与算力

给 Windows 用户一份 Dify 加 Ollama 本地部署的速查大纲:先备环境、再连模型、最后按显存和并发定档位并做验证。

你想在自己那台 Windows 机器上把 Dify 跑起来、让它连本地 Ollama 出活,结果通常卡在三处:WSL 和 Docker 怎么装才不互相打架、Dify 里填哪个模型地址、以及这台机器到底能带动多大的模型。这篇按「先跑通、再调稳、后验证」的顺序给一份可照着走的清单,并把容量判断留到站内测算页去核对。

你想在自己那台 Windows 机器上把 Dify 跑起来、让它连本地 Ollama 出活,结果通常卡在三处:WSL 和 Docker 怎么装才不互相打架、Dify 里填哪个模型地址、以及这台机器到底能带动多大的模型。这篇按「先跑通、再调稳、后验证」的顺序给一份可照着走的清单。

思路很简单:把环境装干净,再把两个服务连上,最后按硬件实际情况定档位,别一上来就追求大参数。中途所有关于容量、价格的数字,都留到站内对应页面按你机器的真实配置核对,套别人的配置是最容易翻车的一步。

装之前先把三件套的顺序理清

三件套指的是 WSL2、Docker Desktop 和 Ollama。推荐顺序是:先开 Windows 的虚拟化相关功能并装好 WSL2,重启确认能进入 Linux 子系统;再装 Docker Desktop 并把它指向 WSL2 后端;最后装 Ollama。装反了最常见的症状是端口被占、或者容器起来几秒又挂。

  1. 开虚拟化并装 WSL2在系统功能里启用虚拟机平台相关项,重启后装 WSL2 并设成默认版本。验证方式:打开子系统能正常执行命令。
  2. 装 Docker Desktop 并切后端安装后进入设置,把后端切到 WSL2,确认图标常驻且能正常拉取镜像。验证方式:跑一个最小容器看是否正常退出。
  3. 最后装 Ollama装在宿主机上,启动后确认本地接口能返回模型列表。验证方式:用命令行或浏览器请求一次接口,看到列表即为正常。
  4. 先各自单独验证,再谈互通三个组件分别能跑之后再做联调,出问题时才好定位是哪一层。

磁盘和数据目录要提前分开放:镜像、模型权重、Dify 的数据卷各占一块空间,别全塞系统盘。模型权重体积通常不小,系统盘被写满会让容器和模型服务一起出问题,而且这种故障报错很迷惑,不容易第一时间想到是磁盘。

让 Dify 认到 Ollama:地址、模型名、连通性三关

Dify 跑在容器里,Ollama 跑在宿主机上,这是两个不同的网络命名空间。所以你在宿主机浏览器里能打开的那个地址,容器里大概率访问不到。地址要写成容器视角能到达的宿主机地址,这一点是新手最容易忽略的地方。

关卡检查什么常见错法
连通性容器内能否请求到 Ollama 的接口直接填宿主机浏览器能打开的地址
模型名与已下载标签是否逐字一致大小写、分隔符抄错一个字符
服务状态Ollama 是否在运行、端口是否可达只重启了 Dify 没看 Ollama

先在宿主机上单独确认 Ollama 的本地接口能返回模型列表,再回到 Dify 的模型供应商里选本地推理类配置填地址。模型名要和 Ollama 里拉下来的标签逐字一致,错一个字符就报找不到。

  • Ollama 服务是否在运行
  • 容器到宿主机的端口是否可达
  • 目标模型是否已下载到本地
  • 填写的模型名是否与标签逐字一致

按显存和并发定档位,别凭感觉选模型

先用系统工具量出这台机器的可用显存和内存,再决定参数量与量化档位。反过来先选好模型再迁就硬件,基本都会翻车。量化档位本质是显存和质量的交换:档位越低越省显存,长文和推理类任务掉得更明显。

参数量
模型规模的粗略指标,越大越吃显存
量化档位
压缩程度,越低越省显存但质量损失越明显
并发
同时处理的请求数,会显著影响可用上下文和速度

并发要单独算:一个人用和几个人同时用,同一张卡的可用上下文和响应速度差别很大。具体能带多大的模型、多少并发,到站内的部署测算相关页面按你机器实际数值核对,别套别人的配置。

跑通之后怎么确认它是真的可用

界面能出结果不代表链路正确。用同一个提示词分别走 Dify 编排链路和直连 Ollama,对比两次输出是否一致;如果差异很大,多半是中间层的参数或模板配置在起作用,而不是模型本身的问题。

  • 对比 Dify 链路与直连 Ollama 的输出差异
  • 测首字延迟和稳定输出速度,判断卡顿来源
  • 把容器和模型服务设成开机可恢复
  • 改动配置前记录一份当前可用状态

首字延迟高但后续输出顺畅,通常是模型加载或调度问题;全程都慢才考虑硬件吃紧。把容器和模型服务设成开机可恢复,能省掉每次重启手动拉一遍的麻烦。改配置前先记录一份当前可用状态,改坏了能退回去。

下一步想按自己这台机器的真实配置核对能带多大的模型和并发,把实际显存、内存数值带到站内测算页面对一遍,比抄别人的配置靠谱。

常见问题

Windows 上非得用 Docker 跑 Dify 吗,能不能直接装?

官方主推的还是容器方式,因为 Dify 依赖的组件比较多,手动拼环境在 Windows 上更容易出依赖问题。用 Docker Desktop 配合 WSL2 是最省事的路径。如果你只是想试用,也可以先装 Docker 再按容器方式起;真要裸装,时间成本通常比排错成本高,不太建议。

Dify 里填了本地地址却连不上,先查什么?

先确认 Ollama 服务本身在跑、能返回模型列表;再确认这个地址是从容器内部能访问到的地址,而不是你在宿主机浏览器里能打开的地址。宿主机和容器是两个网络视角,这是最常见的坑。最后核对模型名是否和本地拉下来的标签完全一致,然后才去看防火墙和端口占用。

这台机器能带动多大的模型,怎么判断?

没有统一答案,取决于你的显存、内存和量化档位。稳妥做法是先量出实际可用显存,再按参数量和量化折算占用,同时把并发留出余量。站内有部署测算相关的页面,输入你的实际硬件数值就能得到对应区间,比照搬别人的机型配置靠谱得多。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。