多数人卡在同一个地方:ollama 拉完模型能聊天,翻出 dify 想串成工作流,结果模型填不进、地址不通、知识库答非所问。这篇不讲哪个模型更强,给的是一份按天推进的自测清单——一星期内你能自己判断这套组合在手里值不值,不合适该退到哪一步。
很多人装完 ollama,命令行里聊得挺顺,回头打开 dify 想串成工作流,第一步就卡住了:模型填不进去、地址不通、知识库答得驴唇不对马嘴。这篇不聊哪个模型更强,给的是按天推进的自测顺序——一周之内你自己就能判断,这套组合在手里值不值,不合适该退回到哪一步。
先说清楚适用范围。如果只是想要个本地聊天窗口,随手问两句,dify 这一层可以直接省掉,装了也是负担。真正值得往下试的场景,是你手里有重复的活要交出去,比如整理会议记录、核对文档、批量过一遍资料。这三件事先定下来:跑什么活、谁在用、坏了谁修。模型名字放最后挑。
第一周定生死,别把时间花在挑模型上
新手最容易掉进去的坑,是把第一周全花在比较模型上。今天拉一个,明天换一个,每个都聊两句,感觉都差不多。等真要接进 dify,才发现之前那些比较基本白做。第一周的价值不在挑出最强的模型,而在把整条链路走通一遍,知道它卡在哪。
判断标准很简单:能聊天只是第一层,真正的分界线是 dify 能不能稳定拿到 ollama 的返回。稳定的意思是隔几个小时再问一次,结果照样出来,不会因为模型被换出内存就卡半天。这条过了,后面才有得谈。
第一层:模型先跑通,别急着接工作流
这一层的目标是确认模型在你机器上能稳定出结果,别的先不管。做法是从命令行直接发一句话,连问几遍,看返回是否一致、速度是否可接受。这一步不碰 dify,出问题也好定位——是模型本身跑不动,还是接口那一层没通。
接着把显存和量化档位对一遍。模型能不能常驻、会不会被系统换出,直接决定你后面用起来的体感。隔几小时再问一次同一个问题,第一次响应明显变慢,多半就是被换出了。这个现象在小显存机器上很常见,不是模型坏了。
- 常驻
- 模型加载后一直留在显存里,响应稳定;被换出后第一次调用要重新加载,会明显变慢
- 量化档位
- 同一模型的不同压缩程度,档位越低越省显存,输出质量也会跟着变,按任务需要选
- 任务分堆
- 把活按类型分开,比如改写类、抽取类、问答类,每类挑一个够用的模型,别指望一个通吃
模型选型别看榜单名字。榜单上的名次和你的机器、你的任务不是一回事。按任务分堆更实际:改写的挑一个,抽取的挑一个,问答的挑一个,各自跑通就行。具体哪个型号适合哪类活,站内模型资料库有整理,到 /models 按任务类型翻一遍,比在榜单上纠结快得多。
第二层:dify 拿到 ollama 的返回,这一步最容易折
这一步是整条链路里翻车最多的地方,而且表现高度一致:dify 里点测试,转两圈,报连不上。很多人第一反应是模型没拉对,其实十有八九是地址填错了。dify 跑在容器里,容器里的 127.0.0.1 指的是容器自己,不是你宿主机上的 ollama。
所以地址得写成宿主机在容器网络里能被访问到的那个地址,不是本机回环地址。这一条想清楚,后面填的三格才有意义:模型名、端口、是否流式。三格错任何一格,dify 给你的提示都是「连不上」,看提示根本分不出是哪格的问题。
- 先确认 ollama 服务活着在宿主机上直接发一条请求,能正常返回就说明服务没问题,问题在下游
- 再确认端口通不通从 dify 容器内部去连宿主机的 ollama 端口,连不上就是网络或地址的问题,跟模型无关
- 最后核对 dify 里的三格模型名要和 ollama 里实际拉下来的一致,端口对得上,流式开关按需设,改完重新测试
排查顺序反了会很痛苦。先怀疑模型、再怀疑 dify,最后才想到地址,绕一大圈。按「服务活没活、端口通不通、地址从容器里能不能到」这个顺序走,通常几分钟就能定位。地址这一层过了,dify 里能正常测试通过,再往下走工作流。
第三层:串一条真活,别只做演示
到这一层,很多人会拿官方示例跑一遍,看到流程走完、有输出,就觉得成了。演示能跑通和能交差是两回事。挑一件你这周真要交出去的活来试,比如把一段会议记录整理成待办清单,或者核对两份文档里对不上的地方。真活有格式要求,有交付对象,跑不通就是跑不通。
我见过最常见的失败,是先在工作流里堆五六步再调试。前面几步各自有点小毛病,报错串在一起,根本分不出是哪一步出的问题。建议两步两步地加,每加一步就单独跑一次,确认这一步的输出是你想要的,再往下接。
输出格式的约束要写进提示节点,别指望模型自己猜。给谁看、要多长、不能出现什么,这三件事写进开头,交出去的东西才不用返工。工作流跑通只是及格,能直接粘进你日常那套流程里用,才算过关。
第四层:知识库答不准,问题往往不在模型
知识库答非所问,第一反应通常是「模型不行,换一个」。实际用下来,问题多数出在前面:切分切碎了,或者召回根本没拿到那段内容。嵌入模型和对话模型是两件事,嵌入负责把文档变成可检索的向量,对话模型负责根据召回到的内容组织回答。换对话模型解决不了召回的问题。
判断方法很土但有效:准备三五个你心里有标准答案的问题,拿去问,答不上来就记一笔,是压根没召回到相关内容,还是召回对了但回答读偏了。前者去调切分和召回,后者才轮到换对话模型或改提示词。
| 现象 | 先查哪里 | 说明 |
|---|---|---|
| 答非所问,内容完全跑偏 | 切分与召回 | 多半是没召回到正确段落,跟对话模型关系不大 |
| 召回内容对,回答读错 | 提示词与对话模型 | 约束写清楚,再考虑换更合适的对话模型 |
| 同一个问题时好时坏 | 召回数量与切分粒度 | 切得太碎或召回太少,答案会飘 |
| 换个问法就答不上 | 嵌入模型与文档表述 | 问法和原文差太远,先看召回是否命中 |
这张表不是万能钥匙,但能帮你少走弯路。尤其是最后一行,很多人换了一轮模型,问题还在,因为压根没往召回那层想。切分粒度和召回数量这类参数,站内工具目录里有相关工具的说明,到 /tools 翻一下,比盲目调参省事。
一周后怎么下结论
一周下来,别凭感觉说「还行」。记三类东西:能不能稳定跑、单次等待多久、错了能不能自己修。第一类是稳定性,隔天再用是否照常;第二类是体感,等太久人就不想用了;第三类是可控性,出问题时你知道从哪一层开始查,还是只能干瞪眼。
值的判断标准是这套组合替你省下了重复劳动,不是「装好了挺酷」。如果一周里你真正用它交出去的活屈指可数,那它在你手里就是个玩具,留着占资源。反过来,哪怕只稳定替代了一件每周都要做的杂活,这笔投入就站得住。
也要认清单机组合的边界。多人同时用、要对外提供服务,这套东西的瓶颈会很快暴露,响应排队、显存不够、谁改了配置没人知道。这类场景不是靠调参能解决的,得换思路。具体哪类部署适合什么规模,站内指南中心有对照,到 /guides 按使用人数筛一下再决定。
照着念的自测清单
最后给一份能直接照着念的清单。不用全过,但哪条挂了,你就知道该回哪一层补。这张表建议存下来,下次换机器或换模型时还能用。
- 模型常驻:隔几小时再问一次,第一次响应是不是明显变慢
- 地址:从 dify 容器内部能不能连到 ollama 端口,别只看宿主机本机
- 三格:模型名、端口、流式开关,逐一和 ollama 实际状态对一遍
- 真活:拿一件本周要交的活跑一遍,输出能不能直接粘进日常流程
- 知识库:三五个有标准答案的问题,记下是没召回到还是读错了
- 回退:坏的时候你知道从哪一层开始查吗,查的顺序写下来了吗
清单里最容易被忽略的是最后一条。会修比能跑更重要,因为能跑只是一时的,坏是迟早的。把排查顺序写下来贴在旁边,下次出问题不用从头想。
下一步模型和价格这类会变的数字,别记在脑子里。各家官方 API 的当时报价和模型资料,到站内价格页面核对;中转站靠不靠谱,用可信度检测过一遍再决定要不要接。先把数字看准,再谈怎么配。→常见问题
dify 必装吗,只用 ollama 不行吗?
看你缺不缺编排。只有一个人问一句话、不需要流程和多步处理,ollama 加个聊天界面就够。要串检索、多步调用、给别人用,dify 这层才有价值。判断标准是:你手上的活能不能拆成固定几步。
dify 里填了 ollama 地址还是连不上,先查哪?
先确认 ollama 服务本身能应答,再看端口从 dify 所在的环境能不能通。容器里填 127.0.0.1 指的是容器自己,多数「连不上」就卡在这格。地址改对之后再看模型名有没有写全。
本地这套和直接调 API 比,什么时候不值得?
活不多、要求快出结果、又不想维护机器,直接调 API 更省心。本地这套的代价在机器之外的维护和排查时间,值和不值要按你一周实际用了几次来算,不是按装没装上。
知识库答不准,是换模型还是重做检索?
先重做检索。用几个有标准答案的问题试,看是没召回到原文,还是召回到了却读错。前者调切分和嵌入,后者再动提示和对话模型。一上来换模型,等于把两个变量一起改了。
这套组合能撑多少人用?
单机内存和显存轮换会直接体现在等待时间上,一两个人错开用和几个人同时用是两回事。要对外提供服务,先量并发下的延迟基线,别拿自己一个人的体验做容量判断。