你可能已经在网页上用过 DeepSeek R1,但数据不想出内网、或者只是想断网也能用,于是想在自己机器上跑一个。Ollama 是目前门槛最低的一条路,但真正卡人的往往不是命令记不住,而是拉下来跑不动、显存报错、速度慢到没法用。这篇按「先确认能不能跑、再拉、再启动、最后排查」的顺序讲一遍,让你少走几趟弯路。
你可能已经在网页上用过 DeepSeek R1,但数据不想出内网,或者只是想断网也能用,于是动了在自己机器上跑一个的念头。Ollama 是目前门槛最低的一条路:装一个客户端,拉一个模型,敲一条运行命令,就能进交互界面打字。
真正卡人的往往不是命令记不住,而是拉下来跑不动、显存报错、速度慢到没法用。这篇按「先确认能不能跑、再拉、再启动、最后排查」的顺序讲一遍,每一步都给出可验证的动作,让你少走几趟弯路。
动手前先确认三件事:机器、量化档位、网络
别急着敲命令。先花五分钟把这三个前提捋清楚,比事后删几十 GB 权重再重下划算得多。机器决定你能不能装、装哪种方式;量化档位决定显存和内存够不够;网络和磁盘决定你要等多久、够不够放。
- 确认系统与加速后端:Windows、macOS、Linux 装法各不相同,装完先用一条最简单的命令确认服务已经起来、能正常回应;
- 模型体积要按量化和显存一起看,参数越大对显存和内存的要求越高,具体档位对照到 /models/deploy 按你手上的卡算一遍,别凭感觉下;
- 磁盘和下载速度也是硬门槛,权重文件动辄几十 GB,先确认默认模型存放路径在哪、剩余空间够不够;
- 纯 CPU 跑不是不能跑,但要提前接受输出速度慢这个事实,先想清楚自己是拿来试玩还是真要干活。
| 先确认什么 | 怎么看 | 不达标时怎么办 |
|---|---|---|
| 服务能否启动 | 装完跑最简命令看有没有正常回应 | 换安装方式或先排查端口占用 |
| 显存/内存够不够 | 对照 /models/deploy 的档位说明 | 降一档量化,或改用更小参数规格 |
| 磁盘空间 | 看模型默认存放路径所在盘剩余量 | 换盘或清理旧模型 |
| 能不能吃到显卡 | 跑起来后开终端看资源占用 | 到 /ollama-gpu-selection 查指定显卡的方法 |
拉取与启动:一条命令背后的几个选择
确认完前提就可以动手了。拉取、确认落地、进交互,三步下来模型就跑起来了。第一次启动会比后面慢,因为要加载权重,属于正常现象,不要以为卡死了就去强杀进程。
- 拉取模型用 Ollama 的拉取命令把模型取到本地,观察进度条是否正常推进;中断了可以重跑,已下载部分一般会续上。
- 确认已落地用列表命令看模型是否出现在本地清单里,名字和大小对得上才算成功。
- 进交互用运行命令进入对话界面,随便问一句,能出完整回答就说明链路通了。
- 起个好记的别名把模型拉成自己好记的别名,方便后面被别的工具调用时统一引用,省得每次翻清单找名字。
要让别的程序调用,走它自带的本地接口即可,接口地址和端口这类细节写在站内 /ollama-api-endpoint-guide 那类页面里,不用自己猜。选哪个规格的 R1 要跟你的显存对齐:显存吃紧就选更激进的量化版本,用一点质量换速度和可用性,这是常规做法,不是妥协。
跑起来但不好用:慢、卡、报错怎么排
能进交互不代表能干活。最常见的抱怨有两类:一是加载阶段就卡住或直接报错,二是能出字但慢得让人抓狂。这两类的成因完全不同,排查顺序也不能混。
先分清是「装不上」还是「跑得慢」。加载阶段卡住,多半是显存或内存不够,模型压根没被完整装进设备;生成阶段慢,多半是没吃到 GPU,纯靠 CPU 在硬扛。判断清楚再动手,不然容易白折腾。
- 确认它到底有没有用上显卡,多卡机器还要指定用哪一张,站内 /ollama-gpu-selection 有具体做法;
- 显存不够时按「换更小的量化 → 缩短上下文 → 减少并发」这个顺序降级,别一上来就想着换硬件;
- 输出速度慢的常见原因是显存卸载和上下文开太大,站内 /local-inference-speed-tuning 里有成体系的调参思路;
- 报错信息先原样记下来再搜,很多报错只是同一个根因的不同说法,直接改参数比反复重装快。
| 现象 | 最可能的原因 | 先试哪一步 |
|---|---|---|
| 加载就卡住或报内存错 | 显存/内存不足 | 换更小量化档位 |
| 能出字但很慢 | 没吃到 GPU 或上下文过大 | 先查 GPU 占用,再缩上下文 |
| 多卡机器只用了一张 | 未指定设备 | 按 /ollama-gpu-selection 指定 |
| 长时间无响应 | 首次加载权重或磁盘慢 | 等一会儿,看进程是否在读写 |
什么情况下这条路不适用
Ollama 的定位是单机易用,它的长处是让你几分钟内跑起来,短处是不擅长压并发、也不负责帮你搭上层应用。如果你的需求落在下面这些场景里,硬走这条路只会越走越拧巴。
- 要多人同时用、要高并发吞吐:这不是 Ollama 的强项,应该去看推理框架选型类内容;
- 要接自己的知识库做检索问答:模型跑起来只是第一步,检索层得另外搭,别指望一个模型解决全部;
- 要跑满血超大参数版本:消费级单卡基本没戏,先按显存算清楚再决定是租卡还是走 API;
- 只是偶尔问几句、对数据出不出内网没要求:直接调官方接口更省事,本地跑纯属给自己找活干。
一份可照着走的启动清单
把上面的内容压成一张执行清单,按顺序走完,基本就能判断这条路对你通不通。每一步都有明确的通过标准,卡在哪一步就回到对应小节排查。
- 装好并验证服务装完 Ollama,用最简命令确认服务正常回应,这是后面所有操作的前提。
- 定量化档位与磁盘按显存对照 /models/deploy 选档,算出所需磁盘空间,不够就先清盘或换盘。
- 拉取并确认拉取模型,用列表命令确认已落地,名字和大小对得上。
- 进交互看资源运行模型进对话,另开一个终端看资源占用,确认 GPU 被吃到了。
- 跑长输出测速度让它输出一段较长的内容,记下大概的生成速度,判断自己能不能接受。
- 按需配接口需要被其他程序调用时,再配本地接口和端口,地址参考站内页面。
常见问题
我的电脑能跑得动 DeepSeek R1 吗?
没有统一答案,取决于你选哪个规格和哪种量化。判断顺序是:先看显存和内存够不够装下这个量化版本,再看生成速度能不能接受。把显卡型号和参数量带到站内 /models/deploy 的测算页面对一遍,别只看别人说「能跑」。纯 CPU 也能跑,只是慢。
拉取完了却启动失败、报显存不足怎么办?
先换更小的量化档位,这是最有效的一步;再缩短上下文长度;仍然不够就减少同时请求数。如果确认装的是小规格还是失败,检查是不是没吃到 GPU、或者模型文件没下完整。系统层面的排查顺序可以参照 /local-inference-speed-tuning 里的思路。
用 Ollama 跑和直接调 DeepSeek 官方接口差在哪?
Ollama 这条路的价值是数据不出本机、断网可用、没有按量计费;代价是要自己扛硬件、速度通常不如云端、并且模型规格受你机器限制。官方接口省心但需要联网和付费。两边到底哪边划算,可以参考站内 /self-host 讲的分界线,别重复算一遍。