ollama使用教程deepseek

模型与算力

给想本地跑 DeepSeek 的人一份 Ollama 实操流程:从装环境、拉模型、跑起来,到显存不够时怎么换量化档位。

你大概是在某篇教程里看到「一条命令就能本地跑 DeepSeek」,结果装完 Ollama 发现拉下来跑不动,或者跑了但慢得没法用。这篇不讲原理,就按顺序把动作列清楚:先确认机器够不够,再选哪个模型标签,然后拉取、运行、验证,最后处理最常见的几种报错。每一步都告诉你卡住了该去看站内哪一页。

你大概是在某篇教程里看到「一条命令就能本地跑 DeepSeek」,结果装完 Ollama 发现拉下来跑不动,或者跑了但慢得没法用。这篇不讲原理,就按顺序把动作列清楚:先确认机器够不够,再选哪个模型标签,然后拉取、运行、验证,最后处理最常见的几种报错。每一步都告诉你卡住了该去看站内哪一页。

先说清楚一件事:Ollama 只是把「下模型、加载权重、起一个本地接口」这几步包起来了,它不会帮你把显存变多,也不会自动帮你选对量化档位。所以真正决定成败的是拉之前的判断,不是命令行本身。下面按顺序走,卡在哪一步就跳到对应的排查段。

先别急着拉,先算一遍你的机器能不能扛

同一款模型的参数量不同、量化档位不同,占用能差出一大截。很多人失败不是硬件不行,是拉了一个自己机器根本放不下的版本。开始下载之前,先去站内的部署页按你手上的卡和想跑的规模过一遍,拿到一个大概的显存区间,再决定拉哪个标签。凭感觉买卡或者凭感觉下模型,是最容易白折腾的一步。

  1. 确认显卡被认到Ollama 装完先跑一条查看设备的命令,看它列出的加速设备里有没有你的独显。只列出核显说明驱动或运行环境没对上,这时候拉多大的模型都没意义。命令的写法可以直接在 Ollama 文档里找,输出里没有独显就先解决驱动。
  2. 按算出来的档位选标签到 /models 搜 DeepSeek 的条目,看清每个变体对应的参数量和量化方式,再回到 /models/deploy 用你的显存去对。选标签时宁可小一档,也别硬上大一档。
  3. 留够磁盘空间模型文件是几十 GB 级别的,系统盘快满会在下载的最后阶段直接断掉,很多人卡在 99% 就是这里。下载前先确认目标盘剩余空间比模型体积大出一截。

拉取与运行:一步一步敲,别抄错标签

仓库里的模型名带着后缀才能区分参数量、量化方式和微调版本。直接敲一个大名字,很可能默认给你拉最新最大的那个,于是显存刚好不够。所以拉之前一定要在站内模型库里把条目的完整名字对一遍。名字对上了,后面的问题就好定位了。

你看到的标签特征大概率是什么该怎么办
名字带 size 或参数规模数字参数量不同的一档按你算出的显存档位选,不要默认选最大
名字带量化前缀或后缀同一权重的不同压缩版本显存临界时优先选更小的那档
名字带 instruct 之类字样对齐过对话格式的版本做问答和指令任务优先用这个
只有一个大名字没有后缀默认指向的通常是最新最大先去 /models 对照条目再拉
  • 拉取命令跑完不等于能跑,第一次运行会做加载和预热,前几秒慢是正常的;一直卡着不动,先怀疑在等显存分配。
  • 跑起来先用一句话试探,让它回一句短答,确认输出正常、速度可接受,再去喂长文档或者接代码。
  • 接代码或者接工具调用之前,先单独验证一次纯文本输出,不然出错时分不清是模型问题还是你的提示词格式问题。
  • 想把外部下载的权重拿进来跑,加载路径和命令写法跟走仓库不一样,先按 /models/deploy 的推算结论对齐你的显存档位再动手。

跑不起来、跑得太慢,按这个顺序排查

出问题时不要一上来就重装,也不要立刻换一个完全不同的模型。绝大多数「跑不动」和「慢得没法用」都出在显存放不下,导致推理时要在显存、内存、硬盘之间来回搬数据。按下面的顺序逐条排除,能省下大量时间。

排查顺序看什么判断标准
先看显存是否溢出模型体积和当前占用占用明显超过显存就是溢出,换档而不是换模型
再看有没有别的程序占卡浏览器、游戏、其它推理进程关掉无关程序后速度明显回升,就是抢占导致
然后看档位能不能降同系列更低比特的版本降档后能跑但质量下降,属正常取舍
最后才看日志报错缺依赖、驱动版本、权重格式报错指向具体组件,再针对性处理

降档还是换模型的取舍标准,可以翻 /ai-dict/category/tech 把量化、比特这些词的含义对上再决定。一般来说,同系列换更低的量化版本,比直接换一个完全不同系列的小模型更省事,代价是质量会掉一点。至于这两种做法在你的场景下差多少,到站内的模型对比页看当时的实测口径。

什么时候该停止折腾本地这套

本地跑有它的价值:数据不出内网、不用排队、想怎么改就怎么改。但它也有明确的天花板,有些场景下继续调参是纯粹的沉没成本。下面几条是判断该不该收手的标准。

  • 任务需要长上下文、大批量或者多人同时用:本地单机的吞吐天花板很低,把调参的精力花在租卡或者按量调接口上更划算。
  • 只是偶尔用几次:装环境、下模型、反复调显存的时间成本,很可能高于直接调一次接口,这类人先去 /official-api 把各家官方口径看清再决定。
  • 机器显存正处在临界值:跑得动但每次都要盯着占用,这种体验很难长期用,要么降一档要么换硬件,别指望优化能救回来。
  • 合规要求数据必须留在内网:这时候本地跑的意义不在成本,而在数据不出门,判断标准跟上面几条完全不同。
本地跑得动不等于用得下去,卡在显存临界值的机器,早晚要逼你做一次降档或者换硬件的决定。
下一步先把你要跑的档位算清楚,再去模型库对标签,顺序反了就会白下一遍。

常见问题

拉下来直接跑,报显存不够怎么办?

先别删模型。去 /models/deploy 按你显卡的显存反推能跑的参数量与量化档位,然后换一个更小的量化标签重新拉,通常能直接跑起来。如果连最小的档位都放不下,那就是硬件确实不够,不是配置问题,别再花时间调参。

本地跑出来的效果比网页版差,是正常的吗?

正常,两边通常不是同一个规格。本地为了塞进你的显存一般会用更低的量化精度,输出会更啰嗦、更容易答偏。同一模型同一档位下如果差别还很大,先检查你的提示词和上下文长度是不是超了,别急着归结到模型不行。

Ollama 跑起来慢,换显卡就能解决吗?

不一定。慢的原因有三种:显存不够导致部分层跑到内存上、卡本身的算力档位偏低、或者是你在跑长上下文。前两种换卡有用,第三种换卡帮助有限。先按排查顺序确认瓶颈在哪,再去 /compute/gpus 看规格对比,别直接下单。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。