windows下ollama使用gpu加速

在 Windows 上装完 Ollama 跑模型，最容易碰到的情况是：任务管理器里显卡风扇不转、CPU 却满载，回答一个字一个字往外蹦。这多半是 Ollama 没吃到 GPU，或者只吃了一半。这篇按「先确认驱动和卡、再改配置、最后验证」的顺序走一遍，顺带说清哪些显卡本来就加速不了，避免白折腾。

在 Windows 上装完 Ollama 跑模型，最容易碰到的情况是：任务管理器里显卡风扇不转、CPU 却满载，回答一个字一个字往外蹦。这多半是 Ollama 没吃到 GPU，或者只吃了一半——一部分层在显卡上跑，剩下的还压在 CPU 上。

这篇按「先确认驱动和卡、再改配置、最后验证」的顺序走一遍，顺带说清哪些显卡本来就加速不了，避免白折腾。全程不涉及具体跑分，要对照数据就到站内对应页面看当时的数字。

先确认你的卡到底能不能加速

别急着改配置，先在「卡能不能用」这一层做判断。Windows 上 Ollama 走的是各家显卡自己的计算后端，驱动没装好、装成了通用版、或者卡本身不在支持范围里，它就只能退回 CPU，而且不会给你一个明确的报错。

• NVIDIA 用户先看任务管理器或 nvidia-smi 能不能正常识别独显型号，驱动是否装的是官方完整驱动而不是系统自动匹配的通用版
• AMD 与 Intel 核显/独显的支持范围更窄，部分型号只能走特定后端，有些老卡干脆只能纯 CPU，先到 /ai-dict/category/hardware 把名词和代际对上再判断
• 显存不够时通常不报错，而是把一部分层留在内存里跑，表现就是「能跑但特别慢」，这属于混合推理，不是纯 CPU，也不是完整加速
• 不确定卡型号的，用系统信息或显卡控制面板确认具体型号后，再对照站内硬件词条判断有没有对应的计算后端

配置层：让 Ollama 认到你要用的那块卡

这一步的核心是「别让它猜」。多卡机器、带核显的笔记本、外接显卡的场景里，默认挑选顺序未必是你想要的那张，结果就是拿核显跑大模型，或者和显示器抢同一块独显。

指定设备

用环境变量显式告诉 Ollama 用哪块卡，避免它按默认顺序自己挑

驱动与运行库

显卡驱动版本、CUDA 运行库与 Ollama 版本三者要能对上，升级任一环节后建议重跑一次验证

常驻服务

Ollama 在 Windows 上是后台常驻进程，改完配置必须重启服务进程才生效，只关掉命令行窗口没用

1. 设环境变量在系统环境变量里加上指定显卡的配置项，多卡机器尤其要显式写清楚，不要把核显和独显都放开让它自己选
2. 重启服务从托盘退出 Ollama 再重新启动，或者用服务管理方式重启，确认进程是新的；只重开终端窗口配置不会重新读取
3. 先跑一个小模型选一个显存能轻松装下的小模型做首次验证，排除显存不足这个干扰因素，再换大模型
4. 记录当前状态把这一步的配置和现象记下来，后面排查速度没变化时能对比出是哪一步改动的效果

验证：怎么确认它真的在用 GPU

验证的关键不是「感觉快了」，而是看有没有卸载到显卡的层数提示，以及显存占用是否真的涨上去。层数接近全部才算完整加速，只卸了一部分就是混合推理。

要更客观一点，就到 /tools/speed-test 量前后两轮的出字速度做对照，比体感靠谱得多。想看当前各家方案的大致水平，到 /rankings 核对当时的数字，别把别人机器上的结果直接套到自己机器上。

• 速度没变化时按顺序排查：驱动是否装对 → 卡是否被正确指定 → 显存是否够 → 服务是否真的重启过
• 确认驱动后仍不生效的，换一个明显小一号的模型再试，先排除显存瓶颈
• 排查时一次只改一个变量，改完重启再测，不然分不清是哪一步起的作用

什么情况下别折腾 GPU 加速

有些场景下开 GPU 加速的收益还不如不折腾。判断标准很简单：显存装不下、任务本身很轻、或者机器权限不在你手里，这三种情况优先考虑别的方案。

• 显存明显小于模型需求时，强行开加速会因为反复换入换出更慢，不如降量化档位或换小模型
• 纯 CPU 也能接受的轻量任务、偶尔跑一次的临时问答，配置成本可能高于收益
• 公司统一发的办公本、驱动锁版本的机器，改驱动有合规风险，先问 IT 再动
• 显卡本身不在支持范围里的老机器，别在这上面耗时间，直接按 CPU 场景规划用法

先确认卡吃得下，再谈加速；卡吃不下的时候，调参只是在给换入换出加戏。