你搜这几个词,多半是照着教程装完 Ollama,结果模型跑起来风扇狂转但慢得离谱,或者压根没认出你的 Intel 显卡。这篇不讲概念,就按「先确认它到底在哪跑、再决定要不要折腾加速」的顺序走一遍。什么时候该收手改用别的方式,文里也写了。
你搜这几个词,多半是照着某个教程把 Ollama 装完了,结果小模型跑起来风扇狂转,出字慢得离谱;更奇怪的是,任务管理器里 CPU 拉满,显卡却像没参与。也有人压根没认出 Intel 显卡,装完就是纯 CPU 在硬扛。这篇不铺概念,就按「先确认它到底在哪跑,再决定要不要折腾加速」的顺序走一遍。
先把一件事说透:Ollama 本身负责把模型拉下来、按格式跑起来,真正决定快慢的是它落到哪一层后端。Intel 这边的情况比 NVIDIA 麻烦,核显和 Arc 独显是两条完全不同的路。所以下面每节的判断标准都围绕同一个问题——你现在这一跑,算力到底花在谁身上。
先别急着装驱动,先确认它现在到底跑在哪
很多人一上来就找驱动、翻教程改环境变量,改了一圈更乱。先把这一次推理的真实去向搞清楚,后面所有排查才有方向。判断方法很土但有效:启动一个固定提示词的小模型,盯着日志看它加载后端时的输出,同时开着资源监视器看推理那几秒是 GPU 占用在涨,还是 CPU 某个核拉满、其他核闲着。
慢也分两种,别混为一谈。一种是一次加载很久,模型权重从磁盘搬进内存再往显存塞,这多半是显存或内存不够在换页;另一种是加载完开始出字,每秒就蹦几个字,这才是纯算力不够。前者去减模型体积,后者才值得去看加速后端。
- 看日志里加载后端的输出,确认这次是 GPU 还是纯 CPU,这一步决定后面往哪查
- 用同一个固定提示词跑两遍,记下从提交到出第一个字的时间、以及每秒出多少字,两个数分开看
- 换一个更小的量化档位再跑一遍,如果速度明显不同,说明之前卡在显存或内存换页,不是算力问题
- 关掉其他吃显存的程序再测一次,浏览器标签页多的时候,共享显存被占走很常见
Intel 这头的现实:核显和 Arc 独显不是一回事
集成显卡没有独立显存,能分到的是从系统内存里划出来的一块,模型稍微大一点就溢出回落到 CPU。表现很有意思:不是一直慢,而是时快时慢,前几轮还行,多聊几轮突然卡住。你要是在这种机器上追加速,方向本身就偏了。
Arc 独显是另一码事,它有自己的显存,但需要对应的加速后端和驱动版本配合。驱动版本对不上时的典型现象是「能跑,完全没加速」——日志不报错,任务也正常结束,就是速度跟 CPU 差不多。这种情况光看报错是看不出来的,只能靠前面的资源监视器对照。
| 现象 | 大概率在哪一层 | 先做什么 |
|---|---|---|
| GPU 占用几乎为零,CPU 单核拉满 | 后端没落到显卡上 | 查日志加载的是哪个后端,再对驱动 |
| 时快时慢,聊几轮后突然变慢 | 核显共享显存溢出 | 换更小的量化档位,别急着调参 |
| 能跑但速度和纯 CPU 一样 | 驱动版本与后端不匹配 | 先固定一个可用组合,再逐项改 |
| 加载阶段很久,出字之后正常 | 内存或显存不够在换页 | 减模型体积,关掉占显存的程序 |
环境变量的排查顺序,别一次改五个
这块最常见的翻车是把加速相关的开关、绑定地址、模型存放路径一股脑塞进同一个地方,然后出问题完全分不清是谁的锅。正确做法是分层动手,一次只碰一个变量,改完重启服务再测。凭「感觉快了」不算数,用固定提示词跑两遍记耗时。
- 确认服务本身稳先只把 Ollama 服务拉起来,发一次最简单的请求,能稳定返回再往下走;服务都没起稳的时候改任何参数都是自找混乱。
- 固定一个基线把当前能用的后端、驱动、模型档位记下来,跑一次完整推理并记下两组耗时,这就是你的回退点。
- 一次只改一个变量改完必须重启服务,再用同一个提示词重测。改两个以上变量,等于没测。
- 分开记账加速相关设置和绑定地址、模型路径这类运维设置分开记录,出问题时先看最近动过哪一类。
什么情况下不值得继续折腾
这话得说在前面:不是所有机器都值得调。要是你的本子是轻薄本核显,又想跑中大参数量的模型,调参的收益上限很低,显存一溢出就回落 CPU,你调驱动调半天不如直接换个小一档的量化模型。这不是技术问题,是硬件天花板。
还有一种情况是你要的是稳定对外提供服务,而不是自己试玩。那本地这台机器的散热和内存会先成为瓶颈,长时间高负载下性能还会掉。这种场景该考虑租卡或者干脆走 API,别在本地死磕。
- 只是偶尔跑一跑、对延迟不敏感,能用就先别动,折腾驱动的时间成本往往高于省下的那点等待
- 需要多人同时用或者长时间跑,本地散热和内存先撑不住,换思路比换驱动有用
- 换完驱动速度没变化,先回退到基线,别在坏状态上继续叠加改动
- 模型档位已经是最小的量化还慢,那基本是硬件上限,收手
留一条能回退的基线,比调通更重要
调通不算本事,出问题能退回去才算。动手前把当前可用的配置、后端类型、一次完整推理的耗时记在一个文本文件里。之后每换一次模型或驱动,都重新测一遍——别拿旧数据判断新环境,模型换过之后耗时完全不是一回事。
Intel 这边的驱动和加速后端适配情况变得挺快,今天能跑的组合,更新一次系统可能就不一样了。所以除了本地记基线,也建议隔一阵回站内核对当时的信息,别照着半年前的记忆判断。至于具体哪套组合在你的硬件上表现如何,得自己去 /tools/speed-test 跑一遍,别人机器上的数字对你没有参考价值。
下一步想对比不同硬件和模型档位下的实际表现,到站内的速度测试页自己跑一轮,比看任何教程都直接。→常见问题
Ollama 装了但完全认不出 Intel 显卡,是不是装错了?
先分清是「认不出」还是「认出了没启用」。启动时看日志有没有加载到对应的加速后端,任务管理器里看推理时 GPU 有没有占用。两者都没有,再回去核对驱动版本和 Ollama 版本是否配套,不要一上来就重装整套环境。
核显上跑 Ollama 是不是就没救了?
不是没救,是要把预期摆正。核显吃的是共享内存,模型一大就溢出回落到 CPU,表现是忽快忽慢。小参数量、低量化档位的模型还能用;中大模型指望它流畅不现实,这时候换思路比继续调参划算。
加速开起来之后还是慢,下一步查什么?
先量清楚慢在哪一段:是加载慢还是出字慢。加载慢看内存和显存够不够,出字慢才轮到算力。然后再确认是不是实际还在跑 CPU 后端。按这个顺序走,比反复换模型有效得多。