ollama for intel常见问题:卡住的往往不是模型,是下面这几层

模型与算力

把 Intel 核显、Arc 独显上跑 Ollama 常遇到的识别不到、跑成 CPU、速度上不去几类问题拆开,给出先查哪一层、按什么顺序排查的做法。

你搜这几个词,多半是照着教程装完 Ollama,结果模型跑起来风扇狂转但慢得离谱,或者压根没认出你的 Intel 显卡。这篇不讲概念,就按「先确认它到底在哪跑、再决定要不要折腾加速」的顺序走一遍。什么时候该收手改用别的方式,文里也写了。

你搜这几个词,多半是照着某个教程把 Ollama 装完了,结果小模型跑起来风扇狂转,出字慢得离谱;更奇怪的是,任务管理器里 CPU 拉满,显卡却像没参与。也有人压根没认出 Intel 显卡,装完就是纯 CPU 在硬扛。这篇不铺概念,就按「先确认它到底在哪跑,再决定要不要折腾加速」的顺序走一遍。

先把一件事说透:Ollama 本身负责把模型拉下来、按格式跑起来,真正决定快慢的是它落到哪一层后端。Intel 这边的情况比 NVIDIA 麻烦,核显和 Arc 独显是两条完全不同的路。所以下面每节的判断标准都围绕同一个问题——你现在这一跑,算力到底花在谁身上。

先别急着装驱动,先确认它现在到底跑在哪

很多人一上来就找驱动、翻教程改环境变量,改了一圈更乱。先把这一次推理的真实去向搞清楚,后面所有排查才有方向。判断方法很土但有效:启动一个固定提示词的小模型,盯着日志看它加载后端时的输出,同时开着资源监视器看推理那几秒是 GPU 占用在涨,还是 CPU 某个核拉满、其他核闲着。

慢也分两种,别混为一谈。一种是一次加载很久,模型权重从磁盘搬进内存再往显存塞,这多半是显存或内存不够在换页;另一种是加载完开始出字,每秒就蹦几个字,这才是纯算力不够。前者去减模型体积,后者才值得去看加速后端。

  • 看日志里加载后端的输出,确认这次是 GPU 还是纯 CPU,这一步决定后面往哪查
  • 用同一个固定提示词跑两遍,记下从提交到出第一个字的时间、以及每秒出多少字,两个数分开看
  • 换一个更小的量化档位再跑一遍,如果速度明显不同,说明之前卡在显存或内存换页,不是算力问题
  • 关掉其他吃显存的程序再测一次,浏览器标签页多的时候,共享显存被占走很常见

Intel 这头的现实:核显和 Arc 独显不是一回事

集成显卡没有独立显存,能分到的是从系统内存里划出来的一块,模型稍微大一点就溢出回落到 CPU。表现很有意思:不是一直慢,而是时快时慢,前几轮还行,多聊几轮突然卡住。你要是在这种机器上追加速,方向本身就偏了。

Arc 独显是另一码事,它有自己的显存,但需要对应的加速后端和驱动版本配合。驱动版本对不上时的典型现象是「能跑,完全没加速」——日志不报错,任务也正常结束,就是速度跟 CPU 差不多。这种情况光看报错是看不出来的,只能靠前面的资源监视器对照。

现象大概率在哪一层先做什么
GPU 占用几乎为零,CPU 单核拉满后端没落到显卡上查日志加载的是哪个后端,再对驱动
时快时慢,聊几轮后突然变慢核显共享显存溢出换更小的量化档位,别急着调参
能跑但速度和纯 CPU 一样驱动版本与后端不匹配先固定一个可用组合,再逐项改
加载阶段很久,出字之后正常内存或显存不够在换页减模型体积,关掉占显存的程序

环境变量的排查顺序,别一次改五个

这块最常见的翻车是把加速相关的开关、绑定地址、模型存放路径一股脑塞进同一个地方,然后出问题完全分不清是谁的锅。正确做法是分层动手,一次只碰一个变量,改完重启服务再测。凭「感觉快了」不算数,用固定提示词跑两遍记耗时。

  1. 确认服务本身稳先只把 Ollama 服务拉起来,发一次最简单的请求,能稳定返回再往下走;服务都没起稳的时候改任何参数都是自找混乱。
  2. 固定一个基线把当前能用的后端、驱动、模型档位记下来,跑一次完整推理并记下两组耗时,这就是你的回退点。
  3. 一次只改一个变量改完必须重启服务,再用同一个提示词重测。改两个以上变量,等于没测。
  4. 分开记账加速相关设置和绑定地址、模型路径这类运维设置分开记录,出问题时先看最近动过哪一类。

什么情况下不值得继续折腾

这话得说在前面:不是所有机器都值得调。要是你的本子是轻薄本核显,又想跑中大参数量的模型,调参的收益上限很低,显存一溢出就回落 CPU,你调驱动调半天不如直接换个小一档的量化模型。这不是技术问题,是硬件天花板。

还有一种情况是你要的是稳定对外提供服务,而不是自己试玩。那本地这台机器的散热和内存会先成为瓶颈,长时间高负载下性能还会掉。这种场景该考虑租卡或者干脆走 API,别在本地死磕。

  • 只是偶尔跑一跑、对延迟不敏感,能用就先别动,折腾驱动的时间成本往往高于省下的那点等待
  • 需要多人同时用或者长时间跑,本地散热和内存先撑不住,换思路比换驱动有用
  • 换完驱动速度没变化,先回退到基线,别在坏状态上继续叠加改动
  • 模型档位已经是最小的量化还慢,那基本是硬件上限,收手

留一条能回退的基线,比调通更重要

调通不算本事,出问题能退回去才算。动手前把当前可用的配置、后端类型、一次完整推理的耗时记在一个文本文件里。之后每换一次模型或驱动,都重新测一遍——别拿旧数据判断新环境,模型换过之后耗时完全不是一回事。

Intel 这边的驱动和加速后端适配情况变得挺快,今天能跑的组合,更新一次系统可能就不一样了。所以除了本地记基线,也建议隔一阵回站内核对当时的信息,别照着半年前的记忆判断。至于具体哪套组合在你的硬件上表现如何,得自己去 /tools/speed-test 跑一遍,别人机器上的数字对你没有参考价值。

下一步想对比不同硬件和模型档位下的实际表现,到站内的速度测试页自己跑一轮,比看任何教程都直接。

常见问题

Ollama 装了但完全认不出 Intel 显卡,是不是装错了?

先分清是「认不出」还是「认出了没启用」。启动时看日志有没有加载到对应的加速后端,任务管理器里看推理时 GPU 有没有占用。两者都没有,再回去核对驱动版本和 Ollama 版本是否配套,不要一上来就重装整套环境。

核显上跑 Ollama 是不是就没救了?

不是没救,是要把预期摆正。核显吃的是共享内存,模型一大就溢出回落到 CPU,表现是忽快忽慢。小参数量、低量化档位的模型还能用;中大模型指望它流畅不现实,这时候换思路比继续调参划算。

加速开起来之后还是慢,下一步查什么?

先量清楚慢在哪一段:是加载慢还是出字慢。加载慢看内存和显存够不够,出字慢才轮到算力。然后再确认是不是实际还在跑 CPU 后端。按这个顺序走,比反复换模型有效得多。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。