ollama for intel 怎么用

模型与算力

给用 Intel 核显或 Arc 独显的读者讲清 Ollama 怎么装、怎么确认跑在 GPU 上,以及加速不生效时按什么顺序排查。

很多人手上只有一台带 Intel 核显的笔记本,或者配了 Arc 独显的台式机,装完 Ollama 发现回答慢得像在念经,一看占用才发现全程 CPU 在扛。这篇不讨论该不该本地跑,只解决一件事:怎么让 Ollama 认出你的 Intel 卡、把计算真正甩给 GPU,以及认不出来时按什么顺序往下查。

很多人手上只有一台带 Intel 核显的笔记本,或者装了 Arc 独显的台式机,装完 Ollama 兴冲冲发一句话,结果回答慢得像在念经。打开占用一看,显卡全程安静,CPU 一个核在拼命扛。这篇不谈该不该本地跑,只解决一件事:怎么让 Ollama 认出你的 Intel 卡、把计算真正甩给 GPU。

先说个前提,Intel 这边的支持和 NVIDIA 的体验不太一样,核显、Arc 独显、老平台核显三者差别很大。所以整篇的思路是:先判断你的卡在不在能加速的范围里,再动手配,配完验证,不生效按顺序排查。别一上来就改环境变量,很容易把两个问题叠在一起。

先确认你的 Intel 卡在不在支持范围里

卡的类型大致支持程度建议动作
Arc 独显相对最好,值得花时间配重点投入,配完做耗时对比
较新的核显看平台和驱动,能加速但显存紧先用小模型验证 GPU 有没有动静
老平台核显基本只能靠 CPU 跑别折腾加速,直接看更小的模型

表格只是让你先分类,具体每一档的判定标准会随驱动和运行时更新变化,别拿别人的结论直接套自己的机器。拿不准自己的卡属于哪一档,可以到 /ai-dict/category/hardware 对照硬件名词,再到 /ai-dict/category/infra 把运行时这层概念理清,判断起来会顺很多。

  1. 确认驱动到位Windows 看显卡驱动的版本和日期,Linux 看内核与计算运行时是否齐全。驱动不到位,后面所有配置都是白搭。
  2. 小任务试水先让它输出一句短回复这种比模型本身还小的任务,同时打开任务管理器或占用工具,看 GPU 有没有波动。
  3. 看回退迹象如果 GPU 全程贴零,说明它默默退回 CPU 了,别急着上大模型,先解决识别问题。

安装与让 Ollama 认出 GPU 的配置动作

安装分两遍来做更稳。第一遍用默认方式装,先跑通一次纯 CPU 推理,确认基础链路没问题;第二遍再动手改加速相关的配置。这样一旦出问题,你能分清是环境本身没通,还是加速那一层加错了。

配置动作里,最容易漏的是补对应的加速运行时和驱动组件,而且装完之后要重启的是 Ollama 的服务进程,不是简单重启一次电脑就生效。多卡或者核显加独显的机器,还要用环境变量或启动参数显式指定它用哪块卡,否则它可能挑了一块你根本不想用的。

  • 先跑通一次纯 CPU 推理,再改加速配置,避免两个问题叠在一起
  • 补上加速运行时与驱动组件后,重新拉起 Ollama 服务进程
  • 用环境变量或启动参数指定目标显卡,多卡机器尤其要指定
  • 改完别急着换大模型,先用同一条提示词跑两遍,对比改前改后的耗时
# 改完配置后重启服务,再跑同一条提示词做对比
# Windows 用任务管理器看 GPU 占用;Linux 可用相应占用工具
# 具体环境变量名以官方文档和你系统的运行时为准

怎么判断加速真的生效了,而不是心理作用

很多人配完觉得「好像快了点」,其实只是主观感受。判断加速有没有生效,看三个客观信号:推理时显卡的占用曲线、同一提示词改前改后的耗时差、以及把模型规模往上调一档后的表现。这三个信号对得上,才算真用上了。

观察项生效的样子没生效的样子
GPU 占用曲线推理时有明显起伏全程贴着零,CPU 单核吃满
同提示词耗时前后差距肉眼可见只快一点点,多数是部分卸载
换更大模型能跑动或明确提示显存不足直接报错或悄悄退回 CPU

那「只快一点点」是什么情况?通常是只有一部分层被卸载到了显卡上,剩下的还在 CPU 上算,所以整体提升有限。这不算配置写错,属于显存不宽裕时的正常结果。想要一个可复现的基线,可以用 /tools/speed-test 先量出你这台机器的基础延迟,后面每次改配置都拿它对比,比拍脑袋靠谱。

加速生不生效,看曲线和耗时,不看感觉。

不生效时的排查顺序,别乱试

排查最忌讳东改一下西改一下,最后连哪个改动起了作用都说不清。按下面这个固定顺序往下走,每一步都能缩小范围,走完还没解决,基本就能判断是硬件本身的限制了。

  1. 先看日志Ollama 的启动日志通常写明它识别到了哪些设备,以及有没有因为驱动或运行时缺失而回退,这是最快的线索。
  2. 再对版本检查驱动与运行时版本是否匹配,这一层不匹配是最常见的坑,而且报错往往很含糊,不主动查很难发现。
  3. 看显存是否够核显会跟系统内存抢资源,独显也可能被别的程序占着,先把占用的东西关掉再试一次。
  4. 最后怀疑模型有些量化和架构对 Intel 路径的兼容性一般,换一个更主流的小模型验证,就能区分是环境问题还是模型问题。
  5. 链路走完仍不行到 /models/deploy 按你的显卡和模型规模重新算一遍,判断是不是硬件本身就不够。

什么情况下这条路不适合你

不是所有 Intel 机器都值得折腾本地加速,以下几种情况提前判断一下,能帮你省掉大把时间。注意这只是筛选建议,不是说这些机器完全不能跑,而是投入产出比不划算,具体能跑到什么程度还是以你实测为准。

  • 显存或共享内存很小的机器,即使配置全对,能跑动的模型也非常有限
  • 需要多人并发或稳定对外提供服务的场景,本地单卡跑 Ollama 不是合适选择
  • 平台驱动长期停留在旧版本的机器,先更新系统与驱动再评估,比反复折腾加速更省事

如果你的需求属于上面某一条,那问题就不在「怎么配」,而在「这条路本来就不适合」。这时候该做的是换方案,而不是在配置上继续加时间。想横向看看别人怎么选路线,可以到 /rankings 和 /sites 对照当时的评测与站点情况。

下一步先照上面的顺序把你的卡分个档,能加速的再动手配,配完用 speed-test 量一个基线;判断不了硬件够不够,就到部署页面重新算一遍。

常见问题

Intel 核显能用 Ollama 加速吗?

看具体平台,较新的核显有一定支持,老平台基本只能靠 CPU。判断方法很直接:跑一条短任务,看显卡占用有没有动静。有动静就继续配,全程为零就别在这台机器上死磕,换到有独显的机器更省时间。

配置改完还是慢,最先查什么?

先看启动日志里识别到了哪些设备,以及有没有回退提示。很多情况下问题不是配置写错,而是驱动或加速运行时没装全,导致它悄悄退回 CPU 跑。确认这一层没问题,再去查显存够不够。

怎么知道模型有没有真的放到显卡上跑?

两个信号:一是推理时显卡占用有起伏,二是同一提示词的前后耗时差别明显。只快一点点,通常说明只有一部分计算被卸载了。把模型调大一档再试,如果直接报错或变慢,多半是显存不够。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。