很多人手上只有一台带 Intel 核显的笔记本,或者配了 Arc 独显的台式机,装完 Ollama 发现回答慢得像在念经,一看占用才发现全程 CPU 在扛。这篇不讨论该不该本地跑,只解决一件事:怎么让 Ollama 认出你的 Intel 卡、把计算真正甩给 GPU,以及认不出来时按什么顺序往下查。
很多人手上只有一台带 Intel 核显的笔记本,或者装了 Arc 独显的台式机,装完 Ollama 兴冲冲发一句话,结果回答慢得像在念经。打开占用一看,显卡全程安静,CPU 一个核在拼命扛。这篇不谈该不该本地跑,只解决一件事:怎么让 Ollama 认出你的 Intel 卡、把计算真正甩给 GPU。
先说个前提,Intel 这边的支持和 NVIDIA 的体验不太一样,核显、Arc 独显、老平台核显三者差别很大。所以整篇的思路是:先判断你的卡在不在能加速的范围里,再动手配,配完验证,不生效按顺序排查。别一上来就改环境变量,很容易把两个问题叠在一起。
先确认你的 Intel 卡在不在支持范围里
| 卡的类型 | 大致支持程度 | 建议动作 |
|---|---|---|
| Arc 独显 | 相对最好,值得花时间配 | 重点投入,配完做耗时对比 |
| 较新的核显 | 看平台和驱动,能加速但显存紧 | 先用小模型验证 GPU 有没有动静 |
| 老平台核显 | 基本只能靠 CPU 跑 | 别折腾加速,直接看更小的模型 |
表格只是让你先分类,具体每一档的判定标准会随驱动和运行时更新变化,别拿别人的结论直接套自己的机器。拿不准自己的卡属于哪一档,可以到 /ai-dict/category/hardware 对照硬件名词,再到 /ai-dict/category/infra 把运行时这层概念理清,判断起来会顺很多。
- 确认驱动到位Windows 看显卡驱动的版本和日期,Linux 看内核与计算运行时是否齐全。驱动不到位,后面所有配置都是白搭。
- 小任务试水先让它输出一句短回复这种比模型本身还小的任务,同时打开任务管理器或占用工具,看 GPU 有没有波动。
- 看回退迹象如果 GPU 全程贴零,说明它默默退回 CPU 了,别急着上大模型,先解决识别问题。
安装与让 Ollama 认出 GPU 的配置动作
安装分两遍来做更稳。第一遍用默认方式装,先跑通一次纯 CPU 推理,确认基础链路没问题;第二遍再动手改加速相关的配置。这样一旦出问题,你能分清是环境本身没通,还是加速那一层加错了。
配置动作里,最容易漏的是补对应的加速运行时和驱动组件,而且装完之后要重启的是 Ollama 的服务进程,不是简单重启一次电脑就生效。多卡或者核显加独显的机器,还要用环境变量或启动参数显式指定它用哪块卡,否则它可能挑了一块你根本不想用的。
- 先跑通一次纯 CPU 推理,再改加速配置,避免两个问题叠在一起
- 补上加速运行时与驱动组件后,重新拉起 Ollama 服务进程
- 用环境变量或启动参数指定目标显卡,多卡机器尤其要指定
- 改完别急着换大模型,先用同一条提示词跑两遍,对比改前改后的耗时
# 改完配置后重启服务,再跑同一条提示词做对比
# Windows 用任务管理器看 GPU 占用;Linux 可用相应占用工具
# 具体环境变量名以官方文档和你系统的运行时为准怎么判断加速真的生效了,而不是心理作用
很多人配完觉得「好像快了点」,其实只是主观感受。判断加速有没有生效,看三个客观信号:推理时显卡的占用曲线、同一提示词改前改后的耗时差、以及把模型规模往上调一档后的表现。这三个信号对得上,才算真用上了。
| 观察项 | 生效的样子 | 没生效的样子 |
|---|---|---|
| GPU 占用曲线 | 推理时有明显起伏 | 全程贴着零,CPU 单核吃满 |
| 同提示词耗时 | 前后差距肉眼可见 | 只快一点点,多数是部分卸载 |
| 换更大模型 | 能跑动或明确提示显存不足 | 直接报错或悄悄退回 CPU |
那「只快一点点」是什么情况?通常是只有一部分层被卸载到了显卡上,剩下的还在 CPU 上算,所以整体提升有限。这不算配置写错,属于显存不宽裕时的正常结果。想要一个可复现的基线,可以用 /tools/speed-test 先量出你这台机器的基础延迟,后面每次改配置都拿它对比,比拍脑袋靠谱。
加速生不生效,看曲线和耗时,不看感觉。
不生效时的排查顺序,别乱试
排查最忌讳东改一下西改一下,最后连哪个改动起了作用都说不清。按下面这个固定顺序往下走,每一步都能缩小范围,走完还没解决,基本就能判断是硬件本身的限制了。
- 先看日志Ollama 的启动日志通常写明它识别到了哪些设备,以及有没有因为驱动或运行时缺失而回退,这是最快的线索。
- 再对版本检查驱动与运行时版本是否匹配,这一层不匹配是最常见的坑,而且报错往往很含糊,不主动查很难发现。
- 看显存是否够核显会跟系统内存抢资源,独显也可能被别的程序占着,先把占用的东西关掉再试一次。
- 最后怀疑模型有些量化和架构对 Intel 路径的兼容性一般,换一个更主流的小模型验证,就能区分是环境问题还是模型问题。
- 链路走完仍不行到 /models/deploy 按你的显卡和模型规模重新算一遍,判断是不是硬件本身就不够。
什么情况下这条路不适合你
不是所有 Intel 机器都值得折腾本地加速,以下几种情况提前判断一下,能帮你省掉大把时间。注意这只是筛选建议,不是说这些机器完全不能跑,而是投入产出比不划算,具体能跑到什么程度还是以你实测为准。
- 显存或共享内存很小的机器,即使配置全对,能跑动的模型也非常有限
- 需要多人并发或稳定对外提供服务的场景,本地单卡跑 Ollama 不是合适选择
- 平台驱动长期停留在旧版本的机器,先更新系统与驱动再评估,比反复折腾加速更省事
如果你的需求属于上面某一条,那问题就不在「怎么配」,而在「这条路本来就不适合」。这时候该做的是换方案,而不是在配置上继续加时间。想横向看看别人怎么选路线,可以到 /rankings 和 /sites 对照当时的评测与站点情况。
下一步先照上面的顺序把你的卡分个档,能加速的再动手配,配完用 speed-test 量一个基线;判断不了硬件够不够,就到部署页面重新算一遍。→常见问题
Intel 核显能用 Ollama 加速吗?
看具体平台,较新的核显有一定支持,老平台基本只能靠 CPU。判断方法很直接:跑一条短任务,看显卡占用有没有动静。有动静就继续配,全程为零就别在这台机器上死磕,换到有独显的机器更省时间。
配置改完还是慢,最先查什么?
先看启动日志里识别到了哪些设备,以及有没有回退提示。很多情况下问题不是配置写错,而是驱动或加速运行时没装全,导致它悄悄退回 CPU 跑。确认这一层没问题,再去查显存够不够。
怎么知道模型有没有真的放到显卡上跑?
两个信号:一是推理时显卡占用有起伏,二是同一提示词的前后耗时差别明显。只快一点点,通常说明只有一部分计算被卸载了。把模型调大一档再试,如果直接报错或变慢,多半是显存不够。