你手上是带 AMD 核显的轻薄本或迷你主机,听说 Ollama 能本地跑大模型,装完却发现要么识别不到显卡、要么全落在 CPU 上慢得没法用。这篇不讲空泛原理,给一套安装前的判断标准、跑什么规模模型才现实、以及不生效时的排查顺序,顺带说清哪些情况下这条路根本不值得走。
你手上是带 AMD 核显的轻薄本或迷你主机,听说 Ollama 能本地跑模型,装完却发现要么识别不到显卡、要么全落在 CPU 上慢得没法用。这篇不讲空泛原理,给一套安装前的判断标准、跑什么规模模型才现实、以及不生效时的排查顺序。核心结论先放这里:AMD 核显能不能跑,取决于架构代际、驱动识别和内存带宽这三件事同时成立,缺一个就白折腾。
它适合的场景其实很窄——短文本改写、摘要、分类、翻译这类一次几百 token 的轻活,跑起来体感能接受。长文档分析、代码库级改动、多轮复杂推理,核显给不了可用的速度。下面按判断、选型、验证、排查、止损五个环节走一遍,每一步都告诉你该怎么验证,而不是让你凭感觉猜。
先判断你的核显到底在不在支持范围内
别一上来就装。先分清三类情况:官方明确支持的独显、部分新架构核显、以及完全不支持的老核显。这里的判断依据是架构代际,不是型号数字大小——同为入门型号,新一代架构可能进了加速路径,老一代就算是当时的高端也进不去。翻一下你那台机器的 GPU 架构代际,比记型号重要得多。
- 核显没有独立显存,吃的是系统内存,所以内存容量和双通道带宽往往比显卡型号更决定成败;单通道内存跑起来会明显吃亏
- 装系统驱动前确认统一内存架构能被驱动层正常识别,识别不到就等于没有加速,Ollama 只会静默回退到 CPU
- 后台常驻的浏览器、编辑器、虚拟机都会抢走可用额度,实测前先把它们关掉,否则判断会被污染
- 拿不准就去站内对照硬件与基础设施术语,把架构、驱动、运行时这几个概念对齐,再回到本机实测
跑多大的模型才算现实:按内存算,不按参数吹
核显能分给模型的内存,要扣掉系统和预留部分,实际额度通常明显小于标称内存。所以选模型的第一原则是按可用内存倒推,而不是看别人说某个参数规模很能打。量化档位是最大的变量:更低比特的量化能塞进更大参数,但长上下文和复杂推理的掉点也更快,别只看能不能加载。
| 你的典型用途 | 现实程度 | 原因 |
|---|---|---|
| 短文本改写、摘要、分类 | 可以试 | 单次几百 token,对带宽压力小 |
| 翻译、简单问答 | 看内存 | 并发和上下文一上去就掉速 |
| 长文档分析、代码库级改动 | 不建议 | 上下文吃掉的内存直接压垮可用额度 |
| 多轮复杂推理、多人共用 | 不建议 | 延迟不稳定,且一个人就喂不饱 |
想要的模型规格,先到部署测算页按内存和量化口径算一遍,别凭感觉下单。算的时候把系统常驻占用一起算进去,否则算出来的额度是虚的。如果算下来余量很紧,宁可降一档参数规模,也不要硬上高比特量化。
装完怎么确认真的用上了核显
最常见的误判是「没报错就等于用上了」。真正的判据是看启动日志里加载的是 GPU 层还是纯 CPU,两者推理速度差一个量级。同时看系统侧的显存或内存占用曲线,推理时有明显占用抬升,才算真吃上了加速。
- 看加载路径启动时观察日志里是走 GPU 层还是纯 CPU,纯 CPU 会明确体现出来,别只看程序有没有正常起来
- 看占用曲线发起一次推理,同时盯内存或显存占用,有明显抬升说明加速生效;一条平线基本就是没吃上
- 显式指定设备思路是明确告诉它用哪块卡,而不是让它自己挑;核显加独显混用的机器尤其容易挑错,指定设备比自动探测稳
- 记录基线把生效和不生效两种状态下的首 token 延迟、生成速度各记一次,后续换量化或改参数才有对照
指定设备的具体写法、环境变量怎么设,参考站内已有的显卡指定与环境变量排查思路就够了,不用从头试错。多卡环境里还有一个坑:设备序号在不同运行时下可能不一致,改配置后要重新验证一次加载路径。
没跑起来的排查顺序
跑不起来时不要东一榔头西一棒子,按下面这个顺序走。每一步都要有明确的通过条件,通过了才进下一步,这样能最快定位卡在哪一环。
- 查驱动与运行时版本核显加速对驱动版本敏感,装太新和太旧都可能翻车;对照站内硬件术语页确认版本区间,再看运行时是否匹配
- 查内存与后台占用确认系统可用内存够不够模型加载,浏览器和编辑器吃掉的那部分会直接把额度压下去,先关掉再试
- 退回 CPU 模式验证先用纯 CPU 跑通同一个模型,能跑通说明模型和量化文件本身没问题,问题出在加速链路上
- 换更小或更低比特的量化仍然失败就降规模再试;这一步还失败,基本可以判定这台机器不适合走核显这条路
什么情况下别折腾核显
有些场景不是调参能救的,硬凑只会得到一个不能用的结果。判断标准很简单:只要你需要的是稳定输出速度和可预测延迟,核显就给不了这个确定性,因为它和系统共享内存,后台一波动性能就跟着波动。
- 生产场景要求延迟可预测,核显做不到,任务队列会越堆越长
- 需要大参数或长上下文,硬塞进去得到的是不能用的速度,不如换方案
- 多人共用时核显本连一个人都喂不饱,更谈不上并发
- 机器是主力工作设备,不想为本地推理牺牲日常使用体验
这时候的正确做法是把本地部署换成按量调用或者租卡,两条路的分界线看站内对比更清楚,别用感觉判断。另外,中转站能不能信、价格怎么波动,也建议在决定之前先去站内核对当时的数字,再定最终方案。
先算一遍再动手把你的内存、架构代际和想跑的用途带进部署测算页,先算出可用额度,再决定值不值得装;算完顺手看一眼按量调用和租卡的对比,很多纠结会当场消失。→常见问题
AMD 核显跑 Ollama 是不是装完就能用?
不一定。能不能用取决于核显架构代际和驱动版本,老一代基本没戏,新一代也要看系统驱动是否把计算能力暴露出来。装完先看启动日志里是 GPU 还是 CPU 在跑,没吃上加速就按驱动、内存、模型规格的顺序往下排查。
核显和独显跑同一个模型能差多少?
差距通常在一个量级以上,而且不是线性缩放的。核显受限于共享的系统内存带宽,输出速度往往只有每秒几个 token,交互式对话会明显卡顿。具体数字因模型和量化档位而异,建议自己跑一遍短提示词,不用去信别人机器上的绝对值。
核显跑不动,最省事的替代是什么?
先降预期:换更小参数、更低比特量化的模型,跑短文本任务。还是不行就分两条路走,偶尔用就接按量调用的官方接口,长期高频用就考虑租卡。判断依据是你的调用量和延迟要求,站内有专门讲这个分界线的文章可以对照。