你手上有一个 AI Max+ 395 的机器方案,或者采购单上写着这几个字,想知道它到底能不能把本地大模型跑起来、跑多大、跑几个并发。这篇不灌概念,只给一套能照着走的核对顺序:先确认平台口径,再按显存算模型上限,然后定量化档位,最后过一遍许可证和迁移验证。参数和价格都别信二手转述,去站内页面看当时的数字。
你手上有个 AI Max+ 395 的机器方案,或者采购单上就写着这几个字,第一反应多半是:它到底能不能把本地大模型跑起来、能跑多大、几个人同时用会卡。这个问题没有统一答案,因为同一串字在不同厂商嘴里指的东西可能不一样。
下面给一套能照着走的核对顺序:先确认平台口径,再按显存算模型上限,然后定量化档位,最后过许可证和迁移验证。全程别信二手转述的数字,参数、规格、价格都去站内页面看当时的记录。
先弄清 AI Max+ 395 这个口径指什么
同名不同物是最常见的坑。有的厂商指的是整机型号,有的指的是一块主板加统一内存的平台方案,还有的只是渠道给某个配置起的名字。先问清楚对方标的是哪一层,别拿 A 家的参数去套 B 家的机器,否则后面算显存全是在算别人家的机器。
- 整机型号:厂商已经配好内存、散热、电源,你只关心开箱能跑什么
- 平台方案:内存和散热由你自己定,可用上限取决于主板规格和你插了多少
- 渠道别名:同一套硬件换个叫法,这种情况最需要拿到具体配置单
- 服务包装:硬件只是载体,真正卖的是预装好的软件栈和模型,限制往往在软件侧
本地大模型能不能跑,本质只看四件事:可用显存或统一内存有多少、内存带宽够不够、推理框架能不能正常识别到这块硬件、散热和电源能不能撑住长时间满载。前三件决定能不能跑,第四件决定能不能一直跑。规格不确定就去 /compute/gpus 看加速卡参数,不认识的硬件名词去 /ai-dict/category/hardware 查一遍,再决定要不要继续往下算。
按显存算你能跑到多大的模型
算模型上限有个朴素办法:先拿满配再打折。权重占用之外,还要留出上下文缓存、并发批次和框架本身的开销,实际能塞进去的模型规模通常比裸显存小一截。参数量乘量化位宽再除 8,粗略得到权重占用,这只是起点不是结论。用 /models/deploy 和 /tools 里的换算工具按你自己的配置跑一遍。
| 要留的空间 | 为什么留 | 不留的后果 |
|---|---|---|
| 上下文缓存 | 对话越长占用越大 | 长对话中途崩掉 |
| 并发批次 | 多人同时请求要各自分显存 | 第二个人一来就排队 |
| 框架开销 | 运行时本身要占一部分 | 算出来的数永远对不上 |
| 桌面与系统 | 系统界面和后台进程也在吃内存 | 开机就少一截可用量 |
把目标写死成一句话:几个并发、多长上下文、能接受多慢。这三个变量任意变动,选出来的模型档位都会变。想清楚之后去 /compute/sizing 按模型算一遍卡数和档位,再去 /compute/availability 看你想租或想买的规格现在有没有货,顺便到 /price-watch 核对当时的报价,别用上个月的印象下决定。
量化档位与速度:先定能忍的底线
量化不是越狠越好。正确顺序是先确定质量底线,再往下降档省显存,而不是先压到最低再看效果能不能接受。从高精度往下逐档试,每档记下质量退化和速度变化,取舍逻辑参照 /quantization-tier-choice 和 /quantization-gguf-awq-explained。
- 测基线用 /tools/speed-test 测出这台机器的延迟和出字速度,先拿到原始数字再谈优化
- 定位瓶颈看限制来自内存带宽、显存容量还是部分层被卸载到 CPU,判断错了后面全是白调
- 逐档降量化每降一档记录质量变化和显存节省,找到刚好满足底线的那一档
- 收窄上下文和并发显存还是不够就先减上下文、再减并发,最后才动模型大小
- 最后才考虑卸载CPU 卸载是兜底手段,顺序反了体验掉得最快
许可证与迁移验证:采购前最后一道闸
模型权重许可要读清楚:能不能商用、要不要署名、有没有用量或场景上的限制。内部试验往往无所谓,但只要成果对外交付,就必须重新过一遍,对照 /open-weight-license-basics 逐条确认。
平台侧同样要确认:你买的到底是硬件还是含软件栈的服务,推理框架版本、驱动版本会不会卡住某个模型的加载。迁移验证要留退路,换机器或换框架前,先在旧环境固定一组任务做基线,新环境跑同一组,通过率和速度都记下来再切换。
- 权重许可
- 管的是模型本身能不能商用、要不要署名
- 平台服务条款
- 管的是软件栈和运行环境的使用边界
- 迁移基线
- 换环境前固定的一组任务,用来前后对比
- 回退方案
- 新环境不达标时退回旧环境的路径,采购前就该想好
常见问题
AI Max+ 395 能不能跑本地大模型?
能跑和跑得好是两回事。判断标准是先看可用显存或统一内存,再按参数量乘量化位宽估算权重占用,留出上下文和并发的余量。具体能到哪个模型档位,去 /models/deploy 按你的实际配置算一遍,别用别人机器上的结论直接套。
本地跑大模型,显存和内存哪个更关键?
推理场景里,能直接被推理框架当作显存用的那部分最关键,它决定模型上限;普通内存影响的是加载速度和卸载时的降级体验。统一内存架构下两者边界模糊,所以要按平台实际可分配额度来算,去 /ai-dict/category/hardware 先把名词对齐。
采购这类机器,最容易踩的坑是什么?
拿满配参数去推算实际可用额度。厂商标的容量、框架能识别到的额度、以及留出上下文和并发后真正能喂给模型的额度,是三个不同的数。建议先把目标写成几个并发加多长上下文,再用 /compute/sizing 反推,去 /compute/providers 对齐各家口径后再比价。