128k上下文需要多少显存

入门与上手

给本地部署选型者一套估算长上下文显存占用的思路:分清权重、KV Cache 与运行时开销,几步算出自己的硬件门槛。

打算本地跑一个支持长上下文的模型,先别急着看别人晒的配置单。显存够不够,取决于模型权重的量化档位、KV Cache 随上下文线性增长的那一块,以及推理框架自身的运行时开销,三者叠加才是真实门槛。这篇不讲具体数字,只给一套可复算的估算顺序和自查清单,让你拿着自己手上的卡和模型文件,估出一个大致能不能跑、能跑多长的结论,并告诉你在哪些假设不成立时结论会失效。

打算本地跑一个支持长上下文的模型,先别急着看别人晒的配置单。显存够不够,取决于模型权重的量化档位、KV Cache 随上下文增长的那一块,以及推理框架自身的运行时开销,三者叠加才是真实门槛。

这篇不讲具体数字,只给一套可复算的估算顺序和自查清单。你拿着自己手上的卡和模型文件,能估出一个大致能不能跑、能跑多长的结论,也能知道在哪些假设不成立时,这个结论会失效。

显存不是一块,是三块加起来

很多人估显存只算权重,结果一加载就爆。长上下文场景里,真正吃掉显存的往往是另外两块。做选型时先把这三块分开看,再决定哪一块可以压、哪一块压不动。

权重占用
由参数量和量化档位决定,同一模型换量化档位,这块能差出好几倍,具体档位对应的体积去站内模型库对着规格看
KV Cache
和上下文长度、层数、注意力头维度、批大小都相关,长上下文场景里它经常反超权重成为大头
运行时开销
框架自身的缓冲、激活值、临时张量,通常留出一段固定余量比精确计算更实用

按这四步自己算一遍

  1. 第一步:定模型文件的体积参数量乘以每参数字节数得到权重的粗略体积,再按你选的量化档位乘系数。量化档位与体积的对应关系,到站内模型库对着规格表核对,不要凭印象。
  2. 第二步:估 KV Cache按「长度 × 层数 × 头维度 × 2 × 批大小 × 精度字节」这个量级算,长度直接代你想用的目标值,别代默认值。层数和头维度从模型的配置文件里读。
  3. 第三步:相加再留余量把权重和 KV Cache 相加,再按经验留出一段运行时开销与显存碎片的余量。余量宁可留宽一点,爆显存比浪费一点更麻烦。
  4. 第四步:和可用显存比注意是扣掉系统与显示占用后的可用值,不是标称值。桌面环境下的可用显存通常明显低于标称,先用一条小模型实测一次差值最稳。

这四步算出来的是一条粗线,不是精确值。它的价值在于帮你快速排除「明显跑不动」和「明显跑得动」的组合,把纠结的范围缩小到少数几档配置上,再去实际试。

为什么上下文拉长,显存是线性涨的

权重那块是固定的,但 KV Cache 随序列长度近似线性增长。长度翻一倍,这块占用基本也翻一倍,而不是打个折。这是长上下文最反直觉的地方:模型文件没变,跑短对话没事,一塞长文档就爆。

  • 长度直接决定 KV Cache 的量级,目标长度定多少,就要按多少来估,不能拿平时的短对话峰值当参考
  • 批大小同样会放大这块,多人共用或一次并行处理多请求时要按峰值算而不是按单条算
  • 有些框架的调度策略会把请求排队而不是并发,这种配置下实际占用低于按并发估的值,但延迟会变
  • 可以在站内的部署测算页面按你自己的参数复算一遍,别照搬别人的结论
变量它怎么影响显存能不能压
量化档位直接改变权重体积,档位越低体积越小能压,但精度损失要自己评估
目标上下文长度线性放大 KV Cache能压,取决于你的任务是否真需要那么长
批大小与并发数成倍放大 KV Cache能压,用排队换显存
推理框架决定有没有分页、KV 量化等优化可用换框架可能直接改变结论
张量并行卡数分摊单卡压力但引入通信开销能分摊,但不是线性省钱

哪些情况下这套估法会失准

这套算法是「朴素估算」,前提是没有用任何 KV 侧优化。一旦框架启用了分页注意力、KV 量化、滑窗注意力之类的机制,实际占用会明显低于估算值,这时候以实测为准,别再拿公式硬套。

  • 用了分页注意力、KV 量化、滑窗注意力等优化时,实际占用会明显低于朴素估算,此时以实测为准
  • MoE 类结构激活参数少但权重仍需全量驻留,按激活量估会严重偏低
  • 多卡张量并行能分摊单卡压力,但通信开销和切分效率会改变实际能跑的长度,不适合套用单卡公式
  • 框架版本升级可能改变默认行为,同一条命令前后占用不同,出问题时先固定版本再排查

判断标准很简单:如果你无法确认框架当前有没有启用上述优化,就按朴素估算的偏保守值准备硬件;能确认启用了,就实测一段长输入看显存峰值,用实测值反推上限。

下单前的检查清单

钱花在显存上是一次性的,但模型迭代很快。买之前花十分钟过一遍下面几条,比事后换卡便宜得多。

  • 先确认目标上下文长度是不是真的常用,很多任务用不到那么长,按实际峰值估比按最大值估更划算
  • 确认推理框架是否支持你要的优化项,支持与否直接决定同样的卡能不能跑更长的上下文
  • 留出余量给后续升级模型档位,一次性把显存用满,下次换模型就得换卡
  • 把权重体积、KV Cache、运行时开销三项写成一张自己的估算表存档,换模型时只改几个数就能复用
  • 拿不准时优先选显存更大、带宽更高的卡,长上下文场景对带宽同样敏感
下一步想把上面几个变量代入真实数字复算一遍,去站内的部署测算页按自己的模型与卡型填参数,页面上的数字会随站内资料更新,比记在笔记里的旧结论可靠。

常见问题

显存不够长上下文,是不是只能换卡?

不一定。先看三件事:能不能换更激进的量化档位(会损失一点质量)、框架是否支持 KV Cache 量化或分页注意力、目标长度是不是真的需要拉满。这三条都试过还不行,再考虑加卡或多卡并行。具体优化项的可用性去站内部署测算页面核对当前框架支持情况。

为什么我按参数量算出来的显存够,实际一跑就爆?

大概率漏了 KV Cache 和运行时开销。参数量只决定权重那一块,长上下文时 KV Cache 经常比权重还大,另外框架自身的缓冲也要占。正确做法是权重加 KV Cache 再加余量,然后和扣掉系统占用后的可用显存比,而不是和标称显存比。

同一张卡,为什么别人能跑的长度和我差很多?

量化档位、推理框架、批大小、是否开启 KV 量化、驱动与显存碎片都会影响。别人的结论只对他那套组合成立,不能直接移植。想有个可比的基线,先到站内接口测速页面量一下自己的延迟与占用基线,再在同一口径下调整。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。