模型卡上写 7B,下载下来却对不上显存;同一个模型,有的地方写 8B 有的写 7B;还有人把 B 当成字节。这类混乱多半不是模型有问题,是单位口径没对齐。这篇给一套照着走的核对顺序:先确认 B 指什么,再分清总参数和激活参数,最后才谈显存和选型。
模型卡上写着 7B,下载下来却发现显存怎么也对不上;同一个模型,A 家页面写 8B,B 家文档写 7B;还有人张口就问「这个 B 是几个 G」。这类混乱十有八九不是模型出问题,是单位口径没对齐。别急着换算,先弄清楚这个 B 到底在说什么。
这篇给一套照着走的核对顺序:先把 B 的含义钉死,再分辨总参数和激活参数,最后才谈显存和选型。顺序反了,算出来的数字再精确也是错的。
先把 B 钉死:它是 billion,不是字节
模型名里的 B 是 billion 的缩写,说的是十亿级参数个数。7B 就是约七十亿个参数,跟文件有多大是两码事。之所以老有人混,是因为在某种精度下每参数字节数刚好接近一个,参数量和文件体积的数值看起来差不多,于是就被当成一回事了。
混用最常见的两种方向:把参数量当成下载体积,以为 7B 就得下七个 G;或者反过来,看到权重文件几个 G,就反推模型是几个 B。前者会低估存储需求,后者会把量化过的版本误认成原始版本。看到一个 B 数,先在心里默念一遍「这是参数个数」,再往下算。
同一个模型三种写法,先判断是不是同一个东西
官方仓库、聚合平台、第三方教程对同一个模型的写法经常差一个量级标签。有的写 7B,有的写 8B,看着像两个模型,实际可能只是四舍五入方式不同,或者一个算上了词表、一个没算。这时候别急着对比谁对谁错,先确认它们指向的是不是同一份权重。
后缀也得看仔细。带 instruct、chat、base 的通常是同一基座的不同训练阶段,参数量一般不变,别因为名字不同就当成两个模型去分别估显存。名字里带 MoE 或者带 A 后缀的更要留神,这类写法里的数字往往指总参数,实际推理只走其中一部分,直接拿去算显存会偏得离谱。
- 先看权重文件是不是同源:分片数量、单个分片体积对得上,才可能是同一个模型
- 再看后缀:base、instruct、chat 一般同参数量,是两个训练阶段不是两个模型
- 看到 MoE、A 后缀,先默认那个数字是总参数,激活参数另找
- 聚合平台和官方仓库写法不一致时,以官方配置文件和权重文件为准
- 实在判断不了,就去站内模型资料库对照同一模型的多个条目,看参数量口径是否标注
总参数和激活参数,这是最容易错的一格
稠密模型省心,只有一个数,总参数就是每次推理实际用到的参数。混合专家模型不行,它得拆成两栏看:总参数决定权重文件有多大、占多少存储和加载显存;激活参数决定单次推理实际算多少、吃多少算力。把总参数当激活参数去估吞吐,会算得特别悲观;反过来把激活参数当总参数去估显存,加载阶段直接爆。
排查时先问自己一句:手上这个数字,是放进显存的量,还是每次计算经过的量?答不上来就先别算显存,先回去把模型结构看明白。这一步偷懒,后面所有估算都是白做。
| 模型类型 | 名字里的数字通常指 | 影响什么 | 排查动作 |
|---|---|---|---|
| 稠密模型 | 总参数,也是每次用到的参数 | 权重体积、显存、算力 | 一个数就够,直接往下算 |
| 混合专家模型 | 多数情况指总参数 | 权重体积和加载显存 | 另找激活参数,分开记两栏 |
| 量化版本 | 沿用基座参数量 | 实际显存比原版小 | 去量化档位页面对照精度和体积 |
| 闭源模型 | 无官方口径 | 不适合做显存规划 | 只作参考,别写进容量表 |
三步核对:文件、配置、显存实测
光看名字不够,得让三个来源互相印证。文件告诉你量级,配置告诉你结构,实测告诉你真实占用。三者对不上,说明你选的口径有问题,不是模型有问题。
- 看权重文件数一下分片有几个、每个多大,乘起来得到总体积,再按常见精度反推参数量级。这一步只求数量级对不对,不求精确。
- 翻配置文件模型目录里一般有 config 文件,找层数、隐藏维度、词表大小这几个字段,按结构粗算一遍参数量。算出来跟第一步差一个量级,就回去查是不是把激活参数当成了总参数。
- 实测显存倒推实际加载一次,看显存占用落在什么区间。和前面两步对不上,多半是精度假设错了,或者把 KV 缓存的开销算进了模型本身。
我见过一次典型的翻车:有人按名字里的数字直接乘每参数字节数去申请显存,结果加载阶段就挂了。后来一查,那个模型是混合专家结构,名字里写的是总参数,他按稠密模型估的,还没算框架自身的开销。不是公式错,是口径没对齐。
算显存时 B 只是起点,不是答案
显存大致等于参数量乘每参数字节数,再叠加 KV 缓存和框架开销。精度不同,每参数字节数差好几倍,同样的 B 数占的显存能差出一大截。所以别拿一个 B 数当结论,它只是起算点。量化档位一变,体积和显存跟着变,具体档位对应关系去站内的量化相关页面看当时的数字,别凭印象。
上下文长度也是个大变量。上下文开得越长,KV 缓存吃掉的显存越多,长上下文场景只按参数量估会明显偏低。做容量规划时,把「模型本体」和「运行时附加」分开列,留出余量再定机器规格。
B 是参数的个数,不是显存的答案;先对齐口径,再谈数字。
哪些场景下这套排查不适用
闭源模型不公开参数量,网上流传的数字基本都是推测,拿来做个大致印象可以,拿去做显存规划和成本测算就不合适了。多模态模型的参数量通常不含视觉编码器那部分,按纯文本口径估会偏低,图像输入多的时候差得更明显。还有就是经过蒸馏或裁剪的版本,参数量标签可能沿用基座名,实际权重更小,照名字算会高估。
遇到这几种情况,正确做法不是硬套公式,而是换判断依据:闭源模型看官方公布的上下文和限流,多模态模型把视觉部分单独估,蒸馏版本以实际权重文件为准。判断标准就一条:数字的来源能不能追到权重或官方配置,追不到就只当参考。
下一步如果你正在为选型算显存,先去站内模型资料库把目标模型的参数量口径、总参数和激活参数对照清楚,再回价格追踪页核对当时的调用成本,两步都对齐了再定机器规格,能少走不少回头路。→常见问题
B 和 GB 到底什么关系?
没有固定换算关系。B 是参数个数,GB 是文件体积。只有在固定精度下两者才近似成比例,比如低比特量化后同样参数量的文件会小很多。看到有人直接把 7B 说成 7GB,那是巧合不是规律。
为什么有的模型名字里写 8B,下载下来参数却对不上?
常见三种原因:写法取了整,实际是七点几;名字沿用了旧版本;或者那是混合专家模型的总参数,而你数的是激活部分。按文件分片和配置文件字段核一遍就能分清。
参数量越大一定越好用吗?
不一定。任务简单、延迟敏感的场景,小模型往往更划算;参数量大带来的是能力上限,同时抬高显存和响应时间。判断标准应该落在你的任务类型和可接受的延迟上,而不是参数量排名。
闭源模型查不到参数量怎么办?
查不到就是查不到,别信论坛里的估数。这类模型按接口价格、上下文长度和实测任务效果来选,把参数量从决策依据里去掉,换成可验证的指标。
估显存时按参数量乘多少合适?
别记固定系数。先把量化档位定下来,再去部署测算相关页面按精度、上下文长度和并发一起算,单看参数量乘一个数误差会很大。