模型名里带个 B,有人当十亿参数,有人当字节,还有人把 MoE 的总参数当成激活参数,一换算显存就全错。这篇不背定义,直接给排查顺序:先认单位、再看是总参数还是激活参数、然后区分权重和词表、最后才谈显存和价格。照着走一遍,看到任何带 B 的型号都能自己判断该信哪个数。
模型名里带个 B,最容易出事的地方不是理解不了,是两处不同的 B 被当成同一个数在算。下载页显示文件几个 G,型号名写 7B,有人就以为这俩能互相印证,结果一算显存全错。还有人看到 MoE 型号标着特别大的参数量,第一反应是自己显卡不行,其实那个数是仓库里存了多少权重,不是每个 token 都要走一遍。
这篇不背定义,直接给排查顺序:先认单位,再看是总参数还是激活参数,然后区分权重和词表,最后才谈显存和价格。照着走一遍,看到任何带 B 的型号都能自己判断该信哪个数、该拿哪个数去算。
B 这个字母为什么老让人算错
同一个 B 在不同上下文里根本不是一回事。模型名后缀的 B 默认指 billion,也就是十亿个参数;下载页的文件大小那个 B 是 byte,字节。两处混看,就会拿文件体积去反推参数量,或者反过来。实际用下来,这类错误在第一次自己部署模型的人身上特别常见。
还有一个更隐蔽的坑:参数量标的是权重个数,不是模型文件占多大地方。量化之后文件能小好几倍,参数量一点没变。你看到一个模型的权重文件比预期小很多,先别怀疑是不是下错了,先看它是不是量化版本。
- 模型名后缀的 B:默认 billion,指参数个数,和文件大小无关
- 下载页的 B:通常是 byte,指文件体积,量化档位不同差别很大
- 二手转载的标签:有些页面随手加个 B,既没说口径也没说来源,不能直接信
- 配置里的数字:权重仓库 config 文件里的字段最接近真实值,但不同框架字段名不一样
所以排查第一步永远是问一句:这个 B 是从哪来的。官方规格页、权重仓库的配置文件、第三方平台的展示页,三者口径可能都不一样。拿不准的时候以权重仓库为准,因为那是真正要下载下来跑的东西。
排查顺序:三步把数字落到实處
第一步看来源。官方模型卡上写的参数量、权重仓库 config 里的配置、平台规格页上的展示,这三处如果对不上,以权重仓库为准。原因很简单,你要部署的就是那份权重,别的都是描述。
第二步看口径。是总参数还是每 token 激活参数?稠密模型这两个数一样,MoE 架构下能差一个量级。这一步不确认,后面算显存和估速度全是白费。
第三步看范围。参数量含不含词表嵌入层?小模型上这块占比不小,是否计入会明显改变结论。有些规格页写的是纯 Transformer 层的参数,有些把嵌入和输出头也算进去了,两个数放在一起比没有意义。
- 定位来源打开权重仓库,找到 config 文件,确认里面的参数配置字段;和官方模型卡对一遍,记下差异
- 确认口径查这个型号是稠密还是 MoE;MoE 要分别记下总参数和激活参数,别只记一个
- 确认范围看规格说明里有没有写明含不含嵌入层;没写就按不含处理,心里留个余量
- 再谈换算前两步确认完,才拿参数量去乘每参数字节数,估显存和速度
稠密模型和 MoE 的 B 不是一回事
稠密模型每个 token 都要走全部参数,参数量就是算力成本,两者一致,看到多大的 B 就按多大的算,不会出岔子。
MoE 不一样。它标的总参数只代表仓库里存了多少权重,实际推理时每个 token 只激活其中一部分。所以显存要按总参数算,因为权重得全装进去;速度按激活参数算,因为实际计算量只有那么多。这两个数经常被混着用,一混就得出「参数这么大怎么跑得动」或者「参数不大怎么这么慢」的矛盾结论。
| 看到的情况 | 先查什么 | 常见误判 |
|---|---|---|
| 参数特别大但普通显卡能跑 | 是不是 MoE 架构 | 以为标错了或者自己显卡有问题 |
| 同名型号两个版本参数不同 | 版本号和权重文件是否改过 | 按名字后缀直接下结论 |
| 规格页和仓库数字对不上 | 仓库 config 里的实际配置 | 以转载页面的数字为准 |
| 文件体积远小于参数量预期 | 是不是量化版本或裁剪版本 | 以为下错了包 |
看到参数特别大但跑得动的型号,先查它是不是 MoE,别急着怀疑自己显卡坏了。这个判断做过一次之后,以后看到类似写法就有数了。
换算到显存:参数量只是第一个乘数
粗算方式是参数量乘每参数字节数。精度不同字节数不同,量化档位直接改变结果,具体档位对照去 /ai-dict/category/tech 看当时的口径。这一步只是拿到权重占用的下限,还不是全部。
还要加上 KV 缓存、框架开销和上下文长度带来的增量。长上下文场景下这部分常常不是小数,尤其是并发一上来,KV 缓存能吃掉相当一块显存。拿不准就用 /models/deploy 里的测算页,按参数量、量化档、并发填一遍,比手算稳。
换算结果只当上限参考。实际能不能跑起来还要看显存碎片和批处理设置,同一张卡同样的参数,批大小调一调结果就不一样。所以别把测算页的数字当成硬门槛,它给的是个判断区间。
名字里的 B 和实际权重对不上怎么办
有些型号名里的数字是营销取整,仓库里真实参数量会多一点或少一点。这不一定是标错,命名习惯而已。以 config 里的实际配置为准,名字只当个大概标签。
同名不同版本可能改了宽度或层数,光看名字后缀判断不了,要看版本号和权重文件。遇到过有人按旧版本的参数量去估新版本显存,装完才发现差了一截,问题就出在没看版本号。
遇到明显对不上的情况,排查顺序是:先看是不是下错了量化版本或裁剪版本,再看是不是同名不同版本,最后才怀疑页面标错。多数时候是前两种。
一张随手能用的核对清单
下面这几条按顺序过一遍,基本能覆盖日常遇到的带 B 型号。不用全记住,存下来对着查就行。
- 单位确认:是 billion 参数还是 byte 文件大小
- 口径确认:总参数还是每 token 激活参数
- 范围确认:含不含嵌入层与输出头
- 精度确认:原始权重还是量化后,量化档位是多少
- 场景确认:你要估的是显存、速度还是价格,三者的算法不一样
- 来源确认:官方模型卡、仓库 config、平台页面,以仓库为准
最后一条场景确认容易被跳过。估显存用总参数加精度,估速度用激活参数,估价格看的是 API 计费方式,跟参数量关系没那么直接。同一个数字拿去套三个场景,肯定有两个是错的。
什么情况下这套排查不适用
只做 API 调用、不落地部署的时候,参数量对成本的影响被单价口径盖过。这种场景直接去 /official-api 看计费方式更实际,参数量当个参考就行,别花时间精算。
多模态模型的参数量往往不含视觉编码器,按纯文本参数量估显存会偏小。这类型号要单独看它的模态配置,不能套用纯文本的换算习惯。
对比不同厂商模型的能力时,参数量相近不代表能力相近,训练数据和架构差异影响更大。别拿 B 数当排名用,这事儿它干不了。要比就去站内找对应的评测页面看当时的数字。
下一步手头有具体型号要估显存的话,直接去测算页按参数量、量化档、并发填一遍,比对着文章手算快,也能顺手核对站内记的量化口径。→常见问题
7B 是指 70 亿参数还是 7GB 文件?
模型名后缀的 B 默认指 billion,也就是十亿级参数个数。70 亿参数在原始精度下文件往往十几 GB,量化之后又能压回几 GB,所以文件大小和参数量是两个维度,别互相代入。
MoE 模型标的总参数很大,我的卡跑得动吗?
跑不跑得动看显存能不能装下全部权重,速度才看每次激活多少。总参数大但激活参数小的 MoE,显存压力按总量算,别拿激活参数去估显存。
参数量能直接用来判断模型强不强吗?
不能。同参数量的模型因为训练数据、架构和训练策略不同,实际表现差别很大。参数量适合用来估硬件和成本,不适合当能力排名。
量化之后参数量会变吗?
不会。量化改变的是每个参数占多少字节,参数个数不变。所以看到量化版文件名里数字变小,那是体积不是参数量。
为什么我自己算的显存和实际占用差很多?
常见原因是漏了 KV 缓存和框架预留,或者上下文长度设得比预期长。先用小上下文跑一次记录基线,再逐项加,比一次性套公式可靠。