大模型参数量描述中常用的单位b指怎么排查,原因就几个

模型与算力

讲清参数量单位 B 的含义、换算口径和常见误读,给一套看到 7B、70B、MoE 总参数时逐项核对的判断流程。

模型名里带个 B,有人当十亿参数,有人当字节,还有人把 MoE 的总参数当成激活参数,一换算显存就全错。这篇不背定义,直接给排查顺序:先认单位、再看是总参数还是激活参数、然后区分权重和词表、最后才谈显存和价格。照着走一遍,看到任何带 B 的型号都能自己判断该信哪个数。

模型名里带个 B,最容易出事的地方不是理解不了,是两处不同的 B 被当成同一个数在算。下载页显示文件几个 G,型号名写 7B,有人就以为这俩能互相印证,结果一算显存全错。还有人看到 MoE 型号标着特别大的参数量,第一反应是自己显卡不行,其实那个数是仓库里存了多少权重,不是每个 token 都要走一遍。

这篇不背定义,直接给排查顺序:先认单位,再看是总参数还是激活参数,然后区分权重和词表,最后才谈显存和价格。照着走一遍,看到任何带 B 的型号都能自己判断该信哪个数、该拿哪个数去算。

B 这个字母为什么老让人算错

同一个 B 在不同上下文里根本不是一回事。模型名后缀的 B 默认指 billion,也就是十亿个参数;下载页的文件大小那个 B 是 byte,字节。两处混看,就会拿文件体积去反推参数量,或者反过来。实际用下来,这类错误在第一次自己部署模型的人身上特别常见。

还有一个更隐蔽的坑:参数量标的是权重个数,不是模型文件占多大地方。量化之后文件能小好几倍,参数量一点没变。你看到一个模型的权重文件比预期小很多,先别怀疑是不是下错了,先看它是不是量化版本。

  • 模型名后缀的 B:默认 billion,指参数个数,和文件大小无关
  • 下载页的 B:通常是 byte,指文件体积,量化档位不同差别很大
  • 二手转载的标签:有些页面随手加个 B,既没说口径也没说来源,不能直接信
  • 配置里的数字:权重仓库 config 文件里的字段最接近真实值,但不同框架字段名不一样

所以排查第一步永远是问一句:这个 B 是从哪来的。官方规格页、权重仓库的配置文件、第三方平台的展示页,三者口径可能都不一样。拿不准的时候以权重仓库为准,因为那是真正要下载下来跑的东西。

排查顺序:三步把数字落到实處

第一步看来源。官方模型卡上写的参数量、权重仓库 config 里的配置、平台规格页上的展示,这三处如果对不上,以权重仓库为准。原因很简单,你要部署的就是那份权重,别的都是描述。

第二步看口径。是总参数还是每 token 激活参数?稠密模型这两个数一样,MoE 架构下能差一个量级。这一步不确认,后面算显存和估速度全是白费。

第三步看范围。参数量含不含词表嵌入层?小模型上这块占比不小,是否计入会明显改变结论。有些规格页写的是纯 Transformer 层的参数,有些把嵌入和输出头也算进去了,两个数放在一起比没有意义。

  1. 定位来源打开权重仓库,找到 config 文件,确认里面的参数配置字段;和官方模型卡对一遍,记下差异
  2. 确认口径查这个型号是稠密还是 MoE;MoE 要分别记下总参数和激活参数,别只记一个
  3. 确认范围看规格说明里有没有写明含不含嵌入层;没写就按不含处理,心里留个余量
  4. 再谈换算前两步确认完,才拿参数量去乘每参数字节数,估显存和速度

稠密模型和 MoE 的 B 不是一回事

稠密模型每个 token 都要走全部参数,参数量就是算力成本,两者一致,看到多大的 B 就按多大的算,不会出岔子。

MoE 不一样。它标的总参数只代表仓库里存了多少权重,实际推理时每个 token 只激活其中一部分。所以显存要按总参数算,因为权重得全装进去;速度按激活参数算,因为实际计算量只有那么多。这两个数经常被混着用,一混就得出「参数这么大怎么跑得动」或者「参数不大怎么这么慢」的矛盾结论。

看到的情况先查什么常见误判
参数特别大但普通显卡能跑是不是 MoE 架构以为标错了或者自己显卡有问题
同名型号两个版本参数不同版本号和权重文件是否改过按名字后缀直接下结论
规格页和仓库数字对不上仓库 config 里的实际配置以转载页面的数字为准
文件体积远小于参数量预期是不是量化版本或裁剪版本以为下错了包

看到参数特别大但跑得动的型号,先查它是不是 MoE,别急着怀疑自己显卡坏了。这个判断做过一次之后,以后看到类似写法就有数了。

换算到显存:参数量只是第一个乘数

粗算方式是参数量乘每参数字节数。精度不同字节数不同,量化档位直接改变结果,具体档位对照去 /ai-dict/category/tech 看当时的口径。这一步只是拿到权重占用的下限,还不是全部。

还要加上 KV 缓存、框架开销和上下文长度带来的增量。长上下文场景下这部分常常不是小数,尤其是并发一上来,KV 缓存能吃掉相当一块显存。拿不准就用 /models/deploy 里的测算页,按参数量、量化档、并发填一遍,比手算稳。

换算结果只当上限参考。实际能不能跑起来还要看显存碎片和批处理设置,同一张卡同样的参数,批大小调一调结果就不一样。所以别把测算页的数字当成硬门槛,它给的是个判断区间。

名字里的 B 和实际权重对不上怎么办

有些型号名里的数字是营销取整,仓库里真实参数量会多一点或少一点。这不一定是标错,命名习惯而已。以 config 里的实际配置为准,名字只当个大概标签。

同名不同版本可能改了宽度或层数,光看名字后缀判断不了,要看版本号和权重文件。遇到过有人按旧版本的参数量去估新版本显存,装完才发现差了一截,问题就出在没看版本号。

遇到明显对不上的情况,排查顺序是:先看是不是下错了量化版本或裁剪版本,再看是不是同名不同版本,最后才怀疑页面标错。多数时候是前两种。

一张随手能用的核对清单

下面这几条按顺序过一遍,基本能覆盖日常遇到的带 B 型号。不用全记住,存下来对着查就行。

  • 单位确认:是 billion 参数还是 byte 文件大小
  • 口径确认:总参数还是每 token 激活参数
  • 范围确认:含不含嵌入层与输出头
  • 精度确认:原始权重还是量化后,量化档位是多少
  • 场景确认:你要估的是显存、速度还是价格,三者的算法不一样
  • 来源确认:官方模型卡、仓库 config、平台页面,以仓库为准

最后一条场景确认容易被跳过。估显存用总参数加精度,估速度用激活参数,估价格看的是 API 计费方式,跟参数量关系没那么直接。同一个数字拿去套三个场景,肯定有两个是错的。

什么情况下这套排查不适用

只做 API 调用、不落地部署的时候,参数量对成本的影响被单价口径盖过。这种场景直接去 /official-api 看计费方式更实际,参数量当个参考就行,别花时间精算。

多模态模型的参数量往往不含视觉编码器,按纯文本参数量估显存会偏小。这类型号要单独看它的模态配置,不能套用纯文本的换算习惯。

对比不同厂商模型的能力时,参数量相近不代表能力相近,训练数据和架构差异影响更大。别拿 B 数当排名用,这事儿它干不了。要比就去站内找对应的评测页面看当时的数字。

下一步手头有具体型号要估显存的话,直接去测算页按参数量、量化档、并发填一遍,比对着文章手算快,也能顺手核对站内记的量化口径。

常见问题

7B 是指 70 亿参数还是 7GB 文件?

模型名后缀的 B 默认指 billion,也就是十亿级参数个数。70 亿参数在原始精度下文件往往十几 GB,量化之后又能压回几 GB,所以文件大小和参数量是两个维度,别互相代入。

MoE 模型标的总参数很大,我的卡跑得动吗?

跑不跑得动看显存能不能装下全部权重,速度才看每次激活多少。总参数大但激活参数小的 MoE,显存压力按总量算,别拿激活参数去估显存。

参数量能直接用来判断模型强不强吗?

不能。同参数量的模型因为训练数据、架构和训练策略不同,实际表现差别很大。参数量适合用来估硬件和成本,不适合当能力排名。

量化之后参数量会变吗?

不会。量化改变的是每个参数占多少字节,参数个数不变。所以看到量化版文件名里数字变小,那是体积不是参数量。

为什么我自己算的显存和实际占用差很多?

常见原因是漏了 KV 缓存和框架预留,或者上下文长度设得比预期长。先用小上下文跑一次记录基线,再逐项加,比一次性套公式可靠。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。