大模型原理 大模型发展历程 大模型分类

你可能遇到过这种情况：想搞明白大模型到底是个什么玩意，结果一搜全是注意力和参数量的公式；想分清各家模型属于哪一类，又发现叫法五花八门。这篇不堆术语，按「它怎么工作—它怎么变成今天这样—它分哪几类」三条线捋一遍，让你看到任何模型介绍都能对上号。

你可能遇到过这种情况：想搞明白大模型到底是个什么玩意，结果一搜全是注意力公式和参数量推导；想分清各家模型归哪一类，又发现叫法五花八门，同一个东西换个入口就换了名字。这篇不堆术语，按「它怎么工作—它怎么变成今天这样—它分哪几类」三条线捋一遍，读完你再看任何模型介绍，都能快速对上号，知道它属于哪一格。

阅读顺序建议顺着走：先把「猜下一个词」这个直觉建立起来，再看内部结构和训练三段，然后看发展脉络里哪几波转折真正改变了玩法，最后用分类维度和一套定位流程收尾。如果你只是想调接口做产品，中间几节可以跳读，只看每节末尾「什么时候可以不用管」那句。

先搞清大模型在干什么：一个「猜下一个词」的机器

把一句输入拆成一串 Token（可以粗略理解成词或词片段），模型做的事只有一件：根据前面的内容，算出下一个 Token 最可能是什么，输出一整套概率分布。然后从这套分布里挑一个接上去，再把新句子喂回去，重复这个过程，一段完整回答就出来了。所谓「生成」，本质就是这么接龙。

这里要分清两个阶段。训练阶段调整的是海量参数（也就是权重），把语言规律压进这些数字里；推理阶段参数是冻结的，你的输入只是顺着网络跑一遍前向计算。所以模型不会在你提问时「学到」新东西，除非产品那边做了额外的记忆机制。

Token

模型读写的最小单位，一个字、一个词或半个词都可能算一个，计费和上下文长度都按它算。

参数/权重

训练中不断被调整的那堆数字，它承载了模型学到的语言规律，推理时不变。

前向计算

输入从第一层走到最后一层、算出下一个词概率的过程，推理时反复做这件事。

采样

从概率分布里挑词的方式，随机性大就每次答案不同，这跟「记不记得」是两回事。

核心机制：注意力、层堆叠与前向传播

注意力机制解决的问题是：当前这个词该重点参考句子里哪些位置。它给每个词算一组权重，决定信息往哪儿汇。这就是模型能「看懂上下文」的来源——代词指代谁、前后句什么关系，都靠这一步比对完成。

整个模型是很多层结构叠起来的，每层做一次变换，把上一层的表示再加工一遍。越靠下的层越贴近字面形式，越靠上的层越偏向抽象语义。前向传播就是把输入从最底层一路推到最顶层，得到最终输出。

• 参数量不是唯一变量：训练数据质量、训练步数、后训练方式同样决定表现，跨代比较参数量没有意义
• 注意力有计算成本：上下文越长，比较次数涨得越快，这就是长上下文为什么更贵、更慢
• 层数、宽度、注意力头数是可以独立调的，不同组合适合不同任务，不是堆得越高越好
• 只想调接口做产品时，知道上下文长度口径和输入输出计费方式就够，内部结构可以暂时不碰

什么情况下可以不关心原理：你在做应用、只关心效果和成本时，把注意力放在上下文上限、输入输出计费口径、并发限制这三项上，比研究结构更划算。反过来，要做微调、量化或私有化部署，这些结构知识就必须补上。

一个模型的三段人生：预训练、后训练、对齐

1. 预训练拿海量文本让模型反复做「猜下一个词」，学的是语言的统计规律。这一步最烧钱，通常是少数机构在做。验证方式：看官方说明里有没有提到基座模型和训练语料规模。
2. 后训练（指令微调等）用成对的指令和回答教它听懂人话、按格式答。这一步决定了模型的「脾气」和可用性。验证方式：同一基座的两个产品，回答风格差异往往就出在这一步。
3. 对齐再教它什么该说、什么不该说、语气怎么控制。这一步直接影响产品合规和体验。验证方式：问一些边界问题，看它拒绝和引导的方式是否稳定。
4. 推理部署训练完的权重被部署成服务，参数不再变化。验证方式：问同一个问题多次，答案的差异来自采样随机性，而不是它在学。

这套三段式解释了一个常见困惑：为什么同一个基座能长出风格完全不同的产品。也解释了为什么你拿到一份开源权重，直接跑效果往往一般——你还得自己做后训练和对齐，那部分工作量常常被低估。想弄清训练全流程各环节的先后顺序，站内有对应的流程图解读可以对着看。

发展脉络：从统计方法到今天的几波转折

早期是统计语言模型和词向量那一套，靠数词频、算共现，能做的事有限，换个领域就泛化不动。这一阶段的核心思路是「从数据里统计出规律」，而不是让模型自己学表示。

真正的分水岭是 Transformer 结构出现。它用注意力替代了循环结构，好处是训练可以大规模并行，不再必须一个词一个词串着算。算力终于能高效堆上去，模型规模才敢往上翻。之后规模法则被发现：参数、数据、算力一起放大，能力会跟着涨，于是行业进入拼规模的阶段。

再往后，转折回到了「怎么把算力花得更聪明」。单纯堆规模收益变慢，注意力转向数据质量、后训练方法，以及让模型在回答前多想几步。不同年份的具体版本、参数和发布时间点，去站内的模型资料库核对当时的记录，别凭印象记。

分类维度一：按开放程度、模态与能力侧重怎么分

市面上的模型名字再乱，基本都能落到三个维度上：权重开放到什么程度、能吃哪些模态、能力侧重在哪。先把这三维定下来，再去看具体型号，就不会被营销词带跑。

什么情况下分类没意义：同一个模型换个入口、加个外壳、改个名字，就被当成新产品宣传。这时候看名字不如看规格——权重是否开放、支持什么模态、上下文多长，这些才是硬指标。第三方中转尤其要看清楚背后调的是哪个模型，站内中转站导航有可信度检测可以参考。

分类维度二：参数量、部署形态与量化版本

按参数量分小、中、大几档是常见做法，但「大」是相对的：同一档位在不同年代含义完全不同。更实用的分法是按部署形态——云端调用、私有化部署、本地跑，这三者的硬件门槛和成本结构差得很远。

• 云端调用：不用管硬件，按用量计费，适合快速验证和波动大的业务
• 私有化部署：自己备机器，数据不出内网，适合合规要求高的场景
• 本地跑：在自己电脑上跑，隐私最好但能力通常受限，适合实验和轻量任务
• 量化版本不是新模型：同一份权重压到更低精度，换来更小显存占用，代价是质量与稳定性可能下降
• 同一个模型的不同量化档位，效果和资源占用要分开评估，别默认压缩后差别不大

具体某档模型要多大显存、几张卡，用站内的部署测算工具，按参数量和量化方式算一遍，比问别人「能不能跑」靠谱得多。注意这类测算给的是估值，实际还要看推理框架和并发量。

拿到一个新模型，用这套顺序快速给它定位

1. 看名称与版本后缀分清是快照版本、别名还是真新版本。官方博客和模型库里的命名规则是最快的入口，别把改名当升级。
2. 看权重开放程度与许可证决定你能不能商用、能不能自己部署。许可证原文里通常有商用限制和再分发条款，逐条读。
3. 看模态与能力侧重判断它是否匹配你的任务。你的任务是抽取结构化数据，还是生成文案，还是写代码，对应的模型类型不一样。
4. 再看价格与测评数字站内的模型库、价格追踪和测评榜单给的是当时口径，会随时间变。把它当作决策依据之一，不是唯一依据。
5. 最后看接入方式官方接口还是第三方中转，直接影响稳定性和可得性。中转站的可信度和历史表现去站内导航里查。

不适用的场景：如果你的需求只是让模型帮忙润色一段文案，这套五步流程属于过度分析，直接挑一个顺手的对话产品用就行。反过来，要做长期依赖、处理敏感数据或规模化调用，这套流程能帮你避开大部分坑。

几个最容易搞混的说法，一次掰清

下面这几条是零基础读者最容易踩的认知陷阱。它们的共同点是：把某个条件下的结论当成了普遍规律。遇到类似说法，先问一句「这个结论是在什么前提下成立的」。

• 「参数越多越聪明」只在同一套训练方法下部分成立，跨代、跨结构比较参数量没有意义
• 「开源」不等于免费商用，开放了什么、限制了什么要看许可证原文，别靠印象判断
• 「推理型更高级」是误解，简单任务上用推理型只是多花钱、多等时间
• 「支持长上下文」不等于长文里每段都记得住，关键信息放在中间容易被忽略
• 「模型更新了」要区分是权重更新、别名切换还是产品外壳调整，三者含义不同

概念分不清时，先去站内的术语词典查对照，比在搜索里翻二手解释快，也更不容易被带偏。词典里的解释通常只给定义和边界，不掺性能评价，适合用来打地基。