会写代码,也调过接口,但一问「模型内部到底在算什么」就卡住——权重、注意力、前向传播这些词都见过,却拼不成一条能自己动手跑通的线。这篇不讲论文,也不给跑分,只把「要懂哪几层、每层自己写点什么、写到什么程度算过」排成一条可执行的路径,让你从会调 API 走到能自己搭出一个能出字的小模型。
会写代码、也调过接口,但一问「模型内部到底在算什么」就卡住——权重、注意力、前向传播这些词都见过,却拼不成一条能自己动手跑通的线。这不是理解力的问题,是缺少一条从名词到可运行代码的顺序。这篇不讲论文,也不给跑分,只把「要懂哪几层、每层自己写点什么、写到什么程度算过」排成一条可执行的路径,让你从会调 API 走到能自己搭出一个能出字的小模型。
全程只有一个原则:每一层都必须能自己复现一遍,哪怕是最简陋的版本。抄库跑通一次不算,能对着张量形状讲清每一步从哪来到哪去才算。下面每节都给出动手动作和验收标准,达不到就先别往下走。中途遇到不认识的名词,不要停下来钻,先去 技术词条库(/ai-dict/category/tech) 随手对照,把词认全比把某个词吃透更重要。
先划清范围:原理要学到哪一层
「原理」是个很虚的词,落到可执行的粒度上,可以拆成四层:文字怎么变成数字、注意力怎么算、训练怎么调参、推理怎么出字。每层只要求你能自己复现最小版本,不要求读懂全部论文。把目标定成「能跑通并解释每一步」,而不是「看完某个课程」,你才不会在无穷的资料里打转。
- 能跑通最小版本并讲清每一步的数据流向,是这条线的唯一硬标准
- 每一层留一个可验收产物,没产物就当没学
- 遇到看不懂的论文先跳过,等自己手写卡住了再回头看,代入感完全不同
- 不要一上来就装训练框架,先用最基础的数值库把逻辑写出来,框架是加速器不是拐杖
还有一个容易踩的坑:把「看完」当成「学会」。视频和文章看得再多,不动手就永远停在名词层面。判断自己是否真懂,有个土办法——把这一层的逻辑讲给一个没接触过的同事听,讲不清就是没懂,回去补。
第一步:文字怎么变成数字
模型不认字,只认数字,所以第一件事是把文本切成最小的处理单位再映射成向量。这里的关键认知是:切分不是按字切,也不是按词切,而是按子词切。子词切分决定了模型看到的最小单位,也决定了它遇到生僻词和长词时的处理方式。与其直接调现成的分词库,不如先写一个最简陋的切分器,看看边界情况是怎么冒出来的。
- 写一个最简切分器把一段中文按固定规则切成子词序列,再用同一个切分器切一句没见过的句子,观察切出来的单位是否合理,哪些地方被切碎了
- 对照现成分词器拿自己的切分结果和主流分词库的输出比一比,重点看数字、英文、标点和生僻字的处理差异,这些差异正是规则背后的设计取舍
- 实现嵌入查表把切分后的每个单位映射到一个向量,本质上就是维护一张查表矩阵。随机初始化即可,目的是看清「文字变向量」这一步的数据形状
- 打印相邻词向量挑几个语义相近的词,把它们的向量打印出来,观察数值上是否真的更接近。这一步不追求结论,只建立「向量承载语义」的直觉
这一步的验收标准很明确:给一段中文,你能完整走完「切分—查表—得到向量」的全过程,并能解释向量里每一维是从哪来的。说不清维度来源,多半是把嵌入层当成了黑盒,回去把查表矩阵的初始化方式和形状再看一遍。
第二步:注意力到底在算什么
注意力是整条路径上最容易被讲玄的部分。剥掉修饰词,它做的是:给每个位置算一个和其他位置的关联分数,再按这个分数把其他位置的信息加权求和。查询、键、值这三组矩阵就是干这件事的工具——查询是「我在找什么」,键是「我有什么可以被找」,值是「找到之后我给你什么」。
先别写代码,拿一个三词的短句手算一遍:算分数、做归一化、加权求和,每一步都用纸笔写出数字。手算一遍比看十遍解释有用,因为你会立刻发现形状不匹配、分数范围失控这些真实问题。手算顺畅了,再翻译成代码。
- 查询
- 当前位置发出的「我想匹配什么」的向量
- 键
- 每个位置用来被匹配的向量,决定谁和谁更相关
- 值
- 匹配成功后被取走的内容,注意力最终搬运的就是它
- 多头
- 并行跑几组独立的注意力,让不同组关注不同类型的关系,最后拼起来
必须提前点破一个误解:注意力不是「理解」,它只是按相关性做加权求和。这是它既强又容易出错的原因——相关不等于因果,权重高不代表逻辑上真的该关联。理解了这一点,后面看到模型一本正经地胡说,你就不会觉得意外。
- 先手算三词句子,再写代码,跳过手算会在形状问题上反复卡壳
- 把注意力权重打印出来,看它落在哪些词上,直觉对不上就说明前面某步写错了
- 多头不要一开始就上,先跑通单头,确认结果正确再加
- 归一化那一步是数值稳定性的关键,不要想当然地省略
第三步:拼出一个能跑的最小模型
单个注意力块跑通后,把它和其他部件拼成一个完整的前向传播。拼接顺序是固定的:嵌入 → 注意力 → 前馈层 → 残差与归一化 → 输出层。这个顺序不是随便定的,每一步都在解决前一步留下的问题,比如残差是为了让深层网络能训得动,归一化是为了稳住数值范围。你在拼的时候如果只当作流程照着抄,就丢掉了最有价值的理解。
| 部件 | 解决什么问题 | 拼错时的典型症状 |
|---|---|---|
| 嵌入层 | 把离散单位变成可计算的向量 | 输入维度对不上,直接报形状错误 |
| 注意力 | 让不同位置之间交换信息 | 输出全是同一个值,说明权重塌了 |
| 前馈层 | 对每个位置单独做非线性变换 | 模型能跑但学不动,损失纹丝不动 |
| 残差与归一化 | 稳住深层网络的数值和梯度 | 训练发散或损失变成非数 |
| 输出层 | 把隐藏状态映射成词表上的分数 | 分数分布是平的,采样出来全是重复词 |
动手策略上,先别碰大框架的源码。用几十行代码、一个极小的词表把前向传播跑通,比一头扎进工程化的仓库高效得多。每加一个部件就打印一次张量形状,形状对不上是从头到尾最常见的坑,靠肉眼比靠调试器快。
验收标准:输入一句话,模型能输出下一个词在整个词表上的分数分布,哪怕这个分布毫无意义。重点是「能出分布」这件事本身,说明前向传播的链路是通的。至于分布好不好,那是训练阶段的事。
第四步:让它真的学起来
前向传播只是让数据流过网络,真正让它变聪明的是训练循环。训练循环就三件事:算损失、反向传播求梯度、优化器更新参数。第一次写的时候,不要追指标,先在一个玩具数据集上把损失曲线压下去,哪怕数据集只有几百条样本。
# 训练循环的骨架,重点是顺序和可观测性
for step in range(total_steps):
logits = model(batch_input) # 前向
loss = compute_loss(logits, target) # 算损失
loss.backward() # 反向求梯度
optimizer.step() # 更新参数
optimizer.zero_grad() # 清梯度,别忘了
if step % log_every == 0:
print(step, loss.item()) # 打印,盯住曲线数据质量对结果的影响往往大于模型结构。清洗、去重、剔除乱码这些基础动作,看起来跟「原理」无关,但它们决定了模型到底学到什么。想先把这批术语补齐,可以到 基础词条库(/ai-dict/category/basics) 过一遍再动手。
这一步的验收标准:损失曲线在若干步后有可见的下降趋势,且不是靠调小学习率硬压的。如果损失一直震荡或直接变 NaN,先查学习率是不是太大,再查数据里有没有异常值,最后查反向传播是否真的更新了参数。
第五步:训练完怎么把字吐出来
很多人训练完就懵了——模型只会输出分数分布,怎么变成一段文字?答案是自回归生成:取当前分布里的一个词,拼回输入序列,用变长的输入再预测下一个词,循环往复。理解了这个循环,你就能解释为什么大模型的输出是一个字一个字蹦出来的,而不是一次性整段生成。
- 实现最朴素的贪心生成每一步都取分数最高的那个词,看输出是否通顺。贪心能跑通,说明生成链路是通的
- 加入随机采样按分布随机抽取而不是取最大值,同一个提示跑两次,观察输出差异
- 调温度和采样策略温度决定分布的平缓与尖锐,进而决定输出的稳定与发散。具体取值和影响可以到 技巧词条库(/ai-dict/category/tips) 对照,别背结论
- 记录随机性来源把每次生成用到的随机种子记下来,确认差异究竟来自采样阶段还是模型本身
验收标准:同一个提示跑两次,你能复现差异,并说清这个差异来自哪一步的随机性。如果你跑两次结果完全一样,说明采样被写成了贪心;如果差异大到不可控,说明温度设得过于极端。这两种都不是模型的锅,是生成策略的锅。
从小模型走到真实模型的差距在哪
玩具模型上学到的直觉,在真实大模型上大部分成立,但不是全部。规模带来的不只是更强,还有涌现出来的新能力和新的失效模式。你在小模型上验证过的东西,放到大模型上可能依然对,也可能因为规模效应而呈现完全不同的现象。这一点要有心理准备,别指望小模型的结果能直接外推。
资源和成本的账更不能凭感觉估。训练和推理到底烧多少算力、需要什么样的硬件配置,这些是随硬件市场和模型规模实时变动的数字,一定要看当时的真实口径:训练成本到 算力成本页(/compute/training-cost) 核对,硬件规格到 算力选型页(/compute/sizing) 核对。凭印象报数,是新手最容易犯也最容易被戳穿的错。
| 对比项 | 玩具小模型 | 真实大模型 |
|---|---|---|
| 验证方式 | 自己训一遍看损失曲线 | 看实测报告和公开资料 |
| 成本量级 | 本地单机就能跑 | 需要按当时口径核对真实数字 |
| 失效模式 | 过拟合、梯度爆炸 | 幻觉、上下文遗忘、指令漂移 |
| 直觉可迁移性 | 大部分结构直觉成立 | 规模效应下部分结论会变 |
有个判断标准可以帮你决定要不要继续深挖:如果你只是想知道「某个模型能不能用」,而不是「它为什么能用」,那走这条原理线的时间成本不划算。直接去看实测对比和口碑数据更省事:模型实测对比到 评测页(/benchmarks),中转服务的可信度到 众测雷达(/crowd-radar),都是现成的结论。
一条可执行的四周推进清单
把上面五步压成四周的推进节奏,每周产出一个可验收的东西,缺一个就别往下走。这么做的好处是每一步都有明确的「完成了」信号,不会陷入学了很久却说不清自己会什么的尴尬。
| 周次 | 目标产出 | 验收方式 |
|---|---|---|
| 第一周 | 能跑的子词切分器和嵌入查表 | 给一段中文能走完切分到向量并解释维度 |
| 第二周 | 手算过的注意力实现 | 打印注意力权重,能说清权重落在哪些词上 |
| 第三周 | 完整的最小前向传播 | 输入一句话能输出下一个词的分数分布 |
| 第四周 | 能收敛的玩具训练加生成 | 损失有下降趋势,同一提示能复现采样差异 |
- 每周留半天回看上一周的代码,把注释补成能讲给别人听的说明,讲不清就是没懂
- 卡住时的排查顺序固定:先查张量形状,再查损失是否为非数,最后查学习率,这个顺序能解决大部分问题
- 不要为了凑进度跳过手算那一步,省下的时间会在后面调试时加倍还回去
- 每完成一周就在脑子里过一遍这一周的名词,有模糊的直接去词条库对照
最后提醒一句适用范围:这套路径适合想搞清楚内部机制、愿意花时间动手的人。如果你的目标只是尽快把模型接进产品,那应该优先解决接口稳定性、成本控制和提示词效果这些问题,原理可以慢慢补,不必卡在这一步。
能讲清每一步数据从哪来到哪去,才算真的懂了这个模型。下一步把最小前向传播跑通之后,接着要面对的是选哪个模型、走哪条服务线路的问题。模型资料和版本对比到 /models 看,各家价格随市场变动,去 /price-watch 核对当时的数字,中转服务的实测可信度到 /rankings 对照,别只凭一个页面下判断。→
常见问题
不会数学能走这条路径吗?
能走一部分。矩阵乘法、向量点积、导数基本含义这三样躲不开,其余可以边写边补。真正卡人的不是公式推导,而是张量形状对不上却看不懂报错。建议先花两天把这三样过一遍,再回来写代码,效率比硬啃公式高得多。
一定要自己从零写一遍吗,直接读开源代码不行吗?
读代码能看到结构,但看不到「为什么这么设计」。折中做法是先自己写一个几十行的最小版本,跑通之后再去读成熟实现,这时候你关注的是它怎么优化,而不是它在干什么。只读不写的人,通常停在能复述名词的阶段。
需要什么硬件才能动手?
最小版本和玩具训练在普通笔记本上就能跑,瓶颈出现在你想训练有实际能力的模型时。到 /compute/gpus 看加速卡规格,到 /local-llm-hardware-guide 看本地部署的配置门槛,按自己实际要跑的规模再决定租还是买,别一上来就配机器。
学完这条路径能做什么?
能做到三件事:读懂模型库里的架构说明、自己改小模型做实验、排查推理时的异常输出。做不到的是独立训练出有竞争力的大模型,那需要数据和算力的团队级投入。判断自己学到哪了,拿「能不能向别人讲清注意力在算什么」当尺子。
和已有的 Transformer 原理文章有什么区别?
那篇讲架构是怎么来的、各部分在干什么,偏理解。这篇讲的是动手顺序和每周的验收标准,偏执行。建议先看那篇建立整体印象,再按这篇的顺序一层层写代码,两篇配合比只看一篇更有效。