很多人看完原理还是写不出框架,卡在「张量怎么存、梯度从哪来、层和优化器谁调用谁」。这篇按动手顺序拆:先跑通最小可运行版本,再补自动求导,最后加层和训练循环。每一步都给验收动作,跑不通也有排查顺序。想先补概念再去 /ai-dict/category/tech 对照,别一上来就堆代码。
很多人看完反向传播的推导,合上书还是写不出框架。卡点通常不在数学,而在工程顺序:张量到底存成什么、梯度从哪条路径冒出来、层和优化器谁负责调用谁。这篇按动手顺序拆成四步,每一步都给验收动作,跑不通也有排查顺序。
建议先跑通最小可运行版本,再补自动求导,最后加层和训练循环。别一上来就堆几百行,那样出错时你根本不知道是哪一层的问题。想先补概念,可以到 /ai-dict/category/tech 对照着看,把术语和实现对上号再动手。
先写能跑的最小内核:张量与运算
起步阶段不要贪多,只支持标量或小数组的加、乘、矩阵乘就够。目标不是功能全,而是让前向能出数、中间值能打印、调用链能看清。每多写一种运算,就多一条要验证的求导路径,先少后多反而更快。
- 每个运算对象至少记三样东西:数据本身、来源(谁算出它的)、以及「怎么对自己求导」的方法;
- 来源信息是后面反向传播的地图,没有它梯度就传不回去,一定要从第一天就记;
- 形状检查放在最前面,矩阵乘不匹配时报错要清晰,别让它悄悄算出一个错值;
- 验收动作:写一个两输入的表达式,打印所有中间值,确认前向结果和你手算一致
把反向传播接上:backward 怎么传
反向传播的实现难点不是链式法则本身,而是遍历顺序和梯度累加。正确做法是从输出节点往回走,按拓扑顺序逐个调用各自的求导函数,把上游传来的梯度累加到下游节点上。顺序错了,梯度就会用旧值算。
- 先建拓扑顺序从输出节点做一次遍历,记录每个节点的依赖先后;顺序不对是梯度算错的第一大来源。
- 逐个节点调求导按逆序对每个节点执行它的求导函数,把上游梯度分发给来源节点。
- 累加而非覆盖同一个变量被用两次时,两次贡献要相加;如果你直接赋值,梯度会偏小。
- 用数值微分对账对同一表达式分别用自己写的 backward 和数值微分算一遍,两者差距应在可接受范围。
如果只有部分节点拿到了梯度,先查是不是漏了某条运算的连接,而不是先怀疑公式。把每个节点的梯度打印出来,和手推的中间结果并排看,问题基本一眼能定位。
加层、损失和优化器,拼成训练循环
层负责把参数包起来并暴露前向,优化器只做三件事:读梯度、按规则更新参数、再把梯度清零。职责分清之后,训练循环就固定成四步,顺序不能乱。很多「损失不降」的现场,其实是清零漏了或者顺序反了。
| 环节 | 它该做什么 | 常见错法 |
|---|---|---|
| 前向 | 按层顺序算出预测和损失 | 把标签和输入搞反 |
| 反向 | 沿计算图求所有参数梯度 | 梯度没累加,只留最后一次 |
| 更新 | 优化器按梯度改参数 | 学习率设得过大直接发散 |
| 清零 | 把参数梯度置零准备下一轮 | 漏掉清零,梯度越滚越大 |
验收动作:拿一个极小的玩具数据集,比如几行二维点做二分类,看损失是否随轮次稳定下降。只要趋势对,就说明地基是稳的,再往上加层和功能才安全。
跑通之后:怎么判断这套东西值不值得继续写
先明确目的:只为理解原理,写到能训玩具数据就够用;要上真实任务,直接换成熟框架更划算。自制框架的价值在于让你看得见每一步,不在于性能。别为了「完整」把时间耗在补工程细节上。
- 把你用到的参数规模、显存占用、单轮耗时跟 /models/deploy 的测算口径对一下,判断还能不能往上加;
- 速度慢先量基线,到 /tools/speed-test 测一轮,别凭感觉判断是代码问题还是机器问题;
- 想换成熟框架时,先到 /rankings 看看当前的口径和适用场景,再决定迁移;
- 注意:不同硬件的实际吞吐差别很大,站内数字只能当参考区间
最后提醒一句判断标准:如果你的目标是「理解」,能在玩具数据上稳定收敛就算成功;如果目标是「生产可用」,那自制框架只是学习工具,不该硬扛真实负载。两种情况不要用同一套验收标准。
下一步把玩具数据集换成你自己关心的一小份数据,再跑一次训练循环;跑不通时回到上面四步逐个排查,比盲目改代码快得多。想对照概念和工具口径,去站内相应页面核对当时的数字。→常见问题
必须从头自己写吗,能不能直接读别人的代码?
可以,而且更省时间。建议先照着一份能跑的极简实现逐行读懂,再把关键部分删掉自己补回来。判断标准很简单:能不能不看原文写出 backward 的传递顺序。写不出来就说明还没吃透,回去再读一遍比硬抄有用。
为什么我的损失不下降,但代码也没报错?
多半是三个地方:梯度没清零导致累加、学习率明显偏大、或者标签和输出的对应关系搞反了。排查顺序是先把学习率调小一个量级跑几轮看趋势,再检查每轮更新前有没有清零,最后抽查几条样本的输入输出对不对得上。
写到什么程度算「入门够了」,可以换别的方向?
能把一个两层的网络在玩具数据上训到损失稳定下降,并且能自己解释清楚每一步数据怎么流、梯度怎么传,就算够了。再往下加卷积、批归一化这些,更多是工程活,用成熟框架学更快。是否继续深挖,看你后面是要做研究还是做应用。