神经网络的训练本质上就是这个循环，只是"学生"换成了一堆参数W和b，"老师"换成了损失函数，"修改习惯"换成了沿着梯度方向调整数值。

类比
Loss= 老师给的总扣分。
梯度= "这道题里第 3 步贡献了 5 分扣分，第 7 步贡献了 2 分"——把总误差摊回到每一个具体决定上。
优化器= 学生根据这些细分反馈，决定下次每一步怎么改、改多少。

下一个 batch

输入数据 x

前向传播
模型预测 ŷ

损失函数
L = loss(ŷ, y)

反向传播
计算 ∂L/∂W

优化器
W ← W − η·g

图 1 · 一个训练 step 的闭环：前向 → 算 loss → 反向 → 更新

02 · 第一步 · 前向传播：模型先给出一个预测

反向传播的前提是先有一次前向传播。模型把输入x一层一层往前算，每一层做的事情都很朴素：

z = W · x + b a = σ(z)

其中W是权重矩阵，b是偏置，σ是激活函数（ReLU、GELU、Softmax 等）。一层输出的a又作为下一层的输入，一路传到最后输出ŷ。

关键点：在前向传播的过程中，框架（PyTorch / JAX / TF）会偷偷把每一步的中间结果都"记账"下来，形成一张计算图。这张图就是反向传播能够沿着原路返回的"路标"。没有这本账，后面的链式求导就无从谈起。

03 · 第二步 · Loss：用一个数字量化"错得有多离谱"

预测出来ŷ之后，需要一个标量来衡量"离正确答案y还差多少"。这就是损失函数（loss function）。

常见 Loss 速查

无论形式怎么变，Loss 都是一个标量——只有一个数字。这一点至关重要：因为只有标量函数才能对每一个参数求出一个明确的"导数方向"。

注意
Loss 本身不会改参数。它只是一个"评分员"：给当前这套参数打了个分。真正动手改参数的是后面的反向传播和优化器。

04 · 第三步 · 反向传播：用链式法则把误差摊给每个参数

现在我们有了一个数字L（loss），还有几百万、几十亿个参数W。问题来了：L 这一个数字，怎么变成对每一个 W 的"改进建议"？

核心数学：链式法则

反向传播的灵魂只有一行高中数学——复合函数求导：

∂L/∂W₁ = ∂L/∂a₃ · ∂a₃/∂z₃ · ∂z₃/∂a₂ · ∂a₂/∂z₂ · ∂z₂/∂a₁ · ∂a₁/∂z₁ · ∂z₁/∂W₁

看着吓人，但意思非常朴素："L 对 W₁ 的敏感度"等于一连串"上一层对下一层的敏感度"相乘。从输出端开始，一层一层往输入端"传递责任"。

反向传播的 4 个动作

1. 从输出端开始— 先算最容易的一步：Loss 对最后一层输出ŷ的导数∂L/∂ŷ。例如 MSE 的话就是2(ŷ − y)。
2. 沿计算图反着走— 有了∂L/∂ŷ，结合前向时记下来的中间值，就能反推出∂L/∂W_last。再往前一层，继续。
3. 把"上游梯度"乘进来— 每一层只需要做一次乘法：本层的局部梯度 × 从后一层传过来的梯度，得到的就是 Loss 对本层参数的梯度。
4. 得到一张梯度地图— 走完整张计算图后，每个参数W都会拿到自己专属的梯度g = ∂L/∂W，告诉它："你应该往哪个方向、用多大力度修改"。

类比
把神经网络想象成一条流水线。某个产品最终被客户投诉（Loss 大）。反向传播就是顺着流水线倒查：终检环节贡献了多少错？焊接环节贡献了多少？最上游的备料环节又贡献了多少？每个工人（参数）最后都拿到一张属于自己的"责任分摊单"，那就是它的梯度。

梯度告诉你两件事

图 3 · 不同层得到的梯度幅值（典型情况）：越靠近输出层，梯度信号越强；越靠近输入层，梯度往往越小（这就是"梯度消失"的来源，也是 ResNet、LayerNorm 等技巧要解决的问题）。

05 · 第四步 · 优化器：拿到梯度后，到底怎么改参数？

反向传播只负责算出梯度，但"具体怎么用这些梯度去改参数"是优化器（Optimizer）的工作。最朴素的优化器只有一行公式：

SGD：W ← W − η · g

其中η是学习率（learning rate）。直觉上：梯度告诉你"哪边是上坡"，优化器就反着走，迈一步η那么大。学习率太大容易冲过头，太小则训练慢。

主流优化器一览

为什么 Adam 类优化器会"自适应"？

Adam 在内部维护两个"记忆"：

m ← β₁·m + (1−β₁)·g // 一阶动量：梯度的滑动平均 v ← β₂·v + (1−β₂)·g² // 二阶动量：梯度平方的滑动平均 W ← W − η · m̂ / (√v̂ + ε)

直觉：m像方向感，告诉你"最近一直往哪走"；v像油门刹车，告诉你"这个参数的梯度噪声大不大"。梯度长期很大的参数v就大，于是被自动除小，更新更稳；长期不动的参数v就小，更新被自动放大。

易混点
很多人把"梯度"和"参数更新量"混为一谈。其实：梯度 g是反向传播给的"建议"；更新量 ΔW是优化器对建议的"重新解读"——加上学习率、动量、自适应缩放、权重衰减之后才是真正写回W的数。

06 · 把链路串起来：一次训练 step 的完整剧本

把前面四步合在一起，一个最小的训练 step 长这样（PyTorch 写法）：

# 1. 取一个 batch 的数据 x, y = next(loader) # 2. 前向传播：模型预测 + 计算 loss y_hat = model(x) loss = criterion(y_hat, y) # 3. 清掉上一步的旧梯度（PyTorch 默认会累加） optimizer.zero_grad() # 4. 反向传播：自动沿计算图算出每个参数的梯度 loss.backward() # 5. 优化器根据梯度更新参数 optimizer.step()

这五行代码就是深度学习训练的最小心跳。模型微调、LLM 预训练、扩散模型训练……本质上都是这同一个循环跑几万到几亿次。

OptimizerBackwardLoss模型 (W)数据 (x, y)OptimizerBackwardLoss模型 (W)数据 (x, y)进入下一个 batch输入 x1预测 ŷ2计算标量 L3dL/dŷ4沿计算图回传，得到每个 W 的梯度 g5把 (W, g) 交给优化器6写回新参数 W'7

图 5 · 一次训练 step 的角色与信息流

07 · 微调（Fine-tuning）里的反向传播有什么不一样？

核心机制完全相同，但哪些参数参与反向传播会有变化。这是理解微调各种"花招"的关键。

三种典型微调形态

LoRA 中的 A、B 到底是什么？

上面表格里反复提到的A、B不是随便起的字母，它们是 LoRA 论文里定义好的两个低秩矩阵，是真正接收梯度、被优化器更新的"小参数"。一句话概括：

核心公式
原模型某层权重W ∈ ℝ^(d×k)（冻结，不动）。
LoRA 新增旁路：ΔW = B · A，其中A ∈ ℝ^(r×k)，B ∈ ℝ^(d×r)，秩r ≪ min(d, k)（常见 4 / 8 / 16 / 32）。
前向时实际用的权重：W' = W + B·A（推理可合并，零额外延迟）。

形状直观对比