把 PyTorch 的 Autograd 压进 280 行 C++:从 Dual Number 到一台 Kahn 拓扑排序引擎
Karpathy 的 llm.c 里有一个函数叫gpt2_backward。它长这样(train_gpt2.c:922起,注释是原文):
// backward pass: go in the reverse order of the forward pass, and call backward() functionscrossentropy_softmax_backward(grads_acts.logits,grads_acts.losses,acts.probs,...