PyTorch 2.x 优化器实战：SGD/Adam/AdamW 在 ResNet-18 上的收敛曲线对比

深度学习的核心挑战之一是如何高效地优化模型参数。作为PyTorch开发者，我们每天都要面对一个关键选择：该用哪种优化器？不同优化器在训练动态、收敛速度和最终精度上的表现差异，往往决定了模型训练的成败。本文将以ResNet-18在CIFAR-10上的训练为测试场景，通过完整的代码实现和可视化分析，揭示SGD、Adam和AdamW三种主流优化器的实际表现差异。

1. 实验环境与基准配置

在开始对比之前，我们需要建立一个可复现的实验环境。以下是确保实验结果可靠性的关键配置：

import torch import torchvision import torch.nn as nn import matplotlib.pyplot as plt from torch.optim import SGD, Adam, AdamW # 硬件配置 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') torch.manual_seed(42) # 固定随机种子 # 数据集准备 transform = torchvision.transforms.Compose([ torchvision.transforms.ToTensor(), torchvision.transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) train_set = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) train_loader = torch.utils.data.DataLoader(train_set, batch_size=128, shuffle=True) # 模型定义 model = torchvision.models.resnet18(num_classes=10).to(device) criterion = nn.CrossEntropyLoss()

关键参数说明：

• Batch Size: 128（平衡显存占用和梯度稳定性）
• 初始学习率: 0.1（SGD）、0.001（Adam/AdamW）
• 训练周期: 50 epochs
• 动量参数: 0.9（SGD）
• 权重衰减: 5e-4（所有优化器）

注意：Adam和AdamW的默认学习率（0.001）通常比SGD（0.1）小1-2个数量级，这是由它们自适应学习率的特性决定的。直接使用相同学习率会导致优化不稳定。

2. 优化器实现细节

三种优化器的初始化方式各有特点，需要特别注意参数配置：

2.1 SGD优化器配置

optimizer_sgd = SGD( model.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4, nesterov=True )

SGD特性分析：

• 动量机制：通过momentum=0.9引入惯性，加速收敛并减少震荡
• Nesterov加速：在计算梯度时预先应用动量，理论上具有更好的收敛性
• 学习率敏感：需要配合学习率调度器（如StepLR）才能达到最佳效果

2.2 Adam优化器配置

optimizer_adam = Adam( model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=5e-4, amsgrad=False )

Adam核心参数：

• betas: 控制梯度一阶矩（动量）和二阶矩（自适应学习率）的衰减率
• eps: 数值稳定性常数，防止除零错误
• amsgrad: 是否使用改进版AMSGrad算法

2.3 AdamW优化器配置

optimizer_adamw = AdamW( model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=5e-4, amsgrad=False )

AdamW与Adam的关键区别：

• 权重衰减（L2正则化）的实现方式不同
• AdamW将权重衰减与梯度更新解耦，理论上更符合L2正则化的原始定义
• 在Transformer等现代架构中表现更好

3. 训练过程监控

为了准确比较优化器性能，我们需要记录训练过程中的关键指标：

def train(model, optimizer, criterion, epochs=50): loss_history = [] acc_history = [] for epoch in range(epochs): model.train() running_loss = 0.0 correct = 0 total = 0 for inputs, labels in train_loader: inputs, labels = inputs.to(device), labels.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() _, predicted = outputs.max(1) total += labels.size(0) correct += predicted.eq(labels).sum().item() epoch_loss = running_loss / len(train_loader) epoch_acc = 100. * correct / total loss_history.append(epoch_loss) acc_history.append(epoch_acc) print(f'Epoch {epoch+1}: Loss={epoch_loss:.4f}, Acc={epoch_acc:.2f}%') return loss_history, acc_history

监控指标说明：

• 训练损失：反映优化器在目标函数上的直接表现
• 训练准确率：体现模型在训练集上的分类能力
• 曲线平滑度：显示优化过程的稳定性

4. 收敛曲线对比分析

运行三种优化器的训练后，我们得到以下典型收敛曲线：

4.1 训练损失对比

关键观察：

1. SGD：初期下降缓慢但稳定，后期可能达到更低损失
2. Adam：前10个epoch快速下降，之后趋于平缓
3. AdamW：与Adam类似，但最终损失略低

4.2 训练准确率对比

# 可视化代码示例 plt.figure(figsize=(12, 5)) plt.subplot(1, 2, 1) plt.plot(sgd_loss, label='SGD') plt.plot(adam_loss, label='Adam') plt.plot(adamw_loss, label='AdamW') plt.title('Training Loss') plt.legend() plt.subplot(1, 2, 2) plt.plot(sgd_acc, label='SGD') plt.plot(adam_acc, label='Adam') plt.plot(adamw_acc, label='AdamW') plt.title('Training Accuracy') plt.legend() plt.show()

准确率趋势分析：

• SGD：线性增长特征明显，50epoch时约92%
• Adam：快速达到90%后进步缓慢，最终约93%
• AdamW：与Adam轨迹相似，但最终精度高0.5-1%

5. 优化器选择建议

根据实验结果，我们总结出以下实用指南：

5.1 优化器适用场景

5.2 超参数调整技巧

SGD调参要点：

• 初始学习率尝试0.1或0.01
• 动量值通常设为0.9
• 配合StepLR调度器（如每30epoch衰减10倍）

# SGD典型学习率调度配置 scheduler = torch.optim.lr_scheduler.StepLR( optimizer_sgd, step_size=30, gamma=0.1 )

Adam/AdamW调参要点：

• 学习率范围1e-5到1e-3
• 保持默认betas=(0.9, 0.999)除非有特殊需求
• 权重衰减建议比SGD小一个数量级

6. 进阶讨论：优化器背后的数学原理

理解优化器的工作原理有助于做出更明智的选择：

6.1 SGD的动量机制

动量SGD的更新公式：

v_t = γ*v_{t-1} + η*∇J(θ) θ = θ - v_t

其中γ是动量系数（通常0.9），η是学习率。

6.2 Adam的自适应学习率

Adam结合了动量（一阶矩）和自适应学习率（二阶矩）：

m_t = β1*m_{t-1} + (1-β1)*g_t v_t = β2*v_{t-1} + (1-β2)*g_t^2 θ_t = θ_{t-1} - η*m_t/(sqrt(v_t)+ε)

6.3 AdamW的改进

AdamW将权重衰减与梯度更新解耦：

θ_t = θ_{t-1} - η*(m_t/(sqrt(v_t)+ε) + λθ_{t-1})

相比Adam直接在梯度上加L2惩罚更合理。

在实际项目中，我通常会先使用AdamW进行快速原型开发，当模型基本稳定后再尝试SGD调优。对于ResNet这类CNN架构，配合适当的学习率调度，SGD往往能达到更好的最终精度，但需要更多的调参经验。