1. 项目概述：为什么需要冻结网络层？

在深度学习的模型训练中，尤其是进行迁移学习或微调预训练模型时，我们经常会遇到一个核心需求：只训练模型的一部分，而让另一部分保持“静止”。这个操作，就是所谓的“冻结”（Freezing）。想象一下，你拿到一个别人已经训练好的、在百万张图片上识别过猫狗的视觉模型，现在你想让它学会识别汽车。模型的前几层可能学到的是一些通用的边缘、纹理特征，这些特征对识别汽车同样有用。如果把这些层也重新训练，不仅浪费计算资源，还可能导致模型“忘记”之前学到的通用知识，甚至因为新数据量不足而让模型性能变差。这时候，冻结这些通用的底层特征提取器，只训练顶层的分类器，就成了一个高效且稳妥的策略。

PyTorch作为当前主流的深度学习框架之一，以其动态计算图和灵活的模块化设计著称。但在PyTorch中实现层的冻结，对于新手来说，可能不像调用一个model.freeze()方法那么简单直接。它涉及到对模型参数（Parameter）的requires_grad属性的精细控制，以及对优化器（Optimizer）的相应配置。理解并掌握这套“组合拳”，是进阶PyTorch使用的必备技能。本文将从一个实践者的角度，深入拆解在PyTorch中冻结网络层的多种方法、背后的原理、常见的坑点以及我个人的调试心得，目标是让你看完后能清晰、安全地在自己的项目中应用这一技术。

2. 核心原理：梯度计算与参数更新链

要理解如何冻结，必须先明白PyTorch是如何训练模型的。这个过程本质上是一个基于梯度下降的循环：

1. 前向传播：输入数据经过模型各层计算，得到预测输出。
2. 损失计算：比较预测输出和真实标签，计算损失值。
3. 反向传播：损失值从输出端向输入端回溯，利用链式法则计算模型中每一个可学习参数（即requires_grad=True的Parameter）相对于损失的梯度。
4. 参数更新：优化器根据计算出的梯度，更新这些可学习参数的值。

冻结的核心，就在于打断上述链条的第3步或第4步。具体来说，是通过设置参数的requires_grad属性为False来实现的。

• requires_grad=False意味着什么？
  • 在反向传播过程中，PyTorch的自动微分引擎（Autograd）会跳过所有requires_grad=False的参数，不为它们计算梯度。
  • 既然没有梯度，优化器在更新参数时自然也会忽略它们。
  • 同时，以这些参数为输入的层，其前向计算过程会被记录（用于更上游参数的反向传播），但计算图会在这个参数节点处“截断”，不再向后追溯，这能在一定程度上节省显存和计算量。

因此，冻结层的关键操作就是遍历目标层的参数，并将其requires_grad属性设置为False。接下来，我们将从最简单的场景开始，逐步深入到更复杂和实用的技巧。

2.1 基础操作：手动设置 requires_grad

假设我们有一个简单的卷积神经网络（CNN），我们想冻结其所有的卷积层（通常位于模型前部），只训练全连接层。

import torch import torch.nn as nn import torch.optim as optim # 定义一个简易CNN class SimpleCNN(nn.Module): def __init__(self): super(SimpleCNN, self).__init__() self.conv1 = nn.Conv2d(3, 16, 3) self.conv2 = nn.Conv2d(16, 32, 3) self.fc1 = nn.Linear(32 * 6 * 6, 128) # 假设经过卷积后特征图大小为6x6 self.fc2 = nn.Linear(128, 10) def forward(self, x): x = torch.relu(self.conv1(x)) x = torch.relu(self.conv2(x)) x = x.view(x.size(0), -1) x = torch.relu(self.fc1(x)) x = self.fc2(x) return x model = SimpleCNN() # 方案1：手动遍历并冻结指定层 for name, param in model.named_parameters(): # 如果参数名以'conv'开头，我们就冻结它 if name.startswith('conv'): param.requires_grad = False # 验证 for name, param in model.named_parameters(): print(f'{name}: requires_grad={param.requires_grad}')

运行上述代码，你会看到conv1.weight,conv1.bias,conv2.weight,conv2.bias的requires_grad都变成了False，而fc1和fc2的参数依然是True。

注意：仅仅设置requires_grad=False还不够。优化器在初始化时，会捕获模型中所有requires_grad=True的参数。如果在设置requires_grad之后再定义优化器，那么优化器就不会包含已被冻结的参数，这是正确的流程。但如果先定义了优化器，再修改requires_grad，优化器内部维护的参数列表并不会自动更新，它仍然会尝试更新那些已经被设置为requires_grad=False的参数（虽然这些参数没有梯度，更新无效，但可能引发警告或错误）。因此，最佳实践是：先冻结参数，再实例化优化器。

# 正确的顺序 model = SimpleCNN() # 1. 冻结参数 for name, param in model.named_parameters(): if name.startswith('conv'): param.requires_grad = False # 2. 定义优化器，此时optimizer只包含requires_grad=True的参数 optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.001) # 也可以直接传入model.parameters()，优化器内部会自动过滤，但显式过滤更清晰 # optimizer = optim.Adam(model.parameters(), lr=0.001) # 这样也可以，但建议用上面的方式明确意图

2.2 进阶技巧：按模块冻结与部分冻结

手动遍历参数名适用于简单模型，但当模型结构复杂、层数众多时，这种方法容易出错且不直观。PyTorch的模块化设计提供了更优雅的解决方案。

2.2.1 冻结整个子模块

nn.Module有一个parameters()方法用于获取所有参数，同时也有一个children()或named_children()方法用于获取其直接子模块。我们可以直接对子模块进行操作。

# 冻结模型的前两个卷积层（假设它们是模型的子模块） for child in list(model.children())[:2]: # 获取前两个子模块 if isinstance(child, nn.Conv2d): # 安全起见，判断类型 for param in child.parameters(): param.requires_grad = False

对于像ResNet、VGG这样的标准模型，其结构通常是features（卷积部分）和classifier（全连接部分）分离的，冻结起来更加方便：

import torchvision.models as models model = models.resnet18(pretrained=True) # 冻结整个卷积特征提取部分 for param in model.parameters(): # 先全部冻结 param.requires_grad = False # 然后只解冻最后一层全连接层（通常是适应新任务的关键） for param in model.fc.parameters(): param.requires_grad = True # 或者更精细地，只冻结前面的层，不冻结最后几个卷积块 # 假设我们不想冻结layer4 for name, param in model.named_parameters(): if not name.startswith('fc') and not name.startswith('layer4'): param.requires_grad = False

2.2.2 部分冻结：冻结权重（Weight）但不冻结偏置（Bias）

有时我们会有更精细的需求。例如，在微调某些模型时，我们可能希望冻结卷积核的权重，但允许偏置项继续学习，以提供一些调整的灵活性。这需要对同一层内的不同参数进行区分操作。

for name, param in model.named_parameters(): if 'weight' in name and name.startswith('conv'): param.requires_grad = False # 对应的'bias'的requires_grad保持默认的True，或根据需要设置

3. 优化器配置与梯度确认

参数冻结后，优化器的配置至关重要。如前所述，确保优化器只接收需要更新的参数。

# 方法1：使用filter过滤 optimizer = optim.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=0.01, momentum=0.9) # 方法2：构建需要更新的参数列表 params_to_update = [] for name, param in model.named_parameters(): if param.requires_grad: params_to_update.append(param) optimizer = optim.Adam(params_to_update, lr=0.001)

在训练循环中，我们可以通过检查梯度来验证冻结是否生效。在loss.backward()之后，被冻结的参数的梯度应为None。

# ... 训练循环中 ... optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() # 检查特定层的梯度 for name, param in model.named_parameters(): if name.startswith('conv1'): print(f'{name} gradient is: {param.grad}') # 应该输出 None 或全0张量（取决于PyTorch版本） if name.startswith('fc2'): print(f'{name} gradient is not None: {param.grad is not None}') # 应该输出 True

实操心得：在训练初期，我强烈建议添加这样的梯度检查代码。它可以帮助你确认冻结操作是否按预期工作，避免因为错误的冻结导致模型完全不学习，或者该冻结的层却在偷偷更新，浪费大量调试时间。

4. 常见问题与排查技巧实录

在实际项目中，冻结操作看似简单，却暗藏玄机。下面是我总结的几个典型问题和解决方法。

4.1 问题一：冻结后模型性能不升反降

现象：冻结了预训练模型的大部分层，只训练顶层分类器，但模型在验证集上的准确率远低于预期，甚至比随机初始化还差。

排查与解决：

1. 检查输入数据标准化：预训练模型（如在ImageNet上训练的模型）通常有特定的输入均值和标准差要求（如mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]）。如果你的数据预处理没有使用相同的标准化参数，冻结的底层卷积核提取的特征将是无效的，导致后续分类器无法学习。务必确保数据预处理与预训练模型匹配。
2. 检查学习率：虽然只训练少数层，但学习率设置依然关键。对于新添加的或解冻的顶层，如果学习率太小，可能收敛缓慢；如果太大，可能会破坏从冻结层传递过来的、已经很好的特征表示。一个常见的策略是，对需要更新的参数使用一个较小的学习率（例如，预训练模型学习率的1/10）。
3. 检查分类层初始化：新添加的或替换掉的顶层分类器（如model.fc）是随机初始化的。如果这个层很复杂（参数多），而你的新数据集很小，可能会过拟合。可以考虑添加Dropout层或进行权重衰减（L2正则化）。
4. 解冻更多层：也许你的新任务与预训练任务的差异较大。例如，预训练模型是自然图像分类，而你的任务是医学影像分析。底层的通用边缘特征可能仍然有用，但中层的一些纹理特征可能需要调整。可以尝试逐步解冻模型后面的部分层（例如，从倒数第二个卷积块开始），进行微调。

4.2 问题二：显存占用未明显减少

现象：冻结了大量参数，但训练时GPU显存占用并没有显著下降。

原因分析：设置requires_grad=False主要是在反向传播时节省计算和显存，因为不需要为这些参数存储梯度。但是，前向传播过程中，这些参数和它们产生的激活值（Activations）仍然需要存储在显存中，以供更上层的参数进行反向传播时使用。如果冻结的是模型的前几层，而模型很深，那么后面未冻结层进行反向传播时，仍然需要前面层的激活值来计算梯度链，因此激活值无法被立即释放。

解决方案：

• 如果显存是瓶颈，可以考虑使用梯度检查点（Gradient Checkpointing）技术，它用计算时间换显存空间，但实现相对复杂。
• 更实际的方法是减小批处理大小（Batch Size）。
• 理解这一点很重要：冻结参数的主要目的是防止其被更新，以保留预训练知识，其次才是节省资源。节省的资源主要体现在梯度计算和优化器状态上（例如Adam优化器需要为每个参数维护动量和方差估计），对于大模型，这部分节省也很可观。

4.3 问题三：Batch Normalization 层的处理

现象：冻结了卷积层，但模型在训练和评估模式下的行为不一致，性能不稳定。

深度解析：这是冻结操作中最容易踩坑的地方。BatchNorm层包含可学习的参数（权重gamma和偏置beta）和运行时统计量（均值mean和方差var）。

• 参数（gamma/beta）：和卷积核权重一样，你可以通过设置requires_grad=False来冻结它们，阻止其被优化器更新。
• 运行时统计量（mean/var）：这些是在训练过程中通过指数移动平均计算得到的，用于在评估阶段进行标准化。它们不受requires_grad控制。

关键问题：即使你冻结了BatchNorm层的参数，在训练模式下，它仍然会使用当前批次的统计数据来更新内部的running_mean和running_var。如果你的批次数据分布与新任务差异很大，这可能会“污染”预训练模型积累的统计信息。

最佳实践：

1. 彻底冻结BatchNorm层：对于需要严格保持预训练特征提取能力的层，建议将BatchNorm层设置为评估模式（eval()）。这会使其使用预训练好的running_mean和running_var进行前向传播，并停止更新这些统计量。

   model = models.resnet18(pretrained=True) # 冻结所有参数 for param in model.parameters(): param.requires_grad = False # 将整个模型设为训练模式，但单独将BatchNorm层设为评估模式 model.train() for module in model.modules(): if isinstance(module, nn.BatchNorm2d): module.eval() # 关键步骤：停止BN的统计量更新，使用预训练统计量

   注意：module.eval()是一个递归操作，会影响到该模块的所有子模块。确保你在设置完所有冻结逻辑后再处理BatchNorm模式。

2. 微调BatchNorm层：如果你解冻了部分卷积层进行微调，那么与之关联的BatchNorm层通常也应该一并解冻（即保持train()模式），让它的参数和统计量都能适应新数据。因为卷积层输出的分布已经改变，旧的BatchNorm统计量可能不再适用。

4.4 问题速查表

5. 工程化实践：封装与动态冻结策略

在真实的项目开发中，我们可能需要更灵活的动态冻结策略。例如，在训练的不同阶段解冻不同的层（渐进式微调），或者根据配置文件来冻结模型。

5.1 封装冻结函数

为了提高代码复用性和可读性，可以编写一个通用的冻结函数。

def freeze_modules(model, target_layers, freeze=True, verbose=False): """ 冻结或解冻模型中指定层的参数。 Args: model (nn.Module): 目标模型。 target_layers (list of str or nn.Module): 需要冻结的层名列表或模块列表。 支持字符串前缀匹配（如'features.0'）或直接传入模块对象。 freeze (bool): True为冻结，False为解冻。 verbose (bool): 是否打印操作信息。 """ for name, param in model.named_parameters(): # 判断该参数是否属于目标层 to_freeze = False if isinstance(target_layers[0], str): # 如果target_layers是字符串列表，进行前缀匹配 for prefix in target_layers: if name.startswith(prefix): to_freeze = True break else: # 如果target_layers是模块列表，检查参数是否属于这些模块 # 这里需要更复杂的逻辑来映射参数到模块，通常用名字匹配更简单 pass # 简化处理，实际可按需实现 if to_freeze: param.requires_grad = not freeze # 冻结时设为False，解冻时设为True if verbose: status = "Frozen" if freeze else "Unfrozen" print(f"{status}: {name}") # 使用示例 model = models.resnet50(pretrained=True) # 冻结所有卷积层（通过名字前缀） freeze_modules(model, ['conv', 'bn1', 'layer1', 'layer2'], freeze=True, verbose=True) # 解冻最后两层 freeze_modules(model, ['layer3', 'layer4'], freeze=False, verbose=True)

5.2 动态冻结（渐进式微调）策略

在训练过程中动态调整冻结状态，可以实现更精细的微调。这通常在训练调度器（Scheduler）的回调中完成。

from torch.optim.lr_scheduler import StepLR def progressive_unfreeze(model, epoch, freeze_schedule): """ 根据训练轮数渐进式解冻模型层。 Args: model: 模型 epoch: 当前轮数 freeze_schedule: 一个字典，{解冻轮数: [要解冻的层名前缀列表]} """ for unfreeze_epoch, layers in freeze_schedule.items(): if epoch == unfreeze_epoch: print(f"Epoch {epoch}: Unfreezing layers {layers}") freeze_modules(model, layers, freeze=False, verbose=True) # 通常解冻后，可以为这些新解冻的层设置不同的学习率 # 这里需要更新优化器的参数组，是一个进阶话题 # 定义解冻计划：第0轮冻结所有特征层，第5轮解冻layer4，第10轮解冻layer3 freeze_schedule = { 5: ['layer4'], 10: ['layer3'], } # 在训练循环中 for epoch in range(total_epochs): progressive_unfreeze(model, epoch, freeze_schedule) # ... 训练代码 ...

这种策略让模型先适应顶层的任务，再逐步解冻底层网络，使其更平滑地适应新数据，往往能获得更好的最终性能和训练稳定性。

掌握PyTorch中冻结层的技术，意味着你能够更高效地利用预训练模型，在有限的数据和算力下获得更优的性能。核心在于理解requires_grad与优化器、BatchNorm层状态之间的联动关系，并通过严谨的检查和调试来确保策略正确执行。希望这些从实战中总结出的细节和坑点，能让你在接下来的项目中更加得心应手。