做深度学习入门绕不开的第一个坎就是 CNN。网上讲卷积神经网络的资料很多但要么公式轰炸要么只贴代码不讲原理。这次我们用最直接的方式把卷积、池化、全连接这三块核心讲透然后跟着 PyTorch 把代码跑通。这不是一篇只讲概念的科普而是一篇能让你从零看懂 CNN、并且能自己动手训练一个识别模型的实战文。先说这篇文章你能得到什么第一搞懂卷积层到底在算什么为什么它能提取图像特征第二理解池化层为什么能降维降维后信息会不会丢第三知道全连接层是怎么把特征图变成分类结果的第四拿到一套完整的 PyTorch 代码从数据集加载到模型训练再到评估准确率照着敲就能跑。整个过程中还会穿插讲显存占用怎么看、训练到多少轮合适、模型效果不好先排查什么。环境方面不需要特别高配CPU 也能跑通有 NVIDIA 显卡更好显存 4G 以上跑 MNIST、CIFAR-10 这类入门数据集完全够用。下面直接开始。1. 卷积神经网络核心能力速览在动手之前先把 CNN 的关键信息列出来方便你判断这篇内容适不适合自己当前的学习阶段。能力项说明核心任务图像分类、目标检测、图像分割、特征提取三大组成卷积层、池化层、全连接层最低硬件要求CPU 可训练小规模数据集有 NVIDIA GPU 训练速度更快推荐显存4G 以上即可覆盖 MNIST、CIFAR-10 等入门实验主流框架PyTorch、TensorFlow、PaddlePaddle典型精度参考简单 CNN 在 MNIST 上通常可达 99% 左右CIFAR-10 约 80% 左右具体取决于网络设计和训练策略学习难度入门友好数学门槛主要在卷积运算和矩阵乘法适合读者零基础初学者、准备做图像方向的开发者、需要快速搭建基线模型的算法工程师这里要强调一点CNN 不是只能做图像。它同样可以处理一维信号比如语音、文本、股票时序数据。后面我们主要以图像为例讲解但理解清楚后你会发现把卷积套到一维数据上只是把二维矩阵换成一维向量的事。2. 适用场景与使用边界CNN 最大的优势是参数共享和局部连接。一张 256x256 的彩色图片如果用全连接网络直接处理第一层就有 256x256x3 个输入节点再加 1000 个隐藏节点光这一层参数就是近两亿个。这在实践中根本没法训练。CNN 通过卷积核滑动窗口的方式用很少的参数就能提取整张图的特征这也是它在图像领域占据统治地位的根本原因。适合用 CNN 解决的场景图像分类判断图片里是什么物体比如猫狗识别、手写数字识别。目标检测在图片中定位物体位置常见框架有 Faster R-CNN、YOLO。图像分割对每个像素做分类比如医学影像中的病灶区域分割。特征提取预训练 CNN 去掉全连接层后可以当特征提取器给其他模型用。一维信号处理语音识别、文本分类、传感器时序数据预测。不适合用 CNN 的场景也要清楚纯粹的数值表格数据特征之间没有空间结构关系用 XGBoost、LightGBM 或者简单 MLP 往往更高效。小规模数据且特征简单时CNN 容易过拟合模型复杂度高于问题本身。需要全局长距离依赖的任务比如某些 NLP 任务Transformer 类模型比 CNN 更合适。另外说一句合规边界如果你用 CNN 做人脸识别、声音克隆、视频换脸相关的研究必须确保数据来源合法、已获得授权。图像素材的版权、人物肖像权、隐私数据脱敏这些都要在项目开始前确认清楚技术本身是中性的但使用场景必须合规。3. 前置知识图像在计算机里到底是什么在理解卷积之前先解决一个最基础的问题图像在计算机里是什么。一张灰度图是一个二维矩阵矩阵里的每个值代表该位置的像素亮度范围通常在 0 到 255。比如一张 28x28 的手写数字图片就是一个 28 行 28 列的矩阵。一张彩色图片则是三个二维矩阵叠在一起分别对应 R、G、B 三个通道。所以一张彩色图的形状是(H, W, C)H 是高度W 是宽度C 是通道数。PyTorch 里图像张量的格式通常是(N, C, H, W)N 是批大小也就是一次喂进去多少张图。这个格式后面写代码会反复看到。卷积操作本质上做的事是用一个小矩阵卷积核在输入矩阵上按步长滑动每次滑动做一次对应元素相乘再求和得到输出矩阵的一个值。这句话非常关键也是整个 CNN 的核心。建议你把这句读三遍再用下面的数字例子走一遍就彻底通了。4. 卷积层CNN 的核心操作4.1 单通道卷积的计算过程假设输入是一个 5x5 的矩阵1 0 1 0 1 0 1 1 0 0 1 1 0 1 1 0 0 1 0 1 1 1 0 1 0卷积核是 3x31 0 1 0 1 0 1 0 1卷积核从输入左上角开始覆盖前 3 行 3 列。对应位置相乘再求和(1x1) (0x0) (1x1) (0x0) (1x1) (1x0) (1x1) (1x0) (0x1) 1 0 1 0 1 0 1 0 0 4这样得到输出矩阵第一个位置的值是 4。然后卷积核向右滑动一个步长继续算下一个位置。全部滑完之后输出是一个 3x3 的矩阵。输出尺寸的计算公式输出尺寸 (输入尺寸 - 卷积核尺寸) / 步长 1用上面的例子验证(5 - 3) / 1 1 3输出就是 3x3。4.2 填充与步长实际网络里很少直接用这个公式因为每做一次卷积特征图尺寸就会缩小。如果网络很深特征图会越缩越小。解决方法是加 padding也就是在输入矩阵外围补一圈 0。加了 padding 之后输出尺寸公式变成输出尺寸 (输入尺寸 2 x padding - 卷积核尺寸) / 步长 1padding1卷积核 3x3步长 1 时输入输出尺寸不变这是最常用的配置。它保证特征图尺寸不缩水方便叠加更多卷积层。步长则是卷积核每次滑动的跨度。步长大于 1 时输出尺寸会明显缩小相当于一边卷积一边降采样。有些网络会用步长 2 的卷积来替代池化层。4.3 多通道卷积实际图片有多个通道卷积核也要有对应的深度。比如输入是三通道彩色图卷积核就是 3x3x3 的三维张量。计算时卷积核在每个通道上做二维卷积再把三个通道的结果加起来得到一个输出值。更关键的一点是每一层通常有多个卷积核每个卷积核负责提取一种特征。第一个卷积核可能提取水平边缘第二个提取垂直边缘第三个提取纹理。输出通道数就等于卷积核的个数。用 PyTorch 的nn.Conv2d来定义非常直观import torch.nn as nn # 输入通道 3输出通道 16卷积核 3x3padding 1 conv_layer nn.Conv2d(in_channels3, out_channels16, kernel_size3, padding1) # 输入batch_size43 通道32x32 x torch.randn(4, 3, 32, 32) out conv_layer(x) print(out.shape) # torch.Size([4, 16, 32, 32])输出是[4, 16, 32, 32]4 张图16 个通道每张特征图 32x32。因为 padding1尺寸没有改变。4.4 为什么卷积能提取特征卷积核里的数值不是手工设计的而是训练过程中自动学出来的。网络一开始给卷积核随机初始化通过反向传播不断更新这些数值最终让它们学会识别对任务有用的模式。底层卷积核学到的往往是边缘、颜色块、纹理这些基础特征中间层学到的是组合特征比如眼睛、轮子这些部件级模式高层学到的则是更抽象的整体结构。这就是 CNN 的层级特征表示也是它比传统手工特征方法强很多的原因。5. 池化层降维与特征保留5.1 池化是做什么的卷积层之后通常会接一个池化层。池化的作用不是提取新特征而是对特征图做降采样保留主要信息的同时降低计算量。最常用的池化是最大池化Max Pooling。它把特征图切成若干个固定大小的窗口比如 2x2每个窗口取最大值作为输出。举个例子假设一个 4x4 的特征图1 3 2 4 5 6 1 2 7 8 3 0 9 1 5 22x2 最大池化步长 2输出是 2x26 4 9 5每个窗口里取最大值。6 是左上角[1,3;5,6]的最大值9 是左下角[7,8;9,1]的最大值。还有一种常用池化是平均池化Average Pooling取窗口内所有值的平均。最大池化更强调显著特征平均池化更平滑适合对全局特征做聚合。目前图像分类里最大池化更常见。5.2 池化的好处第一个好处是降维。2x2 池化让特征图尺寸减半参数和计算量大幅下降。第二个好处是带来一定的平移不变性。物体在图片里稍微挪几个像素最大池化后输出往往变化不大这让网络对位置变化不那么敏感。第三个好处是防止过拟合。特征图变小可学习的参数变少模型复杂度下降。PyTorch 里用nn.MaxPool2dimport torch import torch.nn as nn pool nn.MaxPool2d(kernel_size2, stride2) x torch.randn(4, 16, 32, 32) out pool(x) print(out.shape) # torch.Size([4, 16, 16, 16])32x32 的特征图经过 2x2 池化后变成 16x16通道数不变。5.3 池化丢失信息吗会丢失一部分信息但这是有意的折中。最大池化只保留窗口内最明显的响应丢掉其他值。对于分类任务来说这些被丢掉的细节往往不影响判断反而能减少过拟合。如果任务对细节极其敏感比如医学图像中的细小病灶可以考虑用步长卷积代替池化或者使用空洞卷积配合更保守的降采样策略。6. 全连接层从特征到分类结果卷积层和池化层负责提取特征全连接层负责做最终决策。全连接层就是把上一层所有神经元展平成一维向量然后和下一层做矩阵乘法加偏置。它的每个输出节点都和上一层所有节点相连因此参数数量很大。PyTorch 里用nn.Linear定义。需要注意特征图展平这一步。比如最后一层特征图是[16, 8, 8]要变成16x8x8 1024的一维向量才能输入全连接层。典型的 CNN 分类网络末尾是这样import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(32 * 8 * 8, 128), nn.ReLU(), nn.Linear(128, num_classes), ) def forward(self, x): x self.features(x) x self.classifier(x) return x这里nn.Flatten把特征图展平nn.Linear(32 * 8 * 8, 128)输入维度是 32 通道、8x8 特征图展平后的长度。如果你的输入尺寸不是 32x32这个数字必须相应调整否则会报维度不匹配的错误。全连接层的激活函数通常用 ReLU最后一层输出不做激活直接交给损失函数配合CrossEntropyLoss计算损失。交叉熵损失函数内部会先做 softmax所以不需要在网络末尾手动加 softmax。7. 环境准备与 PyTorch 安装7.1 环境要求学习 CNN 不需要多贵的显卡。先给一套通用配置清单操作系统Windows 10/11、Ubuntu 20.04 以上、macOS 均可。Python推荐 3.8 到 3.11 之间的版本。框架PyTorch 2.x 或 1.x 均可2.x 默认更好用。GPU有 NVIDIA 显卡且 CUDA 可用时训练更快没有 GPU 用 CPU 也能跑通 MNIST 和 CIFAR-10。磁盘空间PyTorch 安装加数据集缓存预留 10G 左右足够。7.2 安装 PyTorch最稳妥的方式是使用 conda 创建独立环境避免依赖冲突。conda create -n cnn python3.10 conda activate cnn pip install torch torchvision这里torchvision是 PyTorch 官方的视觉工具库自带 MNIST、CIFAR-10 等数据集下载接口非常方便。如果你有 NVIDIA 显卡建议到 PyTorch 官网按 CUDA 版本选择对应的安装命令比如 CUDA 12.1 可以使用pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121装完后验证一下import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU mode)torch.cuda.is_available()输出 True说明 GPU 可用。输出 False 也不影响跑通本文章例只是速度慢一些。8. 从零搭建 CNN 并训练手写数字识别8.1 加载数据用 MNIST 手写数字数据集。每张图是 28x28 的灰度图一共 10 个类别训练集 6 万张测试集 1 万张。这个数据集非常经典训练快适合验证对 CNN 的理解。import torch import torchvision import torchvision.transforms as transforms from torch.utils.data import DataLoader transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset torchvision.datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) test_dataset torchvision.datasets.MNIST( root./data, trainFalse, downloadTrue, transformtransform ) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse)ToTensor把 PIL 图片转成张量像素值从 0 到 255 归一化到 0 到 1。Normalize再用均值和标准差做标准化有助于训练稳定。MNIST 的标准均值和方差是 0.1307 和 0.3081直接使用即可。8.2 定义 CNN 模型MNIST 输入是单通道 28x28输入尺寸比 32x32 小所以全连接层的维度要按实际计算。粗略算一下特征图的变化输入 28x28卷积 padding1 后还是 28x282x2 池化变成 14x14再卷积一次还是 14x14再池化变成 7x7。如果最后输出通道是 32展平长度就是 32x7x7 1568。import torch.nn as nn import torch.nn.functional as F class MNISTCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.fc1 nn.Linear(64 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) self.dropout nn.Dropout(0.25) def forward(self, x): x F.relu(self.conv1(x)) x F.max_pool2d(x, 2) x F.relu(self.conv2(x)) x F.max_pool2d(x, 2) x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x self.dropout(x) x self.fc2(x) return x这个模型只有两个卷积层复杂度很低但已经足够在 MNIST 上拿到不错的效果。x.view(x.size(0), -1)是手动展平操作等价于Flatten层。8.3 训练循环import torch.optim as optim device torch.device(cuda if torch.cuda.is_available() else cpu) model MNISTCNN().to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) epochs 5 for epoch in range(epochs): model.train() running_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) epoch_loss running_loss / len(train_loader.dataset) print(fEpoch [{epoch 1}/{epochs}] Loss: {epoch_loss:.4f})训练时把模型设为train()模式它会启用 Dropout。每个 epoch 遍历一次全部训练数据打印平均损失。损失在逐步下降说明模型在学习。8.4 测试与评估训练完成后在测试集上验证准确率model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in test_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() accuracy 100.0 * correct / total print(fTest Accuracy: {accuracy:.2f}%)评估时用no_grad()关闭梯度计算省显存也加快推理。torch.max(outputs, 1)返回每个样本预测概率最大的类别。MNIST 上这个简单模型通常能到 98% 到 99% 以上的准确率。8.5 保存与加载模型torch.save(model.state_dict(), mnist_cnn.pth) # 加载 model.load_state_dict(torch.load(mnist_cnn.pth, weights_onlyTrue)) model.to(device) model.eval()保存的是state_dict也就是模型参数而不是整个对象这是官方推荐的做法。加载后记得调用eval()切换为推理模式。9. 训练效果验证与资源观察9.1 怎么判断模型有没有在学一个简单可靠的观察点训练 loss 是否逐轮下降。如果第一个 epoch 结束 loss 还在 2.3 左右不要担心这是分类 10 个类别的随机初始水平后面会持续下降。5 个 epoch 之后MNIST 上通常能到 0.02 以下测试准确率超过 98%。如果 loss 不降反升先检查学习率是不是太大再看数据归一化有没有做对。这两个问题在入门阶段出现频率很高。9.2 显存占用怎么看训练过程中可以用nvidia-smi查看显存占用。MNIST 这个模型极小batch_size 64 时显存占用一般不会超过 1G。如果你换了更大的模型和数据集比如 CIFAR-10 配合 ResNet显存占用会到 2G 到 4G 左右具体取决于 batch_size 和输入分辨率。即便没有 GPU这个训练过程在 CPU 上也能跑只是每个 epoch 会慢一些。MNIST 数据量小、模型小纯 CPU 跑 5 个 epoch 通常也只需要几分钟。想测试 GPU 是否真正参与训练在训练循环里加一行assert images.is_cuda或者直接观察训练速度即可GPU 模式下明显更快。9.3 影响训练速度的因素输入分辨率28x28 比 224x224 快一个数量级。卷积核个数通道数翻倍计算量约翻四倍。batch_size越大单 epoch 迭代次数越少但显存占用越高。epoch 数决定整体训练时间过少欠拟合过多浪费时间。设备GPU 并行计算远快于 CPU数据集越大差异越明显。10. 常见问题与排查方法入门阶段踩坑很正常。下面整理一组高频问题问题现象可能原因排查方式解决方案运行时报维度不匹配全连接层输入维度算错打印特征图形状根据实际特征图尺寸调整nn.Linear第一层输入loss 不下降或变成 NaN学习率过大、数据未归一化查看 loss 曲线和前几个 batch 输出降低学习率到 0.0001检查输入范围是否在 0 到 1加载数据时下载失败网络问题或国内访问源超时查看报错信息手动下载数据集后放入./data对应目录CUDA out of memorybatch_size 太大或模型过重查看nvidia-smi显存占用减小 batch_size降低输入分辨率GPU 可用但速度很慢数据在 CPU 和 GPU 间频繁拷贝检查images.is_cuda是否为 True确保模型和数据都.to(device)训练准确率高但测试低过拟合对比训练和测试 loss加 Dropout、数据增强、减小模型复杂度模型加载报错checkpoint 包含额外信息查看 key 是否匹配保存state_dict加载时带weights_onlyTrue其中维度不匹配是最常见的问题。改模型时每改一个卷积层都要重新推导全连接层的输入维度。推荐的做法是在定义全连接层之前先用一个假输入跑一遍前向打印特征图形状dummy torch.randn(1, 1, 28, 28) with torch.no_grad(): dummy_out model.features(dummy) print(dummy_out.shape) # torch.Size([1, 64, 7, 7])根据打印结果填nn.Linear(64 * 7 * 7, 128)就不会算错。11. 最佳实践与下一步把一个小模型完整跑通之后你需要建立一套适合自己的实验习惯。小参数先验证。第一次跑通时把 epoch 设成 1batch_size 设小一点只看流程是否通畅再调大参数。这能省掉大量反复踩错的时间。固定随机种子。训练前设置torch.manual_seed(42)保证多次实验结果可比排查问题时不会出现“上次能跑这次不能”的困惑。分目录管理。数据集放在data/模型权重放checkpoints/训练日志放logs/推理结果放outputs/。项目变大后才知道这个习惯有多重要。记录每次实验的配置。模型结构、学习率、batch_size、epoch、最终准确率写成一个简单表格或文件。比靠记忆高效得多。使用 TensorBoard 观察训练。PyTorch 内置torch.utils.tensorboard可以实时看 loss 曲线、准确率、卷积核可视化对理解网络行为很有帮助。不要只看准确率。加上混淆矩阵看模型具体在哪些类别上犯错。MNIST 上 7 和 9、3 和 8 经常混淆这是很正常的现象不代表模型坏了。接下来你可以往几个方向扩展。第一个方向是把数据换成 CIFAR-10。同样是 10 分类但输入变成了 32x32 的彩色图模型需要加深比如加一层卷积或者直接接入经典的 ResNet 结构。这个过程中你会体会到为什么网络加深以后要引入残差连接。第二个方向是做数据增强。随机裁剪、水平翻转、旋转这些操作能显著提升泛化能力CIFAR-10 上同样的模型加数据增强后准确率通常能提升几个百分点。第三个方向是学经典网络结构。把 LeNet、AlexNet、VGG、ResNet 的手写实现各跑一遍对比参数量和准确率你会对 CNN 的发展脉络有非常直观的理解。第四个方向是接入真实任务。比如自己拍 100 张照片标注成两个类别然后用 CNN 训练一个二分类器。数据少没关系重点是把整个流程走通数据整理、加载、训练、评估、导出模型、写推理脚本。CNN 的核心就三件事卷积提取特征池化压缩信息全连接输出决策。把这三件事真正理解透后面读任何图像相关论文、改任何模型结构都不会心虚。这篇文章给的代码可以直接跑起来作为基线建议收藏备用。下一步选一个方向把手写数字换成你自己的数据集开始动手。
卷积神经网络CNN入门实战：从原理到PyTorch图像分类
做深度学习入门绕不开的第一个坎就是 CNN。网上讲卷积神经网络的资料很多但要么公式轰炸要么只贴代码不讲原理。这次我们用最直接的方式把卷积、池化、全连接这三块核心讲透然后跟着 PyTorch 把代码跑通。这不是一篇只讲概念的科普而是一篇能让你从零看懂 CNN、并且能自己动手训练一个识别模型的实战文。先说这篇文章你能得到什么第一搞懂卷积层到底在算什么为什么它能提取图像特征第二理解池化层为什么能降维降维后信息会不会丢第三知道全连接层是怎么把特征图变成分类结果的第四拿到一套完整的 PyTorch 代码从数据集加载到模型训练再到评估准确率照着敲就能跑。整个过程中还会穿插讲显存占用怎么看、训练到多少轮合适、模型效果不好先排查什么。环境方面不需要特别高配CPU 也能跑通有 NVIDIA 显卡更好显存 4G 以上跑 MNIST、CIFAR-10 这类入门数据集完全够用。下面直接开始。1. 卷积神经网络核心能力速览在动手之前先把 CNN 的关键信息列出来方便你判断这篇内容适不适合自己当前的学习阶段。能力项说明核心任务图像分类、目标检测、图像分割、特征提取三大组成卷积层、池化层、全连接层最低硬件要求CPU 可训练小规模数据集有 NVIDIA GPU 训练速度更快推荐显存4G 以上即可覆盖 MNIST、CIFAR-10 等入门实验主流框架PyTorch、TensorFlow、PaddlePaddle典型精度参考简单 CNN 在 MNIST 上通常可达 99% 左右CIFAR-10 约 80% 左右具体取决于网络设计和训练策略学习难度入门友好数学门槛主要在卷积运算和矩阵乘法适合读者零基础初学者、准备做图像方向的开发者、需要快速搭建基线模型的算法工程师这里要强调一点CNN 不是只能做图像。它同样可以处理一维信号比如语音、文本、股票时序数据。后面我们主要以图像为例讲解但理解清楚后你会发现把卷积套到一维数据上只是把二维矩阵换成一维向量的事。2. 适用场景与使用边界CNN 最大的优势是参数共享和局部连接。一张 256x256 的彩色图片如果用全连接网络直接处理第一层就有 256x256x3 个输入节点再加 1000 个隐藏节点光这一层参数就是近两亿个。这在实践中根本没法训练。CNN 通过卷积核滑动窗口的方式用很少的参数就能提取整张图的特征这也是它在图像领域占据统治地位的根本原因。适合用 CNN 解决的场景图像分类判断图片里是什么物体比如猫狗识别、手写数字识别。目标检测在图片中定位物体位置常见框架有 Faster R-CNN、YOLO。图像分割对每个像素做分类比如医学影像中的病灶区域分割。特征提取预训练 CNN 去掉全连接层后可以当特征提取器给其他模型用。一维信号处理语音识别、文本分类、传感器时序数据预测。不适合用 CNN 的场景也要清楚纯粹的数值表格数据特征之间没有空间结构关系用 XGBoost、LightGBM 或者简单 MLP 往往更高效。小规模数据且特征简单时CNN 容易过拟合模型复杂度高于问题本身。需要全局长距离依赖的任务比如某些 NLP 任务Transformer 类模型比 CNN 更合适。另外说一句合规边界如果你用 CNN 做人脸识别、声音克隆、视频换脸相关的研究必须确保数据来源合法、已获得授权。图像素材的版权、人物肖像权、隐私数据脱敏这些都要在项目开始前确认清楚技术本身是中性的但使用场景必须合规。3. 前置知识图像在计算机里到底是什么在理解卷积之前先解决一个最基础的问题图像在计算机里是什么。一张灰度图是一个二维矩阵矩阵里的每个值代表该位置的像素亮度范围通常在 0 到 255。比如一张 28x28 的手写数字图片就是一个 28 行 28 列的矩阵。一张彩色图片则是三个二维矩阵叠在一起分别对应 R、G、B 三个通道。所以一张彩色图的形状是(H, W, C)H 是高度W 是宽度C 是通道数。PyTorch 里图像张量的格式通常是(N, C, H, W)N 是批大小也就是一次喂进去多少张图。这个格式后面写代码会反复看到。卷积操作本质上做的事是用一个小矩阵卷积核在输入矩阵上按步长滑动每次滑动做一次对应元素相乘再求和得到输出矩阵的一个值。这句话非常关键也是整个 CNN 的核心。建议你把这句读三遍再用下面的数字例子走一遍就彻底通了。4. 卷积层CNN 的核心操作4.1 单通道卷积的计算过程假设输入是一个 5x5 的矩阵1 0 1 0 1 0 1 1 0 0 1 1 0 1 1 0 0 1 0 1 1 1 0 1 0卷积核是 3x31 0 1 0 1 0 1 0 1卷积核从输入左上角开始覆盖前 3 行 3 列。对应位置相乘再求和(1x1) (0x0) (1x1) (0x0) (1x1) (1x0) (1x1) (1x0) (0x1) 1 0 1 0 1 0 1 0 0 4这样得到输出矩阵第一个位置的值是 4。然后卷积核向右滑动一个步长继续算下一个位置。全部滑完之后输出是一个 3x3 的矩阵。输出尺寸的计算公式输出尺寸 (输入尺寸 - 卷积核尺寸) / 步长 1用上面的例子验证(5 - 3) / 1 1 3输出就是 3x3。4.2 填充与步长实际网络里很少直接用这个公式因为每做一次卷积特征图尺寸就会缩小。如果网络很深特征图会越缩越小。解决方法是加 padding也就是在输入矩阵外围补一圈 0。加了 padding 之后输出尺寸公式变成输出尺寸 (输入尺寸 2 x padding - 卷积核尺寸) / 步长 1padding1卷积核 3x3步长 1 时输入输出尺寸不变这是最常用的配置。它保证特征图尺寸不缩水方便叠加更多卷积层。步长则是卷积核每次滑动的跨度。步长大于 1 时输出尺寸会明显缩小相当于一边卷积一边降采样。有些网络会用步长 2 的卷积来替代池化层。4.3 多通道卷积实际图片有多个通道卷积核也要有对应的深度。比如输入是三通道彩色图卷积核就是 3x3x3 的三维张量。计算时卷积核在每个通道上做二维卷积再把三个通道的结果加起来得到一个输出值。更关键的一点是每一层通常有多个卷积核每个卷积核负责提取一种特征。第一个卷积核可能提取水平边缘第二个提取垂直边缘第三个提取纹理。输出通道数就等于卷积核的个数。用 PyTorch 的nn.Conv2d来定义非常直观import torch.nn as nn # 输入通道 3输出通道 16卷积核 3x3padding 1 conv_layer nn.Conv2d(in_channels3, out_channels16, kernel_size3, padding1) # 输入batch_size43 通道32x32 x torch.randn(4, 3, 32, 32) out conv_layer(x) print(out.shape) # torch.Size([4, 16, 32, 32])输出是[4, 16, 32, 32]4 张图16 个通道每张特征图 32x32。因为 padding1尺寸没有改变。4.4 为什么卷积能提取特征卷积核里的数值不是手工设计的而是训练过程中自动学出来的。网络一开始给卷积核随机初始化通过反向传播不断更新这些数值最终让它们学会识别对任务有用的模式。底层卷积核学到的往往是边缘、颜色块、纹理这些基础特征中间层学到的是组合特征比如眼睛、轮子这些部件级模式高层学到的则是更抽象的整体结构。这就是 CNN 的层级特征表示也是它比传统手工特征方法强很多的原因。5. 池化层降维与特征保留5.1 池化是做什么的卷积层之后通常会接一个池化层。池化的作用不是提取新特征而是对特征图做降采样保留主要信息的同时降低计算量。最常用的池化是最大池化Max Pooling。它把特征图切成若干个固定大小的窗口比如 2x2每个窗口取最大值作为输出。举个例子假设一个 4x4 的特征图1 3 2 4 5 6 1 2 7 8 3 0 9 1 5 22x2 最大池化步长 2输出是 2x26 4 9 5每个窗口里取最大值。6 是左上角[1,3;5,6]的最大值9 是左下角[7,8;9,1]的最大值。还有一种常用池化是平均池化Average Pooling取窗口内所有值的平均。最大池化更强调显著特征平均池化更平滑适合对全局特征做聚合。目前图像分类里最大池化更常见。5.2 池化的好处第一个好处是降维。2x2 池化让特征图尺寸减半参数和计算量大幅下降。第二个好处是带来一定的平移不变性。物体在图片里稍微挪几个像素最大池化后输出往往变化不大这让网络对位置变化不那么敏感。第三个好处是防止过拟合。特征图变小可学习的参数变少模型复杂度下降。PyTorch 里用nn.MaxPool2dimport torch import torch.nn as nn pool nn.MaxPool2d(kernel_size2, stride2) x torch.randn(4, 16, 32, 32) out pool(x) print(out.shape) # torch.Size([4, 16, 16, 16])32x32 的特征图经过 2x2 池化后变成 16x16通道数不变。5.3 池化丢失信息吗会丢失一部分信息但这是有意的折中。最大池化只保留窗口内最明显的响应丢掉其他值。对于分类任务来说这些被丢掉的细节往往不影响判断反而能减少过拟合。如果任务对细节极其敏感比如医学图像中的细小病灶可以考虑用步长卷积代替池化或者使用空洞卷积配合更保守的降采样策略。6. 全连接层从特征到分类结果卷积层和池化层负责提取特征全连接层负责做最终决策。全连接层就是把上一层所有神经元展平成一维向量然后和下一层做矩阵乘法加偏置。它的每个输出节点都和上一层所有节点相连因此参数数量很大。PyTorch 里用nn.Linear定义。需要注意特征图展平这一步。比如最后一层特征图是[16, 8, 8]要变成16x8x8 1024的一维向量才能输入全连接层。典型的 CNN 分类网络末尾是这样import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(32 * 8 * 8, 128), nn.ReLU(), nn.Linear(128, num_classes), ) def forward(self, x): x self.features(x) x self.classifier(x) return x这里nn.Flatten把特征图展平nn.Linear(32 * 8 * 8, 128)输入维度是 32 通道、8x8 特征图展平后的长度。如果你的输入尺寸不是 32x32这个数字必须相应调整否则会报维度不匹配的错误。全连接层的激活函数通常用 ReLU最后一层输出不做激活直接交给损失函数配合CrossEntropyLoss计算损失。交叉熵损失函数内部会先做 softmax所以不需要在网络末尾手动加 softmax。7. 环境准备与 PyTorch 安装7.1 环境要求学习 CNN 不需要多贵的显卡。先给一套通用配置清单操作系统Windows 10/11、Ubuntu 20.04 以上、macOS 均可。Python推荐 3.8 到 3.11 之间的版本。框架PyTorch 2.x 或 1.x 均可2.x 默认更好用。GPU有 NVIDIA 显卡且 CUDA 可用时训练更快没有 GPU 用 CPU 也能跑通 MNIST 和 CIFAR-10。磁盘空间PyTorch 安装加数据集缓存预留 10G 左右足够。7.2 安装 PyTorch最稳妥的方式是使用 conda 创建独立环境避免依赖冲突。conda create -n cnn python3.10 conda activate cnn pip install torch torchvision这里torchvision是 PyTorch 官方的视觉工具库自带 MNIST、CIFAR-10 等数据集下载接口非常方便。如果你有 NVIDIA 显卡建议到 PyTorch 官网按 CUDA 版本选择对应的安装命令比如 CUDA 12.1 可以使用pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121装完后验证一下import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU mode)torch.cuda.is_available()输出 True说明 GPU 可用。输出 False 也不影响跑通本文章例只是速度慢一些。8. 从零搭建 CNN 并训练手写数字识别8.1 加载数据用 MNIST 手写数字数据集。每张图是 28x28 的灰度图一共 10 个类别训练集 6 万张测试集 1 万张。这个数据集非常经典训练快适合验证对 CNN 的理解。import torch import torchvision import torchvision.transforms as transforms from torch.utils.data import DataLoader transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset torchvision.datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) test_dataset torchvision.datasets.MNIST( root./data, trainFalse, downloadTrue, transformtransform ) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse)ToTensor把 PIL 图片转成张量像素值从 0 到 255 归一化到 0 到 1。Normalize再用均值和标准差做标准化有助于训练稳定。MNIST 的标准均值和方差是 0.1307 和 0.3081直接使用即可。8.2 定义 CNN 模型MNIST 输入是单通道 28x28输入尺寸比 32x32 小所以全连接层的维度要按实际计算。粗略算一下特征图的变化输入 28x28卷积 padding1 后还是 28x282x2 池化变成 14x14再卷积一次还是 14x14再池化变成 7x7。如果最后输出通道是 32展平长度就是 32x7x7 1568。import torch.nn as nn import torch.nn.functional as F class MNISTCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.fc1 nn.Linear(64 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) self.dropout nn.Dropout(0.25) def forward(self, x): x F.relu(self.conv1(x)) x F.max_pool2d(x, 2) x F.relu(self.conv2(x)) x F.max_pool2d(x, 2) x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x self.dropout(x) x self.fc2(x) return x这个模型只有两个卷积层复杂度很低但已经足够在 MNIST 上拿到不错的效果。x.view(x.size(0), -1)是手动展平操作等价于Flatten层。8.3 训练循环import torch.optim as optim device torch.device(cuda if torch.cuda.is_available() else cpu) model MNISTCNN().to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) epochs 5 for epoch in range(epochs): model.train() running_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) epoch_loss running_loss / len(train_loader.dataset) print(fEpoch [{epoch 1}/{epochs}] Loss: {epoch_loss:.4f})训练时把模型设为train()模式它会启用 Dropout。每个 epoch 遍历一次全部训练数据打印平均损失。损失在逐步下降说明模型在学习。8.4 测试与评估训练完成后在测试集上验证准确率model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in test_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() accuracy 100.0 * correct / total print(fTest Accuracy: {accuracy:.2f}%)评估时用no_grad()关闭梯度计算省显存也加快推理。torch.max(outputs, 1)返回每个样本预测概率最大的类别。MNIST 上这个简单模型通常能到 98% 到 99% 以上的准确率。8.5 保存与加载模型torch.save(model.state_dict(), mnist_cnn.pth) # 加载 model.load_state_dict(torch.load(mnist_cnn.pth, weights_onlyTrue)) model.to(device) model.eval()保存的是state_dict也就是模型参数而不是整个对象这是官方推荐的做法。加载后记得调用eval()切换为推理模式。9. 训练效果验证与资源观察9.1 怎么判断模型有没有在学一个简单可靠的观察点训练 loss 是否逐轮下降。如果第一个 epoch 结束 loss 还在 2.3 左右不要担心这是分类 10 个类别的随机初始水平后面会持续下降。5 个 epoch 之后MNIST 上通常能到 0.02 以下测试准确率超过 98%。如果 loss 不降反升先检查学习率是不是太大再看数据归一化有没有做对。这两个问题在入门阶段出现频率很高。9.2 显存占用怎么看训练过程中可以用nvidia-smi查看显存占用。MNIST 这个模型极小batch_size 64 时显存占用一般不会超过 1G。如果你换了更大的模型和数据集比如 CIFAR-10 配合 ResNet显存占用会到 2G 到 4G 左右具体取决于 batch_size 和输入分辨率。即便没有 GPU这个训练过程在 CPU 上也能跑只是每个 epoch 会慢一些。MNIST 数据量小、模型小纯 CPU 跑 5 个 epoch 通常也只需要几分钟。想测试 GPU 是否真正参与训练在训练循环里加一行assert images.is_cuda或者直接观察训练速度即可GPU 模式下明显更快。9.3 影响训练速度的因素输入分辨率28x28 比 224x224 快一个数量级。卷积核个数通道数翻倍计算量约翻四倍。batch_size越大单 epoch 迭代次数越少但显存占用越高。epoch 数决定整体训练时间过少欠拟合过多浪费时间。设备GPU 并行计算远快于 CPU数据集越大差异越明显。10. 常见问题与排查方法入门阶段踩坑很正常。下面整理一组高频问题问题现象可能原因排查方式解决方案运行时报维度不匹配全连接层输入维度算错打印特征图形状根据实际特征图尺寸调整nn.Linear第一层输入loss 不下降或变成 NaN学习率过大、数据未归一化查看 loss 曲线和前几个 batch 输出降低学习率到 0.0001检查输入范围是否在 0 到 1加载数据时下载失败网络问题或国内访问源超时查看报错信息手动下载数据集后放入./data对应目录CUDA out of memorybatch_size 太大或模型过重查看nvidia-smi显存占用减小 batch_size降低输入分辨率GPU 可用但速度很慢数据在 CPU 和 GPU 间频繁拷贝检查images.is_cuda是否为 True确保模型和数据都.to(device)训练准确率高但测试低过拟合对比训练和测试 loss加 Dropout、数据增强、减小模型复杂度模型加载报错checkpoint 包含额外信息查看 key 是否匹配保存state_dict加载时带weights_onlyTrue其中维度不匹配是最常见的问题。改模型时每改一个卷积层都要重新推导全连接层的输入维度。推荐的做法是在定义全连接层之前先用一个假输入跑一遍前向打印特征图形状dummy torch.randn(1, 1, 28, 28) with torch.no_grad(): dummy_out model.features(dummy) print(dummy_out.shape) # torch.Size([1, 64, 7, 7])根据打印结果填nn.Linear(64 * 7 * 7, 128)就不会算错。11. 最佳实践与下一步把一个小模型完整跑通之后你需要建立一套适合自己的实验习惯。小参数先验证。第一次跑通时把 epoch 设成 1batch_size 设小一点只看流程是否通畅再调大参数。这能省掉大量反复踩错的时间。固定随机种子。训练前设置torch.manual_seed(42)保证多次实验结果可比排查问题时不会出现“上次能跑这次不能”的困惑。分目录管理。数据集放在data/模型权重放checkpoints/训练日志放logs/推理结果放outputs/。项目变大后才知道这个习惯有多重要。记录每次实验的配置。模型结构、学习率、batch_size、epoch、最终准确率写成一个简单表格或文件。比靠记忆高效得多。使用 TensorBoard 观察训练。PyTorch 内置torch.utils.tensorboard可以实时看 loss 曲线、准确率、卷积核可视化对理解网络行为很有帮助。不要只看准确率。加上混淆矩阵看模型具体在哪些类别上犯错。MNIST 上 7 和 9、3 和 8 经常混淆这是很正常的现象不代表模型坏了。接下来你可以往几个方向扩展。第一个方向是把数据换成 CIFAR-10。同样是 10 分类但输入变成了 32x32 的彩色图模型需要加深比如加一层卷积或者直接接入经典的 ResNet 结构。这个过程中你会体会到为什么网络加深以后要引入残差连接。第二个方向是做数据增强。随机裁剪、水平翻转、旋转这些操作能显著提升泛化能力CIFAR-10 上同样的模型加数据增强后准确率通常能提升几个百分点。第三个方向是学经典网络结构。把 LeNet、AlexNet、VGG、ResNet 的手写实现各跑一遍对比参数量和准确率你会对 CNN 的发展脉络有非常直观的理解。第四个方向是接入真实任务。比如自己拍 100 张照片标注成两个类别然后用 CNN 训练一个二分类器。数据少没关系重点是把整个流程走通数据整理、加载、训练、评估、导出模型、写推理脚本。CNN 的核心就三件事卷积提取特征池化压缩信息全连接输出决策。把这三件事真正理解透后面读任何图像相关论文、改任何模型结构都不会心虚。这篇文章给的代码可以直接跑起来作为基线建议收藏备用。下一步选一个方向把手写数字换成你自己的数据集开始动手。
