简介基于Python的手写数字识别系统源码与配套数据集专为高校Python课程设计、期末大作业等场景准备。项目已通过导师指导并获得97分高分代码完整、结构清晰下载后无需修改即可运行适合作为机器学习入门或图像识别方向的参考实现。压缩包共包含3个文件主程序test2.py承载识别逻辑data.rar中存放训练与测试数据集README.md提供使用说明与环境配置指引整体体积仅11.06MB便于本地部署与快速验证。目前已有259人学习/下载适合正在准备课程设计或期末项目的同学参考。资源的核心价值在于将完整的数据集、可执行代码与文档说明打包在一起省去自行搜集数据与调试环境的麻烦直接运行test2.py即可观察手写数字的识别效果也可按需扩展算法或数据作为课程报告与答辩演示的基础。1. 手写数字识别系统读懂数据集比跑通模型更重要手写数字识别经常被视为 python 入门级别的练手项目但真实源码包的价值很少体现在“训练出一个 99% 模型”这件事上。当你把 mnist 手写数字识别这套流程跑通、准确率刷到 99% 之后换一批自己扫描的手写数字图往往发现识别率掉到刚及格的水平——这背后不是模型不行而是数据集结构、预处理和训练参数之间存在一系列容易被忽略的约定。下面会沿着从业者实际踩坑的路径展开先拆 MNIST 数据集和特征预处理再对比模型选型并给出可运行的 PyTorch 实现接着用一套调参和验证流程把准确率补到可接受范围最后讨论把模型接到真实输入前的边界条件。新手可以按步骤复现有经验的工程师可以直接跳到自己关心的参数表格和错误分析部分。2. 数据集与预处理MNIST 读法、归一化和样本划分2.1 MNIST 的二进制格式先读清楚文件再谈训练手写数字识别系统里最常被忽略的模块是数据加载。MNIST 原始数据以 IDX 二进制格式存储四个文件分别对应训练图像、训练标签、测试图像、测试标签文件内部按大端序记录 magic number、样本数量、行列数然后是连续的像素字节。很多源码直接调用现成库的load_data但如果你要自己替换或扩展数据集就必须掌握底层结构。import struct import numpy as np def load_mnist(image_path, label_path): # IDX 标签文件只有 8 字节头部前 4 字节是 magic后 4 字节是样本数 with open(label_path, rb) as f: magic, n struct.unpack(II, f.read(8)) labels np.frombuffer(f.read(), dtypenp.uint8) # 图像文件头部是 16 字节比标签多了行数和列数两个维度 with open(image_path, rb) as f: magic, num, rows, cols struct.unpack(IIII, f.read(16)) images np.frombuffer(f.read(), dtypenp.uint8) images images.reshape(num, rows, cols) return images, labels X_train, y_train load_mnist(train-images-idx3-ubyte, train-labels-idx1-ubyte) X_test, y_test load_mnist(t10k-images-idx3-ubyte, t10k-labels-idx1-ubyte)struct.unpack(II, ...)中的表示大端序MNIST 文件规定必须用大端序读取改成小端序读出来的 magic number 会变成完全不同的数值。np.frombuffer一次性把剩余字节转成 uint8 数组最后reshape(num, rows, cols)得到的是(60000, 28, 28)的三维数组行列顺序和原始图片一致。这个读取函数不依赖 torchvision 或 tensorflow-datasets在新搭的 vscode python 环境里装 numpy 就能运行排查问题也更直观。2.2 归一化和维度塑造0-255 到 0-1 之间的因果关系模型训练前必须做的一步是把像素值从 0-255 缩放到 0-1。原因不在数据本身而在于梯度传播的数值条件网络权重初始化时通常是接近 0 的小值输入如果维持 255 量级第一层卷积的线性输出会同样落在很大的数值区间再经过激活函数容易进入饱和区反向传播到前几层的梯度会变得极小。把输入缩放到 0-1 后梯度的尺度会更均衡优化器用起来也更稳定。X_train X_train.astype(np.float32) / 255.0 X_test X_test.astype(np.float32) / 255.0 X_train_cnn X_train.reshape(-1, 1, 28, 28) X_test_cnn X_test.reshape(-1, 1, 28, 28)astype(np.float32)是因为后续要输入 PyTorch/TensorFlow 的张量默认 float64 会多占一倍内存而且很多算子不接受 float64。reshape(-1, 1, 28, 28)中 -1 让 numpy 自动推断 batch 大小1 表示灰度通道数这个 NCHW 格式是 PyTorch 的默认约定如果你在源码里看到的是reshape(-1, 28, 28, 1)那是 TensorFlow 的默认 NHWC 格式。两种写法本身没有对错但模型和数据布局必须配套否则第一个卷积层就会报通道维度不匹配。2.3 验证集从哪来别急着碰官方测试集复现手写数字识别源码时我第一步通常不是训练而是先从官方训练集再切一块验证集。测试集的职责是模拟“没见过的数据”如果调参过程反复使用它模型会在测试集上产生隐式过拟合最终分数无法真实反映泛化水平。from sklearn.model_selection import train_test_split X_train_split, X_val, y_train_split, y_val train_test_split( X_train, y_train, test_size5000, random_state42, stratifyy_train )stratifyy_train按各类别比例做分层采样保证验证集里 0 到 9 的分布与训练集一致。MNIST 本身类别均衡切 5000 张后每类还剩约 5500 张训练量足够如果换成真实业务数据比如银行单据里的手写数字类别往往不均衡分层切分就应该成为强制选项否则验证集准确率会比线上表现乐观得多。另外MNIST 图像可视化时要用cmapgray同时把像素区间固定成vmin0, vmax1。很多可视化库默认对数据做线性拉伸如果样本里存在几处异常亮斑整张图会被压得很暗看起来像数据有问题实际只是显示区间的问题。这种“数据没问题、显示骗了你”的情况在数据集规模较大的时候经常出现。3. 模型选型与实现KNN 基线到可运行的 LeNet-53.1 为什么 CNN 是手写数字识别系统的默认选择在确定模型之前先把三条常见技术路线梳理一遍。KNN 不需要训练在 MNIST 上能做到 97% 左右但推理时需要拿测试样本和全部训练样本算距离60000 张图的内存和计算开销会随数据量线性增长。全连接网络把每张图拉成 784 维向量可以到 98%但它完全丢失了“相邻像素共同构成笔画”的二维空间信息。CNN 通过卷积核在局部区域滑动用参数共享大幅减少参数量同时保留局部结构先验是这份源码里最合理的核心选型。mnist 手写数字识别这类任务里LeNet-5 的几十万参数规模在 CPU 上就能跑得动不需要 GPU 也能在可接受的时间内完成训练这是它作为入门工程非常友好的原因。3.2 一个最小的 LeNet-5 PyTorch 实现这里给出一个最小可用的 LeNet-5 变体。它比 1998 年的原始版本少了一处细节输入不再补到 32x32而是直接在 28x28 上加 padding 保持尺寸激活函数从原始论文的 tanh 换成了 ReLU训练收敛更快代码也更短。import torch.nn as nn class LeNet5(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 6, kernel_size5, padding2), # 28x28 - 28x28 nn.ReLU(), nn.MaxPool2d(2), # 28x28 - 14x14 nn.Conv2d(6, 16, kernel_size5), # 14x14 - 10x10 nn.ReLU(), nn.MaxPool2d(2), # 10x10 - 5x5 ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(16 * 5 * 5, 120), nn.ReLU(), nn.Linear(120, 84), nn.ReLU(), nn.Linear(84, num_classes), ) def forward(self, x): return self.classifier(self.features(x))逐层尺寸变化写在注释里。第一个卷积层padding2让 28x28 的输入经过 5x5 卷积后仍保持 28x28这样两次池化后得到 5x5 的特征图。第二个卷积层没加 padding所以 14x14 变成 10x10。全连接首层16 * 5 * 5 400就是 16 张 5x5 特征图拉平后的维度。最后Linear(84, num_classes)输出 10 个 logits没有接 Softmax因为 PyTorch 的CrossEntropyLoss内部已经做了 Softmax 运算训练时直接吃原始输出即可推理阶段需要概率时再手动加torch.softmax。3.3 训练循环batch、损失函数、优化器与学习率调度模型定义只是一小半工作另一半在训练循环。下面代码里包含数据加载器、交叉熵损失、Adam 优化器和 StepLR 调度器是跑通手写数字识别系统最常见的一套组合。import torch import torch.nn.functional as F from torch.utils.data import DataLoader, TensorDataset train_ds TensorDataset(torch.from_numpy(X_train_cnn), torch.from_numpy(y_train)) train_loader DataLoader(train_ds, batch_size64, shuffleTrue) model LeNet5() optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size5, gamma0.1) def train_one_epoch(): model.train() total_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() logits model(images) loss F.cross_entropy(logits, labels) loss.backward() optimizer.step() total_loss loss.item() scheduler.step() print(floss{total_loss / len(train_loader):.4f})batch_size64表示每轮迭代用 64 张图算一次梯度相当于用一批样本的平均梯度近似全体样本的真实梯度既有加速作用又带来一定随机性有助于跳出局部最优。Adam(lr1e-3)是起步配置Adam 自带自适应调整步长的机制对学习率的敏感度比 SGD 低不容易一上来就发散如果想在后期追求更高准确率可以换成带动量的 SGDmomentum0.9并配合余弦退火调度器。StepLR(step_size5, gamma0.1)表示每训练 5 轮把学习率乘以 0.1比如 lr 从 1e-3 变成 1e-4让训练后期以更小步长逼近最优解。scheduler.step()要放在每个 epoch 结束后调用不是放在每次迭代内。在 Windows 上跑这段代码时DataLoader里的num_workers参数我一般设 0因为多进程数据加载在 Windows 上偶尔会出现卡死的问题。Linux 环境下可以设成 2 或 4通过并行读取数据缩短每个 epoch 的时间MNIST 本身很小设高了收益有限不值得为这个参数省下几秒。python 环境的包版本同样会影响运行torch 的 CPU 版安装包更小在无 GPU 的机器上执行官方 CPU 版安装命令可以避开不必要的 CUDA 依赖即使没有 GPULeNet-5 在 MNIST 上的训练时间也在可接受范围内只是每轮会比 GPU 慢几倍。3.4 训练 15 轮后的中间检验跑完 5 轮左右就应该看一次验证集准确率不需要等完整训练结束。如果验证集准确率一开始就不升或者剧烈震荡优先怀疑数据预处理和维度是否配套而不是网络结构。如果训练集准确率接近 100% 而验证集还在 95% 上下说明模型出现过拟合此时先加 Dropout 或者减小卷积核数量不要急着加数据增强因为增强改变数据分布后前面已经调整过的学习率通常需要重新调。4. 训练调参与验证识别率之外必须看的三个指标4.1 超参数优先级与一组可落地的调整顺序源码训练脚本给的参数是最低保底要接近 99% 需要理解每个参数的影响方向。下面这张表覆盖了手写数字识别系统里最常调的几个超参超参数常见取值范围优先级调整方向与判断依据学习率1e-4 到 3e-3最高loss 震荡说明过大loss 下降极慢说明过小batch size32 到 128次高显存/内存不足时缩小太大收敛变慢epochs10 到 30看早停验证集不再提升就停不要硬跑满卷积核数量6/16 或 32/64中准确率卡住时加宽但训练时间变长Dropout 比例0.3 到 0.5仅过拟合时加到全连接层之前比例从 0.3 开始调整顺序的优先级逻辑很简单学习率是全局步长如果它不合理改别的参数大概率白搭batch size 影响梯度噪声改完需要重新观察整条 loss 曲线网络宽度和数据增强属于容量调整放到最后做。训练日志里最好同时记录训练集和验证集准确率只记最终不画曲线调参时会浪费大量时间。4.2 混淆矩阵抓出 “4/9”、“3/8” 这些系统性错误全局准确率是平均指标它会掩盖某个数字被系统性误判的问题。手写数字识别里最经典的混淆对是 4 和 9、3 和 8、7 和 9它们的笔画结构高度相似模型如果没有学到足够的局部区分特征就会稳定地把一个往另一个上带。输出混淆矩阵是最直接的定位方式。from sklearn.metrics import confusion_matrix, classification_report model.eval() preds, truths [], [] with torch.no_grad(): for images, labels in test_loader: logits model(images) preds.extend(logits.argmax(dim1).numpy()) truths.extend(labels.numpy()) cm confusion_matrix(truths, preds) print(cm) print(classification_report(truths, preds, digits4))model.eval()在代码里可能是最容易忽略的一行但它会在使用 BatchNorm 和 Dropout 时改变层的行为没有它预测输出的随机性会掩盖真实模型质量。argmax(dim1)从 10 个 logits 里取最大值的索引也就是模型的最终预测。classification_report 输出的 per-class recall 最关键如果某个数字的 recall 明显低于其它类别说明大量真实为该数字的样本没有被正确识别这对录入类业务的影响是致命的。4.3 错误样本可视化区分“人眼都难”和“模型没学到”只打印正确率没有意义我通常会把预测错误的样本连同真实标签和预测标签画成网格图逐张看一遍。import matplotlib.pyplot as plt misc [(img, true, pred) for img, true, pred in zip(X_test, truths, preds) if true ! pred] fig, axes plt.subplots(3, 5, figsize(12, 8)) for i, (img, true, pred) in enumerate(misc[:15]): ax axes[i // 5][i % 5] ax.imshow(img.squeeze(), cmapgray, vmin0, vmax1) ax.set_title(ft{true}, p{pred}) ax.axis(off) plt.savefig(misclassified.png, dpi150)这里vmin0, vmax1强制固定显示范围避免 matplotlib 自动拉伸导致误读。如果错误样本里大量是人眼也难辨的涂鸦说明这些点接近数据集噪声边界模型不需要为此增加容量如果人眼能清楚看出数字但模型分错且集中出现在某一对数字上再考虑加深卷积层或者对该数字对做额外的形态学增强。先看样本再动参数是最省时间的做法。4.4 数据增强的边界MNIST 上的常见增强包括随机旋转、平移和缩放但幅度要控制在小范围。旋转角度超过 15 度时“6”和“9”、“7”和“1”之间的边界会被大幅模糊反而把准确率拉低。我一般用随机旋转 ±10 度、随机平移 ±2 像素缩放 0.9 到 1.1如果原始模型已经在测试集上接近 99%继续加增强的收益很小更值得做的是提高验证集覆盖范围而不是扩大数据。5. 把模型接到真实输入前的最后一步模型在 MNIST 上刷到 99% 不是终点真实系统里输入往往来自扫描仪、手机拍照或截图图像尺寸、通道数、噪声水平都变了。接入前有三件事值得当成正式检查项。第一保存模型并固定输入约定。训练结束后用torch.save(model.state_dict(), mnist_cnn.pt)保存参数加载时仍需要模型类定义如果要交给其它服务或设备可以用torch.jit.script(model)导出为 TorchScript或者转成 ONNX 给非 Python 环境用。第二保证推理预处理与训练完全一致。真实图片先转灰度再缩放到 28x28再除以 255 归一化三通道彩色图直接送进网络第一层卷积的通道数校验就会报错。缩放到 28x28 时用Image.Resampling.LANCZOS会比最近邻插值保留更多笔画边缘对清晰样本影响不大但对有毛刺的书写体有明显帮助。第三用置信度阈值执行“拒绝识别”策略。推理时的输出不要直接取 argmax而是先取概率分布的最大值低于设定阈值时返回“不确定”交给人工处理这比让模型硬猜一个错误答案更安全。阈值确定方法是在验证集上画出置信度与准确率的关系曲线找到误判开始上翘的位置不同数据集的阈值通常在 0.8 到 0.95 之间。这三件事里任何一件做得不一致都会让训练和验证阶段的 99% 变成实际使用时的 85%而问题并不在模型本身。本文还有配套的精品资源点击获取
手写数字识别系统：从数据预处理到模型调参的完整实践指南
简介基于Python的手写数字识别系统源码与配套数据集专为高校Python课程设计、期末大作业等场景准备。项目已通过导师指导并获得97分高分代码完整、结构清晰下载后无需修改即可运行适合作为机器学习入门或图像识别方向的参考实现。压缩包共包含3个文件主程序test2.py承载识别逻辑data.rar中存放训练与测试数据集README.md提供使用说明与环境配置指引整体体积仅11.06MB便于本地部署与快速验证。目前已有259人学习/下载适合正在准备课程设计或期末项目的同学参考。资源的核心价值在于将完整的数据集、可执行代码与文档说明打包在一起省去自行搜集数据与调试环境的麻烦直接运行test2.py即可观察手写数字的识别效果也可按需扩展算法或数据作为课程报告与答辩演示的基础。1. 手写数字识别系统读懂数据集比跑通模型更重要手写数字识别经常被视为 python 入门级别的练手项目但真实源码包的价值很少体现在“训练出一个 99% 模型”这件事上。当你把 mnist 手写数字识别这套流程跑通、准确率刷到 99% 之后换一批自己扫描的手写数字图往往发现识别率掉到刚及格的水平——这背后不是模型不行而是数据集结构、预处理和训练参数之间存在一系列容易被忽略的约定。下面会沿着从业者实际踩坑的路径展开先拆 MNIST 数据集和特征预处理再对比模型选型并给出可运行的 PyTorch 实现接着用一套调参和验证流程把准确率补到可接受范围最后讨论把模型接到真实输入前的边界条件。新手可以按步骤复现有经验的工程师可以直接跳到自己关心的参数表格和错误分析部分。2. 数据集与预处理MNIST 读法、归一化和样本划分2.1 MNIST 的二进制格式先读清楚文件再谈训练手写数字识别系统里最常被忽略的模块是数据加载。MNIST 原始数据以 IDX 二进制格式存储四个文件分别对应训练图像、训练标签、测试图像、测试标签文件内部按大端序记录 magic number、样本数量、行列数然后是连续的像素字节。很多源码直接调用现成库的load_data但如果你要自己替换或扩展数据集就必须掌握底层结构。import struct import numpy as np def load_mnist(image_path, label_path): # IDX 标签文件只有 8 字节头部前 4 字节是 magic后 4 字节是样本数 with open(label_path, rb) as f: magic, n struct.unpack(II, f.read(8)) labels np.frombuffer(f.read(), dtypenp.uint8) # 图像文件头部是 16 字节比标签多了行数和列数两个维度 with open(image_path, rb) as f: magic, num, rows, cols struct.unpack(IIII, f.read(16)) images np.frombuffer(f.read(), dtypenp.uint8) images images.reshape(num, rows, cols) return images, labels X_train, y_train load_mnist(train-images-idx3-ubyte, train-labels-idx1-ubyte) X_test, y_test load_mnist(t10k-images-idx3-ubyte, t10k-labels-idx1-ubyte)struct.unpack(II, ...)中的表示大端序MNIST 文件规定必须用大端序读取改成小端序读出来的 magic number 会变成完全不同的数值。np.frombuffer一次性把剩余字节转成 uint8 数组最后reshape(num, rows, cols)得到的是(60000, 28, 28)的三维数组行列顺序和原始图片一致。这个读取函数不依赖 torchvision 或 tensorflow-datasets在新搭的 vscode python 环境里装 numpy 就能运行排查问题也更直观。2.2 归一化和维度塑造0-255 到 0-1 之间的因果关系模型训练前必须做的一步是把像素值从 0-255 缩放到 0-1。原因不在数据本身而在于梯度传播的数值条件网络权重初始化时通常是接近 0 的小值输入如果维持 255 量级第一层卷积的线性输出会同样落在很大的数值区间再经过激活函数容易进入饱和区反向传播到前几层的梯度会变得极小。把输入缩放到 0-1 后梯度的尺度会更均衡优化器用起来也更稳定。X_train X_train.astype(np.float32) / 255.0 X_test X_test.astype(np.float32) / 255.0 X_train_cnn X_train.reshape(-1, 1, 28, 28) X_test_cnn X_test.reshape(-1, 1, 28, 28)astype(np.float32)是因为后续要输入 PyTorch/TensorFlow 的张量默认 float64 会多占一倍内存而且很多算子不接受 float64。reshape(-1, 1, 28, 28)中 -1 让 numpy 自动推断 batch 大小1 表示灰度通道数这个 NCHW 格式是 PyTorch 的默认约定如果你在源码里看到的是reshape(-1, 28, 28, 1)那是 TensorFlow 的默认 NHWC 格式。两种写法本身没有对错但模型和数据布局必须配套否则第一个卷积层就会报通道维度不匹配。2.3 验证集从哪来别急着碰官方测试集复现手写数字识别源码时我第一步通常不是训练而是先从官方训练集再切一块验证集。测试集的职责是模拟“没见过的数据”如果调参过程反复使用它模型会在测试集上产生隐式过拟合最终分数无法真实反映泛化水平。from sklearn.model_selection import train_test_split X_train_split, X_val, y_train_split, y_val train_test_split( X_train, y_train, test_size5000, random_state42, stratifyy_train )stratifyy_train按各类别比例做分层采样保证验证集里 0 到 9 的分布与训练集一致。MNIST 本身类别均衡切 5000 张后每类还剩约 5500 张训练量足够如果换成真实业务数据比如银行单据里的手写数字类别往往不均衡分层切分就应该成为强制选项否则验证集准确率会比线上表现乐观得多。另外MNIST 图像可视化时要用cmapgray同时把像素区间固定成vmin0, vmax1。很多可视化库默认对数据做线性拉伸如果样本里存在几处异常亮斑整张图会被压得很暗看起来像数据有问题实际只是显示区间的问题。这种“数据没问题、显示骗了你”的情况在数据集规模较大的时候经常出现。3. 模型选型与实现KNN 基线到可运行的 LeNet-53.1 为什么 CNN 是手写数字识别系统的默认选择在确定模型之前先把三条常见技术路线梳理一遍。KNN 不需要训练在 MNIST 上能做到 97% 左右但推理时需要拿测试样本和全部训练样本算距离60000 张图的内存和计算开销会随数据量线性增长。全连接网络把每张图拉成 784 维向量可以到 98%但它完全丢失了“相邻像素共同构成笔画”的二维空间信息。CNN 通过卷积核在局部区域滑动用参数共享大幅减少参数量同时保留局部结构先验是这份源码里最合理的核心选型。mnist 手写数字识别这类任务里LeNet-5 的几十万参数规模在 CPU 上就能跑得动不需要 GPU 也能在可接受的时间内完成训练这是它作为入门工程非常友好的原因。3.2 一个最小的 LeNet-5 PyTorch 实现这里给出一个最小可用的 LeNet-5 变体。它比 1998 年的原始版本少了一处细节输入不再补到 32x32而是直接在 28x28 上加 padding 保持尺寸激活函数从原始论文的 tanh 换成了 ReLU训练收敛更快代码也更短。import torch.nn as nn class LeNet5(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 6, kernel_size5, padding2), # 28x28 - 28x28 nn.ReLU(), nn.MaxPool2d(2), # 28x28 - 14x14 nn.Conv2d(6, 16, kernel_size5), # 14x14 - 10x10 nn.ReLU(), nn.MaxPool2d(2), # 10x10 - 5x5 ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(16 * 5 * 5, 120), nn.ReLU(), nn.Linear(120, 84), nn.ReLU(), nn.Linear(84, num_classes), ) def forward(self, x): return self.classifier(self.features(x))逐层尺寸变化写在注释里。第一个卷积层padding2让 28x28 的输入经过 5x5 卷积后仍保持 28x28这样两次池化后得到 5x5 的特征图。第二个卷积层没加 padding所以 14x14 变成 10x10。全连接首层16 * 5 * 5 400就是 16 张 5x5 特征图拉平后的维度。最后Linear(84, num_classes)输出 10 个 logits没有接 Softmax因为 PyTorch 的CrossEntropyLoss内部已经做了 Softmax 运算训练时直接吃原始输出即可推理阶段需要概率时再手动加torch.softmax。3.3 训练循环batch、损失函数、优化器与学习率调度模型定义只是一小半工作另一半在训练循环。下面代码里包含数据加载器、交叉熵损失、Adam 优化器和 StepLR 调度器是跑通手写数字识别系统最常见的一套组合。import torch import torch.nn.functional as F from torch.utils.data import DataLoader, TensorDataset train_ds TensorDataset(torch.from_numpy(X_train_cnn), torch.from_numpy(y_train)) train_loader DataLoader(train_ds, batch_size64, shuffleTrue) model LeNet5() optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size5, gamma0.1) def train_one_epoch(): model.train() total_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() logits model(images) loss F.cross_entropy(logits, labels) loss.backward() optimizer.step() total_loss loss.item() scheduler.step() print(floss{total_loss / len(train_loader):.4f})batch_size64表示每轮迭代用 64 张图算一次梯度相当于用一批样本的平均梯度近似全体样本的真实梯度既有加速作用又带来一定随机性有助于跳出局部最优。Adam(lr1e-3)是起步配置Adam 自带自适应调整步长的机制对学习率的敏感度比 SGD 低不容易一上来就发散如果想在后期追求更高准确率可以换成带动量的 SGDmomentum0.9并配合余弦退火调度器。StepLR(step_size5, gamma0.1)表示每训练 5 轮把学习率乘以 0.1比如 lr 从 1e-3 变成 1e-4让训练后期以更小步长逼近最优解。scheduler.step()要放在每个 epoch 结束后调用不是放在每次迭代内。在 Windows 上跑这段代码时DataLoader里的num_workers参数我一般设 0因为多进程数据加载在 Windows 上偶尔会出现卡死的问题。Linux 环境下可以设成 2 或 4通过并行读取数据缩短每个 epoch 的时间MNIST 本身很小设高了收益有限不值得为这个参数省下几秒。python 环境的包版本同样会影响运行torch 的 CPU 版安装包更小在无 GPU 的机器上执行官方 CPU 版安装命令可以避开不必要的 CUDA 依赖即使没有 GPULeNet-5 在 MNIST 上的训练时间也在可接受范围内只是每轮会比 GPU 慢几倍。3.4 训练 15 轮后的中间检验跑完 5 轮左右就应该看一次验证集准确率不需要等完整训练结束。如果验证集准确率一开始就不升或者剧烈震荡优先怀疑数据预处理和维度是否配套而不是网络结构。如果训练集准确率接近 100% 而验证集还在 95% 上下说明模型出现过拟合此时先加 Dropout 或者减小卷积核数量不要急着加数据增强因为增强改变数据分布后前面已经调整过的学习率通常需要重新调。4. 训练调参与验证识别率之外必须看的三个指标4.1 超参数优先级与一组可落地的调整顺序源码训练脚本给的参数是最低保底要接近 99% 需要理解每个参数的影响方向。下面这张表覆盖了手写数字识别系统里最常调的几个超参超参数常见取值范围优先级调整方向与判断依据学习率1e-4 到 3e-3最高loss 震荡说明过大loss 下降极慢说明过小batch size32 到 128次高显存/内存不足时缩小太大收敛变慢epochs10 到 30看早停验证集不再提升就停不要硬跑满卷积核数量6/16 或 32/64中准确率卡住时加宽但训练时间变长Dropout 比例0.3 到 0.5仅过拟合时加到全连接层之前比例从 0.3 开始调整顺序的优先级逻辑很简单学习率是全局步长如果它不合理改别的参数大概率白搭batch size 影响梯度噪声改完需要重新观察整条 loss 曲线网络宽度和数据增强属于容量调整放到最后做。训练日志里最好同时记录训练集和验证集准确率只记最终不画曲线调参时会浪费大量时间。4.2 混淆矩阵抓出 “4/9”、“3/8” 这些系统性错误全局准确率是平均指标它会掩盖某个数字被系统性误判的问题。手写数字识别里最经典的混淆对是 4 和 9、3 和 8、7 和 9它们的笔画结构高度相似模型如果没有学到足够的局部区分特征就会稳定地把一个往另一个上带。输出混淆矩阵是最直接的定位方式。from sklearn.metrics import confusion_matrix, classification_report model.eval() preds, truths [], [] with torch.no_grad(): for images, labels in test_loader: logits model(images) preds.extend(logits.argmax(dim1).numpy()) truths.extend(labels.numpy()) cm confusion_matrix(truths, preds) print(cm) print(classification_report(truths, preds, digits4))model.eval()在代码里可能是最容易忽略的一行但它会在使用 BatchNorm 和 Dropout 时改变层的行为没有它预测输出的随机性会掩盖真实模型质量。argmax(dim1)从 10 个 logits 里取最大值的索引也就是模型的最终预测。classification_report 输出的 per-class recall 最关键如果某个数字的 recall 明显低于其它类别说明大量真实为该数字的样本没有被正确识别这对录入类业务的影响是致命的。4.3 错误样本可视化区分“人眼都难”和“模型没学到”只打印正确率没有意义我通常会把预测错误的样本连同真实标签和预测标签画成网格图逐张看一遍。import matplotlib.pyplot as plt misc [(img, true, pred) for img, true, pred in zip(X_test, truths, preds) if true ! pred] fig, axes plt.subplots(3, 5, figsize(12, 8)) for i, (img, true, pred) in enumerate(misc[:15]): ax axes[i // 5][i % 5] ax.imshow(img.squeeze(), cmapgray, vmin0, vmax1) ax.set_title(ft{true}, p{pred}) ax.axis(off) plt.savefig(misclassified.png, dpi150)这里vmin0, vmax1强制固定显示范围避免 matplotlib 自动拉伸导致误读。如果错误样本里大量是人眼也难辨的涂鸦说明这些点接近数据集噪声边界模型不需要为此增加容量如果人眼能清楚看出数字但模型分错且集中出现在某一对数字上再考虑加深卷积层或者对该数字对做额外的形态学增强。先看样本再动参数是最省时间的做法。4.4 数据增强的边界MNIST 上的常见增强包括随机旋转、平移和缩放但幅度要控制在小范围。旋转角度超过 15 度时“6”和“9”、“7”和“1”之间的边界会被大幅模糊反而把准确率拉低。我一般用随机旋转 ±10 度、随机平移 ±2 像素缩放 0.9 到 1.1如果原始模型已经在测试集上接近 99%继续加增强的收益很小更值得做的是提高验证集覆盖范围而不是扩大数据。5. 把模型接到真实输入前的最后一步模型在 MNIST 上刷到 99% 不是终点真实系统里输入往往来自扫描仪、手机拍照或截图图像尺寸、通道数、噪声水平都变了。接入前有三件事值得当成正式检查项。第一保存模型并固定输入约定。训练结束后用torch.save(model.state_dict(), mnist_cnn.pt)保存参数加载时仍需要模型类定义如果要交给其它服务或设备可以用torch.jit.script(model)导出为 TorchScript或者转成 ONNX 给非 Python 环境用。第二保证推理预处理与训练完全一致。真实图片先转灰度再缩放到 28x28再除以 255 归一化三通道彩色图直接送进网络第一层卷积的通道数校验就会报错。缩放到 28x28 时用Image.Resampling.LANCZOS会比最近邻插值保留更多笔画边缘对清晰样本影响不大但对有毛刺的书写体有明显帮助。第三用置信度阈值执行“拒绝识别”策略。推理时的输出不要直接取 argmax而是先取概率分布的最大值低于设定阈值时返回“不确定”交给人工处理这比让模型硬猜一个错误答案更安全。阈值确定方法是在验证集上画出置信度与准确率的关系曲线找到误判开始上翘的位置不同数据集的阈值通常在 0.8 到 0.95 之间。这三件事里任何一件做得不一致都会让训练和验证阶段的 99% 变成实际使用时的 85%而问题并不在模型本身。本文还有配套的精品资源点击获取
