1. AlexNet 论文的关键创新点
(2012, ImageNet Classification with Deep Convolutional Neural Networks)
| 创新点 | 简述 | 意义 |
|---|---|---|
| ReLU 激活函数 | 用 ReLU 替代 Sigmoid/Tanh | 缓解梯度消失，训练速度更快 |
| Dropout 正则化 | 全连接层使用 Dropout | 有效防止过拟合 |
| 数据增强 | 平移、镜像、裁剪 | 提升泛化性能 |
| GPU 并行训练 | 使用两块 GTX 580 训练 | 使大规模 CNN 训练成为可能 |
| 更深网络结构 | 5 个卷积层 + 3 个全连接层 | 能力大幅提升，ImageNet 错误率大幅降低 |
| 局部响应归一化 (LRN, 后续常用 BN 替代) | 模拟神经抑制 | 增强泛化（现代 CNN 多用 BN 替代） |
-
关键差异
特性LeNetAlexNet卷积层数2层5层全连接层3层3层激活函数ReLUReLUDropout无有(0.5)参数量62K24M
主要特点 1: LeNet-5: 经典的轻量级CNN，约62K参数 2: AlexNet: 更深更宽的网络，约24M参数（适配CIFAR-10） -
训练设置
LeNet vs AlexNet 实验模型差异对比
实验简介 这个实验在CIFAR-10数据集上对比了经典的LeNet-5和AlexNet两个卷积神经网络架构，展示了模型架构演进带来的性能提升。
| 维度 | LeNet（实验A） | AlexNet-mini（实验B） | 说明 |
|---|---|---|---|
| 卷积层深度 | 2 个卷积块（Conv→Pool） | 3 个 stage × 每 stage 2 个卷积 + Pool（共 6 个卷积层） | AlexNet 更深，特征提取能力更强 |
| 卷积核大小 | 5×5 | 3×3 堆叠 | 更细粒度的特征提取，参数更高效 |
| 通道数 | 6 → 16 | 64 → 128 → 256 | 通道数更多，表达能力更强 |
| 激活函数 | ReLU | ReLU | AlexNet 论文强调 ReLU 的优势，为公平实验保持一致 |
| 归一化 | 无 | BatchNorm | 稳定分布、加快收敛（论文用 LRN，这里用 BN 替代） |
| 池化方式 | 最大池化 (MaxPool) | 最大池化 (MaxPool) | AlexNet 原论文也是 MaxPool，为公平一致 |
| 正则化 | Dropout(0.5) + L2 | Dropout(0.5) + L2 | 论文提出 Dropout，这里两模型都采用 |
| 数据增强 | 无（MNIST/F-MNIST） 随机裁剪+翻转（CIFAR-10） |
同左 | 保持一致，体现论文提出的数据增强思想 |
| 输入数据 | MNIST/F-MNIST: 1×28×28 CIFAR-10: 3×32×32 |
同左 | 输入保持一致，只比较网络结构差异 |