进阶提升 · 4训练准备与数据处理
核心概念
- 参数配置：训练前需指定数据路径和预训练模型权重。
- 迁移学习：利用已有的预训练模型作为初始化，提高收敛速度和效果。
- 数据加载（DataLoader/Generator）：分批按需读取，避免一次性读入超大数据集。
- 标签处理：将标注的目标框转换为网络所需的相对坐标格式。
- 数据增强：翻转、填充、缩放、镜像等操作，提高模型鲁棒性。
- 网络结构配置：通过
.cfg 文件定义 Darknet 网络层结构。
提出问题
- 如何高效管理和传递训练参数？
- 大规模数据集（如 COCO）如何避免内存/显存不足？
- 标签格式与网络输入输出如何统一？
- 如何通过配置文件灵活构建复杂网络结构？
论点与解决方案
- 参数设置：只需指定数据描述文件（如
coco.data）和预训练模型路径，避免重复配置。
- 预训练权重：初始化卷积层参数，而非随机初始化，收敛更快。
- 数据加载机制：采用生成器（generator）按需读取，每次迭代仅加载 batch 数据。
- 数据预处理：
- 图像 resize/padding → 统一输入大小（如 416×416）。
- 标签坐标转换 → 从绝对坐标转为相对坐标 (中心点 x,y + w,h)。
- 网络构建：
- 读取
.cfg 文件，逐层解析网络（卷积、BN、激活、shortcut、route、YOLO 层）。
- 使用模块化设计，支持拼接与残差连接。
- 损失函数设计：
- 位置损失（xywh）
- 置信度损失（前景 + 背景）
- 分类损失（多分类交叉熵）
关键机制 / 细节
- 数据加载流程：
DataLoader → 批量取数据 → 转为 Tensor → padding/resize → 传入模型。
- 标签转换：
- 原始格式：类别 + (x1,y1,x2,y2)。
- 转换为：类别 + (x_center,y_center,w,h)，相对归一化到 [0,1]。
- 配置文件解析：
- 每层定义参数（filters、stride、padding、activation）。
- route 层：拼接特征图。
- shortcut 层：残差连接（加法）。
- YOLO 层：负责预测 bbox 和类别。
- 调试模式：通过断点观察每一层输出 shape，确保网络结构与数据流正确。
- 损失函数实现：
- 标签需与预测值维度匹配（batch × anchor × grid × params）。
- obj_mask / noobj_mask 用于平衡正负样本。
- IoU 匹配 anchor → 分配正样本。
总结
- 训练准备的重点：参数管理、预训练模型加载、数据按需读取。
- 数据处理的核心：标签转换与数据增强，确保输入输出与模型匹配。
- 工程价值：模块化配置和调试工具，能快速定位错误，提高实验效率。
- 整体意义：从数据到模型的训练 pipeline 被标准化，便于迁移到新任务或新数据集。
