简介面向希望基于YOLOv5、YOLOv7、YOLOv8、YOLOv9开展模型改进的PyTorch开发者这份资源整合了2024年全系列改进教程与配套源代码覆盖骨干网络、颈部、检测头、损失函数、IoU、NMS等模块改造也适合正在做论文复现、比赛调优或注意力机制验证的读者。压缩包共690个文件以468个YAML模型配置、110个Python源码为主辅以79张PNG/JPG效果示意图、14个Markdown说明文档及若干脚本整体约11.79MB目录按版本与改进点组织便于快速定位配置与代码。已有205人学习。借助其中可获得UltralyticsPro改进项目中的注意力机制实现如GAM、SA、SimAM、SK等近期更新内容并通过示例配置、示意图与笔记理解每个改动的落点其中还保留每周更新的免费改进点可结合《芒果书》系列专栏对照学习降低从论文思路到YOLO代码的迁移成本适合作为日常改进实验与模型组合调试的参考工具箱。1. 从YOLOv5到YOLOv9backbone、neck、head、loss、IoU、NMS的改进切入点很多人拿到一份YOLOv5、YOLOv7、YOLOv8、YOLOv9的改进模型第一反应是把backbone换成CSPNet变体或者把NMS换成Soft-NMS结果训练两天mAP不升反降。这类跨版本改进其实有一个共同前提先分清哪些模块是结构耦合的哪些是训练策略耦合的。比如YOLOv7的E-ELAN和YOLOv9的梯度流设计改head时连特征传递路径都会变而loss和NMS的调整相对独立却需要重新标定置信度阈值。下面按通用思路把六个模块的改动方式拆开讲backbone负责特征提取neck负责多尺度融合head负责标签匹配和输出loss决定梯度方向IoU影响回归质量NMS决定最终输出框数量。适合想系统做消融实验、又不想被各版本源码差异绕晕的工程师和研究者。2. 从YOLOv5到YOLOv9的backbone与neck改进替换2.1 先分清四代结构边界CSPNet、C2f与梯度流YOLOv5、YOLOv7、YOLOv8、YOLOv9看起来都是卷积目标检测实际结构差异比版本号大得多。改动backbone前先确认你所在的版本到底用哪种基础模块。YOLOv5把CSPNet拆成CSP1和CSP2两种结构分别用在backbone和neckYOLOv7在ELAN基础上改出E-ELAN强调不同层特征维度的扩展和重排YOLOv8用C2f替换C3把多个Bottleneck分支的输出做拼接YOLOv9则把ELAN进一步泛化成GELAN并在backbone里加入可编程梯度信息来缓解信息瓶颈。版本Backbone 常用结构Neck 常用结构Head 类型YOLOv5CSPDarknet SPPFPANet耦合检测头anchor-basedYOLOv7E-ELAN SPPCSPCPA-FPN耦合检测头辅助训练头YOLOv8C2f SPPFPAN-FPN解耦检测头anchor-freeYOLOv9GELAN 可编程梯度信息PAN-FPN 变体解耦检测头anchor-free这张表能看到一个关键事实即便YOLOv8和YOLOv9都叫“anchor-free 解耦头”它们的backbone在通道拼接策略上完全不同直接复制YOLOv7的E-ELAN到YOLOv8里经常会遇到输出通道对不上neck的Concat层或者在parse_model阶段就报未知模块错误。原因在于neck里的PAN-FPN会按固定层号去取backbone的P3、P4、P5输出你换了backbone最后几层却不改neck的层索引通道数不匹配是必然的。2.2 用YAML文件替换backbone的最小可运行配置我一般不会直接在官方模型文件上改而是复制一个yolov8_cspnet.yaml作为实验基线把所有模块替换都体现在YAML里这样后面做消融实验可以一条命令切换回原结构。YOLOv8风格的模型描述文件是逐层定义的backbone部分和head部分按序号引用下面是替换backbone中第7层的一个最小示例# yolov8_cspnet.yaml仅替换 backbone 最后一个 C2f 层 nc: 80 # 类别数按自己数据集改 backbone: - [-1, 1, Conv, [64, 3, 2]] - [-1, 1, Conv, [128, 3, 2]] - [-1, 1, C2f, [128, True]] - [-1, 1, Conv, [256, 3, 2]] - [-1, 1, C2f, [256, True]] - [-1, 1, Conv, [512, 3, 2]] - [-1, 1, MyCSPNet, [512]] # 自定义模块替换原 C2f - [-1, 1, SPPF, [512, 5]] # 保留 SPPF保证感受野不变 head: - [-1, 1, nn.Upsample, [None, 2, nearest]] - [[-1, 5], 1, Concat, [1]] - [-1, 1, C2f, [256]] # 后续 head 代码省略保持与原模型一致这段配置里-1代表上一层输出5代表取backbone第5层输出做PANet的横向连接MyCSPNet接收的参数是输出通道数[512]。首层Conv把输入从3通道升到64之后每经过一次stride2的Conv特征图尺寸减半最终得到P3、P4、P5三个尺度的特征。替换时最容易忽略的是SPPF前的通道数如果你把第7层输出改成256但SPPF层还写512parse_model不会报错前向到head时却会因为拼接通道不一致直接抛RuntimeError。提示在YOLOv5里对应的注册文件是models/yolo.py里的parse_model函数YOLOv8和YOLOv9在ultralytics/nn/tasks.pyYOLOv7则同时涉及models/yolo.py和models/common.py改之前先确认你的源码版本。2.3 自定义CSPNet模块的注册与通道对齐YAML里写了MyCSPNet还不够必须把模块注册到框架的模块名到类的映射表里。以YOLOv8为例一般是在ultralytics/nn/modules/conv.py或单独文件里定义类然后在tasks.py中把它加进parse_model的判断分支。一个最小实现是这样的import torch import torch.nn as nn class MyCSPNet(nn.Module): def __init__(self, c1, c2, n1, e0.5): super().__init__() c_ int(c2 * e) # 隐藏通道被压缩到输出通道的一半 self.cv1 Conv(c1, c_, 1, 1) # 分支11x1降维 self.cv2 Conv(c1, c_, 1, 1) # 分支21x1降维 self.m nn.Sequential(*(Bottleneck(c_, c_, shortcutTrue) for _ in range(n))) self.cv3 Conv(c_ * 2, c2, 1, 1) # 拼接后升维 def forward(self, x): y1 self.m(self.cv1(x)) y2 self.cv2(x) return self.cv3(torch.cat((y1, y2), dim1))这段代码是CSPNet的典型跨阶段结构输入x分两条路径一条经过1x1卷积后连续堆叠n个Bottleneck另一条只做1x1变换最后把两条路径在通道维拼接再用1x1卷积恢复到输出通道c2。e0.5表示隐藏层通道数是输出通道的一半改大会增加非线性表达能力同时让计算量明显上涨。注册时还要看YAML传参顺序MyCSPNet在YAML里写[512]对应这里构造函数的第二参数c2512c1会自动取上一层的输出通道。如果你把模块参数定义写成(c1, c2, n1, e0.5)但YAML里传了多个值就必须确保位置参数完全一致。模块注册完之后用一行命令确认模型能创建成功python -c from ultralytics import YOLO; mYOLO(yolov8_cspnet.yaml); print(m.model)正常输出会打印整个模型结构检查backbone部分是否有MyCSPNet层并且P3、P4、P5三个尺度的stride仍然分别是8、16、32。如果只看到输出少了一个尺度说明你的替换把某一层的下采样路径断掉了最常见的修法是把Conv层的stride参数从2改回1或者在backbone后补一个步长为2的下采样层。3. 在YOLOv8等模型中调整head、loss、IoU与NMS模块3.1 head改进的两条主要路线head改进在YOLO系列里一般分两种场景一是把旧版anchor-based耦合头改成解耦头二是调整回归分支的表达粒度。YOLOv5和YOLOv7的head里分类和回归共用同一组特征YOLOv8和YOLOv9则彻底解耦分类分支输出nc维回归分支输出4 * reg_max维。这个改动会让分类损失和回归损失不再互相干扰但对特征通道的使用也提出了更高要求。# YOLOv8 head 分支的通道定义示意 self.cv2 nn.Conv2d(c2, 4 * self.reg_max, 1) # 回归分支reg_max 默认16 self.cv3 nn.Conv2d(c2, nc, 1) # 分类分支reg_max控制边界框距离分布的离散化bin数量YOLOv8默认是16表示把0到15的整数看作框距离的分布。如果你把它改成32回归分支输出通道会从64变成128模型的FLOPs明显增加同时DFL损失里的积分逻辑也要同步改否则训练时回归分支的监督信号对不上。另一个常见改进是在head里插入轻量注意力但注意不要加在共享特征上太早因为分类分支需要语义信息回归分支需要边界细节两者对注意力权重的期望不同。3.2 loss改进focal loss中的两个参数该如何设置focal loss在YOLO中主要解决正负样本和难易样本不平衡。YOLOv5本身在loss里提供了fl_gamma超参开启后会用一个FocalLoss包装BCE损失。很多人在改进项目里直接设alpha0.25, gamma2但这两个参数并非通用最优。一个被验证过多次的调整路径是先从gamma1.5开始如果召回率偏低、误检很多再把gamma提高到2如果模型整体欠拟合训练损失下降很慢则把alpha从0.25提高到0.75是错误方向应该先调小gamma。# 一个可手动验证的 Focal Loss 实现YOLOv5 风格 class FocalLoss(nn.Module): def __init__(self, alpha0.25, gamma1.5): super().__init__() self.alpha alpha self.gamma gamma self.bce nn.BCEWithLogitsLoss(reductionnone) def forward(self, preds, targets): bce self.bce(preds, targets) p torch.sigmoid(preds) focal ((1 - p) ** self.gamma) * bce return (self.alpha * focal).mean()这里alpha控制正负样本权重比例alpha0.25意味着正样本整体权重只占0.25负样本占0.75用于抑制大量简单负样本gamma用于压低容易分类样本的loss贡献(1 - p) ** gamma对已经预测得很准的样本接近0对难样本则保留接近1的倍数。实验时先固定alpha逐步增加gamma如果发现mAP50不掉但mAP50-95掉了往往是gamma过大导致难样本的回归梯度也被压得太低。YOLOv8的loss实现里分类分支使用BCE、回归分支使用DFL和IoU损失focal loss并不直接套在总loss上需要找到vfl.py里的vfl_loss做等价替换不能把YOLOv5的FocalLoss类原封不动塞进去。3.3 IoU损失替换与NMS参数联动IoU损失决定回归分支的学习目标NMS则决定推理阶段的去重策略两者单独调都有收益但一起改时一定要重新验证。YOLOv5和YOLOv7里bbox_iou函数集中在utils/metrics.pyYOLOv8里则放在ultralytics/utils/metrics.py改动位置一致只是调用参数略有差别。IoU 变体主要特点常见使用场景CIoU加入纵横比一致性惩罚默认稳健适配大多数数据DIoU只惩罚中心点距离小目标和密集场景SIoU引入角度对齐惩罚长条形和方向敏感目标EIoU分别惩罚宽高误差目标尺寸差异大的数据集Wise-IoU动态样本加权标注噪声较高的业务数据# 在 loss.py 中找到 bbox_iou 调用处替换损失类型 iou bbox_iou(pbox, tbox, xywhFalse, CIoUTrue) # 默认 CIoU # 改成 SIoU 后推理阶段建议同步做一组 NMS 阈值扫描 iou bbox_iou(pbox, tbox, xywhFalse, SIoUTrue)切换IoU类型后最直接影响是训练阶段回归分支的loss值会整体变化不能拿新loss和旧loss数值直接比大小要看最终mAP和召回。NMS参数里常用的是conf_thres和iou_thres推理时用下面的命令验证一组组合yolo detect predict modelbest.pt sourcetest_images conf0.25 iou0.6 yolo detect predict modelbest.pt sourcetest_images conf0.25 iou0.7NMS的iou_thres越低去重越激进适合目标本身重叠度低的场景iou_thres越高保留的候选框越多适合密集小目标。当你把回归损失换成SIoU后模型输出的框更贴合真实边缘NMS阈值可以比默认的0.7调低0.05左右减少相邻目标的相互抑制。4. 组合改进到YOLOv8训练脚本的落地操作4.1 目录与多版本环境隔离一个同时包含YOLOv5、YOLOv7、YOLOv8、YOLOv9改进代码的项目通常会有多个子目录依赖的PyTorch版本和各自封装的工具包不完全兼容。我不建议在同一个conda环境里跑四个版本否则升级某个依赖可能把另一个版本的算子编译链破坏掉。常见做法是给每个版本建独立环境同时把实验数据统一放在一个共享目录下。mkdir -p experiments/{datasets,models,runs} conda create -n yolo8-improve python3.10 -y conda activate yolo8-improve pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics8.2.0这里PyTorch版本要和CUDA驱动匹配否则自定义backbone里的卷积算子可能在torch.compile阶段报错。数据集目录建议统一使用images/train、labels/train两张子目录结构不要使用符号链接跨磁盘否则Windows环境下容易出现标签路径读取失败。每个改进模型对应一个独立yaml文件比如models/backbone_compare/yolov8_cspnet.yaml因为后面做A/B实验时频繁覆盖同一个模型文件很容易丢掉基线配置。4.2 用data.yaml和hyp.yaml固化改进训练前把数据集路径和超参数都写成配置文件比每次敲命令行参数更可控。data.yaml负责告诉训练器数据在哪、类别是什么hyp.yaml负责模型超参包括学习率、损失权重、正样本匹配阈值等。以下是两个文件的最小形态# data.yaml path: ./experiments/datasets/custom train: images/train val: images/val nc: 3 names: [person, car, bike]yolo detect train \ modelmodels/backbone_compare/yolov8_cspnet.yaml \ dataexperiments/datasets/custom/data.yaml \ hypexperiments/hyp/custom_hyp.yaml \ epochs100 imgsz640 batch16 device0 \ projectexperiments/runs namecspnet_v1data.yaml里的path推荐写绝对路径尤其当你同时跑YOLOv5和YOLOv8时相对路径会因为工作目录不同而解析失败。hyp参数在ultralytics里既可以传yaml文件也可以直接传键值对但文件名方式更容易记录实验组合。下面是一些常被搜索的超参和调整方向超参常见默认值调整方向lr00.01模型改动大时降到0.001box7.5换IoU损失后不要急着调先观察cls0.5类别不均衡时适当调大cls_pw1.0配合focal loss使用时调回1.0obj1.0适用于YOLOv5/v7的objectness损失anchor_t4.0只影响YOLOv5/v7的anchor匹配fl_gamma0.0大于0时启用focal loss常用1.5注意anchor_t在YOLOv8和YOLOv9里不再生效因为anchor-free模型使用任务对齐分配器来生成正样本。所以如果你在YOLOv8工程里看到别人改了anchor_t那是无效操作真正影响正样本数量的是talent_ratio或topk_candidates这类参数。4.3 日志观察与中断恢复训练开始后不要只盯总loss。自定义backbone或head的改动大概率会让分类损失和回归损失的比例发生变化。如果前50轮cls_loss一直为0说明目标分配器没有给分类分支分配正样本可能是head输出通道和标签编码不对齐。用tensorboard观察最直接tensorboard --logdir experiments/runs当训练中断需要恢复时直接resumeTrue读取last.pt是最省事的但如果你在中断后改过模型yaml优化器状态会和当前结构不匹配。一个更稳妥的恢复方式是只加载权重丢弃优化器状态import torch ckpt torch.load(runs/cspnet_v1/weights/last.pt) torch.save({model: ckpt[model]}, clean.pt)这个操作相当于把中途训练结果当作预训练模型后续可以接着调head或loss而不必从零开始。加载后建议先用一个小数据集跑10轮确认loss收敛趋势一致再放完整数据避免优化器状态不匹配造成的首轮loss爆炸。5. 用随机输入和消融实验验证YOLO改进是否生效5.1 前向验证先用随机图检查shape对backbone、neck、head做了多处修改后直接训练是一种昂贵的排错方式。我习惯在训练前用一张随机图跑前向只看输出feature map的shape是否符合预期。以YOLOv8为例import torch from ultralytics import YOLO model YOLO(models/backbone_compare/yolov8_cspnet.yaml) model.model.eval() x torch.randn(1, 3, 640, 640) with torch.no_grad(): preds model.model(x) print([p.shape for p in preds] if isinstance(preds, (list, tuple)) else preds.shape)正常情况会输出三个尺度的预测结构对应P3、P4、P5。如果输出长度变成2或4说明neck的Concat层引用了错误层号或者自定义CSPNet改变了某个下采样层的输出尺寸。这一步能筛掉大部分通道拼接和stride错误比训练到一半再报错快得多。5.2 固定随机种子做A/B消融对比多个模块一起改时你无法判断收益来自backbone、loss还是NMS。更好的做法是固定随机种子一次只动一个模块。训练命令里加seed0确保数据加载顺序和初始权重一致。实验梯度可以这样安排A是未修改的baselineB只在backbone换成CSPNet变体C在B的基础上改IoU损失D再调NMS阈值。记录结果时至少覆盖mAP50、mAP50-95和单张推理耗时实验改动模块mAP50mAP50-95推理耗时(ms)A基线0.52x0.33x12.4Bbackbone0.0150.0100.7CIoU/loss0.0030.0060.1DNMS0.0040.002-0.2表中数值格式仅供记录参考真实实验以你本地输出为准。如果B实验只涨了mAP50但mAP50-95没动说明改进主要影响了粗定位不是精细化能力如果C实验让mAP50-95明显上涨说明IoU损失负责的边界回归确实被优化到了。这样你最后调NMS参数时能指认变化来自哪一层而不是把不同改进的收益混在一起。本文还有配套的精品资源点击获取
YOLOv5到YOLOv9核心模块改进：backbone、head、loss与NMS实践指南
简介面向希望基于YOLOv5、YOLOv7、YOLOv8、YOLOv9开展模型改进的PyTorch开发者这份资源整合了2024年全系列改进教程与配套源代码覆盖骨干网络、颈部、检测头、损失函数、IoU、NMS等模块改造也适合正在做论文复现、比赛调优或注意力机制验证的读者。压缩包共690个文件以468个YAML模型配置、110个Python源码为主辅以79张PNG/JPG效果示意图、14个Markdown说明文档及若干脚本整体约11.79MB目录按版本与改进点组织便于快速定位配置与代码。已有205人学习。借助其中可获得UltralyticsPro改进项目中的注意力机制实现如GAM、SA、SimAM、SK等近期更新内容并通过示例配置、示意图与笔记理解每个改动的落点其中还保留每周更新的免费改进点可结合《芒果书》系列专栏对照学习降低从论文思路到YOLO代码的迁移成本适合作为日常改进实验与模型组合调试的参考工具箱。1. 从YOLOv5到YOLOv9backbone、neck、head、loss、IoU、NMS的改进切入点很多人拿到一份YOLOv5、YOLOv7、YOLOv8、YOLOv9的改进模型第一反应是把backbone换成CSPNet变体或者把NMS换成Soft-NMS结果训练两天mAP不升反降。这类跨版本改进其实有一个共同前提先分清哪些模块是结构耦合的哪些是训练策略耦合的。比如YOLOv7的E-ELAN和YOLOv9的梯度流设计改head时连特征传递路径都会变而loss和NMS的调整相对独立却需要重新标定置信度阈值。下面按通用思路把六个模块的改动方式拆开讲backbone负责特征提取neck负责多尺度融合head负责标签匹配和输出loss决定梯度方向IoU影响回归质量NMS决定最终输出框数量。适合想系统做消融实验、又不想被各版本源码差异绕晕的工程师和研究者。2. 从YOLOv5到YOLOv9的backbone与neck改进替换2.1 先分清四代结构边界CSPNet、C2f与梯度流YOLOv5、YOLOv7、YOLOv8、YOLOv9看起来都是卷积目标检测实际结构差异比版本号大得多。改动backbone前先确认你所在的版本到底用哪种基础模块。YOLOv5把CSPNet拆成CSP1和CSP2两种结构分别用在backbone和neckYOLOv7在ELAN基础上改出E-ELAN强调不同层特征维度的扩展和重排YOLOv8用C2f替换C3把多个Bottleneck分支的输出做拼接YOLOv9则把ELAN进一步泛化成GELAN并在backbone里加入可编程梯度信息来缓解信息瓶颈。版本Backbone 常用结构Neck 常用结构Head 类型YOLOv5CSPDarknet SPPFPANet耦合检测头anchor-basedYOLOv7E-ELAN SPPCSPCPA-FPN耦合检测头辅助训练头YOLOv8C2f SPPFPAN-FPN解耦检测头anchor-freeYOLOv9GELAN 可编程梯度信息PAN-FPN 变体解耦检测头anchor-free这张表能看到一个关键事实即便YOLOv8和YOLOv9都叫“anchor-free 解耦头”它们的backbone在通道拼接策略上完全不同直接复制YOLOv7的E-ELAN到YOLOv8里经常会遇到输出通道对不上neck的Concat层或者在parse_model阶段就报未知模块错误。原因在于neck里的PAN-FPN会按固定层号去取backbone的P3、P4、P5输出你换了backbone最后几层却不改neck的层索引通道数不匹配是必然的。2.2 用YAML文件替换backbone的最小可运行配置我一般不会直接在官方模型文件上改而是复制一个yolov8_cspnet.yaml作为实验基线把所有模块替换都体现在YAML里这样后面做消融实验可以一条命令切换回原结构。YOLOv8风格的模型描述文件是逐层定义的backbone部分和head部分按序号引用下面是替换backbone中第7层的一个最小示例# yolov8_cspnet.yaml仅替换 backbone 最后一个 C2f 层 nc: 80 # 类别数按自己数据集改 backbone: - [-1, 1, Conv, [64, 3, 2]] - [-1, 1, Conv, [128, 3, 2]] - [-1, 1, C2f, [128, True]] - [-1, 1, Conv, [256, 3, 2]] - [-1, 1, C2f, [256, True]] - [-1, 1, Conv, [512, 3, 2]] - [-1, 1, MyCSPNet, [512]] # 自定义模块替换原 C2f - [-1, 1, SPPF, [512, 5]] # 保留 SPPF保证感受野不变 head: - [-1, 1, nn.Upsample, [None, 2, nearest]] - [[-1, 5], 1, Concat, [1]] - [-1, 1, C2f, [256]] # 后续 head 代码省略保持与原模型一致这段配置里-1代表上一层输出5代表取backbone第5层输出做PANet的横向连接MyCSPNet接收的参数是输出通道数[512]。首层Conv把输入从3通道升到64之后每经过一次stride2的Conv特征图尺寸减半最终得到P3、P4、P5三个尺度的特征。替换时最容易忽略的是SPPF前的通道数如果你把第7层输出改成256但SPPF层还写512parse_model不会报错前向到head时却会因为拼接通道不一致直接抛RuntimeError。提示在YOLOv5里对应的注册文件是models/yolo.py里的parse_model函数YOLOv8和YOLOv9在ultralytics/nn/tasks.pyYOLOv7则同时涉及models/yolo.py和models/common.py改之前先确认你的源码版本。2.3 自定义CSPNet模块的注册与通道对齐YAML里写了MyCSPNet还不够必须把模块注册到框架的模块名到类的映射表里。以YOLOv8为例一般是在ultralytics/nn/modules/conv.py或单独文件里定义类然后在tasks.py中把它加进parse_model的判断分支。一个最小实现是这样的import torch import torch.nn as nn class MyCSPNet(nn.Module): def __init__(self, c1, c2, n1, e0.5): super().__init__() c_ int(c2 * e) # 隐藏通道被压缩到输出通道的一半 self.cv1 Conv(c1, c_, 1, 1) # 分支11x1降维 self.cv2 Conv(c1, c_, 1, 1) # 分支21x1降维 self.m nn.Sequential(*(Bottleneck(c_, c_, shortcutTrue) for _ in range(n))) self.cv3 Conv(c_ * 2, c2, 1, 1) # 拼接后升维 def forward(self, x): y1 self.m(self.cv1(x)) y2 self.cv2(x) return self.cv3(torch.cat((y1, y2), dim1))这段代码是CSPNet的典型跨阶段结构输入x分两条路径一条经过1x1卷积后连续堆叠n个Bottleneck另一条只做1x1变换最后把两条路径在通道维拼接再用1x1卷积恢复到输出通道c2。e0.5表示隐藏层通道数是输出通道的一半改大会增加非线性表达能力同时让计算量明显上涨。注册时还要看YAML传参顺序MyCSPNet在YAML里写[512]对应这里构造函数的第二参数c2512c1会自动取上一层的输出通道。如果你把模块参数定义写成(c1, c2, n1, e0.5)但YAML里传了多个值就必须确保位置参数完全一致。模块注册完之后用一行命令确认模型能创建成功python -c from ultralytics import YOLO; mYOLO(yolov8_cspnet.yaml); print(m.model)正常输出会打印整个模型结构检查backbone部分是否有MyCSPNet层并且P3、P4、P5三个尺度的stride仍然分别是8、16、32。如果只看到输出少了一个尺度说明你的替换把某一层的下采样路径断掉了最常见的修法是把Conv层的stride参数从2改回1或者在backbone后补一个步长为2的下采样层。3. 在YOLOv8等模型中调整head、loss、IoU与NMS模块3.1 head改进的两条主要路线head改进在YOLO系列里一般分两种场景一是把旧版anchor-based耦合头改成解耦头二是调整回归分支的表达粒度。YOLOv5和YOLOv7的head里分类和回归共用同一组特征YOLOv8和YOLOv9则彻底解耦分类分支输出nc维回归分支输出4 * reg_max维。这个改动会让分类损失和回归损失不再互相干扰但对特征通道的使用也提出了更高要求。# YOLOv8 head 分支的通道定义示意 self.cv2 nn.Conv2d(c2, 4 * self.reg_max, 1) # 回归分支reg_max 默认16 self.cv3 nn.Conv2d(c2, nc, 1) # 分类分支reg_max控制边界框距离分布的离散化bin数量YOLOv8默认是16表示把0到15的整数看作框距离的分布。如果你把它改成32回归分支输出通道会从64变成128模型的FLOPs明显增加同时DFL损失里的积分逻辑也要同步改否则训练时回归分支的监督信号对不上。另一个常见改进是在head里插入轻量注意力但注意不要加在共享特征上太早因为分类分支需要语义信息回归分支需要边界细节两者对注意力权重的期望不同。3.2 loss改进focal loss中的两个参数该如何设置focal loss在YOLO中主要解决正负样本和难易样本不平衡。YOLOv5本身在loss里提供了fl_gamma超参开启后会用一个FocalLoss包装BCE损失。很多人在改进项目里直接设alpha0.25, gamma2但这两个参数并非通用最优。一个被验证过多次的调整路径是先从gamma1.5开始如果召回率偏低、误检很多再把gamma提高到2如果模型整体欠拟合训练损失下降很慢则把alpha从0.25提高到0.75是错误方向应该先调小gamma。# 一个可手动验证的 Focal Loss 实现YOLOv5 风格 class FocalLoss(nn.Module): def __init__(self, alpha0.25, gamma1.5): super().__init__() self.alpha alpha self.gamma gamma self.bce nn.BCEWithLogitsLoss(reductionnone) def forward(self, preds, targets): bce self.bce(preds, targets) p torch.sigmoid(preds) focal ((1 - p) ** self.gamma) * bce return (self.alpha * focal).mean()这里alpha控制正负样本权重比例alpha0.25意味着正样本整体权重只占0.25负样本占0.75用于抑制大量简单负样本gamma用于压低容易分类样本的loss贡献(1 - p) ** gamma对已经预测得很准的样本接近0对难样本则保留接近1的倍数。实验时先固定alpha逐步增加gamma如果发现mAP50不掉但mAP50-95掉了往往是gamma过大导致难样本的回归梯度也被压得太低。YOLOv8的loss实现里分类分支使用BCE、回归分支使用DFL和IoU损失focal loss并不直接套在总loss上需要找到vfl.py里的vfl_loss做等价替换不能把YOLOv5的FocalLoss类原封不动塞进去。3.3 IoU损失替换与NMS参数联动IoU损失决定回归分支的学习目标NMS则决定推理阶段的去重策略两者单独调都有收益但一起改时一定要重新验证。YOLOv5和YOLOv7里bbox_iou函数集中在utils/metrics.pyYOLOv8里则放在ultralytics/utils/metrics.py改动位置一致只是调用参数略有差别。IoU 变体主要特点常见使用场景CIoU加入纵横比一致性惩罚默认稳健适配大多数数据DIoU只惩罚中心点距离小目标和密集场景SIoU引入角度对齐惩罚长条形和方向敏感目标EIoU分别惩罚宽高误差目标尺寸差异大的数据集Wise-IoU动态样本加权标注噪声较高的业务数据# 在 loss.py 中找到 bbox_iou 调用处替换损失类型 iou bbox_iou(pbox, tbox, xywhFalse, CIoUTrue) # 默认 CIoU # 改成 SIoU 后推理阶段建议同步做一组 NMS 阈值扫描 iou bbox_iou(pbox, tbox, xywhFalse, SIoUTrue)切换IoU类型后最直接影响是训练阶段回归分支的loss值会整体变化不能拿新loss和旧loss数值直接比大小要看最终mAP和召回。NMS参数里常用的是conf_thres和iou_thres推理时用下面的命令验证一组组合yolo detect predict modelbest.pt sourcetest_images conf0.25 iou0.6 yolo detect predict modelbest.pt sourcetest_images conf0.25 iou0.7NMS的iou_thres越低去重越激进适合目标本身重叠度低的场景iou_thres越高保留的候选框越多适合密集小目标。当你把回归损失换成SIoU后模型输出的框更贴合真实边缘NMS阈值可以比默认的0.7调低0.05左右减少相邻目标的相互抑制。4. 组合改进到YOLOv8训练脚本的落地操作4.1 目录与多版本环境隔离一个同时包含YOLOv5、YOLOv7、YOLOv8、YOLOv9改进代码的项目通常会有多个子目录依赖的PyTorch版本和各自封装的工具包不完全兼容。我不建议在同一个conda环境里跑四个版本否则升级某个依赖可能把另一个版本的算子编译链破坏掉。常见做法是给每个版本建独立环境同时把实验数据统一放在一个共享目录下。mkdir -p experiments/{datasets,models,runs} conda create -n yolo8-improve python3.10 -y conda activate yolo8-improve pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics8.2.0这里PyTorch版本要和CUDA驱动匹配否则自定义backbone里的卷积算子可能在torch.compile阶段报错。数据集目录建议统一使用images/train、labels/train两张子目录结构不要使用符号链接跨磁盘否则Windows环境下容易出现标签路径读取失败。每个改进模型对应一个独立yaml文件比如models/backbone_compare/yolov8_cspnet.yaml因为后面做A/B实验时频繁覆盖同一个模型文件很容易丢掉基线配置。4.2 用data.yaml和hyp.yaml固化改进训练前把数据集路径和超参数都写成配置文件比每次敲命令行参数更可控。data.yaml负责告诉训练器数据在哪、类别是什么hyp.yaml负责模型超参包括学习率、损失权重、正样本匹配阈值等。以下是两个文件的最小形态# data.yaml path: ./experiments/datasets/custom train: images/train val: images/val nc: 3 names: [person, car, bike]yolo detect train \ modelmodels/backbone_compare/yolov8_cspnet.yaml \ dataexperiments/datasets/custom/data.yaml \ hypexperiments/hyp/custom_hyp.yaml \ epochs100 imgsz640 batch16 device0 \ projectexperiments/runs namecspnet_v1data.yaml里的path推荐写绝对路径尤其当你同时跑YOLOv5和YOLOv8时相对路径会因为工作目录不同而解析失败。hyp参数在ultralytics里既可以传yaml文件也可以直接传键值对但文件名方式更容易记录实验组合。下面是一些常被搜索的超参和调整方向超参常见默认值调整方向lr00.01模型改动大时降到0.001box7.5换IoU损失后不要急着调先观察cls0.5类别不均衡时适当调大cls_pw1.0配合focal loss使用时调回1.0obj1.0适用于YOLOv5/v7的objectness损失anchor_t4.0只影响YOLOv5/v7的anchor匹配fl_gamma0.0大于0时启用focal loss常用1.5注意anchor_t在YOLOv8和YOLOv9里不再生效因为anchor-free模型使用任务对齐分配器来生成正样本。所以如果你在YOLOv8工程里看到别人改了anchor_t那是无效操作真正影响正样本数量的是talent_ratio或topk_candidates这类参数。4.3 日志观察与中断恢复训练开始后不要只盯总loss。自定义backbone或head的改动大概率会让分类损失和回归损失的比例发生变化。如果前50轮cls_loss一直为0说明目标分配器没有给分类分支分配正样本可能是head输出通道和标签编码不对齐。用tensorboard观察最直接tensorboard --logdir experiments/runs当训练中断需要恢复时直接resumeTrue读取last.pt是最省事的但如果你在中断后改过模型yaml优化器状态会和当前结构不匹配。一个更稳妥的恢复方式是只加载权重丢弃优化器状态import torch ckpt torch.load(runs/cspnet_v1/weights/last.pt) torch.save({model: ckpt[model]}, clean.pt)这个操作相当于把中途训练结果当作预训练模型后续可以接着调head或loss而不必从零开始。加载后建议先用一个小数据集跑10轮确认loss收敛趋势一致再放完整数据避免优化器状态不匹配造成的首轮loss爆炸。5. 用随机输入和消融实验验证YOLO改进是否生效5.1 前向验证先用随机图检查shape对backbone、neck、head做了多处修改后直接训练是一种昂贵的排错方式。我习惯在训练前用一张随机图跑前向只看输出feature map的shape是否符合预期。以YOLOv8为例import torch from ultralytics import YOLO model YOLO(models/backbone_compare/yolov8_cspnet.yaml) model.model.eval() x torch.randn(1, 3, 640, 640) with torch.no_grad(): preds model.model(x) print([p.shape for p in preds] if isinstance(preds, (list, tuple)) else preds.shape)正常情况会输出三个尺度的预测结构对应P3、P4、P5。如果输出长度变成2或4说明neck的Concat层引用了错误层号或者自定义CSPNet改变了某个下采样层的输出尺寸。这一步能筛掉大部分通道拼接和stride错误比训练到一半再报错快得多。5.2 固定随机种子做A/B消融对比多个模块一起改时你无法判断收益来自backbone、loss还是NMS。更好的做法是固定随机种子一次只动一个模块。训练命令里加seed0确保数据加载顺序和初始权重一致。实验梯度可以这样安排A是未修改的baselineB只在backbone换成CSPNet变体C在B的基础上改IoU损失D再调NMS阈值。记录结果时至少覆盖mAP50、mAP50-95和单张推理耗时实验改动模块mAP50mAP50-95推理耗时(ms)A基线0.52x0.33x12.4Bbackbone0.0150.0100.7CIoU/loss0.0030.0060.1DNMS0.0040.002-0.2表中数值格式仅供记录参考真实实验以你本地输出为准。如果B实验只涨了mAP50但mAP50-95没动说明改进主要影响了粗定位不是精细化能力如果C实验让mAP50-95明显上涨说明IoU损失负责的边界回归确实被优化到了。这样你最后调NMS参数时能指认变化来自哪一层而不是把不同改进的收益混在一起。本文还有配套的精品资源点击获取
