ConvNeXt 特征金字塔网络指南FPN 与 PAN 如何选实测差多少【免费下载链接】ConvNeXtCode release for ConvNeXt model项目地址: https://gitcode.com/gh_mirrors/co/ConvNeXt检测与分割任务里骨干输出的多张特征图语义天然错位浅层看得清位置却不懂含义深层含义够却丢了细节。本文基于 ConvNeXt 仓库的目标检测与分割两条落地链路拆解其特征金字塔网络如何把 C2–C5 融成 P2–P5对比 FPN 与 PAN 的补路差异给出按实测数据做的选型规则。⚠️ 小目标为什么会漏多尺度特征错位漏检很少是分类器的问题更多出在喂给 RPN 的特征上。以 COCO 为例同一张图里同时存在 32 像素的鸟和占画面大半的汽车。若只取最后一层特征图小目标的激活面积可能不足 2×2直接消失若只取浅层大目标又缺乏类别上下文。这就是单尺度特征的根本矛盾分辨率与语义不可兼得。特征金字塔的解法不是发明新信息而是把骨干已有的四档分辨率重排成每档都语义对齐的均匀输出——这就是 FPN 的全部动机。 把 C2–C5 接成 P2–P5ConvNeXt 里的 FPN 链路ConvNeXt 骨干在object_detection/mmdet/models/backbones/convnext.py中以 4 个 stage 依次降采样stem 的 4×4 卷积出 1/4 尺度之后每进一个 stage 经 2×2 卷积再降一档Tiny 尺寸得到 96/192/384/768 通道、stride 4/8/16/32 的 C2–C5。forward_features对选中的输出逐层做 LayerNorm 后以 tuple 返回交给 mmdet 框架组装。真正的融合发生在 neck。基础模型object_detection/configs/_base_/models/mask_rcnn_convnext_fpn.py中 neck 只有三行typeFPN、in_channels[128, 256, 512, 1024]各档 C/2与 stage 卷积输出的通道数一致、out_channels256, num_outs5。融合链路是输出来源融合方式P5C5 经 1×1 卷积无横向连接自顶向下起点P4C4 ⊕ up(P5)上采样后逐元素相加 3×3 卷积P3C3 ⊕ up(P4)同上P2C2 ⊕ up(P3)同上配置里的 RPN anchor 步长[4, 8, 16, 32, 64]与 P2–P5加 P6 档严格对齐RoI 提取的featmap_strides[4, 8, 16, 32]也直接消费这四张图——改 neck 通道数时这两处必须同步否则会静默错位。➕ PAN 比 FPN 多补的那条路FPN 的缺陷P2 虽然分辨率够但它的语义浓度依赖自顶向下的累加低层的位置先验在多次上采样后被稀释。PAN 的补丁是一条自底向上路径P2 → P3 → P4 方向再融合一次让低层的位置细节反向注入高层小目标定位的框回归精度因此受益PANet 原文报告小目标提升显著。注意两点边界这条路的收益集中在密集小目标场景中尺度目标收益有限它给 neck 增加一组 3×3 卷积FLOPs 与显存开销随之上升。本仓库的检测配置默认是标准 FPN 而非 PANet若小目标成为瓶颈可在 neck 中把类型换成 PANetMMDet 内置并沿用同一组in_channels。分割侧是另一种融合思路semantic_segmentation/configs/_base_/models/upernet_convnext.py的 UPerNet 头用pool_scales(1, 2, 3, 6)多尺度池化抽取全局上下文再做自底向上聚合属于池化式的 PAN 思想另有一个挂在 C3 上的辅助 FCN 头loss 权重 0.4提供额外监督。 实测数据检测与分割两张表COCO 目标检测3x 训练数据取自仓库object_detection/README.md骨干方法框 mAP掩码 mAP参数量ConvNeXt-TMask R-CNN FPN46.241.748MConvNeXt-TCascade Mask R-CNN FPN50.443.786MConvNeXt-SCascade Mask R-CNN FPN51.945.0108MConvNeXt-LCascade Mask R-CNN FPN54.847.6255MADE20k 语义分割160K iters数据取自semantic_segmentation/README.md骨干预训练裁剪尺寸mIoUmIoU (msflip)参数量ConvNeXt-T1K51246.046.760MConvNeXt-B1K51249.149.9122MConvNeXt-B22K64052.653.1122MConvNeXt-XL22K64053.654.0391M两组数据共同说明同一 FPN 链路上换更深的 Cascade 头比换 PAN 更直接分割侧多尺度测试msflip普遍再涨 0.5–0.7 个 mIoU说明融合结构的精度还有测试期红利可吃。 三条可直接执行的选型规则条件单卡推理或参数量预算 60M→ 选 FPN。num_outs5的标准配置已足够T 级骨干 48M 即可跑。条件COCO-style 指标中小档 mAP 明显低于中/大档差距 5 点→ 换 PANet neck先不动骨干仍不达标再加 Cascade 头。条件稠密像素任务语义分割、全景分割→ 直接走 UPerNet 池化式融合它的多尺度全局上下文比纯路径聚合更适合大感受野需求配合 msflip 测试。️ 三个工程要点预训练加载backbone 的init_weights走strictFalse加载检测侧只灌骨干权重、neck 随机初始化。训练命令形如tools/dist_train.sh config 8 --cfg-options model.pretrainedpth 路径config 选configs/convnext/下与骨干尺寸匹配的那份。分层学习率object_detection/mmcv_custom/layer_decay_optimizer_constructor.py把骨干参数映射到 13 个逻辑层stage 0–3 展开 顶层越深的层学习率按layer_decay递减浅层学得快、深层学不动的失衡问题就是靠它压住的。多尺度增强检测配置名中的mstrain_480-800表示训练期短边在 480–800 间采样与 FPN 的多档分辨率相乘后等效于对每个金字塔层级做尺度抖动分割侧对应 512/640 两档裁剪配置。FPN 是这套特征金字塔网络的默认起点PAN 与池化式融合是按瓶颈逐项追加的补丁——先跑通前者再用小目标数据说话选型成本最低。【免费下载链接】ConvNeXtCode release for ConvNeXt model项目地址: https://gitcode.com/gh_mirrors/co/ConvNeXt创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
ConvNeXt 特征金字塔网络指南：FPN 与 PAN 如何选，实测差多少
ConvNeXt 特征金字塔网络指南FPN 与 PAN 如何选实测差多少【免费下载链接】ConvNeXtCode release for ConvNeXt model项目地址: https://gitcode.com/gh_mirrors/co/ConvNeXt检测与分割任务里骨干输出的多张特征图语义天然错位浅层看得清位置却不懂含义深层含义够却丢了细节。本文基于 ConvNeXt 仓库的目标检测与分割两条落地链路拆解其特征金字塔网络如何把 C2–C5 融成 P2–P5对比 FPN 与 PAN 的补路差异给出按实测数据做的选型规则。⚠️ 小目标为什么会漏多尺度特征错位漏检很少是分类器的问题更多出在喂给 RPN 的特征上。以 COCO 为例同一张图里同时存在 32 像素的鸟和占画面大半的汽车。若只取最后一层特征图小目标的激活面积可能不足 2×2直接消失若只取浅层大目标又缺乏类别上下文。这就是单尺度特征的根本矛盾分辨率与语义不可兼得。特征金字塔的解法不是发明新信息而是把骨干已有的四档分辨率重排成每档都语义对齐的均匀输出——这就是 FPN 的全部动机。 把 C2–C5 接成 P2–P5ConvNeXt 里的 FPN 链路ConvNeXt 骨干在object_detection/mmdet/models/backbones/convnext.py中以 4 个 stage 依次降采样stem 的 4×4 卷积出 1/4 尺度之后每进一个 stage 经 2×2 卷积再降一档Tiny 尺寸得到 96/192/384/768 通道、stride 4/8/16/32 的 C2–C5。forward_features对选中的输出逐层做 LayerNorm 后以 tuple 返回交给 mmdet 框架组装。真正的融合发生在 neck。基础模型object_detection/configs/_base_/models/mask_rcnn_convnext_fpn.py中 neck 只有三行typeFPN、in_channels[128, 256, 512, 1024]各档 C/2与 stage 卷积输出的通道数一致、out_channels256, num_outs5。融合链路是输出来源融合方式P5C5 经 1×1 卷积无横向连接自顶向下起点P4C4 ⊕ up(P5)上采样后逐元素相加 3×3 卷积P3C3 ⊕ up(P4)同上P2C2 ⊕ up(P3)同上配置里的 RPN anchor 步长[4, 8, 16, 32, 64]与 P2–P5加 P6 档严格对齐RoI 提取的featmap_strides[4, 8, 16, 32]也直接消费这四张图——改 neck 通道数时这两处必须同步否则会静默错位。➕ PAN 比 FPN 多补的那条路FPN 的缺陷P2 虽然分辨率够但它的语义浓度依赖自顶向下的累加低层的位置先验在多次上采样后被稀释。PAN 的补丁是一条自底向上路径P2 → P3 → P4 方向再融合一次让低层的位置细节反向注入高层小目标定位的框回归精度因此受益PANet 原文报告小目标提升显著。注意两点边界这条路的收益集中在密集小目标场景中尺度目标收益有限它给 neck 增加一组 3×3 卷积FLOPs 与显存开销随之上升。本仓库的检测配置默认是标准 FPN 而非 PANet若小目标成为瓶颈可在 neck 中把类型换成 PANetMMDet 内置并沿用同一组in_channels。分割侧是另一种融合思路semantic_segmentation/configs/_base_/models/upernet_convnext.py的 UPerNet 头用pool_scales(1, 2, 3, 6)多尺度池化抽取全局上下文再做自底向上聚合属于池化式的 PAN 思想另有一个挂在 C3 上的辅助 FCN 头loss 权重 0.4提供额外监督。 实测数据检测与分割两张表COCO 目标检测3x 训练数据取自仓库object_detection/README.md骨干方法框 mAP掩码 mAP参数量ConvNeXt-TMask R-CNN FPN46.241.748MConvNeXt-TCascade Mask R-CNN FPN50.443.786MConvNeXt-SCascade Mask R-CNN FPN51.945.0108MConvNeXt-LCascade Mask R-CNN FPN54.847.6255MADE20k 语义分割160K iters数据取自semantic_segmentation/README.md骨干预训练裁剪尺寸mIoUmIoU (msflip)参数量ConvNeXt-T1K51246.046.760MConvNeXt-B1K51249.149.9122MConvNeXt-B22K64052.653.1122MConvNeXt-XL22K64053.654.0391M两组数据共同说明同一 FPN 链路上换更深的 Cascade 头比换 PAN 更直接分割侧多尺度测试msflip普遍再涨 0.5–0.7 个 mIoU说明融合结构的精度还有测试期红利可吃。 三条可直接执行的选型规则条件单卡推理或参数量预算 60M→ 选 FPN。num_outs5的标准配置已足够T 级骨干 48M 即可跑。条件COCO-style 指标中小档 mAP 明显低于中/大档差距 5 点→ 换 PANet neck先不动骨干仍不达标再加 Cascade 头。条件稠密像素任务语义分割、全景分割→ 直接走 UPerNet 池化式融合它的多尺度全局上下文比纯路径聚合更适合大感受野需求配合 msflip 测试。️ 三个工程要点预训练加载backbone 的init_weights走strictFalse加载检测侧只灌骨干权重、neck 随机初始化。训练命令形如tools/dist_train.sh config 8 --cfg-options model.pretrainedpth 路径config 选configs/convnext/下与骨干尺寸匹配的那份。分层学习率object_detection/mmcv_custom/layer_decay_optimizer_constructor.py把骨干参数映射到 13 个逻辑层stage 0–3 展开 顶层越深的层学习率按layer_decay递减浅层学得快、深层学不动的失衡问题就是靠它压住的。多尺度增强检测配置名中的mstrain_480-800表示训练期短边在 480–800 间采样与 FPN 的多档分辨率相乘后等效于对每个金字塔层级做尺度抖动分割侧对应 512/640 两档裁剪配置。FPN 是这套特征金字塔网络的默认起点PAN 与池化式融合是按瓶颈逐项追加的补丁——先跑通前者再用小目标数据说话选型成本最低。【免费下载链接】ConvNeXtCode release for ConvNeXt model项目地址: https://gitcode.com/gh_mirrors/co/ConvNeXt创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
