简介全卷积网络FCN在Penn-Fudan Database数据集上的完整实现与训练包面向学习图像语义分割的深度学习初学者及研究人员。资源围绕FCN核心原理展开包含340个行人街景图像与对应掩膜标注png以及172个txt说明或标签文件并配有6个Python训练/预测脚本、4个npy评估指标文件与XML配置等压缩包共533个文件大小约184.68MB结构清晰便于复现实验。项目基于预训练骨干网络构建FCN使用BCEWithLogits损失、RMSprop优化器及学习率调度涵盖跳跃连接、上采样等关键模块的完整实现已训练好的模型权重和评估指标如meanIU、meanPixel可直接用于验证分割效果训练日志与超参数配置也一并提供便于对比不同设置下的精度差异。目前已有504人学习下载适合希望结合行人分割数据集动手实践FCN的读者快速上手并可根据附带的评估脚本进一步分析模型表现。 做语义分割绕不开全卷积网络FCN做行人分割实测绕不开 Penn-Fudan Database 这个经典小数据集。这两个东西凑在一起恰好是我个人觉得最适合把分割模型从理论到落地完整跑一遍的组合数据量小、标注规整、单卡几分钟就能出结果能让你把注意力放在模型行为本身而不是没完没了的训练等待。Penn-Fudan 是宾夕法尼亚大学与复旦大学合作收集的行人分割数据集170张图像345个标注行人实例。这个规模放在今天动辄上万张的数据集面前完全不够看但它胜在标注质量高、场景集中非常适合快速验证一个分割模型到底有没有正常工作。适合刚接触语义分割、想在真实数据上理解 FCN 原理的人同样适合做过目标检测、想对比检测框与像素级分割差异的开发者。接下来我从数据集本身讲起再到 FCN 的模型结构拆解最后给出在 PyTorch 上从零训练的完整流程、踩坑记录和一些调参经验争取让第一次跑分割项目的朋友少走弯路。1. 这个数据集和模型组合本质在做什么1.1 Penn-Fudan 数据库细节盘点170张图里有什么Penn-Fudan 的目录结构非常简洁核心就两个文件夹一个放 RGB 原图另一个放像素级掩码PedMasks。原图多拍摄于校园和街道路口每张图都有至少一个行人有的图里人多且互相遮挡有的图里行人只占画面很小一部分天然覆盖了目标检测和分割里的常见难点。掩码标注是这个数据集的关键也是新手最容易看懵的地方。PedMasks 里的 PNG 不是简单的二值图而是每个实例一个编号0 表示背景1 表示非行人的杂物比如汽车、自行车、路牌的一部分从 2 开始才是第一个行人实例3 是第二个行人依此类推。做二分类语义分割时只需要把大于等于 2 的像素全部当成前景如果后续要做实例分割每个编号就是一个单独的目标可以直接基于这个标注扩展。这类小而精的数据集特别适合做模型验证。和 Cityscapes、COCO 那种数万张起步的数据集相比Penn-Fudan 几分钟就能完整训练一个 epoch跑一次完整的对比实验也就半小时以内。我习惯在它上面快速验证模型结构改动、损失函数调整是否有效再迁移到大数据集能省下大量调试时间。1.2 为什么选 FCN 当分割入门模型在 FCN 之前基于滑窗或图像块分类的方法也能做分割把每个像素周围切出一块小图送进分类网络判断中心像素属于哪一类。但这个思路有两个致命问题一是相邻像素的图像块大量重叠计算重复严重二是单块图像感受野有限很难结合全局上下文判断语义。FCN 的关键改动在于把分类网络末端的全连接层全部换成卷积层让网络可以接受任意尺寸输入并输出与输入空间位置对应的密集预测图。用一个类比来说传统分类网络像批改选择题的老师看完整张图只给出一个分数FCN 把这位老师改造成逐像素质检员走一遍同样的特征提取流程但给每个位置都打上标签。这样既保留了预训练分类模型已经学好的特征提取能力又让输出从一个数变成一张图。我选 FCN 作为入门模型还有一个原因它的结构足够简单透明上采样、跳跃连接这些核心思想都暴露得清清楚楚。跑通一次 FCN再去看 U-Net、DeepLab、SegNet 这些后续模型会发现很多设计思路是相通的。1.3 这套组合适合谁能解决什么问题Penn-Fudan FCN 本质上是一个二分类密集预测任务把每个像素判断为行人还是非行人。这个组合可以验证几个很有价值的关键问题预训练分类骨干VGG16能否有效迁移到分割任务上采样路径中不同跳跃连接策略到底带来多大收益小数据集上从零微调分割模型是否可行会不会严重过拟合。这套组合也经常作为后续项目的前置验证。比如在更大的街景数据集上做多类别语义分割、把二分类扩展成多分类或者在 FCN 输出的粗糙 mask 之上继续接实例分割头。我最初跑通 FCN 用的也是类似结构的数据集后来做城市道路分割、遥感影像地物分类整套思路几乎是平移过去的。2. 核心原理拆解从分类网络到像素分类2.1 全卷积化操作去掉全连接层之后发生了什么FCN 最早的实现基于 VGG16。VGG16 在 ImageNet 分类上表现稳定结构规整、层次分明非常适合做分割任务的特征提取骨干。原始 VGG16 最后三层是全连接层参数量占了整个网络的绝大部分且要求输入特征图尺寸固定。FCN 用 1x1 卷积替换这三层参数量骤降同时解除了输入尺寸限制。这里的逻辑值得多说一句。全连接层本质上是对输入特征做全局加权求和权重数量固定所以输入特征维度必须固定1x1 卷积则只对通道维度做线性组合空间维度任意输出特征图在空间上依然保持输入的相对位置关系。替换之后整个网络变成全卷积结构输入可以是任意 HxW 尺寸输出特征图相对输入缩小了固定的倍数——以 VGG16 为例经过五次池化后特征图尺寸缩小到输入的 1/32。2.2 转置卷积特征图怎么长回原分辨率经过分类骨干下采样后特征图只有输入的 1/32无法直接当作分割结果使用。FCN 引入了转置卷积也叫反卷积进行上采样把低分辨率特征图映射回高分辨率输出。需要特别提醒的是转置卷积不是恢复原图的逆操作它只是一个可以让网络学习上采样规则的特殊卷积层输出结果并不保证和原图信息完全对应。实际使用转置卷积时最常见的问题是棋盘效应。由于转置卷积本质上是带重叠的插值当卷积核大小与步长不能整除时输出会出现格子状伪影。FCN 原论文把上采样倍数设置为 32、16、8这些倍数能整除常见输入尺寸棋盘效应不明显。但如果把模型迁移到其他数据集输入尺寸不是 16 的整数倍输出就极可能出现条纹噪声。我自己踩过这个坑换到尺寸为 640x360 的数据集后没有调整输入 padding输出的 mask 上一道一道规律性条纹排查了半天才发现是上采样倍率不匹配导致的。2.3 FCN-32s、16s、8s 三个变体的实测差异FCN 原论文给出了三个变体差异在于上采样倍数和跳跃连接策略这也是理解分割模型结构设计最直观的样本变体上采样倍数融合特征层分割效果训练耗时FCN-32s32倍无轮廓粗糙小块目标易丢最少FCN-16s16倍pool4边缘有所改善细节仍一般中等FCN-8s8倍pool4 pool3边缘和细节最好综合最优最多为什么融合浅层特征有效因为浅层特征图分辨率更高保留了更多边缘和纹理信息深层特征图分辨率低但语义信息更强。跳跃连接相当于把语义与细节两条信息流合并能明显改善边界质量。在 Penn-Fudan 上同时跑三个变体做对比你会直观看到每多一条跳跃连接行人轮廓就从马赛克感向圆弧感迈进一步。我建议刚开始只重点观察 FCN-8s32s 和 16s 跑一两个 epoch 当对照组即可。3. 实操全流程在 Penn-Fudan 上跑通训练3.1 预处理mask 标签转换和训练/验证划分第一步不是写模型而是把数据加载和预处理彻底搞清楚。下载并解压数据集后先用代码检查图像和掩码的尺寸、通道数、像素值分布这一步能避免后续大量莫名其妙的 bug。读 mask 文件时要注意PedMasks 里的 PNG 虽然用 PIL 打开是单通道灰度图但原始标注中可能存在调色板模式。稳妥的做法是统一转为 NumPy 数组后只取第一个通道再进行阈值处理import numpy as np from PIL import Image def mask_to_binary(mask_path): mask np.array(Image.open(mask_path).convert(L)) # 0: 背景, 1: 背景物体, 2: 行人实例 return (mask 2).astype(np.uint8)这里的逻辑很简单把标记为 1 的非行人杂物也当作背景只保留真正属于行人的像素。如果后续需要做实例分割就不能做这个二值化了要保留每个实例的独立编号。数据集本身没有官方划分常见做法是随机抽取 120 张做训练、50 张做验证。我建议固定随机种子后划分保证实验可复现。另一个值得注意的点是虽然只有 170 张图但所有图像尺寸不完全一致训练时最好统一 resize 到固定大小比如 480x480 或 512x512。输入分辨率不用太大Penn-Fudan 中的行人占画面比例不低过大反而拖慢训练速度。3.2 模型核心实现与代码注释PyTorch 下实现一个简化版 FCN-8s 并不复杂重点在于如何复用预训练 VGG16 的特征提取层再接上卷积化和跳跃路径。核心结构大致如下import torch import torch.nn as nn class FCN8s(nn.Module): def __init__(self, backbone, num_classes2): super().__init__() # 使用 VGG16 的 features 部分作为编码器 features list(backbone.features.children()) self.pool nn.MaxPool2d(kernel_size2, stride2) self.conv5 nn.Sequential(*features[:24]) # 到 pool4 之前 self.conv4 nn.Sequential(*features[24:31]) # 到 pool4 之后 self.conv3 nn.Sequential(*features[17:24]) # pool3 之后到 pool4 前 # 1x1 卷积降通道形成每像素 logits self.score_pool4 nn.Conv2d(512, num_classes, 1) self.score_pool3 nn.Conv2d(256, num_classes, 1) # 上采样路径 self.upsample2 nn.ConvTranspose2d(num_classes, num_classes, 4, stride2, padding1) self.upsample8 nn.ConvTranspose2d(num_classes, num_classes, 16, stride8, padding4) # 主分支从 conv5 到 score 图 self.score_conv5 nn.Conv2d(512, num_classes, 1) def forward(self, x): # 提取三层特征 pool3 self.conv3(x) pool4 self.conv4(pool3) pool5 self.conv5(pool4) # 主分支上采样两倍 score5 self.upsample2(self.score_conv5(pool5)) # 融合 pool4 score4 self.score_pool4(pool4) fused4 score4 score5 # 再上采样两倍融合 pool3 fused4 self.upsample2(fused4) score3 self.score_pool3(pool3) fused3 fused4 score3 # 最终上采样 8 倍回原分辨率 out self.upsample8(fused3) return out上面的代码为了展示核心思想做了简化与官方完整实现相比少了一些细节比如 VGG16 中间层激活函数的继承、dropout 层的位置等但分割逻辑是完整的。实际使用时直接加载torchvision.models.vgg16(weightsIMAGENET1K_V1)作为 backbone再把 features 部分按上述方式切块可以省去大量重复造轮子的时间。3.3 训练配置损失、优化器、数据增强怎么定训练 FCN 二分类分割最基础的损失函数是逐像素交叉熵。Penn-Fudan 中背景像素占比明显高于前景直接交叉熵也能训但模型会偏向预测背景分割出来的行人边界会比较保守。我建议给前景类加权重初版可以设 2.0 或 3.0然后观察分割结果再微调。优化器方面我习惯用 SGD momentum学习率从 0.01 开始配合多步下降大约在 15 和 25 个 epoch 时各衰减一次。batch size 在单卡 8G 显存下设 8 到 12 都没问题。整个 Penn-Fudan 训练 30 个 epoch 已经足够看到稳定结果再多就趋向过拟合了。数据增强不建议加太多水平翻转和轻微颜色抖动就够了。随机裁剪在行人占画面较小的图上风险较大容易把行人主体切出画面反而干扰训练。这个数据集本身场景集中过度增强换来的泛化收益有限还会拖慢训练速度。3.4 评估与结果PA 和 mIoU 该看哪个分割任务最常用的两个指标是 Pixel AccuracyPA和 mean Intersection over UnionmIoU。PA 容易给人我已经做得很好的错觉因为背景占比大哪怕把全部像素都预测成背景PA 也能轻松超过 95%。mIoU 则对每个类别的交并比取平均更能反映前景分割的真实质量所以看指标时要把重心放在 mIoU 上。在 Penn-Fudan 上FCN-8s 经过 30 轮训练mIoU 一般能达到 0.85 到 0.90 之间具体数值和骨架初始化、随机种子、数据增强策略都有关系。但看结果不能只看数字更建议把预测出的 mask 叠加到原图上逐张检查。视觉上边缘是否贴合、小目标是否消失、重叠行人能否区分这些信息 loss 曲线完全反映不出来可视化图一眼就能看出来。4. 常见问题排查与优化心得4.1 小目标行人分割效果差怎么办Penn-Fudan 每张图人数不定有的图里行人非常小几乎只有几十个像素FCN 对此类小目标的表现确实一般。原因在于连续下采样把细节信息磨平了小目标在深层特征图中可能只剩一两个像素上采样后也难以还原。我的排查顺序是先看输入尺寸是否足够大如果目标在图中占比本身很小适当增大输入分辨率是最直接的提升手段然后检查是否需要更浅层的跳跃连接比如在 FCN-8s 基础上再接 pool2 特征形成 FCN-4s最后考虑换用带空洞卷积的骨干和 ASPP 模块这类结构在保持分辨率方面优势明显。4.2 边缘粗糙毛刺多怎么处理边缘锯齿明显是 FCN 这类模型的结构性缺陷因为上采样路径的卷积核更关注语义上是什么而不是精细轮廓。想要改善边缘质量最省事的办法是加入 CRF 条件随机场做后处理能把粗糙边缘稍微捋顺一些。不过 CRF 属于独立的后处理步骤在训练时不可导端到端训练无法直接受益。另一个方向是换模型结构。U-Net 这种 encoder-decoder 结构在医学图像分割中表现很好和 FCN 一个显著差异是它在同层之间额外添加了 skip connection直接传递精细空间信息。实测在边缘细节上U-Net 类结构比 FCN-8s 有肉眼可见的优势。如果项目对边缘精度要求高不必死磕 FCN。4.3 背景占主导类别不均衡怎么破Penn-Fudan 中背景像素远超前景直接优化交叉熵会让模型更倾向于预测背景表现就是宁可漏检也不错检行人区域偏瘦小。解决办法集中在损失函数层面方法核心思路我的实测感受加权交叉熵给前景类别分配更高权重简单直接权重设 2~3 即可Dice Loss直接优化区域重叠度对前景恢复有明显帮助Focal Loss降低易分样本权重适合极不均衡场景Penn-Fudan 略微复杂化交叉熵 Dice两者按比例相加在我实验中效果最稳推荐优先尝试Dice Loss 单独使用时容易导致训练初期梯度不稳定和交叉熵按 1:1 或 1:2 的比例组合能兼顾稳定性和分割质量。4.4 多实例 mask 重叠时的标注顺序坑Penn-Fudan 的 mask 标号规则是实例独立编号但两个行人重叠时后标注的实例会把前面的像素覆盖掉。做二分类分割时我们用二值掩码重叠区域没有影响但如果做实例分割或多实例分开评价直接读取原 mask 可能导致后面实例面积被错误覆盖、前面实例形状不完整。稳妥的做法是不要只读取合并后的 mask 图像而是对每个实例单独生成自己的二值 mask 作为训练标签。具体实现时遍历原 mask 中所有大于等于 2 的像素值为每个值创建独立掩码再进行后续的裁剪和变换。还有一个更容易被忽略的坑图像 resize 时标签也要同步 resize但必须用最近邻插值千万不要用双线性插值否则标签边缘会出现不属于任何类别的插值像素。5. 跑通之后能怎么扩展把 FCN 在 Penn-Fudan 上跑通只是第一步这个组合最大的价值在于能帮你建立完整的调试方法和评估直觉。往后再走我最推荐三条路线一是换到更大、类别更多的数据集比如 Cityscapes 子集或 CamVid验证模型泛化性这时需要修改输出类别数、重新设计类别权重二是把二分类改成多分类背景不再是一个整体而是拆分成道路、建筑、车辆等难度立刻上一个台阶三是延伸到实例分割在 FCN 基础上接入目标检测分支和分割分支往 Mask R-CNN 的方向做Penn-Fudan 的实例级标注正好派上用场。个人体会方面Penn-Fudan 这个数据集虽然小但每一种常见分割问题它都沾一点小目标、重叠遮挡、类别不均衡、边缘细节非常适合做各种对比实验。我自己后来从 FCN 换到 DeepLab、再换到 Mask R-CNN很多模型行为的差异最初都是在这个数据集上观察到的。训练快、标注直观、问题典型这些特征让它的教学和实验价值远超它 170 张图的体量。最后再分享一个小技巧训练分割模型时把每个 epoch 结束后的预测 mask 保存成图片按训练进度翻看比只看 loss 曲线更能发现问题。边缘质量有没有提升、小目标是否消失、粘连人群能不能分开这些信息 loss 曲线完全看不到可视化图一眼就能给出答案。这个习惯我从 FCN 一直保留到现在几乎所有分割项目都靠它快速定位问题。本文还有配套的精品资源点击获取
FCN语义分割实战：Penn-Fudan行人数据集训练与调优全指南
简介全卷积网络FCN在Penn-Fudan Database数据集上的完整实现与训练包面向学习图像语义分割的深度学习初学者及研究人员。资源围绕FCN核心原理展开包含340个行人街景图像与对应掩膜标注png以及172个txt说明或标签文件并配有6个Python训练/预测脚本、4个npy评估指标文件与XML配置等压缩包共533个文件大小约184.68MB结构清晰便于复现实验。项目基于预训练骨干网络构建FCN使用BCEWithLogits损失、RMSprop优化器及学习率调度涵盖跳跃连接、上采样等关键模块的完整实现已训练好的模型权重和评估指标如meanIU、meanPixel可直接用于验证分割效果训练日志与超参数配置也一并提供便于对比不同设置下的精度差异。目前已有504人学习下载适合希望结合行人分割数据集动手实践FCN的读者快速上手并可根据附带的评估脚本进一步分析模型表现。 做语义分割绕不开全卷积网络FCN做行人分割实测绕不开 Penn-Fudan Database 这个经典小数据集。这两个东西凑在一起恰好是我个人觉得最适合把分割模型从理论到落地完整跑一遍的组合数据量小、标注规整、单卡几分钟就能出结果能让你把注意力放在模型行为本身而不是没完没了的训练等待。Penn-Fudan 是宾夕法尼亚大学与复旦大学合作收集的行人分割数据集170张图像345个标注行人实例。这个规模放在今天动辄上万张的数据集面前完全不够看但它胜在标注质量高、场景集中非常适合快速验证一个分割模型到底有没有正常工作。适合刚接触语义分割、想在真实数据上理解 FCN 原理的人同样适合做过目标检测、想对比检测框与像素级分割差异的开发者。接下来我从数据集本身讲起再到 FCN 的模型结构拆解最后给出在 PyTorch 上从零训练的完整流程、踩坑记录和一些调参经验争取让第一次跑分割项目的朋友少走弯路。1. 这个数据集和模型组合本质在做什么1.1 Penn-Fudan 数据库细节盘点170张图里有什么Penn-Fudan 的目录结构非常简洁核心就两个文件夹一个放 RGB 原图另一个放像素级掩码PedMasks。原图多拍摄于校园和街道路口每张图都有至少一个行人有的图里人多且互相遮挡有的图里行人只占画面很小一部分天然覆盖了目标检测和分割里的常见难点。掩码标注是这个数据集的关键也是新手最容易看懵的地方。PedMasks 里的 PNG 不是简单的二值图而是每个实例一个编号0 表示背景1 表示非行人的杂物比如汽车、自行车、路牌的一部分从 2 开始才是第一个行人实例3 是第二个行人依此类推。做二分类语义分割时只需要把大于等于 2 的像素全部当成前景如果后续要做实例分割每个编号就是一个单独的目标可以直接基于这个标注扩展。这类小而精的数据集特别适合做模型验证。和 Cityscapes、COCO 那种数万张起步的数据集相比Penn-Fudan 几分钟就能完整训练一个 epoch跑一次完整的对比实验也就半小时以内。我习惯在它上面快速验证模型结构改动、损失函数调整是否有效再迁移到大数据集能省下大量调试时间。1.2 为什么选 FCN 当分割入门模型在 FCN 之前基于滑窗或图像块分类的方法也能做分割把每个像素周围切出一块小图送进分类网络判断中心像素属于哪一类。但这个思路有两个致命问题一是相邻像素的图像块大量重叠计算重复严重二是单块图像感受野有限很难结合全局上下文判断语义。FCN 的关键改动在于把分类网络末端的全连接层全部换成卷积层让网络可以接受任意尺寸输入并输出与输入空间位置对应的密集预测图。用一个类比来说传统分类网络像批改选择题的老师看完整张图只给出一个分数FCN 把这位老师改造成逐像素质检员走一遍同样的特征提取流程但给每个位置都打上标签。这样既保留了预训练分类模型已经学好的特征提取能力又让输出从一个数变成一张图。我选 FCN 作为入门模型还有一个原因它的结构足够简单透明上采样、跳跃连接这些核心思想都暴露得清清楚楚。跑通一次 FCN再去看 U-Net、DeepLab、SegNet 这些后续模型会发现很多设计思路是相通的。1.3 这套组合适合谁能解决什么问题Penn-Fudan FCN 本质上是一个二分类密集预测任务把每个像素判断为行人还是非行人。这个组合可以验证几个很有价值的关键问题预训练分类骨干VGG16能否有效迁移到分割任务上采样路径中不同跳跃连接策略到底带来多大收益小数据集上从零微调分割模型是否可行会不会严重过拟合。这套组合也经常作为后续项目的前置验证。比如在更大的街景数据集上做多类别语义分割、把二分类扩展成多分类或者在 FCN 输出的粗糙 mask 之上继续接实例分割头。我最初跑通 FCN 用的也是类似结构的数据集后来做城市道路分割、遥感影像地物分类整套思路几乎是平移过去的。2. 核心原理拆解从分类网络到像素分类2.1 全卷积化操作去掉全连接层之后发生了什么FCN 最早的实现基于 VGG16。VGG16 在 ImageNet 分类上表现稳定结构规整、层次分明非常适合做分割任务的特征提取骨干。原始 VGG16 最后三层是全连接层参数量占了整个网络的绝大部分且要求输入特征图尺寸固定。FCN 用 1x1 卷积替换这三层参数量骤降同时解除了输入尺寸限制。这里的逻辑值得多说一句。全连接层本质上是对输入特征做全局加权求和权重数量固定所以输入特征维度必须固定1x1 卷积则只对通道维度做线性组合空间维度任意输出特征图在空间上依然保持输入的相对位置关系。替换之后整个网络变成全卷积结构输入可以是任意 HxW 尺寸输出特征图相对输入缩小了固定的倍数——以 VGG16 为例经过五次池化后特征图尺寸缩小到输入的 1/32。2.2 转置卷积特征图怎么长回原分辨率经过分类骨干下采样后特征图只有输入的 1/32无法直接当作分割结果使用。FCN 引入了转置卷积也叫反卷积进行上采样把低分辨率特征图映射回高分辨率输出。需要特别提醒的是转置卷积不是恢复原图的逆操作它只是一个可以让网络学习上采样规则的特殊卷积层输出结果并不保证和原图信息完全对应。实际使用转置卷积时最常见的问题是棋盘效应。由于转置卷积本质上是带重叠的插值当卷积核大小与步长不能整除时输出会出现格子状伪影。FCN 原论文把上采样倍数设置为 32、16、8这些倍数能整除常见输入尺寸棋盘效应不明显。但如果把模型迁移到其他数据集输入尺寸不是 16 的整数倍输出就极可能出现条纹噪声。我自己踩过这个坑换到尺寸为 640x360 的数据集后没有调整输入 padding输出的 mask 上一道一道规律性条纹排查了半天才发现是上采样倍率不匹配导致的。2.3 FCN-32s、16s、8s 三个变体的实测差异FCN 原论文给出了三个变体差异在于上采样倍数和跳跃连接策略这也是理解分割模型结构设计最直观的样本变体上采样倍数融合特征层分割效果训练耗时FCN-32s32倍无轮廓粗糙小块目标易丢最少FCN-16s16倍pool4边缘有所改善细节仍一般中等FCN-8s8倍pool4 pool3边缘和细节最好综合最优最多为什么融合浅层特征有效因为浅层特征图分辨率更高保留了更多边缘和纹理信息深层特征图分辨率低但语义信息更强。跳跃连接相当于把语义与细节两条信息流合并能明显改善边界质量。在 Penn-Fudan 上同时跑三个变体做对比你会直观看到每多一条跳跃连接行人轮廓就从马赛克感向圆弧感迈进一步。我建议刚开始只重点观察 FCN-8s32s 和 16s 跑一两个 epoch 当对照组即可。3. 实操全流程在 Penn-Fudan 上跑通训练3.1 预处理mask 标签转换和训练/验证划分第一步不是写模型而是把数据加载和预处理彻底搞清楚。下载并解压数据集后先用代码检查图像和掩码的尺寸、通道数、像素值分布这一步能避免后续大量莫名其妙的 bug。读 mask 文件时要注意PedMasks 里的 PNG 虽然用 PIL 打开是单通道灰度图但原始标注中可能存在调色板模式。稳妥的做法是统一转为 NumPy 数组后只取第一个通道再进行阈值处理import numpy as np from PIL import Image def mask_to_binary(mask_path): mask np.array(Image.open(mask_path).convert(L)) # 0: 背景, 1: 背景物体, 2: 行人实例 return (mask 2).astype(np.uint8)这里的逻辑很简单把标记为 1 的非行人杂物也当作背景只保留真正属于行人的像素。如果后续需要做实例分割就不能做这个二值化了要保留每个实例的独立编号。数据集本身没有官方划分常见做法是随机抽取 120 张做训练、50 张做验证。我建议固定随机种子后划分保证实验可复现。另一个值得注意的点是虽然只有 170 张图但所有图像尺寸不完全一致训练时最好统一 resize 到固定大小比如 480x480 或 512x512。输入分辨率不用太大Penn-Fudan 中的行人占画面比例不低过大反而拖慢训练速度。3.2 模型核心实现与代码注释PyTorch 下实现一个简化版 FCN-8s 并不复杂重点在于如何复用预训练 VGG16 的特征提取层再接上卷积化和跳跃路径。核心结构大致如下import torch import torch.nn as nn class FCN8s(nn.Module): def __init__(self, backbone, num_classes2): super().__init__() # 使用 VGG16 的 features 部分作为编码器 features list(backbone.features.children()) self.pool nn.MaxPool2d(kernel_size2, stride2) self.conv5 nn.Sequential(*features[:24]) # 到 pool4 之前 self.conv4 nn.Sequential(*features[24:31]) # 到 pool4 之后 self.conv3 nn.Sequential(*features[17:24]) # pool3 之后到 pool4 前 # 1x1 卷积降通道形成每像素 logits self.score_pool4 nn.Conv2d(512, num_classes, 1) self.score_pool3 nn.Conv2d(256, num_classes, 1) # 上采样路径 self.upsample2 nn.ConvTranspose2d(num_classes, num_classes, 4, stride2, padding1) self.upsample8 nn.ConvTranspose2d(num_classes, num_classes, 16, stride8, padding4) # 主分支从 conv5 到 score 图 self.score_conv5 nn.Conv2d(512, num_classes, 1) def forward(self, x): # 提取三层特征 pool3 self.conv3(x) pool4 self.conv4(pool3) pool5 self.conv5(pool4) # 主分支上采样两倍 score5 self.upsample2(self.score_conv5(pool5)) # 融合 pool4 score4 self.score_pool4(pool4) fused4 score4 score5 # 再上采样两倍融合 pool3 fused4 self.upsample2(fused4) score3 self.score_pool3(pool3) fused3 fused4 score3 # 最终上采样 8 倍回原分辨率 out self.upsample8(fused3) return out上面的代码为了展示核心思想做了简化与官方完整实现相比少了一些细节比如 VGG16 中间层激活函数的继承、dropout 层的位置等但分割逻辑是完整的。实际使用时直接加载torchvision.models.vgg16(weightsIMAGENET1K_V1)作为 backbone再把 features 部分按上述方式切块可以省去大量重复造轮子的时间。3.3 训练配置损失、优化器、数据增强怎么定训练 FCN 二分类分割最基础的损失函数是逐像素交叉熵。Penn-Fudan 中背景像素占比明显高于前景直接交叉熵也能训但模型会偏向预测背景分割出来的行人边界会比较保守。我建议给前景类加权重初版可以设 2.0 或 3.0然后观察分割结果再微调。优化器方面我习惯用 SGD momentum学习率从 0.01 开始配合多步下降大约在 15 和 25 个 epoch 时各衰减一次。batch size 在单卡 8G 显存下设 8 到 12 都没问题。整个 Penn-Fudan 训练 30 个 epoch 已经足够看到稳定结果再多就趋向过拟合了。数据增强不建议加太多水平翻转和轻微颜色抖动就够了。随机裁剪在行人占画面较小的图上风险较大容易把行人主体切出画面反而干扰训练。这个数据集本身场景集中过度增强换来的泛化收益有限还会拖慢训练速度。3.4 评估与结果PA 和 mIoU 该看哪个分割任务最常用的两个指标是 Pixel AccuracyPA和 mean Intersection over UnionmIoU。PA 容易给人我已经做得很好的错觉因为背景占比大哪怕把全部像素都预测成背景PA 也能轻松超过 95%。mIoU 则对每个类别的交并比取平均更能反映前景分割的真实质量所以看指标时要把重心放在 mIoU 上。在 Penn-Fudan 上FCN-8s 经过 30 轮训练mIoU 一般能达到 0.85 到 0.90 之间具体数值和骨架初始化、随机种子、数据增强策略都有关系。但看结果不能只看数字更建议把预测出的 mask 叠加到原图上逐张检查。视觉上边缘是否贴合、小目标是否消失、重叠行人能否区分这些信息 loss 曲线完全反映不出来可视化图一眼就能看出来。4. 常见问题排查与优化心得4.1 小目标行人分割效果差怎么办Penn-Fudan 每张图人数不定有的图里行人非常小几乎只有几十个像素FCN 对此类小目标的表现确实一般。原因在于连续下采样把细节信息磨平了小目标在深层特征图中可能只剩一两个像素上采样后也难以还原。我的排查顺序是先看输入尺寸是否足够大如果目标在图中占比本身很小适当增大输入分辨率是最直接的提升手段然后检查是否需要更浅层的跳跃连接比如在 FCN-8s 基础上再接 pool2 特征形成 FCN-4s最后考虑换用带空洞卷积的骨干和 ASPP 模块这类结构在保持分辨率方面优势明显。4.2 边缘粗糙毛刺多怎么处理边缘锯齿明显是 FCN 这类模型的结构性缺陷因为上采样路径的卷积核更关注语义上是什么而不是精细轮廓。想要改善边缘质量最省事的办法是加入 CRF 条件随机场做后处理能把粗糙边缘稍微捋顺一些。不过 CRF 属于独立的后处理步骤在训练时不可导端到端训练无法直接受益。另一个方向是换模型结构。U-Net 这种 encoder-decoder 结构在医学图像分割中表现很好和 FCN 一个显著差异是它在同层之间额外添加了 skip connection直接传递精细空间信息。实测在边缘细节上U-Net 类结构比 FCN-8s 有肉眼可见的优势。如果项目对边缘精度要求高不必死磕 FCN。4.3 背景占主导类别不均衡怎么破Penn-Fudan 中背景像素远超前景直接优化交叉熵会让模型更倾向于预测背景表现就是宁可漏检也不错检行人区域偏瘦小。解决办法集中在损失函数层面方法核心思路我的实测感受加权交叉熵给前景类别分配更高权重简单直接权重设 2~3 即可Dice Loss直接优化区域重叠度对前景恢复有明显帮助Focal Loss降低易分样本权重适合极不均衡场景Penn-Fudan 略微复杂化交叉熵 Dice两者按比例相加在我实验中效果最稳推荐优先尝试Dice Loss 单独使用时容易导致训练初期梯度不稳定和交叉熵按 1:1 或 1:2 的比例组合能兼顾稳定性和分割质量。4.4 多实例 mask 重叠时的标注顺序坑Penn-Fudan 的 mask 标号规则是实例独立编号但两个行人重叠时后标注的实例会把前面的像素覆盖掉。做二分类分割时我们用二值掩码重叠区域没有影响但如果做实例分割或多实例分开评价直接读取原 mask 可能导致后面实例面积被错误覆盖、前面实例形状不完整。稳妥的做法是不要只读取合并后的 mask 图像而是对每个实例单独生成自己的二值 mask 作为训练标签。具体实现时遍历原 mask 中所有大于等于 2 的像素值为每个值创建独立掩码再进行后续的裁剪和变换。还有一个更容易被忽略的坑图像 resize 时标签也要同步 resize但必须用最近邻插值千万不要用双线性插值否则标签边缘会出现不属于任何类别的插值像素。5. 跑通之后能怎么扩展把 FCN 在 Penn-Fudan 上跑通只是第一步这个组合最大的价值在于能帮你建立完整的调试方法和评估直觉。往后再走我最推荐三条路线一是换到更大、类别更多的数据集比如 Cityscapes 子集或 CamVid验证模型泛化性这时需要修改输出类别数、重新设计类别权重二是把二分类改成多分类背景不再是一个整体而是拆分成道路、建筑、车辆等难度立刻上一个台阶三是延伸到实例分割在 FCN 基础上接入目标检测分支和分割分支往 Mask R-CNN 的方向做Penn-Fudan 的实例级标注正好派上用场。个人体会方面Penn-Fudan 这个数据集虽然小但每一种常见分割问题它都沾一点小目标、重叠遮挡、类别不均衡、边缘细节非常适合做各种对比实验。我自己后来从 FCN 换到 DeepLab、再换到 Mask R-CNN很多模型行为的差异最初都是在这个数据集上观察到的。训练快、标注直观、问题典型这些特征让它的教学和实验价值远超它 170 张图的体量。最后再分享一个小技巧训练分割模型时把每个 epoch 结束后的预测 mask 保存成图片按训练进度翻看比只看 loss 曲线更能发现问题。边缘质量有没有提升、小目标是否消失、粘连人群能不能分开这些信息 loss 曲线完全看不到可视化图一眼就能给出答案。这个习惯我从 FCN 一直保留到现在几乎所有分割项目都靠它快速定位问题。本文还有配套的精品资源点击获取
 替代 sort() 避免 React 状态原地变异 bug)
