简介管道裂缝检测是城市排水管网运维中极具挑战的环节传统目视、反射镜、潜水员检查等方式效率低且存在安全风险。以改进YOLOv7与CRNN为核心的检测系统资源面向计算机视觉与智慧城市领域的研究人员、算法工程师及相关专业学生将目标检测与序列识别结合用于管道裂缝的自动定位与判读并引入SPD-Conv等改进策略提升小目标与低纹理场景下的检测表现。资源包为zip压缩格式共9个文件其中包含1个Python实现脚本、1份Markdown说明文档以及7张效果/结构示意图整体体积约3.7MB便于快速下载和部署。目前已有276人学习浏览具有不错的参考价值。通过该资源读者可以了解改进YOLOv7与CRNN的联合建模思路查看关键代码的组织方式、网络结构图解和检测效果可视化从而辅助自身实验设计、代码复现或毕业课题研究。1. 管道裂缝检测为什么拆成YOLOv7定位和CRNN识别两层管道裂缝检测的难点不在模型能不能识别“裂缝”而在裂缝和背景怎么分开。管壁长年处于高湿锈蚀环境水渍、焊渣、焊缝反光在颜色和边缘梯度上与裂缝几乎一致传统边缘检测很容易把水渍误判成裂缝而裂缝本身宽度只有几像素、长度却有上百像素形态和噪声很接近。如果只用一个检测网络输出矩形框框内锈斑信息会把类别预测带偏。所以在实际工程里常见做法是拆成两级改进YOLOv7先输出裂缝候选框CRNN再对框内区域做序列特征建模输出横向裂缝、纵向裂缝或龟裂纹这种结构化结果检修工单才知道按什么标准补漏。这套级联结构省去了手写裂缝几何规则的工作。两级的划分不是拍脑袋。检测网络擅长回答“哪里有目标”序列模型擅长回答“这条裂缝从起点到终点的方向变化是什么”。管道巡检视频连续几万帧YOLOv7负责把计算量集中到少数裂缝框上CRNN只处理这些框整体推理负担可控。适合手里已有YOLOv7权重、想在工业巡检场景里快速验证落地路径的工程师。后面各章会从模型改造、序列建模、部署集成讲到验证技巧每一步都给出能直接复制的最小改动。2. 改进YOLOv7的裂缝小目标可变形卷积、注意力与BiFPN对裂缝检测来说YOLOv7的默认结构够用但远不是最优的。直接拿官方权重跑管道巡检视频会发现一条完整裂缝被切成几段来输出或者把管壁接缝识别成裂缝。问题基本集中在三个结构性的地方下面按依赖顺序说明。2.1 YOLOv7默认结构在裂缝场景的三个短板第一是下采样倍数太高。YOLOv7的backbone走到最后一层步长是32输入640×640时最后特征图只有20×20。一条宽度3像素、长度150像素的横向裂缝经过连续下采样后横向只剩不到5个特征点纵向只剩1个点。在这个粒度上做anchor回归即使分类正确回归框的边界也会来回抖动。常见做法是把输入尺寸改成适应长条目标的比例比如960×320而不是把全图压成正方形。第二是特征融合缺少方向结构建模。PANet的融合方式是简单相加或拼接裂缝这种水平或垂直方向的长距离依赖在融合过程里容易被背景响应盖掉。针对这个问题才有了后面的坐标注意力和BiFPN加权。第三是anchor模板对极端宽高比不友好。YOLOv7默认anchor是在COCO这类方形目标数据集上聚出来的宽高比集中在1附近。管道裂缝的宽高比可以到1:40训练前需要重新聚类anchor。2.2 用可变形卷积v2替换主干最后一层对细长目标来说普通卷积的感受野是方形网格采样位置固定。裂缝沿任意方向弯曲方形卷积核很难把远离主线的特征点拉进来。可变形卷积的常见做法就是把固定采样点改成可学习的偏移量让卷积核沿着裂缝走向取点。# dcn_v2_block.py import torch import torch.nn as nn from torchvision.ops import DeformConv2d class DCNv2Block(nn.Module): def __init__(self, in_channels, out_channels, kernel_size3, stride1, padding1): super().__init__() # 可变形卷积v2比v1多一组调制mask控制每个采样点的权重 self.conv_offset nn.Conv2d( in_channels, 2 * kernel_size * kernel_size, kernel_sizekernel_size, stridestride, paddingpadding ) self.conv_mask nn.Conv2d( in_channels, kernel_size * kernel_size, kernel_sizekernel_size, stridestride, paddingpadding ) self.deform_conv DeformConv2d( in_channels, out_channels, kernel_sizekernel_size, stridestride, paddingpadding ) def forward(self, x): offset self.conv_offset(x) mask torch.sigmoid(self.conv_mask(x)) return self.deform_conv(x, offset, mask)这段代码里offset表示每个3×3采样点相对原位置的偏移量mask是0到1的调制系数。deform_conv会按照offset改变采样位置把邻近裂缝特征聚合进来相当于卷积核自己弯曲贴近裂缝走向。conv_offset的卷积核初始化为零网络开始时等价于普通卷积不破坏预训练权重的稳定性训练中间再逐步学出偏移。参数上把kernel_size保持在3即可。管道裂缝附近的背景是锈斑和纹理噪声采样范围太大偏移量训练信号会被噪声干扰。替换位置建议放在主干第四个ELAN模块的最后一层3×3卷积浅层特征主要管边缘和颜色对裂缝和噪声没有区分度过早替换反而增加训练负担。2.3 在SPPCSPC模块后插入坐标注意力YOLOv7的SPPCSPC负责多尺度池化输出特征已经包含全局上下文但通道间的方向信息没有被利用。坐标注意力和SE注意力最大的区别是没有把特征压成一维向量而是保留高度轴和宽度轴的位置信息正好匹配裂缝的横纵方向。# coord_att.py import torch import torch.nn as nn class CoordAtt(nn.Module): def __init__(self, in_channels, reduction16): super().__init__() self.conv1 nn.Conv2d(in_channels, in_channels // reduction, 1) self.bn1 nn.BatchNorm2d(in_channels // reduction) self.conv_h nn.Conv2d(in_channels // reduction, in_channels, 1) self.conv_w nn.Conv2d(in_channels // reduction, in_channels, 1) def forward(self, x): b, c, h, w x.shape x_h x.mean(dim3, keepdimTrue) # 压缩宽度保留每行响应 x_w x.mean(dim2, keepdimTrue) # 压缩高度保留每列响应 y torch.cat([x_h, x_w], dim2) # 拼成[hw, 1]的序列 y torch.relu(self.bn1(self.conv1(y))) x_h, x_w y.split([h, w], dim2) a_h self.conv_h(x_h).sigmoid() # 高度方向注意力 a_w self.conv_w(x_w).sigmoid().view(b, c, 1, w) # 宽度方向注意力 return x * a_h * a_wx_h压缩了宽度保留每一行有多少响应x_w压缩了高度保留每一列有多少响应。cat到一起过1×1卷积再分回两个方向各自生成注意力权重最后乘回原特征。横向裂缝会被a_h在对应行加强纵向裂缝会被a_w在对应列加强。插入点放在SPPCSPC之后、第一次上采样之前而不是每层都插。原因是SPPCSPC输出的P5特征已经聚合多尺度信息坐标注意力只在这里把方向权重修正一次后续上采样会自然把修正结果传播到浅层。每层都插会增加显存对管道这类背景单一的场景收益有限。2.4 融合层替换为轻量BiFPN并重新聚类anchorPANet直接相加不同层特征BiFPN引入了可学习的融合权重让网络自动决定当前特征该信多少。裂缝在浅层有精确边界在深层有类别语义加权融合能避免简单相加时浅层信息被大目标淹没。# bifpn_light.py import torch import torch.nn as nn class FastFusion(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.w nn.Parameter(torch.ones(3)) self.eps 1e-4 self.conv nn.Conv2d(in_channels, out_channels, 3, padding1) def forward(self, x_down, x_cur, x_up): w_sum self.w.sum() self.eps out torch.relu(self.w[0]) / w_sum * x_down \ torch.relu(self.w[1]) / w_sum * x_cur \ torch.relu(self.w[2]) / w_sum * x_up return self.conv(out)这是BiFPN的fast normalized fusion用三个可学习标量做归一化加权。x_down来自更深层需要上采样对齐x_up来自更浅层需要下采样对齐x_cur是当前层自己。relu保证融合权重非负分母加eps防止权重全部为0时除零。实现时注意三点三个输入尺寸必须插值到同一分辨率通道用1×1卷积统一最后的3×3卷积负责消除插值痕迹。anchor聚类可以在训练前单独跑一次python tools/cluster_anchors.py \ --data crack.yaml \ --img-size 960 320 \ --num-anchors 9img-size按宽高顺序写和训练配置保持一致。聚类完成后把生成的9组anchor宽高写回crack.yaml的anchor字段。下面是一组配合这个结构使用的训练参数表参数推荐值说明输入尺寸960×320按裂缝长条分布缩放避免压成正方形冻结backbone前30个epoch保留预训练语义只训练新增模块DCN替换位置第4个ELAN最后3×3卷积深层语义适合学习长距离形变anchor宽高比0.05~20覆盖裂缝极端细长形态学习率0.01余弦衰减配合冻结策略避免后期震荡梯度累积4显存不足时保持等效batch size损失函数保持YOLOv7自带的分类和回归损失即可不用换成特殊loss。真实踩坑点在于冻结backbone时要确认可变形卷积里的offset卷积没有被冻结否则DCN层学不到偏移。常见做法是把offset卷积放进增量模块列表里一起解冻。3. CRNN读裂缝卷积特征、BiLSTM与CTC解码很多团队第一版只给YOLOv7加一个裂缝类型分类头结果不稳定。原因在于一个框内的裂缝方向是连续变化的简单分类头只能记住“整体看起来像横向”无法利用方向在延伸过程中的连续性约束。CRNN把框内图像按宽度切成很多列用BiLSTM从左到右学习整条裂缝的方向变化这和“把一行手写汉字从左到右读出来”是同一个建模方式。3.1 裂缝分类本质是序列方向识别换个角度看横向、纵向、龟裂纹的区别根本上是纹理在空间排布上的序列差异。横向裂缝的特征沿水平方向连续出现纵向裂缝沿垂直方向连续出现龟裂纹则是多个方向碎块的交替。CRNN最早在车牌识别、票据识别里成熟“开源中文ocr crnn”一直是OCR社区常见检索词这些任务的核心挑战就是不定长文本序列。管道裂缝里宽度、走向的变化和文字笔画变化很像只是把字符类别换成了裂缝类别结构不需要重头设计。3.2 ROI对齐预处理保持宽高比而不是硬压正方形YOLOv7输出的候选框直接resize到正方形裂缝在宽度方向被过度压缩模型很容易把横向和纵向裂缝混淆。常见做法是按原始宽高比缩放缺的地方用给定像素值填充。# crop_roi.py import cv2 import numpy as np def align_roi(img, box, target_h64, target_w224, pad_val114): x1, y1, x2, y2 [int(v) for v in box] w x2 - x1 h y2 - y1 # 以长边为基准等比缩放保持裂缝方向信息 scale min(target_w / w, target_h / h) new_w max(int(w * scale), 1) new_h max(int(h * scale), 1) roi cv2.resize(img[max(y1, 0):y2, max(x1, 0):x2], (new_w, new_h)) canvas np.full((target_h, target_w, 3), pad_val, dtypenp.uint8) x0 (target_w - new_w) // 2 y0 (target_h - new_h) // 2 canvas[y0:y0 new_h, x0:x0 new_w] roi return canvasscale取min而不是只按宽度拉伸保证整条裂缝的长宽比缩放后不变。pad_val取114而不是0因为0填充会引入明显黑色边框相当于给模型加了一个无意义的强边缘信号。输入高取64、宽取224是经验值64足够保留裂纹的边缘和纹理细节224对应CRNN的时序步长太短的框BiLSTM读不出方向变化。3.3 BiLSTM层数与宽度方向压缩CRNN的CNN部分要在保持宽度分辨率的前提下把高度压到1这样得到的特征图就是一行列的序列。高度压缩用步长为2的池化沿高度方向完成宽度方向不压缩。# crnn_backbone.py import torch.nn as nn class CRNNSmall(nn.Module): def __init__(self, num_classes, hidden_size128, num_layers2): super().__init__() self.cnn nn.Sequential( nn.Conv2d(3, 64, 3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(64, 128, 3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(128, 256, 3, padding1), nn.ReLU(), nn.Conv2d(256, 256, 3, padding1), nn.ReLU(), nn.MaxPool2d((2, 1), (2, 1)), # 高度压半宽度不变 nn.Conv2d(256, 512, 3, padding1), nn.ReLU(), nn.Conv2d(512, 512, 3, padding1), nn.ReLU(), nn.MaxPool2d((2, 1), (2, 1)), # 高度继续压半保持宽度 ) self.bilstm nn.LSTM(512, hidden_size, num_layersnum_layers, bidirectionalTrue) self.classifier nn.Linear(hidden_size * 2, num_classes) def forward(self, x): feat self.cnn(x) # [B, 512, H, W] feat feat.mean(dim2) # 高度方向平均池化到1 feat feat.permute(2, 0, 1) # [W, B, 512] out, _ self.bilstm(feat) # [W, B, 256] return self.classifier(out)这里用MaxPool2d((2,1))而不是(2,2)就是为了只在高度方向压缩、保留宽度方向的每一个位置。最后的mean(dim2)把残余高度合并成1行得到的每一列都对应原图像中一个窄带的特征。BiLSTM的hidden_size取128双向后输出256维num_layers取2。管道裂缝的特征模式不像自然语言那么复杂层数加深容易过拟合到训练集里的特定光照条件。3.4 CTC损失与裂缝标签字典CTC存在的意义是解决“每个宽度位置到底对应哪个标签”的对齐问题。裂缝框长度不固定真实类别只有几个字如果把每个位置都强行标一个类别人工标注成本极高。CTC允许每列输出blank只约束整段序列最终解码出来的标签串等于标注值。# 训练时的CTC损失 import torch.nn as nn criterion nn.CTCLoss(blank0, zero_infinityTrue) # log_probs: [time_steps, batch, num_classes] # targets: 每个样本的标签索引序列 # input_lengths: 每个样本的特征帧数和宽度相关 # target_lengths: 每条裂缝的真实标签长度 loss criterion(log_probs, targets, input_lengths, target_lengths)zero_infinityTrue很重要。训练初期某些裂缝类别完全没被激活CTC路径概率会变成0取log后产生-inf加上这个参数后loss会跳过这些NaN避免整个batch梯度崩掉。input_lengths要等于CNN输出宽度具体为原始宽度经过三次池化后的值target_lengths一般等于1或2因为裂缝标签是短序列。标签字典按如下方式定义索引标签说明0blankCTC占位符1horizontal_crack横向裂缝2vertical_crack纵向裂缝3map_crack网状裂缝4spall剥落5none无裂缝注意none类不要省掉。实际管道巡检里很多框是误检CRNN单独判断无裂缝能压制YOLOv7的虚警。解码时用贪心合并重复标签再删blank即可不需要beam search裂缝标签集太小beam search带来的收益可以忽略。4. 两级模型的系统集成与yolov7部署落地模型分开训练完成后能不能跑到检测线上取决于两级推理怎么衔接。YOLOv7输出的是矩形框加置信度CRNN输出的是每类概率两者单独看都对合在一起时阈值策略没统一部署时很容易出现YOLOv7框一堆、CRNN全部判成none的尴尬情况。4.1 置信度联动与NMS策略两级模型的置信度分布不同。YOLOv7的conf通常偏高训练集里负样本少时经常给出0.9以上CRNN的softmax概率在类别间分布更均匀。常见做法是分别设阈值而不是只对乘积设阈值。box_conf低于0.4的框直接丢掉剩下框进CRNNcrnn_conf大于0.6才输出最终结果。更细一点的加权方式是取两者的几何平均final_score等于box_conf乘crnn_conf再开根号这样不会让任何一个极低置信度主导结果。对应到YOLOv7的NMS要把nms_iou从默认的0.45调低到0.3。裂缝框通常细长两个相邻裂缝的真实框之间重叠度很低默认阈值会把属于同一条裂缝的多个框合并成一个大框大框边缘带进大量锈斑CRNN误判率随之上升。调低阈值后每个候选框更紧贴裂缝本体。4.2 导出ONNX和TensorRT引擎验证阶段用PyTorch推理没问题上线时要把两个模型都导出为ONNX再用TensorRT做FP16加速。YOLOv7官方仓库的export.py可以直接用CRNN要单独写导出脚本。# 导出改进后的YOLOv7为ONNX python export.py --weights best.pt --img-size 320 960 --batch-size 1 --simplify # 导出CRNN为ONNX python export_crnn.py --weights crnn_best.pt --opset 12img-size的顺序要注意是宽在前高在后和训练配置对应。CRNN导出时opset不能太低CTC解码虽然留在Python侧但CNN和BiLSTM部分用到了一些较新的算子opset低于11时部分折叠会失败。导出后先用onnxruntime跑一遍同样的输入对比PyTorch输出的最大误差控制在1e-3以内再继续下一步。TensorRT构建如下# 构建FP16引擎 trtexec --onnxyolov7_crack.onnx --saveEngineyolov7_crack.trt --fp16 trtexec --onnxcrnn_crack.onnx --saveEnginecrnn_crack.trt --fp16如果显卡显存只有6GB建议yolov7模型保持FP16而CRNN继续用FP32。CRNN输入是小图FP16带来的加速收益很小但精度损失在细裂缝上容易被放大。4.3 多路视频流的批处理排队实际巡检往往是四路以上视频同时采集逐帧串行推理会浪费GPU。常见做法是把YOLOv7和CRNN分别做批处理YOLOv7按batch4攒帧CRNN攒够8个候选框再跑。# async_pipeline.py from collections import deque frame_queue deque(maxlen32) crop_queue deque(maxlen64) # 按候选框数排队 while True: for stream_id in active_streams: frame streams[stream_id].read() if frame is not None: frame_queue.append((stream_id, frame)) if len(frame_queue) yolo_batch: frames [f for _, f in frame_queue] boxes_batch yolo_infer(frames) # [batch, num_box, 4] for boxes, frame in zip(boxes_batch, frames): for box in boxes: crop_queue.append(align_roi(frame, box)) if len(crop_queue) crnn_batch: crops [c for c in crop_queue] crnn_results crnn_infer(crops)这里YOLOv7的batch维度是帧数CRNN的batch维度是候选框数两者不能简单对应。顺序上先攒帧跑检测再把所有框切出来进CRNN最后按image_id和box_id回填结果。队列长度要设上限否则某一路视频停顿会导致crop_queue无限增长显存被中间张量占满。4.4 部署侧的关键参数表把两套模型各自的关键参数整理成一份配置便于现场调整模块参数默认值调整场景YOLOv7box_conf0.4漏检多时降到0.25YOLOv7nms_iou0.3相邻裂缝合并时再降YOLOv7输入尺寸320×960小目标为主时放大到384×1152CRNNcrnn_conf0.6虚警多时升到0.7CRNN输入尺寸64×224裂缝宽于4像素时保持流水线frame_queue32视频路数增多时加大流水线crop_queue64候选框多时按倍数调整注意调整box_conf和crnn_conf后要重新统计测试集上的联合F1不要单独看任一级指标。两级阈值合在一起时0.4和0.6的组合并不等于0.24的单一阈值因为不同框的两类置信度分布不一样。5. 裂缝检测模型在真实管道巡检中的验证技巧模型跑通到能被现场接受中间隔着一个验证环节。工程里常见问题不是模型不收敛而是指标选了没意义的或者只看YOLOv7的mAP而不管CRNN的错误。下面三个技巧能直接把验证做成闭环。5.1 用联合F1和漏检率替代单模型指标管道壁面裂缝是长尾分布的大部分框里没有裂缝mAP在这种场景下会被大量的真负样本稀释。我自己在验证时固定一个测试视频段人工逐帧标出裂缝框和类别然后统计联合F1。关键点是画PR曲线时把所有置信度乘积当作排序分数。import numpy as np from sklearn.metrics import f1_score # 测试集样本的联合分数 box_conf np.array([...]) # YOLOv7输出 crnn_conf np.array([...]) # CRNN输出 labels np.array([...]) # 1为正样本0为负样本 joint_score np.sqrt(box_conf * crnn_conf) for tau in [0.2, 0.3, 0.4, 0.5]: pred (joint_score tau).astype(int) f1 f1_score(labels, pred, averagebinary) print(ftau{tau:.2f} F1{f1:.4f})取几何平均而不是乘积是因为乘积会把两个中等置信度压得很低几何平均对两极分化的置信度更宽容。工业现场的误报代价和漏检代价不一样定阈值前先确认是漏检导致返工成本高还是误检导致人工复核成本高。5.2 用热图验证CRNN学的是裂缝而不是锈斑CRNN在验证集上F1高不代表学对了特征。管壁积水区域颜色和裂缝接近模型可能只依据高亮条纹做判断。用Grad-CAM能看到这种错误。# grad_cam_check.py from pytorch_grad_cam import GradCAM from pytorch_grad_cam.utils.image import show_cam_on_image cam GradCAM(modelcrnn.cnn, target_layers[crnn.cnn[-2]]) grayscale_cam cam(input_tensorinput_img.unsqueeze(0))CRNN的BiLSTM部分不参与热图计算所以target_layers只能选CNN层一般是最后一个卷积模块。展示热图时叠加在原图上重点看高亮区域是否沿裂缝方向连续延伸。如果高亮集中在裂缝的两端而不是整条裂缝说明模型靠端点的强梯度判断方向信息没有真正进入BiLSTM这时需要加大序列长度或增加角度旋转数据增强。5.3 用高置信度误检做难负样本微调最后一个技巧是把验证阶段挖出来的“高置信度误检”拿回去微调CRNN。具体操作用YOLOv7在无裂缝管道段上推理把box_conf大于0.6的框全部切出来人工筛选后打上none标签加入训练集。这个步骤不需要重新训练YOLOv7只更新CRNN成本低但效果明显因为YOLOv7的框内特征分布已经固定CRNN只需要学会区分裂缝与近似纹理。在微调时把none类别权重设为其他类别的1.2倍能在不显著提高漏检的前提下吸收更多误检。做验证时把以上三个点串起来先统计联合F1基线再排查热图是否集中在裂缝本体最后用难负样本迭代一轮管道巡检系统的上线标准就清晰了。整个过程不涉及重写模型结构改动都落在阈值、数据配比和验证脚本上花半天时间就能完成一轮。本文还有配套的精品资源点击获取
改进YOLOv7与CRNN级联的管道裂缝检测与部署实践
简介管道裂缝检测是城市排水管网运维中极具挑战的环节传统目视、反射镜、潜水员检查等方式效率低且存在安全风险。以改进YOLOv7与CRNN为核心的检测系统资源面向计算机视觉与智慧城市领域的研究人员、算法工程师及相关专业学生将目标检测与序列识别结合用于管道裂缝的自动定位与判读并引入SPD-Conv等改进策略提升小目标与低纹理场景下的检测表现。资源包为zip压缩格式共9个文件其中包含1个Python实现脚本、1份Markdown说明文档以及7张效果/结构示意图整体体积约3.7MB便于快速下载和部署。目前已有276人学习浏览具有不错的参考价值。通过该资源读者可以了解改进YOLOv7与CRNN的联合建模思路查看关键代码的组织方式、网络结构图解和检测效果可视化从而辅助自身实验设计、代码复现或毕业课题研究。1. 管道裂缝检测为什么拆成YOLOv7定位和CRNN识别两层管道裂缝检测的难点不在模型能不能识别“裂缝”而在裂缝和背景怎么分开。管壁长年处于高湿锈蚀环境水渍、焊渣、焊缝反光在颜色和边缘梯度上与裂缝几乎一致传统边缘检测很容易把水渍误判成裂缝而裂缝本身宽度只有几像素、长度却有上百像素形态和噪声很接近。如果只用一个检测网络输出矩形框框内锈斑信息会把类别预测带偏。所以在实际工程里常见做法是拆成两级改进YOLOv7先输出裂缝候选框CRNN再对框内区域做序列特征建模输出横向裂缝、纵向裂缝或龟裂纹这种结构化结果检修工单才知道按什么标准补漏。这套级联结构省去了手写裂缝几何规则的工作。两级的划分不是拍脑袋。检测网络擅长回答“哪里有目标”序列模型擅长回答“这条裂缝从起点到终点的方向变化是什么”。管道巡检视频连续几万帧YOLOv7负责把计算量集中到少数裂缝框上CRNN只处理这些框整体推理负担可控。适合手里已有YOLOv7权重、想在工业巡检场景里快速验证落地路径的工程师。后面各章会从模型改造、序列建模、部署集成讲到验证技巧每一步都给出能直接复制的最小改动。2. 改进YOLOv7的裂缝小目标可变形卷积、注意力与BiFPN对裂缝检测来说YOLOv7的默认结构够用但远不是最优的。直接拿官方权重跑管道巡检视频会发现一条完整裂缝被切成几段来输出或者把管壁接缝识别成裂缝。问题基本集中在三个结构性的地方下面按依赖顺序说明。2.1 YOLOv7默认结构在裂缝场景的三个短板第一是下采样倍数太高。YOLOv7的backbone走到最后一层步长是32输入640×640时最后特征图只有20×20。一条宽度3像素、长度150像素的横向裂缝经过连续下采样后横向只剩不到5个特征点纵向只剩1个点。在这个粒度上做anchor回归即使分类正确回归框的边界也会来回抖动。常见做法是把输入尺寸改成适应长条目标的比例比如960×320而不是把全图压成正方形。第二是特征融合缺少方向结构建模。PANet的融合方式是简单相加或拼接裂缝这种水平或垂直方向的长距离依赖在融合过程里容易被背景响应盖掉。针对这个问题才有了后面的坐标注意力和BiFPN加权。第三是anchor模板对极端宽高比不友好。YOLOv7默认anchor是在COCO这类方形目标数据集上聚出来的宽高比集中在1附近。管道裂缝的宽高比可以到1:40训练前需要重新聚类anchor。2.2 用可变形卷积v2替换主干最后一层对细长目标来说普通卷积的感受野是方形网格采样位置固定。裂缝沿任意方向弯曲方形卷积核很难把远离主线的特征点拉进来。可变形卷积的常见做法就是把固定采样点改成可学习的偏移量让卷积核沿着裂缝走向取点。# dcn_v2_block.py import torch import torch.nn as nn from torchvision.ops import DeformConv2d class DCNv2Block(nn.Module): def __init__(self, in_channels, out_channels, kernel_size3, stride1, padding1): super().__init__() # 可变形卷积v2比v1多一组调制mask控制每个采样点的权重 self.conv_offset nn.Conv2d( in_channels, 2 * kernel_size * kernel_size, kernel_sizekernel_size, stridestride, paddingpadding ) self.conv_mask nn.Conv2d( in_channels, kernel_size * kernel_size, kernel_sizekernel_size, stridestride, paddingpadding ) self.deform_conv DeformConv2d( in_channels, out_channels, kernel_sizekernel_size, stridestride, paddingpadding ) def forward(self, x): offset self.conv_offset(x) mask torch.sigmoid(self.conv_mask(x)) return self.deform_conv(x, offset, mask)这段代码里offset表示每个3×3采样点相对原位置的偏移量mask是0到1的调制系数。deform_conv会按照offset改变采样位置把邻近裂缝特征聚合进来相当于卷积核自己弯曲贴近裂缝走向。conv_offset的卷积核初始化为零网络开始时等价于普通卷积不破坏预训练权重的稳定性训练中间再逐步学出偏移。参数上把kernel_size保持在3即可。管道裂缝附近的背景是锈斑和纹理噪声采样范围太大偏移量训练信号会被噪声干扰。替换位置建议放在主干第四个ELAN模块的最后一层3×3卷积浅层特征主要管边缘和颜色对裂缝和噪声没有区分度过早替换反而增加训练负担。2.3 在SPPCSPC模块后插入坐标注意力YOLOv7的SPPCSPC负责多尺度池化输出特征已经包含全局上下文但通道间的方向信息没有被利用。坐标注意力和SE注意力最大的区别是没有把特征压成一维向量而是保留高度轴和宽度轴的位置信息正好匹配裂缝的横纵方向。# coord_att.py import torch import torch.nn as nn class CoordAtt(nn.Module): def __init__(self, in_channels, reduction16): super().__init__() self.conv1 nn.Conv2d(in_channels, in_channels // reduction, 1) self.bn1 nn.BatchNorm2d(in_channels // reduction) self.conv_h nn.Conv2d(in_channels // reduction, in_channels, 1) self.conv_w nn.Conv2d(in_channels // reduction, in_channels, 1) def forward(self, x): b, c, h, w x.shape x_h x.mean(dim3, keepdimTrue) # 压缩宽度保留每行响应 x_w x.mean(dim2, keepdimTrue) # 压缩高度保留每列响应 y torch.cat([x_h, x_w], dim2) # 拼成[hw, 1]的序列 y torch.relu(self.bn1(self.conv1(y))) x_h, x_w y.split([h, w], dim2) a_h self.conv_h(x_h).sigmoid() # 高度方向注意力 a_w self.conv_w(x_w).sigmoid().view(b, c, 1, w) # 宽度方向注意力 return x * a_h * a_wx_h压缩了宽度保留每一行有多少响应x_w压缩了高度保留每一列有多少响应。cat到一起过1×1卷积再分回两个方向各自生成注意力权重最后乘回原特征。横向裂缝会被a_h在对应行加强纵向裂缝会被a_w在对应列加强。插入点放在SPPCSPC之后、第一次上采样之前而不是每层都插。原因是SPPCSPC输出的P5特征已经聚合多尺度信息坐标注意力只在这里把方向权重修正一次后续上采样会自然把修正结果传播到浅层。每层都插会增加显存对管道这类背景单一的场景收益有限。2.4 融合层替换为轻量BiFPN并重新聚类anchorPANet直接相加不同层特征BiFPN引入了可学习的融合权重让网络自动决定当前特征该信多少。裂缝在浅层有精确边界在深层有类别语义加权融合能避免简单相加时浅层信息被大目标淹没。# bifpn_light.py import torch import torch.nn as nn class FastFusion(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.w nn.Parameter(torch.ones(3)) self.eps 1e-4 self.conv nn.Conv2d(in_channels, out_channels, 3, padding1) def forward(self, x_down, x_cur, x_up): w_sum self.w.sum() self.eps out torch.relu(self.w[0]) / w_sum * x_down \ torch.relu(self.w[1]) / w_sum * x_cur \ torch.relu(self.w[2]) / w_sum * x_up return self.conv(out)这是BiFPN的fast normalized fusion用三个可学习标量做归一化加权。x_down来自更深层需要上采样对齐x_up来自更浅层需要下采样对齐x_cur是当前层自己。relu保证融合权重非负分母加eps防止权重全部为0时除零。实现时注意三点三个输入尺寸必须插值到同一分辨率通道用1×1卷积统一最后的3×3卷积负责消除插值痕迹。anchor聚类可以在训练前单独跑一次python tools/cluster_anchors.py \ --data crack.yaml \ --img-size 960 320 \ --num-anchors 9img-size按宽高顺序写和训练配置保持一致。聚类完成后把生成的9组anchor宽高写回crack.yaml的anchor字段。下面是一组配合这个结构使用的训练参数表参数推荐值说明输入尺寸960×320按裂缝长条分布缩放避免压成正方形冻结backbone前30个epoch保留预训练语义只训练新增模块DCN替换位置第4个ELAN最后3×3卷积深层语义适合学习长距离形变anchor宽高比0.05~20覆盖裂缝极端细长形态学习率0.01余弦衰减配合冻结策略避免后期震荡梯度累积4显存不足时保持等效batch size损失函数保持YOLOv7自带的分类和回归损失即可不用换成特殊loss。真实踩坑点在于冻结backbone时要确认可变形卷积里的offset卷积没有被冻结否则DCN层学不到偏移。常见做法是把offset卷积放进增量模块列表里一起解冻。3. CRNN读裂缝卷积特征、BiLSTM与CTC解码很多团队第一版只给YOLOv7加一个裂缝类型分类头结果不稳定。原因在于一个框内的裂缝方向是连续变化的简单分类头只能记住“整体看起来像横向”无法利用方向在延伸过程中的连续性约束。CRNN把框内图像按宽度切成很多列用BiLSTM从左到右学习整条裂缝的方向变化这和“把一行手写汉字从左到右读出来”是同一个建模方式。3.1 裂缝分类本质是序列方向识别换个角度看横向、纵向、龟裂纹的区别根本上是纹理在空间排布上的序列差异。横向裂缝的特征沿水平方向连续出现纵向裂缝沿垂直方向连续出现龟裂纹则是多个方向碎块的交替。CRNN最早在车牌识别、票据识别里成熟“开源中文ocr crnn”一直是OCR社区常见检索词这些任务的核心挑战就是不定长文本序列。管道裂缝里宽度、走向的变化和文字笔画变化很像只是把字符类别换成了裂缝类别结构不需要重头设计。3.2 ROI对齐预处理保持宽高比而不是硬压正方形YOLOv7输出的候选框直接resize到正方形裂缝在宽度方向被过度压缩模型很容易把横向和纵向裂缝混淆。常见做法是按原始宽高比缩放缺的地方用给定像素值填充。# crop_roi.py import cv2 import numpy as np def align_roi(img, box, target_h64, target_w224, pad_val114): x1, y1, x2, y2 [int(v) for v in box] w x2 - x1 h y2 - y1 # 以长边为基准等比缩放保持裂缝方向信息 scale min(target_w / w, target_h / h) new_w max(int(w * scale), 1) new_h max(int(h * scale), 1) roi cv2.resize(img[max(y1, 0):y2, max(x1, 0):x2], (new_w, new_h)) canvas np.full((target_h, target_w, 3), pad_val, dtypenp.uint8) x0 (target_w - new_w) // 2 y0 (target_h - new_h) // 2 canvas[y0:y0 new_h, x0:x0 new_w] roi return canvasscale取min而不是只按宽度拉伸保证整条裂缝的长宽比缩放后不变。pad_val取114而不是0因为0填充会引入明显黑色边框相当于给模型加了一个无意义的强边缘信号。输入高取64、宽取224是经验值64足够保留裂纹的边缘和纹理细节224对应CRNN的时序步长太短的框BiLSTM读不出方向变化。3.3 BiLSTM层数与宽度方向压缩CRNN的CNN部分要在保持宽度分辨率的前提下把高度压到1这样得到的特征图就是一行列的序列。高度压缩用步长为2的池化沿高度方向完成宽度方向不压缩。# crnn_backbone.py import torch.nn as nn class CRNNSmall(nn.Module): def __init__(self, num_classes, hidden_size128, num_layers2): super().__init__() self.cnn nn.Sequential( nn.Conv2d(3, 64, 3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(64, 128, 3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(128, 256, 3, padding1), nn.ReLU(), nn.Conv2d(256, 256, 3, padding1), nn.ReLU(), nn.MaxPool2d((2, 1), (2, 1)), # 高度压半宽度不变 nn.Conv2d(256, 512, 3, padding1), nn.ReLU(), nn.Conv2d(512, 512, 3, padding1), nn.ReLU(), nn.MaxPool2d((2, 1), (2, 1)), # 高度继续压半保持宽度 ) self.bilstm nn.LSTM(512, hidden_size, num_layersnum_layers, bidirectionalTrue) self.classifier nn.Linear(hidden_size * 2, num_classes) def forward(self, x): feat self.cnn(x) # [B, 512, H, W] feat feat.mean(dim2) # 高度方向平均池化到1 feat feat.permute(2, 0, 1) # [W, B, 512] out, _ self.bilstm(feat) # [W, B, 256] return self.classifier(out)这里用MaxPool2d((2,1))而不是(2,2)就是为了只在高度方向压缩、保留宽度方向的每一个位置。最后的mean(dim2)把残余高度合并成1行得到的每一列都对应原图像中一个窄带的特征。BiLSTM的hidden_size取128双向后输出256维num_layers取2。管道裂缝的特征模式不像自然语言那么复杂层数加深容易过拟合到训练集里的特定光照条件。3.4 CTC损失与裂缝标签字典CTC存在的意义是解决“每个宽度位置到底对应哪个标签”的对齐问题。裂缝框长度不固定真实类别只有几个字如果把每个位置都强行标一个类别人工标注成本极高。CTC允许每列输出blank只约束整段序列最终解码出来的标签串等于标注值。# 训练时的CTC损失 import torch.nn as nn criterion nn.CTCLoss(blank0, zero_infinityTrue) # log_probs: [time_steps, batch, num_classes] # targets: 每个样本的标签索引序列 # input_lengths: 每个样本的特征帧数和宽度相关 # target_lengths: 每条裂缝的真实标签长度 loss criterion(log_probs, targets, input_lengths, target_lengths)zero_infinityTrue很重要。训练初期某些裂缝类别完全没被激活CTC路径概率会变成0取log后产生-inf加上这个参数后loss会跳过这些NaN避免整个batch梯度崩掉。input_lengths要等于CNN输出宽度具体为原始宽度经过三次池化后的值target_lengths一般等于1或2因为裂缝标签是短序列。标签字典按如下方式定义索引标签说明0blankCTC占位符1horizontal_crack横向裂缝2vertical_crack纵向裂缝3map_crack网状裂缝4spall剥落5none无裂缝注意none类不要省掉。实际管道巡检里很多框是误检CRNN单独判断无裂缝能压制YOLOv7的虚警。解码时用贪心合并重复标签再删blank即可不需要beam search裂缝标签集太小beam search带来的收益可以忽略。4. 两级模型的系统集成与yolov7部署落地模型分开训练完成后能不能跑到检测线上取决于两级推理怎么衔接。YOLOv7输出的是矩形框加置信度CRNN输出的是每类概率两者单独看都对合在一起时阈值策略没统一部署时很容易出现YOLOv7框一堆、CRNN全部判成none的尴尬情况。4.1 置信度联动与NMS策略两级模型的置信度分布不同。YOLOv7的conf通常偏高训练集里负样本少时经常给出0.9以上CRNN的softmax概率在类别间分布更均匀。常见做法是分别设阈值而不是只对乘积设阈值。box_conf低于0.4的框直接丢掉剩下框进CRNNcrnn_conf大于0.6才输出最终结果。更细一点的加权方式是取两者的几何平均final_score等于box_conf乘crnn_conf再开根号这样不会让任何一个极低置信度主导结果。对应到YOLOv7的NMS要把nms_iou从默认的0.45调低到0.3。裂缝框通常细长两个相邻裂缝的真实框之间重叠度很低默认阈值会把属于同一条裂缝的多个框合并成一个大框大框边缘带进大量锈斑CRNN误判率随之上升。调低阈值后每个候选框更紧贴裂缝本体。4.2 导出ONNX和TensorRT引擎验证阶段用PyTorch推理没问题上线时要把两个模型都导出为ONNX再用TensorRT做FP16加速。YOLOv7官方仓库的export.py可以直接用CRNN要单独写导出脚本。# 导出改进后的YOLOv7为ONNX python export.py --weights best.pt --img-size 320 960 --batch-size 1 --simplify # 导出CRNN为ONNX python export_crnn.py --weights crnn_best.pt --opset 12img-size的顺序要注意是宽在前高在后和训练配置对应。CRNN导出时opset不能太低CTC解码虽然留在Python侧但CNN和BiLSTM部分用到了一些较新的算子opset低于11时部分折叠会失败。导出后先用onnxruntime跑一遍同样的输入对比PyTorch输出的最大误差控制在1e-3以内再继续下一步。TensorRT构建如下# 构建FP16引擎 trtexec --onnxyolov7_crack.onnx --saveEngineyolov7_crack.trt --fp16 trtexec --onnxcrnn_crack.onnx --saveEnginecrnn_crack.trt --fp16如果显卡显存只有6GB建议yolov7模型保持FP16而CRNN继续用FP32。CRNN输入是小图FP16带来的加速收益很小但精度损失在细裂缝上容易被放大。4.3 多路视频流的批处理排队实际巡检往往是四路以上视频同时采集逐帧串行推理会浪费GPU。常见做法是把YOLOv7和CRNN分别做批处理YOLOv7按batch4攒帧CRNN攒够8个候选框再跑。# async_pipeline.py from collections import deque frame_queue deque(maxlen32) crop_queue deque(maxlen64) # 按候选框数排队 while True: for stream_id in active_streams: frame streams[stream_id].read() if frame is not None: frame_queue.append((stream_id, frame)) if len(frame_queue) yolo_batch: frames [f for _, f in frame_queue] boxes_batch yolo_infer(frames) # [batch, num_box, 4] for boxes, frame in zip(boxes_batch, frames): for box in boxes: crop_queue.append(align_roi(frame, box)) if len(crop_queue) crnn_batch: crops [c for c in crop_queue] crnn_results crnn_infer(crops)这里YOLOv7的batch维度是帧数CRNN的batch维度是候选框数两者不能简单对应。顺序上先攒帧跑检测再把所有框切出来进CRNN最后按image_id和box_id回填结果。队列长度要设上限否则某一路视频停顿会导致crop_queue无限增长显存被中间张量占满。4.4 部署侧的关键参数表把两套模型各自的关键参数整理成一份配置便于现场调整模块参数默认值调整场景YOLOv7box_conf0.4漏检多时降到0.25YOLOv7nms_iou0.3相邻裂缝合并时再降YOLOv7输入尺寸320×960小目标为主时放大到384×1152CRNNcrnn_conf0.6虚警多时升到0.7CRNN输入尺寸64×224裂缝宽于4像素时保持流水线frame_queue32视频路数增多时加大流水线crop_queue64候选框多时按倍数调整注意调整box_conf和crnn_conf后要重新统计测试集上的联合F1不要单独看任一级指标。两级阈值合在一起时0.4和0.6的组合并不等于0.24的单一阈值因为不同框的两类置信度分布不一样。5. 裂缝检测模型在真实管道巡检中的验证技巧模型跑通到能被现场接受中间隔着一个验证环节。工程里常见问题不是模型不收敛而是指标选了没意义的或者只看YOLOv7的mAP而不管CRNN的错误。下面三个技巧能直接把验证做成闭环。5.1 用联合F1和漏检率替代单模型指标管道壁面裂缝是长尾分布的大部分框里没有裂缝mAP在这种场景下会被大量的真负样本稀释。我自己在验证时固定一个测试视频段人工逐帧标出裂缝框和类别然后统计联合F1。关键点是画PR曲线时把所有置信度乘积当作排序分数。import numpy as np from sklearn.metrics import f1_score # 测试集样本的联合分数 box_conf np.array([...]) # YOLOv7输出 crnn_conf np.array([...]) # CRNN输出 labels np.array([...]) # 1为正样本0为负样本 joint_score np.sqrt(box_conf * crnn_conf) for tau in [0.2, 0.3, 0.4, 0.5]: pred (joint_score tau).astype(int) f1 f1_score(labels, pred, averagebinary) print(ftau{tau:.2f} F1{f1:.4f})取几何平均而不是乘积是因为乘积会把两个中等置信度压得很低几何平均对两极分化的置信度更宽容。工业现场的误报代价和漏检代价不一样定阈值前先确认是漏检导致返工成本高还是误检导致人工复核成本高。5.2 用热图验证CRNN学的是裂缝而不是锈斑CRNN在验证集上F1高不代表学对了特征。管壁积水区域颜色和裂缝接近模型可能只依据高亮条纹做判断。用Grad-CAM能看到这种错误。# grad_cam_check.py from pytorch_grad_cam import GradCAM from pytorch_grad_cam.utils.image import show_cam_on_image cam GradCAM(modelcrnn.cnn, target_layers[crnn.cnn[-2]]) grayscale_cam cam(input_tensorinput_img.unsqueeze(0))CRNN的BiLSTM部分不参与热图计算所以target_layers只能选CNN层一般是最后一个卷积模块。展示热图时叠加在原图上重点看高亮区域是否沿裂缝方向连续延伸。如果高亮集中在裂缝的两端而不是整条裂缝说明模型靠端点的强梯度判断方向信息没有真正进入BiLSTM这时需要加大序列长度或增加角度旋转数据增强。5.3 用高置信度误检做难负样本微调最后一个技巧是把验证阶段挖出来的“高置信度误检”拿回去微调CRNN。具体操作用YOLOv7在无裂缝管道段上推理把box_conf大于0.6的框全部切出来人工筛选后打上none标签加入训练集。这个步骤不需要重新训练YOLOv7只更新CRNN成本低但效果明显因为YOLOv7的框内特征分布已经固定CRNN只需要学会区分裂缝与近似纹理。在微调时把none类别权重设为其他类别的1.2倍能在不显著提高漏检的前提下吸收更多误检。做验证时把以上三个点串起来先统计联合F1基线再排查热图是否集中在裂缝本体最后用难负样本迭代一轮管道巡检系统的上线标准就清晰了。整个过程不涉及重写模型结构改动都落在阈值、数据配比和验证脚本上花半天时间就能完成一轮。本文还有配套的精品资源点击获取
