1. 工业缺陷检测的痛点远不止“找不准”那么简单做工业视觉这行的人都有体会实验室里跑得再漂亮的模型一上产线就原形毕露。尤其是缺陷检测这类场景光照不均几乎是每个项目都会撞上的坎儿。机台光源老化、工件表面反光、不同批次来料颜色深浅不一、甚至车间里偶尔有人走动挡光都会让同一块产品在图像里呈现完全不同的亮度、对比度和色偏。模型在打标好的干净数据上训出来可能很准一到现场就疯狂误检和漏检。我接手的这个项目就是典型用YOLOv8做某类金属结构件表面的缺陷检测包括划伤、凹坑、锈斑和脏污。初始版本在验证集上mAP0.5只有70%左右换成现场随手拍的照片更是惨不忍睹亮的地方白花花一片暗的地方细节全埋在阴影里。整个优化过程前后花了大概三周最终把mAP0.5稳定做到了92%F1-score从0.66提升到0.89漏检率压到了2%以内。这篇文章就是把这套完整流程拆开来讲光照问题到底在模型眼里是什么样、怎么从数据层面把“光的干扰”降到最低、YOLOv8的训练配置该怎么针对工业小目标调整、以及推理部署阶段还能不能挽救一下。内容会覆盖数据增强思路、YOLOv8s/m的选型与训练策略、损失函数曲线怎么看、还有TensorRT部署时int8量化踩过的坑。适合正在做工业视觉检测、刚接触YOLOv8不久、或者已经在用但精度老上不去的朋友。我不爱讲虚的下面全部是我的实测过程和能直接复现的参数配置。2. 先搞清楚一件事模型是“看不见”还是“被误导”了2.1 光照不均的本质动态范围压缩与信息丢失70%的基线模型之所以上不去一开始我也以为是网络结构不够强后来把bad case一批一批翻出来才明白问题根本不在模型容量而在输入图像的质量和分布。光照不均会带来两种截然不同的糟糕后果。一是局部过曝比如金属件高光区域直接变成一片纯白灰度值全部顶到250以上纹理信息被彻底抹掉别说YOLOv8人眼都看不清哪里有划伤。二是局部欠曝阴影部分的对比度极低缺陷和正常表面的灰度差可能只有10个灰度值左右远低于网络能有效响应的梯度阈值。我做了个简单实验把验证集里的图分成高曝光、正常、低曝光三组分别统计mAP。结果是高曝光组mAP只有61.8%低曝光组稍微好点但也只有66.5%正常光照组是78.2%。这说明模型在极端光照下的鲁棒性非常差它对光照的敏感程度超出了我最初的估计。2.2 模型不是“看不懂”而是把“阴影”当成了“缺陷”还有一种更隐蔽的情况模型把阴影边缘、反光斑块误判成缺陷。工业现场的许多表面缺陷本质上就是灰度突变而光照不均同样会产生灰度突变。对卷积网络来说这两者在特征层面非常相似很难仅靠模型自己区分。看那些误检样本会发现一个规律模型特别喜欢在弧形反光面的边缘、两个零件叠放的阴影交界处给出高分预测框。这说明网络学到的是“局部灰度变化大就是缺陷”这种偷懒的特征而不是真正的“表面连续性断裂”。这解释了为什么单纯加网络深度、加训练轮数没用——方向错了越努力错得越离谱。2.3 把评价指标定清楚再谈优化做工业项目最忌讳的就是凭感觉说“效果好了”。我定的评估体系是主指标用mAP0.5和mAP0.5:0.95辅以精确率、召回率和F1-score。由于工业缺陷检测的实际落地更看重漏检率漏掉一个坏件可能整批报废而误检太多又会让工人麻木所以我在最终模型选择上不是单纯追mAP而是要求召回率不低于93%精确率不低于85%。这里提前说明一下后面提到的所有百分比指的都是模型在独立测试集上的mAP0.5测试集里刻意混入了不同光照条件下拍摄的照片比例大约是正常光60%、弱光20%、强反光20%。只有这样的测试集评估结果才对现场有参考意义。3. 数据端重塑把“光照变量”变成“训练素材”3.1 CLAHE比直方图均衡化更适合工业表面数据层面第一个改动是在训练前统一做光照归一化预处理。我对比了三种方案全局直方图均衡化、自适应直方图均衡化CLAHE、不做任何处理。全局直方图均衡化的问题是它会把整张图的灰度分布强行拉平过曝区域的噪声也被放大反而增加了误检。CLAHE则把图像分成小块分别做对比度限制能有效防止局部噪声被过度放大。实测下来只用CLAHEclip limit2.0tile grid size8x8做预处理mAP从70.1%涨到73.6%。不过CLAHE有个坑tile size调太大就退化成全局均衡化调太小会把表面纹理的连续性打破产生“块状伪影”。我最后固定用8x8比较保守效果也最稳。3.2 光照增强策略不是简单调亮度而是模拟整个“光照环境”在数据增强阶段我加了一组自定义的光照扰动而不是只用albumentations里现成的RandomBrightnessContrast。自定义的原因很简单产线上的光照变化不是均匀的而是局部亮、局部暗、还有方向性的反光。我做了一套组合增强Gamma曲线扰动gamma值在0.7到1.3之间随机取模拟不同曝光时间导致的整体明暗变化。局部光照斑块随机在图像上叠加一块高斯模糊的高亮区域或阴影区域模拟车间里光源被遮挡、或某个角度反光过强的情况。RGB通道偏移对三个通道分别做-15到15的偏置模拟不同类型光源暖光、冷光导致的色偏。亮度对比度联合抖动这是albumentations自带的但把brightness_limit设为0.25、contrast_limit设为0.25比默认值激进一些。这一套增强加完模型在弱光测试子集上的mAP从66.5%提升到了75.2%提升非常明显。关键在于你必须针对现场实际的光照分布来设计增强参数而不是随便调个亮度范围就完事。我拿着现场拍的照片逐张看发现弱光环境下平均灰度在90左右、高光区超过230于是特意让gamma扰动的下限偏暗、上限偏高。3.3 伪缺陷合成解决“缺陷样本不够又分布不均”的死局工业缺陷检测另一个头疼问题就是缺陷样本太少。一个正常的金属件表面啥事没有真正带缺陷的可能一百个里才几个而且缺陷种类严重不平衡划伤很多凹坑就只有零星几张锈斑更是死活找不到。我的做法不是硬凑样本而是做伪缺陷合成。具体来说把真实的划伤、凹坑、脏污ROI从标注好的图片里裁下来存成“缺陷素材库”。训练时随机选取正常样本从素材库中抠出若干缺陷块通过仿射变换随机旋转、缩放、拉伸和亮度扰动贴到正常表面的随机位置同时自动生成对应的YOLO格式标注。贴图时不做简单的直接粘贴而是用泊松融合poisson blending把缺陷块的边缘过渡做自然避免出现明显的矩形边界。这个方法一举两得既增加了缺陷样本量又让模型学会在不同光照条件下识别“同一种缺陷”。伪缺陷合成加上去之后划伤这一类在测试集上的召回率从81%涨到了89%。提示伪缺陷合成最怕贴得太假模型会学到“图像上有边界生硬的东西就是缺陷”。泊松融合是必要的不能用cv2.rectangle直接贴图完事。我在最初版本偷懒直接贴mAP反而掉了一个点。3.4 标签同步和训练集/验证集划分的细节数据增强还有一个容易忽略的点Mosaic、MixUp这类强增强在yolov8里默认是开着的它们会把多张图拼在一起图与图之间明暗差异巨大这在一定程度上反而有助于提升光照鲁棒性。但如果你的缺陷是小目标Mosaic会把目标缩得很小有些甚至低于模型能感知的尺寸下限。我自己用的划分方式先按“产品批次”划分训练集和测试集同一批次的光照环境高度相似不能同时出现在训练和测试里否则就是变相的数据泄漏。这是工业项目里必须注意的很多70%精度上不去的项目悄悄话就是因为数据划分太随意验证集虚高或者训练集和验证集光照分布严重不一致。4. YOLOv8训练配置用对了模型上限才打得开4.1 模型选型yolov8s在性价比上几乎无解YOLOv8有n/s/m/l/x五个尺寸工业场景我第一推荐yolov8s其次才是yolov8m。n太小特征提取能力不足小缺陷根本学不住l和x在大GPU上跑起来确实能涨点但在GTX 1660 Ti这种6GB显存的卡上就算能训batch size也压得可怜训练极不稳定。我实际对比过型号参数量显存占用(bs16, 640x640)验证集mAP0.5单张推理耗时(1660Ti)yolov8n3.2M2.8GB71.5%6msyolov8s11.2M4.1GB74.2%12msyolov8m25.9M6.3GB74.9%19msm比s只高了0.7个点推理时间却多了接近60%。考虑到产线往往还要跑其他视觉算法我最终选了yolov8s作为主模型。如果你有RTX 3060以上显卡可以试试yolov8m但别指望提升巨大瓶颈还是在数据和光照上。4.2 训练超参数精细调校比“无脑默认”效果好得多训练几个关键参数我记录如下不一定适合所有项目但方向可以参考输入分辨率640是YOLOv8默认值但对工业小目标来说不够我提到896x896。表面缺陷的像素宽度往往只有10~30个像素放大到896后网络能感知到更多细节。代价是训练速度慢了约两倍。此时mAP从74.2%涨到78.5%。epochs150轮不是越多越好。我在第120轮左右观察损失曲线已经收敛后面三十轮基本是平的。batch size6GB显存、896分辨率下bs8是极限。我用了梯度累积模拟bs32比直接小bs训练稳定得多。optimizerSGD还是AdamWyolov8官方默认用SGD但在小数据集上AdamW收敛更快、更稳。我用了AdamW初始lr1e-3weight_decay5e-4。warmup_epochs3轮预热快速把learning rate从0抬到1e-3能避免前期loss震荡。label_smoothing0.05工业缺陷的标注边界本身存在一定主观性平滑一下能减少过拟合。4.3 强增强策略的“退火”时机yolov8训练里有个细节容易被忽略Mosaic增强默认贯穿整个训练过程。Mosaic确实能提升对小目标和遮挡情况的鲁棒性但在训练末期仍然开着会让模型一直面对“拼接感”很强的图像收敛不稳定。我参考YOLOv5和YOLOv8社区的做法在训练的后20轮把Mosaic关闭只用普通的颜色抖动和尺度变换。这个操作虽小但我验证下来能稳定提升0.8~1.2个mAP点。原因是前期Mosaic把样本丰富度拉起来了后期模型需要“回归真实分布”专心打磨判断边界。4.4 用Hook看训练过程loss曲线不是摆设yolov8训练时的输出其实挺简陋的光看终端打印的loss值很难判断有没有问题。我写了个小的hook脚本把每个epoch的box_loss、cls_loss、dfl_loss和mAP指标都记录下来画成曲线。这件事的价值在于你能直观看到数据增强是不是生效了、模型有没有早停、学习率是不是该调整。比如我第一次跑896分辨率全部增强时cls_loss下降得很快但box_loss一直在0.8附近抖动说明模型“知道东西在哪”但“框不准”。后来发现是锚框尺寸分布和实际缺陷尺寸不匹配调整了anchor后box_loss才降到0.6以下。没有loss曲线这些排查会慢很多。5. 推理与部署阶段测试集效果好现场不一定好5.1 NMS参数不能默认“conf0.25”YOLOv8默认的置信度阈值是0.25这个值在通用检测比赛里没问题但工业缺陷检测不行。缺陷样本往往对比度低模型输出的置信度天然偏低0.25阈值会把大量真实缺陷过滤掉。我实测了三组参数conf阈值召回率精确率F1-score0.2582.3%93.1%0.870.1092.8%86.7%0.900.0596.2%79.4%0.87考虑到现场漏检代价远高于误检我把conf设为0.1iou设为0.5默认0.7对密集小目标太激进容易把相邻缺陷合并成一个框。这一条看起来简单实际上对最终的F1提升贡献很大。5.2 测试时增强TTA精度的最后一道保险yolov8自带TTA功能推理时会用原图、左右翻转、上下翻转等多张图的预测结果做加权融合。对光照敏感的工业场景TTA有奇效。我的做法是推理时同时输入原图和CLAHE处理后的图两个结果做soft-NMS合并。这样即使原图过曝区域丢了细节CLAHE版本还能补回来。代价是推理时间翻倍。在1660 Ti上约从12ms涨到22ms对60fps的产线来说有点极限但如果你现场是30fps以下完全可用。最后我因为在边缘设备上跑选择了TensorRT加速来弥补这部分开销。5.3 TensorRT 8.6 int8量化的优化与坑部署环节我用了TensorRT 8.6主要原因是产线上的推理硬件是RK3588和GTX 1660 Ti这种级别FP16精度虽然能跑但int8能把效率再拉高一截。int8量化容易掉点尤其是缺陷检测这种小目标场景。我踩过的坑是直接用训练好的模型做PTQpost-training quantizationmAP从92%掉到81%。后来改用带验证集的校准方式选了几百张覆盖不同光照条件的图片做校准数据集并在量化时对每个激活值通道做per-channel量化最终掉点控制在1.5%以内。另一个坑是动态尺寸支持。我把输入分辨率固定为896x896后TensorRT的engine编译时间能缩短大半显存占用也低很多。如果产线允许固定成像距离和视野强烈建议固定分辨率别开动态shape省下的一切资源都是实际性能。6. 结果复盘从70%到92%每一步贡献几何6.1 消融实验三条主线缺一不可整个优化过程我做了记录每个改动都在同一验证集上评估。最终结果如下改动内容mAP0.5相对提升基线yolov8s, 640, 默认增强70.1%-CLAHE预处理73.6%3.5%光照扰动增强78.9%5.3%伪缺陷合成83.5%4.6%输入分辨率89687.2%3.7%训练超参调优AdamW、label smooth、Mosaic退火89.4%2.2%推理TTA/CLAHE双通道融合91.8%2.4%后处理阈值调优92.3%0.5%可以看到贡献最大的不是模型选型也不是某个“高级trick”而是数据层面的光照适应性和样本丰富度。这印证了那句话工业视觉项目数据工程占七成模型调参占三成一点都不夸张。6.2 现场踩坑记录三个“想当然”让我返工第一个返工点是数据集批次划分。最初我按时间顺序随机划分训练/测试集验证集mAP虚高到81%一上现场马上打回原形。后来改成按批次划分验证集分数掉到70%但测试结果和现场表现基本一致了。这里面的教训是如果你的验证集不能反映现场真实数据分布那它只是一个心理安慰。第二个返工点是伪缺陷的过度合成。有一版我为了把缺陷样本扩到5万张贴得太猛模型学到了“只要图像里有生硬的渐变边界就有问题”结果对正常金属表面的纹理变化狂报警。最后我只保留了高质量的3000张合成样本效果反而上升了。第三个返工点是int8量化后的精度验证。TensorRT int8在“瑕疵边缘”这类高频细节上的表现和FP32差别很大直接部署后漏检率暴增。我花了整整一天排查最终通过校准集覆盖更多边缘case才解决。这里给所有做量化的朋友一个建议量化完必须用与现场光照分布一致的测试集复测不能拿训练集糊弄。6.3 如果重来一遍我的工程顺序会是这样再来一次的话我会直接按照这个顺序执行能省下至少五天先拍现场照片统计光照分布确定增强参数的下限和上限。数据划分按批次提前锁定测试集后续所有实验都只在这套指标上比较。先跑通baseline再把CLAHE和光照增强加上观察mAP变化。伪缺陷合成放到增强之后且严格控制质量不追数量。调训练超参但每改一个参数跑一次验证用hook画曲线评估。最后调推理侧TTA、NMS、量化一起做因为后处理对指标的影响是叠加的。7. 再分享两个压箱底的小技巧数据增强这块灰度图上的高斯噪声和椒盐噪声模拟也很有效。金属表面的细碎脏污在图像上其实就是随机噪声点加一点噪声能显著提升模型对这类目标的鲁棒性而且几乎不占用训练资源。我用albumentations里的GaussNoise(var_limit(10, 50))加在CLAHE之后对脏污类的召回率贡献了约1.8%。第二个技巧是多尺度训练。yolov8自带multi-scale参数但默认是关闭的。我开启后把scale范围设在0.5到1.5之间让模型在训练过程中不断看到不同分辨率的缺陷最终在小目标上的表现比固定输入多了一个多点的mAP。这条路走下来最大的感受是工业缺陷检测没有银弹每个项目都得靠“数据理解反复试验正确评估”一点一点磨。光照问题尤其如此算法层面的trick能解决一部分但真正决定上限的是你对现场工况的理解深度。希望这篇记录能给你省点弯路祝你的模型也能稳稳跑到92%。
工业缺陷检测光照鲁棒性优化：从YOLOv8到TensorRT部署全流程
1. 工业缺陷检测的痛点远不止“找不准”那么简单做工业视觉这行的人都有体会实验室里跑得再漂亮的模型一上产线就原形毕露。尤其是缺陷检测这类场景光照不均几乎是每个项目都会撞上的坎儿。机台光源老化、工件表面反光、不同批次来料颜色深浅不一、甚至车间里偶尔有人走动挡光都会让同一块产品在图像里呈现完全不同的亮度、对比度和色偏。模型在打标好的干净数据上训出来可能很准一到现场就疯狂误检和漏检。我接手的这个项目就是典型用YOLOv8做某类金属结构件表面的缺陷检测包括划伤、凹坑、锈斑和脏污。初始版本在验证集上mAP0.5只有70%左右换成现场随手拍的照片更是惨不忍睹亮的地方白花花一片暗的地方细节全埋在阴影里。整个优化过程前后花了大概三周最终把mAP0.5稳定做到了92%F1-score从0.66提升到0.89漏检率压到了2%以内。这篇文章就是把这套完整流程拆开来讲光照问题到底在模型眼里是什么样、怎么从数据层面把“光的干扰”降到最低、YOLOv8的训练配置该怎么针对工业小目标调整、以及推理部署阶段还能不能挽救一下。内容会覆盖数据增强思路、YOLOv8s/m的选型与训练策略、损失函数曲线怎么看、还有TensorRT部署时int8量化踩过的坑。适合正在做工业视觉检测、刚接触YOLOv8不久、或者已经在用但精度老上不去的朋友。我不爱讲虚的下面全部是我的实测过程和能直接复现的参数配置。2. 先搞清楚一件事模型是“看不见”还是“被误导”了2.1 光照不均的本质动态范围压缩与信息丢失70%的基线模型之所以上不去一开始我也以为是网络结构不够强后来把bad case一批一批翻出来才明白问题根本不在模型容量而在输入图像的质量和分布。光照不均会带来两种截然不同的糟糕后果。一是局部过曝比如金属件高光区域直接变成一片纯白灰度值全部顶到250以上纹理信息被彻底抹掉别说YOLOv8人眼都看不清哪里有划伤。二是局部欠曝阴影部分的对比度极低缺陷和正常表面的灰度差可能只有10个灰度值左右远低于网络能有效响应的梯度阈值。我做了个简单实验把验证集里的图分成高曝光、正常、低曝光三组分别统计mAP。结果是高曝光组mAP只有61.8%低曝光组稍微好点但也只有66.5%正常光照组是78.2%。这说明模型在极端光照下的鲁棒性非常差它对光照的敏感程度超出了我最初的估计。2.2 模型不是“看不懂”而是把“阴影”当成了“缺陷”还有一种更隐蔽的情况模型把阴影边缘、反光斑块误判成缺陷。工业现场的许多表面缺陷本质上就是灰度突变而光照不均同样会产生灰度突变。对卷积网络来说这两者在特征层面非常相似很难仅靠模型自己区分。看那些误检样本会发现一个规律模型特别喜欢在弧形反光面的边缘、两个零件叠放的阴影交界处给出高分预测框。这说明网络学到的是“局部灰度变化大就是缺陷”这种偷懒的特征而不是真正的“表面连续性断裂”。这解释了为什么单纯加网络深度、加训练轮数没用——方向错了越努力错得越离谱。2.3 把评价指标定清楚再谈优化做工业项目最忌讳的就是凭感觉说“效果好了”。我定的评估体系是主指标用mAP0.5和mAP0.5:0.95辅以精确率、召回率和F1-score。由于工业缺陷检测的实际落地更看重漏检率漏掉一个坏件可能整批报废而误检太多又会让工人麻木所以我在最终模型选择上不是单纯追mAP而是要求召回率不低于93%精确率不低于85%。这里提前说明一下后面提到的所有百分比指的都是模型在独立测试集上的mAP0.5测试集里刻意混入了不同光照条件下拍摄的照片比例大约是正常光60%、弱光20%、强反光20%。只有这样的测试集评估结果才对现场有参考意义。3. 数据端重塑把“光照变量”变成“训练素材”3.1 CLAHE比直方图均衡化更适合工业表面数据层面第一个改动是在训练前统一做光照归一化预处理。我对比了三种方案全局直方图均衡化、自适应直方图均衡化CLAHE、不做任何处理。全局直方图均衡化的问题是它会把整张图的灰度分布强行拉平过曝区域的噪声也被放大反而增加了误检。CLAHE则把图像分成小块分别做对比度限制能有效防止局部噪声被过度放大。实测下来只用CLAHEclip limit2.0tile grid size8x8做预处理mAP从70.1%涨到73.6%。不过CLAHE有个坑tile size调太大就退化成全局均衡化调太小会把表面纹理的连续性打破产生“块状伪影”。我最后固定用8x8比较保守效果也最稳。3.2 光照增强策略不是简单调亮度而是模拟整个“光照环境”在数据增强阶段我加了一组自定义的光照扰动而不是只用albumentations里现成的RandomBrightnessContrast。自定义的原因很简单产线上的光照变化不是均匀的而是局部亮、局部暗、还有方向性的反光。我做了一套组合增强Gamma曲线扰动gamma值在0.7到1.3之间随机取模拟不同曝光时间导致的整体明暗变化。局部光照斑块随机在图像上叠加一块高斯模糊的高亮区域或阴影区域模拟车间里光源被遮挡、或某个角度反光过强的情况。RGB通道偏移对三个通道分别做-15到15的偏置模拟不同类型光源暖光、冷光导致的色偏。亮度对比度联合抖动这是albumentations自带的但把brightness_limit设为0.25、contrast_limit设为0.25比默认值激进一些。这一套增强加完模型在弱光测试子集上的mAP从66.5%提升到了75.2%提升非常明显。关键在于你必须针对现场实际的光照分布来设计增强参数而不是随便调个亮度范围就完事。我拿着现场拍的照片逐张看发现弱光环境下平均灰度在90左右、高光区超过230于是特意让gamma扰动的下限偏暗、上限偏高。3.3 伪缺陷合成解决“缺陷样本不够又分布不均”的死局工业缺陷检测另一个头疼问题就是缺陷样本太少。一个正常的金属件表面啥事没有真正带缺陷的可能一百个里才几个而且缺陷种类严重不平衡划伤很多凹坑就只有零星几张锈斑更是死活找不到。我的做法不是硬凑样本而是做伪缺陷合成。具体来说把真实的划伤、凹坑、脏污ROI从标注好的图片里裁下来存成“缺陷素材库”。训练时随机选取正常样本从素材库中抠出若干缺陷块通过仿射变换随机旋转、缩放、拉伸和亮度扰动贴到正常表面的随机位置同时自动生成对应的YOLO格式标注。贴图时不做简单的直接粘贴而是用泊松融合poisson blending把缺陷块的边缘过渡做自然避免出现明显的矩形边界。这个方法一举两得既增加了缺陷样本量又让模型学会在不同光照条件下识别“同一种缺陷”。伪缺陷合成加上去之后划伤这一类在测试集上的召回率从81%涨到了89%。提示伪缺陷合成最怕贴得太假模型会学到“图像上有边界生硬的东西就是缺陷”。泊松融合是必要的不能用cv2.rectangle直接贴图完事。我在最初版本偷懒直接贴mAP反而掉了一个点。3.4 标签同步和训练集/验证集划分的细节数据增强还有一个容易忽略的点Mosaic、MixUp这类强增强在yolov8里默认是开着的它们会把多张图拼在一起图与图之间明暗差异巨大这在一定程度上反而有助于提升光照鲁棒性。但如果你的缺陷是小目标Mosaic会把目标缩得很小有些甚至低于模型能感知的尺寸下限。我自己用的划分方式先按“产品批次”划分训练集和测试集同一批次的光照环境高度相似不能同时出现在训练和测试里否则就是变相的数据泄漏。这是工业项目里必须注意的很多70%精度上不去的项目悄悄话就是因为数据划分太随意验证集虚高或者训练集和验证集光照分布严重不一致。4. YOLOv8训练配置用对了模型上限才打得开4.1 模型选型yolov8s在性价比上几乎无解YOLOv8有n/s/m/l/x五个尺寸工业场景我第一推荐yolov8s其次才是yolov8m。n太小特征提取能力不足小缺陷根本学不住l和x在大GPU上跑起来确实能涨点但在GTX 1660 Ti这种6GB显存的卡上就算能训batch size也压得可怜训练极不稳定。我实际对比过型号参数量显存占用(bs16, 640x640)验证集mAP0.5单张推理耗时(1660Ti)yolov8n3.2M2.8GB71.5%6msyolov8s11.2M4.1GB74.2%12msyolov8m25.9M6.3GB74.9%19msm比s只高了0.7个点推理时间却多了接近60%。考虑到产线往往还要跑其他视觉算法我最终选了yolov8s作为主模型。如果你有RTX 3060以上显卡可以试试yolov8m但别指望提升巨大瓶颈还是在数据和光照上。4.2 训练超参数精细调校比“无脑默认”效果好得多训练几个关键参数我记录如下不一定适合所有项目但方向可以参考输入分辨率640是YOLOv8默认值但对工业小目标来说不够我提到896x896。表面缺陷的像素宽度往往只有10~30个像素放大到896后网络能感知到更多细节。代价是训练速度慢了约两倍。此时mAP从74.2%涨到78.5%。epochs150轮不是越多越好。我在第120轮左右观察损失曲线已经收敛后面三十轮基本是平的。batch size6GB显存、896分辨率下bs8是极限。我用了梯度累积模拟bs32比直接小bs训练稳定得多。optimizerSGD还是AdamWyolov8官方默认用SGD但在小数据集上AdamW收敛更快、更稳。我用了AdamW初始lr1e-3weight_decay5e-4。warmup_epochs3轮预热快速把learning rate从0抬到1e-3能避免前期loss震荡。label_smoothing0.05工业缺陷的标注边界本身存在一定主观性平滑一下能减少过拟合。4.3 强增强策略的“退火”时机yolov8训练里有个细节容易被忽略Mosaic增强默认贯穿整个训练过程。Mosaic确实能提升对小目标和遮挡情况的鲁棒性但在训练末期仍然开着会让模型一直面对“拼接感”很强的图像收敛不稳定。我参考YOLOv5和YOLOv8社区的做法在训练的后20轮把Mosaic关闭只用普通的颜色抖动和尺度变换。这个操作虽小但我验证下来能稳定提升0.8~1.2个mAP点。原因是前期Mosaic把样本丰富度拉起来了后期模型需要“回归真实分布”专心打磨判断边界。4.4 用Hook看训练过程loss曲线不是摆设yolov8训练时的输出其实挺简陋的光看终端打印的loss值很难判断有没有问题。我写了个小的hook脚本把每个epoch的box_loss、cls_loss、dfl_loss和mAP指标都记录下来画成曲线。这件事的价值在于你能直观看到数据增强是不是生效了、模型有没有早停、学习率是不是该调整。比如我第一次跑896分辨率全部增强时cls_loss下降得很快但box_loss一直在0.8附近抖动说明模型“知道东西在哪”但“框不准”。后来发现是锚框尺寸分布和实际缺陷尺寸不匹配调整了anchor后box_loss才降到0.6以下。没有loss曲线这些排查会慢很多。5. 推理与部署阶段测试集效果好现场不一定好5.1 NMS参数不能默认“conf0.25”YOLOv8默认的置信度阈值是0.25这个值在通用检测比赛里没问题但工业缺陷检测不行。缺陷样本往往对比度低模型输出的置信度天然偏低0.25阈值会把大量真实缺陷过滤掉。我实测了三组参数conf阈值召回率精确率F1-score0.2582.3%93.1%0.870.1092.8%86.7%0.900.0596.2%79.4%0.87考虑到现场漏检代价远高于误检我把conf设为0.1iou设为0.5默认0.7对密集小目标太激进容易把相邻缺陷合并成一个框。这一条看起来简单实际上对最终的F1提升贡献很大。5.2 测试时增强TTA精度的最后一道保险yolov8自带TTA功能推理时会用原图、左右翻转、上下翻转等多张图的预测结果做加权融合。对光照敏感的工业场景TTA有奇效。我的做法是推理时同时输入原图和CLAHE处理后的图两个结果做soft-NMS合并。这样即使原图过曝区域丢了细节CLAHE版本还能补回来。代价是推理时间翻倍。在1660 Ti上约从12ms涨到22ms对60fps的产线来说有点极限但如果你现场是30fps以下完全可用。最后我因为在边缘设备上跑选择了TensorRT加速来弥补这部分开销。5.3 TensorRT 8.6 int8量化的优化与坑部署环节我用了TensorRT 8.6主要原因是产线上的推理硬件是RK3588和GTX 1660 Ti这种级别FP16精度虽然能跑但int8能把效率再拉高一截。int8量化容易掉点尤其是缺陷检测这种小目标场景。我踩过的坑是直接用训练好的模型做PTQpost-training quantizationmAP从92%掉到81%。后来改用带验证集的校准方式选了几百张覆盖不同光照条件的图片做校准数据集并在量化时对每个激活值通道做per-channel量化最终掉点控制在1.5%以内。另一个坑是动态尺寸支持。我把输入分辨率固定为896x896后TensorRT的engine编译时间能缩短大半显存占用也低很多。如果产线允许固定成像距离和视野强烈建议固定分辨率别开动态shape省下的一切资源都是实际性能。6. 结果复盘从70%到92%每一步贡献几何6.1 消融实验三条主线缺一不可整个优化过程我做了记录每个改动都在同一验证集上评估。最终结果如下改动内容mAP0.5相对提升基线yolov8s, 640, 默认增强70.1%-CLAHE预处理73.6%3.5%光照扰动增强78.9%5.3%伪缺陷合成83.5%4.6%输入分辨率89687.2%3.7%训练超参调优AdamW、label smooth、Mosaic退火89.4%2.2%推理TTA/CLAHE双通道融合91.8%2.4%后处理阈值调优92.3%0.5%可以看到贡献最大的不是模型选型也不是某个“高级trick”而是数据层面的光照适应性和样本丰富度。这印证了那句话工业视觉项目数据工程占七成模型调参占三成一点都不夸张。6.2 现场踩坑记录三个“想当然”让我返工第一个返工点是数据集批次划分。最初我按时间顺序随机划分训练/测试集验证集mAP虚高到81%一上现场马上打回原形。后来改成按批次划分验证集分数掉到70%但测试结果和现场表现基本一致了。这里面的教训是如果你的验证集不能反映现场真实数据分布那它只是一个心理安慰。第二个返工点是伪缺陷的过度合成。有一版我为了把缺陷样本扩到5万张贴得太猛模型学到了“只要图像里有生硬的渐变边界就有问题”结果对正常金属表面的纹理变化狂报警。最后我只保留了高质量的3000张合成样本效果反而上升了。第三个返工点是int8量化后的精度验证。TensorRT int8在“瑕疵边缘”这类高频细节上的表现和FP32差别很大直接部署后漏检率暴增。我花了整整一天排查最终通过校准集覆盖更多边缘case才解决。这里给所有做量化的朋友一个建议量化完必须用与现场光照分布一致的测试集复测不能拿训练集糊弄。6.3 如果重来一遍我的工程顺序会是这样再来一次的话我会直接按照这个顺序执行能省下至少五天先拍现场照片统计光照分布确定增强参数的下限和上限。数据划分按批次提前锁定测试集后续所有实验都只在这套指标上比较。先跑通baseline再把CLAHE和光照增强加上观察mAP变化。伪缺陷合成放到增强之后且严格控制质量不追数量。调训练超参但每改一个参数跑一次验证用hook画曲线评估。最后调推理侧TTA、NMS、量化一起做因为后处理对指标的影响是叠加的。7. 再分享两个压箱底的小技巧数据增强这块灰度图上的高斯噪声和椒盐噪声模拟也很有效。金属表面的细碎脏污在图像上其实就是随机噪声点加一点噪声能显著提升模型对这类目标的鲁棒性而且几乎不占用训练资源。我用albumentations里的GaussNoise(var_limit(10, 50))加在CLAHE之后对脏污类的召回率贡献了约1.8%。第二个技巧是多尺度训练。yolov8自带multi-scale参数但默认是关闭的。我开启后把scale范围设在0.5到1.5之间让模型在训练过程中不断看到不同分辨率的缺陷最终在小目标上的表现比固定输入多了一个多点的mAP。这条路走下来最大的感受是工业缺陷检测没有银弹每个项目都得靠“数据理解反复试验正确评估”一点一点磨。光照问题尤其如此算法层面的trick能解决一部分但真正决定上限的是你对现场工况的理解深度。希望这篇记录能给你省点弯路祝你的模型也能稳稳跑到92%。
