看到“大疆无人机质检动作碳纤维桨叶”这个题目大部分人的第一反应是这到底是讲无人机巡检还是讲碳纤维桨叶本身的质量检查更准确的解读是这是一个典型的硬件平台 飞控动作规划 视觉识别算法的组合工程。简单说就是用大疆无人机按规划好的飞行动作对碳纤维桨叶进行近距离多角度拍摄再把图像交给视觉模型去识别表面缺陷最后自动生成质检结论。这个方向这几年在风电叶片巡检、工业复合材料构件维保、无人机自身桨叶健康检查里非常实用。以前是老师傅肉眼判断或者爬高拍摄效率低且危险。现在无人机悬停到桨叶附近自动走一段航线配合电动云台调整角度就能在几分钟内拿到一批高清图像后续用目标检测或分割模型把裂纹、划伤、分层、油污这些缺陷标出来。这次我们重点拆解三块巡检飞行动作怎么设计、碳纤维桨叶图像怎么高效采集、缺陷识别和批量任务怎么落地。后面还会给出一整套环境准备、代码示例、接口调用、常见排查清单。如果你正在做无人机巡检、工业视觉质检或者想把自己的检测模型接到大疆平台上这篇文章可以直接收藏。1. 核心能力速览能力项说明项目类型无人机飞行巡检 碳纤维桨叶表面缺陷视觉质检检测对象碳纤维桨叶表面裂纹、划痕、分层、漆面破损、油污、纤维毛刺等飞行动作能力航点任务、定点悬停、云台多角度拍摄、沿桨叶轴向往返扫描硬件平台大疆行业无人机如 Mavic 3E/3T、Matrice 30 系列等按实际机型为准视觉识别方式本地边缘计算推理 / 地面站服务器推理批量任务支持多桨叶编号目录批量扫描、批量生成质检报告接口能力可通过 HTTP/MQTT 上报检测结果或调用推理服务接口检测精度取决于图像分辨率和缺陷标注数据集结论需结合人工复核合规要求无人机实名登记、遵守当地飞行管理要求涉及第三方资产需授权这套系统的核心不是单一模型而是“飞行动作 图像采集 缺陷识别 结果上报”四个环节。任何一个环节脱节都会导致质检结论不可靠所以后面所有步骤都围绕这四环展开。2. 适用场景与使用边界这个方案适合以下几类场景风电叶片巡检叶片属于大尺寸碳纤维/玻璃纤维复合材料结构无人机沿叶片表面规划航线替代人工吊篮或爬塔机。桨叶出厂抽检工厂质检部门用无人机对碳纤维桨叶样品做外观快速筛查提前发现漆面缺陷和表面裂纹。无人机自身的桨叶保养检查定期用另外一台无人机或同一台机位悬停拍摄旋翼表面状态检查是否有异物撞击损伤。复合材料工件外观质检只要是表面可见缺陷识别这套流程可以迁移到其他碳纤维结构件上。但是也要说清楚边界。视觉检测只能发现表面缺陷碳纤维内部的层间分层有时候表面并无明显裂纹需要借助超声相控阵、红外热成像等主动检测手段视觉方案无法替代。对于大风、雨天、强光反射等恶劣环境图像质量会下降直接影响识别准确率。还需要明确无人机属于受控飞行设备使用前必须完成实名登记并在合规空域内飞行对第三方设备或厂区设施拍摄质检应当先取得管理方或产权方的明确授权。3. 环境准备与前置条件3.1 硬件环境无人机平台优先选择支持航线任务的行业机型能够导入航点文件支持云台俯仰控制和定点悬停。相机建议使用 2000 万像素级别以上相机画质优先选 RAW/JPEG 双格式保存。碳纤维表面纹理细密像素不足会漏掉细小裂纹。补光设备碳纤维表面反射较强室外顺光/侧光拍摄效果更好必要时使用机载补光灯或地面反光板。地面站电脑用于规划任务、接收图像、跑推理模型。如果模型较大建议使用带有独立显卡的电脑显存根据模型大小确定。边缘计算模块可选如果要在无人机端或近端实时检测需要载板电脑或机载 AI 模块例如 NVIDIA Jetson 系列。这里特别提醒碳纤维是导电材料破损后的纤维碎屑容易导致设备短路拍摄时无人机应与桨叶保持安全距离不要贴近到可能碰撞的距离。3.2 软件环境视觉推理部分推荐以下基础环境Python 3.9 及以上PyTorch 或 TensorFlow具体版本按训练/推理模型确定OpenCV 用于图像预处理LabelImg / X-AnyLabeling 用于缺陷标注FastAPI 或 Flask 用于部署推理服务PostgreSQL / SQLite 用于记录检测结果MQTT 或 HTTP Client 用于上报命令示例# 创建虚拟环境避免依赖冲突 python -m venv env_quality source env_quality/bin/activate # 安装基础依赖版本号需要按实际模型要求调整 pip install opencv-python torch torchvision fastapi uvicorn requests如果你的模型基于 YOLO 系列检测框架还需要安装对应的ultralytics包pip install ultralytics需要说明的是这里的版本号并不是固定的组合实操时先确认你的训练模型是基于什么框架导出的再安装对应依赖。4. 飞行动作方案设计“质检动作”是整个流程里最容易想简单、但实际最容易出问题的一环。碳纤维桨叶通常是细长曲面结构表面有弧度如果只从一个角度拍裂纹、划痕会因为透视关系被压缩或遮挡。因此飞行动作要解决的是“如何多角度覆盖桨叶表面”。4.1 航点任务设计以大疆常见的航点飞行文件为例一个基础巡检任务会包含坐标点、飞行高度、云台俯仰角、飞行速度等字段。下面给出一个示意 JSON 结构用于说明航点任务的基本字段实际导入时需要按你使用的机型软件平台转换格式{ mission_name: blade_inspection_01, waypoints: [ { lat: 30.123456, lon: 120.654321, altitude: 20.0, speed: 3.0, gimbal_pitch: -45, action: hover, hover_time: 3 }, { lat: 30.123467, lon: 120.654332, altitude: 15.0, speed: 2.0, gimbal_pitch: -60, action: hover, hover_time: 5 } ] }核心思路是在桨叶的一端开始沿轴向缓慢飞行每隔一段距离悬停云台从不同俯仰角度拍摄多张。桨尖部位弧度大需要增加拍摄密度桨根部位相对平缓可以适当降低密度。4.2 云台动作和拍摄角度正上方垂直往下拍适合观察桨叶整体轮廓和表面大面积污渍。斜向 45 度拍适合观察表面划痕和裂纹因为斜光会产生阴影增强缺陷视觉对比。低角度仰拍适合观察桨叶下表面和边缘崩口。侧向平拍适合观察桨叶边缘的纤维断裂和分层迹象。如果你的无人机云台支持预置位可以把以上几个角度设置为预设在每个航点自动切换这样批量任务可以保持一致的拍摄标准后续算法处理时也更稳定。4.3 安全距离与避障碳纤维桨叶通常安装在风机或设备顶部环境里可能存在金属结构件无人机靠近后容易出现视觉避障失效。更稳妥的做法是把避障策略调整为绕行或关闭特定方向的避障但前提是手动确认安全距离。飞行前先用低空测试航线跑一遍确认没有碰撞风险再执行正式任务。5. 图像采集与数据管理5.1 推荐拍摄参数参数项建议值说明图像格式JPEG RAWRAW 用于缺陷复核白平衡日光或手动避免偏色干扰识别ISO100 - 400避免噪点干扰细小裂纹快门速度1/1000s 或更快碳纤维表面纹理密集糊片会漏检对焦模式连续对焦桨叶表面弧面导致距离变化覆盖重叠率60% 以上同一区域至少从两个角度拍到5.2 目录结构建议每个桨叶使用独立编号存储方便批量质检和溯源data/ ├── blade_001/ │ ├── raw/ │ │ ├── 001.JPG │ │ ├── 002.JPG │ │ └── ... │ └── results/ │ ├── defects.csv │ └── report.html ├── blade_002/ │ ├── raw/ │ └── results/目录命名里保留桨叶编号、日期、型号例如blade_001_20250115_winglet避免后续混淆。6. 缺陷识别模型搭建6.1 缺陷标注这一步是决定质检准确率的关键。用 LabelImg 或 X-AnyLabeling 对拍摄到的碳纤维桨叶图像做标注缺陷类别建议包括crack裂纹scratch划痕delamination分层paint_breakage漆面破损oil_stain油污fiber_burr纤维毛刺标注时注意只标注可见缺陷不要为了凑样本把正常纹理也标进去。碳纤维本身的编织纹理和裂纹很容易混淆标注时要用边缘放大确认。6.2 训练与推理示例以 YOLO 系列检测模型为例训练完成后的推理脚本大致如下from ultralytics import YOLO # 加载训练好的模型 model YOLO(best.pt) # 对单张图片执行推理 results model.predict( sourcedata/blade_001/raw/001.JPG, conf0.35, save_txtTrue, save_confTrue, projectoutput/blade_001 ) for r in results: boxes r.boxes if boxes is not None: print(f检测到 {len(boxes)} 个缺陷目标)这里的conf0.35是一个参考阈值实际使用时需要根据误报率和漏检率调整。如果场景里误报过多可以提高阈值如果漏检严重则降低阈值。6.3 传统视觉补充深度学习模型不是唯一方案。对于漆面损伤、大面积油污用传统图像处理方法有时反而更稳定import cv2 import numpy as np img cv2.imread(data/blade_001/raw/001.JPG) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 高斯模糊降噪 blur cv2.GaussianBlur(gray, (5, 5), 0) # Canny 边缘检测适合观察表面裂纹走向 edges cv2.Canny(blur, 50, 150) cv2.imwrite(output/edges.jpg, edges)深度学习负责复杂纹理背景下的缺陷识别传统算法负责快速预处理和辅助定位。生产环境里经常是两种方法并联任一算法报警就进入人工复核。7. 批量任务与接口 API7.1 批量目录扫描实际巡检一次会产生大量图片手动一张张推理不现实。批量任务的核心是自动遍历目录每个桨叶单独输出检测结果import os from ultralytics import YOLO model YOLO(best.pt) raw_root data output_root reports for blade_dir in os.listdir(raw_root): blade_path os.path.join(raw_root, blade_dir, raw) blade_output os.path.join(output_root, blade_dir) os.makedirs(blade_output, exist_okTrue) if not os.path.isdir(blade_path): continue results model.predict( sourceblade_path, conf0.35, saveTrue, projectblade_output, namedetection ) # 汇总结果 defect_summary {} for r in results: if r.boxes is not None: for cls, conf in zip(r.boxes.cls, r.boxes.conf): label model.names[int(cls)] defect_summary[label] defect_summary.get(label, 0) 1 print(f{blade_dir} 缺陷汇总: {defect_summary})注意这里的路径结构每个桨叶目录下都有raw子目录存放原始图片。批量任务建议加日志把每个桨叶的图片数量和检测结果记录到文件方便失败后定位。7.2 HTTP 推理服务如果要把检测能力开放给其他系统可以快速封装一个推理 API使用 FastAPI 示例from fastapi import FastAPI, File, UploadFile from ultralytics import YOLO from PIL import Image import io app FastAPI() model YOLO(best.pt) app.post(/api/quality/inspect) async def inspect_image(file: UploadFile File(...)): image_data await file.read() img Image.open(io.BytesIO(image_data)).convert(RGB) results model.predict(img, conf0.35) defects [] for r in results: if r.boxes is not None: classes r.boxes.cls.tolist() confs r.boxes.conf.tolist() for cls, conf in zip(classes, confs): defects.append({ label: model.names[int(cls)], confidence: round(float(conf), 4) }) return { status: success, defect_count: len(defects), defects: defects }启动命令uvicorn api_quality:app --host 0.0.0.0 --port 8000调用示例import requests url http://127.0.0.1:8000/api/quality/inspect files {file: (blade_001.JPG, open(blade_001.JPG, rb), image/jpeg)} resp requests.post(url, filesfiles, timeout60) print(resp.json())接口服务上线后要注意访问范围。如果只是内网使用绑定127.0.0.1或内网 IP 即可不要直接暴露到公网如果需要公网访问建议加 API Key 或放在网关后面。7.3 结果上报与报表检测结果可以写入 SQLite 或 PostgreSQL也可以直接生成 CSV 汇总import csv def write_summary_csv(summary_data, csv_path): with open(csv_path, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([blade_id, defect_type, count]) for blade_id, defects in summary_data.items(): for defect_type, count in defects.items(): writer.writerow([blade_id, defect_type, count])建议把原始照片路径和缺陷坐标也写入结果表人工复核时可以直接跳转到原图对应区域。8. 资源占用与性能观察这里需要明确模型的显存占用和推理速度会受到模型结构、图像分辨率、批次大小的影响具体数字以你实际跑的模型为准。下面给出一套观察方法。8.1 显存与 GPU 占用观察推理过程中用nvidia-smi监控显存nvidia-smi -l 2重点观察显存是否接近极限如果超过 90%需要降低 batch size 或图像输入尺寸。GPU 利用率是否稳定如果利用率低但显存高可能在等待数据加载要检查磁盘 IO。多进程推理时每新增一个 worker 都会增加一份模型显存占用。8.2 CPU 推理与 GPU 推理差异CPU 推理部署简单、兼容性好但速度明显慢适合小批量出厂抽检。GPU 推理适合连续大批量任务例如一次巡检产生的几百张图片GPU 能在较短时间内完成。如果只有 CPU建议把输入图像缩放到一个固定尺寸例如 1280 像素长边减少计算量。8.3 降低显存占用的方法转换模型为 FP16 精度显存占用约降低一半。减少推理批大小一次只预测一张图。使用 TensorRT 导出加速版模型。把输入分辨率控制在模型训练时的原生尺寸附近不要盲目放大。这些优化需要按模型类型分布验证不能直接套用产线参数。9. 常见问题与排查方法问题现象可能原因排查方式解决方案无人机无法上传航线航点文件格式不匹配检查任务文件字段是否完整使用官方地面站软件重新导出航点任务图传画面卡顿无线干扰或带宽不足查看图传信道占用情况切换频段或降低图传码率拍摄图片模糊快门速度过慢检查 EXIF 快门参数提高快门速度或降低飞行速度对焦在背景上连续对焦失败试拍几张确认对焦点切换手动对焦预设到桨叶表面距离缺陷检测漏检训练样本不足或角度偏差抽查未检出的图片增加该场景样本数据并重新训练误报过多阈值设置过低检查低于阈值的框数量提高 conf 阈值或加入 NMS 后处理批量任务卡住某张图片路径异常或模型崩溃查看日志定位到具体目录在批量脚本中增加 try-except 跳过异常文件API 请求超时推理时间过长或并发过高用单图测试接口耗时增加超时时间或改用异步任务队列显存不足模型过大或 batch size 过高观察 nvidia-smi 占用降低 batch size 或使用 FP16批量任务最容易出的问题就是某一张图片格式损坏导致进程退出。生产环境里的批量脚本一定要在每个文件处理外面加异常捕获import traceback try: result model.predict(sourceimg_path) # 处理结果 except Exception as e: print(f处理失败: {img_path}) print(traceback.format_exc()) continue10. 最佳实践与使用建议结合工业质检项目的落地经验以下几点建议放在前面第一次先小规模验证不要直接跑完整巡检先用一个桨叶、几十张图片跑通“飞行采集 - 模型推理 - 结果导出”的完整链路再做批量扩展。保留一套最小可运行配置无人机航点文件、相机参数、模型权重、推理脚本都固定版本写进项目 README避免团队协作时配置漂移。数据分目录管理原始图片、标注文件、模型输出、质检报告必须分开存放且按日期和桨叶编号组织。模型要持续迭代碳纤维表面缺陷形态多变建议每收集一批新场景数据就做一次增量训练同时记录版本。接口服务要限制访问推理服务不要直接暴露公网至少加一层 API Key 校验批量任务必须写日志方便断点续跑。人工复核不可省略自动检测结果作为辅助判断最终质检报告需要人工确认签字后生效。合规红线要牢记无人机飞行前确认实名登记、飞行区域和高度合规拍摄第三方设施或无授权设备需要取得明确许可涉及人脸、车牌等敏感信息时要做脱敏处理。替换大疆无人机的原厂碳纤维桨叶时也建议重点检查新桨叶表面是否有出厂划痕、边缘是否齐整并在装机前拍摄一组图像留档。一旦有磕碰后后续质检可以直接对比初始状态判断损伤是否属于新增。11. 总结与下一步这个方案最值得尝试的点是把无人机的飞行机动能力直接变成质检数据采集能力。相比人工手持拍摄无人机能稳定复现同一条拍摄路线得到的图像数据一致性更强后续模型训练和缺陷识别会稳定很多。建议第一步先做一次小范围试飞选一个桨叶规划一条包含悬停、云台俯仰切换的短航线拍 50 到 80 张图片。然后用预训练检测模型跑一遍重点看裂纹和划痕能不能被正确框出。这一步通过后再上批量目录扫描和 API 服务。最容易踩的坑有两个一是航点任务里云台角度设置不合理导致桨叶表面大面积反光或过曝图像完全不能用二是训练数据里没有覆盖多种光照条件下的图片模型一到现场就误报。解决思路也简单前期先把光线环境控制好再逐步增加复杂场景样本。后续可以考虑把检测结果接到企业内部工单系统桨叶一旦出现缺陷自动生成维修工单并把无人机采集到的原始图像、缺陷类型、置信度、坐标一起归档。这样整个质检链路就不再是单点工具而是一套完整的闭环系统。
无人机巡检碳纤维桨叶：飞行动作设计与视觉质检落地指南
看到“大疆无人机质检动作碳纤维桨叶”这个题目大部分人的第一反应是这到底是讲无人机巡检还是讲碳纤维桨叶本身的质量检查更准确的解读是这是一个典型的硬件平台 飞控动作规划 视觉识别算法的组合工程。简单说就是用大疆无人机按规划好的飞行动作对碳纤维桨叶进行近距离多角度拍摄再把图像交给视觉模型去识别表面缺陷最后自动生成质检结论。这个方向这几年在风电叶片巡检、工业复合材料构件维保、无人机自身桨叶健康检查里非常实用。以前是老师傅肉眼判断或者爬高拍摄效率低且危险。现在无人机悬停到桨叶附近自动走一段航线配合电动云台调整角度就能在几分钟内拿到一批高清图像后续用目标检测或分割模型把裂纹、划伤、分层、油污这些缺陷标出来。这次我们重点拆解三块巡检飞行动作怎么设计、碳纤维桨叶图像怎么高效采集、缺陷识别和批量任务怎么落地。后面还会给出一整套环境准备、代码示例、接口调用、常见排查清单。如果你正在做无人机巡检、工业视觉质检或者想把自己的检测模型接到大疆平台上这篇文章可以直接收藏。1. 核心能力速览能力项说明项目类型无人机飞行巡检 碳纤维桨叶表面缺陷视觉质检检测对象碳纤维桨叶表面裂纹、划痕、分层、漆面破损、油污、纤维毛刺等飞行动作能力航点任务、定点悬停、云台多角度拍摄、沿桨叶轴向往返扫描硬件平台大疆行业无人机如 Mavic 3E/3T、Matrice 30 系列等按实际机型为准视觉识别方式本地边缘计算推理 / 地面站服务器推理批量任务支持多桨叶编号目录批量扫描、批量生成质检报告接口能力可通过 HTTP/MQTT 上报检测结果或调用推理服务接口检测精度取决于图像分辨率和缺陷标注数据集结论需结合人工复核合规要求无人机实名登记、遵守当地飞行管理要求涉及第三方资产需授权这套系统的核心不是单一模型而是“飞行动作 图像采集 缺陷识别 结果上报”四个环节。任何一个环节脱节都会导致质检结论不可靠所以后面所有步骤都围绕这四环展开。2. 适用场景与使用边界这个方案适合以下几类场景风电叶片巡检叶片属于大尺寸碳纤维/玻璃纤维复合材料结构无人机沿叶片表面规划航线替代人工吊篮或爬塔机。桨叶出厂抽检工厂质检部门用无人机对碳纤维桨叶样品做外观快速筛查提前发现漆面缺陷和表面裂纹。无人机自身的桨叶保养检查定期用另外一台无人机或同一台机位悬停拍摄旋翼表面状态检查是否有异物撞击损伤。复合材料工件外观质检只要是表面可见缺陷识别这套流程可以迁移到其他碳纤维结构件上。但是也要说清楚边界。视觉检测只能发现表面缺陷碳纤维内部的层间分层有时候表面并无明显裂纹需要借助超声相控阵、红外热成像等主动检测手段视觉方案无法替代。对于大风、雨天、强光反射等恶劣环境图像质量会下降直接影响识别准确率。还需要明确无人机属于受控飞行设备使用前必须完成实名登记并在合规空域内飞行对第三方设备或厂区设施拍摄质检应当先取得管理方或产权方的明确授权。3. 环境准备与前置条件3.1 硬件环境无人机平台优先选择支持航线任务的行业机型能够导入航点文件支持云台俯仰控制和定点悬停。相机建议使用 2000 万像素级别以上相机画质优先选 RAW/JPEG 双格式保存。碳纤维表面纹理细密像素不足会漏掉细小裂纹。补光设备碳纤维表面反射较强室外顺光/侧光拍摄效果更好必要时使用机载补光灯或地面反光板。地面站电脑用于规划任务、接收图像、跑推理模型。如果模型较大建议使用带有独立显卡的电脑显存根据模型大小确定。边缘计算模块可选如果要在无人机端或近端实时检测需要载板电脑或机载 AI 模块例如 NVIDIA Jetson 系列。这里特别提醒碳纤维是导电材料破损后的纤维碎屑容易导致设备短路拍摄时无人机应与桨叶保持安全距离不要贴近到可能碰撞的距离。3.2 软件环境视觉推理部分推荐以下基础环境Python 3.9 及以上PyTorch 或 TensorFlow具体版本按训练/推理模型确定OpenCV 用于图像预处理LabelImg / X-AnyLabeling 用于缺陷标注FastAPI 或 Flask 用于部署推理服务PostgreSQL / SQLite 用于记录检测结果MQTT 或 HTTP Client 用于上报命令示例# 创建虚拟环境避免依赖冲突 python -m venv env_quality source env_quality/bin/activate # 安装基础依赖版本号需要按实际模型要求调整 pip install opencv-python torch torchvision fastapi uvicorn requests如果你的模型基于 YOLO 系列检测框架还需要安装对应的ultralytics包pip install ultralytics需要说明的是这里的版本号并不是固定的组合实操时先确认你的训练模型是基于什么框架导出的再安装对应依赖。4. 飞行动作方案设计“质检动作”是整个流程里最容易想简单、但实际最容易出问题的一环。碳纤维桨叶通常是细长曲面结构表面有弧度如果只从一个角度拍裂纹、划痕会因为透视关系被压缩或遮挡。因此飞行动作要解决的是“如何多角度覆盖桨叶表面”。4.1 航点任务设计以大疆常见的航点飞行文件为例一个基础巡检任务会包含坐标点、飞行高度、云台俯仰角、飞行速度等字段。下面给出一个示意 JSON 结构用于说明航点任务的基本字段实际导入时需要按你使用的机型软件平台转换格式{ mission_name: blade_inspection_01, waypoints: [ { lat: 30.123456, lon: 120.654321, altitude: 20.0, speed: 3.0, gimbal_pitch: -45, action: hover, hover_time: 3 }, { lat: 30.123467, lon: 120.654332, altitude: 15.0, speed: 2.0, gimbal_pitch: -60, action: hover, hover_time: 5 } ] }核心思路是在桨叶的一端开始沿轴向缓慢飞行每隔一段距离悬停云台从不同俯仰角度拍摄多张。桨尖部位弧度大需要增加拍摄密度桨根部位相对平缓可以适当降低密度。4.2 云台动作和拍摄角度正上方垂直往下拍适合观察桨叶整体轮廓和表面大面积污渍。斜向 45 度拍适合观察表面划痕和裂纹因为斜光会产生阴影增强缺陷视觉对比。低角度仰拍适合观察桨叶下表面和边缘崩口。侧向平拍适合观察桨叶边缘的纤维断裂和分层迹象。如果你的无人机云台支持预置位可以把以上几个角度设置为预设在每个航点自动切换这样批量任务可以保持一致的拍摄标准后续算法处理时也更稳定。4.3 安全距离与避障碳纤维桨叶通常安装在风机或设备顶部环境里可能存在金属结构件无人机靠近后容易出现视觉避障失效。更稳妥的做法是把避障策略调整为绕行或关闭特定方向的避障但前提是手动确认安全距离。飞行前先用低空测试航线跑一遍确认没有碰撞风险再执行正式任务。5. 图像采集与数据管理5.1 推荐拍摄参数参数项建议值说明图像格式JPEG RAWRAW 用于缺陷复核白平衡日光或手动避免偏色干扰识别ISO100 - 400避免噪点干扰细小裂纹快门速度1/1000s 或更快碳纤维表面纹理密集糊片会漏检对焦模式连续对焦桨叶表面弧面导致距离变化覆盖重叠率60% 以上同一区域至少从两个角度拍到5.2 目录结构建议每个桨叶使用独立编号存储方便批量质检和溯源data/ ├── blade_001/ │ ├── raw/ │ │ ├── 001.JPG │ │ ├── 002.JPG │ │ └── ... │ └── results/ │ ├── defects.csv │ └── report.html ├── blade_002/ │ ├── raw/ │ └── results/目录命名里保留桨叶编号、日期、型号例如blade_001_20250115_winglet避免后续混淆。6. 缺陷识别模型搭建6.1 缺陷标注这一步是决定质检准确率的关键。用 LabelImg 或 X-AnyLabeling 对拍摄到的碳纤维桨叶图像做标注缺陷类别建议包括crack裂纹scratch划痕delamination分层paint_breakage漆面破损oil_stain油污fiber_burr纤维毛刺标注时注意只标注可见缺陷不要为了凑样本把正常纹理也标进去。碳纤维本身的编织纹理和裂纹很容易混淆标注时要用边缘放大确认。6.2 训练与推理示例以 YOLO 系列检测模型为例训练完成后的推理脚本大致如下from ultralytics import YOLO # 加载训练好的模型 model YOLO(best.pt) # 对单张图片执行推理 results model.predict( sourcedata/blade_001/raw/001.JPG, conf0.35, save_txtTrue, save_confTrue, projectoutput/blade_001 ) for r in results: boxes r.boxes if boxes is not None: print(f检测到 {len(boxes)} 个缺陷目标)这里的conf0.35是一个参考阈值实际使用时需要根据误报率和漏检率调整。如果场景里误报过多可以提高阈值如果漏检严重则降低阈值。6.3 传统视觉补充深度学习模型不是唯一方案。对于漆面损伤、大面积油污用传统图像处理方法有时反而更稳定import cv2 import numpy as np img cv2.imread(data/blade_001/raw/001.JPG) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 高斯模糊降噪 blur cv2.GaussianBlur(gray, (5, 5), 0) # Canny 边缘检测适合观察表面裂纹走向 edges cv2.Canny(blur, 50, 150) cv2.imwrite(output/edges.jpg, edges)深度学习负责复杂纹理背景下的缺陷识别传统算法负责快速预处理和辅助定位。生产环境里经常是两种方法并联任一算法报警就进入人工复核。7. 批量任务与接口 API7.1 批量目录扫描实际巡检一次会产生大量图片手动一张张推理不现实。批量任务的核心是自动遍历目录每个桨叶单独输出检测结果import os from ultralytics import YOLO model YOLO(best.pt) raw_root data output_root reports for blade_dir in os.listdir(raw_root): blade_path os.path.join(raw_root, blade_dir, raw) blade_output os.path.join(output_root, blade_dir) os.makedirs(blade_output, exist_okTrue) if not os.path.isdir(blade_path): continue results model.predict( sourceblade_path, conf0.35, saveTrue, projectblade_output, namedetection ) # 汇总结果 defect_summary {} for r in results: if r.boxes is not None: for cls, conf in zip(r.boxes.cls, r.boxes.conf): label model.names[int(cls)] defect_summary[label] defect_summary.get(label, 0) 1 print(f{blade_dir} 缺陷汇总: {defect_summary})注意这里的路径结构每个桨叶目录下都有raw子目录存放原始图片。批量任务建议加日志把每个桨叶的图片数量和检测结果记录到文件方便失败后定位。7.2 HTTP 推理服务如果要把检测能力开放给其他系统可以快速封装一个推理 API使用 FastAPI 示例from fastapi import FastAPI, File, UploadFile from ultralytics import YOLO from PIL import Image import io app FastAPI() model YOLO(best.pt) app.post(/api/quality/inspect) async def inspect_image(file: UploadFile File(...)): image_data await file.read() img Image.open(io.BytesIO(image_data)).convert(RGB) results model.predict(img, conf0.35) defects [] for r in results: if r.boxes is not None: classes r.boxes.cls.tolist() confs r.boxes.conf.tolist() for cls, conf in zip(classes, confs): defects.append({ label: model.names[int(cls)], confidence: round(float(conf), 4) }) return { status: success, defect_count: len(defects), defects: defects }启动命令uvicorn api_quality:app --host 0.0.0.0 --port 8000调用示例import requests url http://127.0.0.1:8000/api/quality/inspect files {file: (blade_001.JPG, open(blade_001.JPG, rb), image/jpeg)} resp requests.post(url, filesfiles, timeout60) print(resp.json())接口服务上线后要注意访问范围。如果只是内网使用绑定127.0.0.1或内网 IP 即可不要直接暴露到公网如果需要公网访问建议加 API Key 或放在网关后面。7.3 结果上报与报表检测结果可以写入 SQLite 或 PostgreSQL也可以直接生成 CSV 汇总import csv def write_summary_csv(summary_data, csv_path): with open(csv_path, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([blade_id, defect_type, count]) for blade_id, defects in summary_data.items(): for defect_type, count in defects.items(): writer.writerow([blade_id, defect_type, count])建议把原始照片路径和缺陷坐标也写入结果表人工复核时可以直接跳转到原图对应区域。8. 资源占用与性能观察这里需要明确模型的显存占用和推理速度会受到模型结构、图像分辨率、批次大小的影响具体数字以你实际跑的模型为准。下面给出一套观察方法。8.1 显存与 GPU 占用观察推理过程中用nvidia-smi监控显存nvidia-smi -l 2重点观察显存是否接近极限如果超过 90%需要降低 batch size 或图像输入尺寸。GPU 利用率是否稳定如果利用率低但显存高可能在等待数据加载要检查磁盘 IO。多进程推理时每新增一个 worker 都会增加一份模型显存占用。8.2 CPU 推理与 GPU 推理差异CPU 推理部署简单、兼容性好但速度明显慢适合小批量出厂抽检。GPU 推理适合连续大批量任务例如一次巡检产生的几百张图片GPU 能在较短时间内完成。如果只有 CPU建议把输入图像缩放到一个固定尺寸例如 1280 像素长边减少计算量。8.3 降低显存占用的方法转换模型为 FP16 精度显存占用约降低一半。减少推理批大小一次只预测一张图。使用 TensorRT 导出加速版模型。把输入分辨率控制在模型训练时的原生尺寸附近不要盲目放大。这些优化需要按模型类型分布验证不能直接套用产线参数。9. 常见问题与排查方法问题现象可能原因排查方式解决方案无人机无法上传航线航点文件格式不匹配检查任务文件字段是否完整使用官方地面站软件重新导出航点任务图传画面卡顿无线干扰或带宽不足查看图传信道占用情况切换频段或降低图传码率拍摄图片模糊快门速度过慢检查 EXIF 快门参数提高快门速度或降低飞行速度对焦在背景上连续对焦失败试拍几张确认对焦点切换手动对焦预设到桨叶表面距离缺陷检测漏检训练样本不足或角度偏差抽查未检出的图片增加该场景样本数据并重新训练误报过多阈值设置过低检查低于阈值的框数量提高 conf 阈值或加入 NMS 后处理批量任务卡住某张图片路径异常或模型崩溃查看日志定位到具体目录在批量脚本中增加 try-except 跳过异常文件API 请求超时推理时间过长或并发过高用单图测试接口耗时增加超时时间或改用异步任务队列显存不足模型过大或 batch size 过高观察 nvidia-smi 占用降低 batch size 或使用 FP16批量任务最容易出的问题就是某一张图片格式损坏导致进程退出。生产环境里的批量脚本一定要在每个文件处理外面加异常捕获import traceback try: result model.predict(sourceimg_path) # 处理结果 except Exception as e: print(f处理失败: {img_path}) print(traceback.format_exc()) continue10. 最佳实践与使用建议结合工业质检项目的落地经验以下几点建议放在前面第一次先小规模验证不要直接跑完整巡检先用一个桨叶、几十张图片跑通“飞行采集 - 模型推理 - 结果导出”的完整链路再做批量扩展。保留一套最小可运行配置无人机航点文件、相机参数、模型权重、推理脚本都固定版本写进项目 README避免团队协作时配置漂移。数据分目录管理原始图片、标注文件、模型输出、质检报告必须分开存放且按日期和桨叶编号组织。模型要持续迭代碳纤维表面缺陷形态多变建议每收集一批新场景数据就做一次增量训练同时记录版本。接口服务要限制访问推理服务不要直接暴露公网至少加一层 API Key 校验批量任务必须写日志方便断点续跑。人工复核不可省略自动检测结果作为辅助判断最终质检报告需要人工确认签字后生效。合规红线要牢记无人机飞行前确认实名登记、飞行区域和高度合规拍摄第三方设施或无授权设备需要取得明确许可涉及人脸、车牌等敏感信息时要做脱敏处理。替换大疆无人机的原厂碳纤维桨叶时也建议重点检查新桨叶表面是否有出厂划痕、边缘是否齐整并在装机前拍摄一组图像留档。一旦有磕碰后后续质检可以直接对比初始状态判断损伤是否属于新增。11. 总结与下一步这个方案最值得尝试的点是把无人机的飞行机动能力直接变成质检数据采集能力。相比人工手持拍摄无人机能稳定复现同一条拍摄路线得到的图像数据一致性更强后续模型训练和缺陷识别会稳定很多。建议第一步先做一次小范围试飞选一个桨叶规划一条包含悬停、云台俯仰切换的短航线拍 50 到 80 张图片。然后用预训练检测模型跑一遍重点看裂纹和划痕能不能被正确框出。这一步通过后再上批量目录扫描和 API 服务。最容易踩的坑有两个一是航点任务里云台角度设置不合理导致桨叶表面大面积反光或过曝图像完全不能用二是训练数据里没有覆盖多种光照条件下的图片模型一到现场就误报。解决思路也简单前期先把光线环境控制好再逐步增加复杂场景样本。后续可以考虑把检测结果接到企业内部工单系统桨叶一旦出现缺陷自动生成维修工单并把无人机采集到的原始图像、缺陷类型、置信度、坐标一起归档。这样整个质检链路就不再是单点工具而是一套完整的闭环系统。
