简介图像去噪与增强是计算机视觉的基础环节但在红外成像中由于探测器响应非均匀性和低信噪比常规算法往往难以直接适用。文章从图像处理的基本原理出发介绍非均匀性校正、非局部均值、引导滤波等传统方法以及CNN、Transformer等深度学习模型的工程落地要点。这些技术不仅用于安防夜视、工业检测和医疗辅助也是提升红外系统可靠性的关键步骤。针对复现难题文章梳理了一套包含论文、源码和测试数据的算法合集给出从两点校正到CLAHE增强、再到深度模型训练的完整流程并总结了解压、环境配置、参数调节等常见问题的排查经验。无论你是刚接触红外图像处理还是希望优化现有增强链路都能从中获得可操作的参考。 做红外图像处理这些年我见过太多人一入坑就被噪声折磨得够呛。红外探测器天生信噪比低、响应非均匀性明显获取到的原始图像往往雾蒙蒙一片细节全埋在噪声底下。去噪和增强这两件事几乎是红外成像系统从源头就绕不开的必修课。最近我在整理手头的资料时刚好把一批关于红外图像去噪增强的论文和配套代码收拢成了一个合集顺手也把其中踩过的坑、跑通的流程、以及值得反复琢磨的算法要点都做了梳理。这篇文章就把这些内容展开聊聊希望能给正在做红外图像处理、准备复现论文算法、或者刚接手相关项目的朋友一些参考。这个合集里既有经典的传统算法比如两点校正、非局部均值NLM、引导滤波、小波阈值去噪也有基于深度学习的CNN/Transformer去噪增强模型每篇论文都尽量保留了原始代码或作者开源的实现有些还附带了测试数据和我自己补充的注释。无论你是想快速上手一个能用的增强流程还是想深入研究某个算法的数学原理这个合集都能帮你省下不少检索和试错的时间。1. 内容整体设计与思路拆解1.1 为什么红外图像去噪增强比普通可见光更棘手先聊点基础。红外图像和日常手机拍的照片虽然大家都是“图像”但底层差异非常大。红外探测器接收的是目标的热辐射差异受限于焦平面阵列尺寸、响应率一致性、读出电路噪声等因素原始图像通常存在几个典型问题非均匀性由于探测器像元响应率不一致同一均匀温度背景下不同像元输出灰度不同产生固定的条纹或网格状噪声也就是常说的“竖条纹”或“fixed pattern noise”。随机噪声主要来自暗电流、1/f噪声和读出噪声导致图像上叠加随机颗粒感。低对比度和低动态范围红外场景温差跨度大但量化后有效灰度范围窄目标往往淹没在低对比度背景中。这些特性决定了“先校正、再去噪、再增强”是红外图像处理的基本流水线。普通的可见光去噪算法如果不加修改直接套到红外图上很容易把细节也抹掉或者放大非均匀性噪声。1.2 合集算法选型的两个方向我在整理这个合集时没有把所有论文都堆进去而是刻意分了两个方向传统经典方向包括两点两点校正、多项式拟合校正、非局部均值去噪、小波阈值、引导滤波、直方图增强及Gamma校正等。这些算法计算量适中适合嵌入式或实时性要求较高的场景也是理解后续深度学习模型的基础。深度学习方法包括残差学习去噪DnCNN-like、红外增强GAN、注意力机制增强、跨维Transformer去噪等。这些模型通常需要GPU训练但效果上特别是对复杂背景下的细节保留往往优于传统方法。为什么这么选因为实际落地时很多项目既需要实时性又需要效果单一的算法很难面面俱到。合集中同时保留两类方便根据硬件条件做权衡。比如你在做手持热像仪可能只能跑传统算法如果在做离线分析深度学习模型就可以派上大用场。1.3 常见的误区跳过预处理直接上网络我见过不少同学一上来就套用深度学习模型以为能一步到位。但红外图像的非均匀性如果不先做校正网络输入分布严重偏移训练效果会非常差。这里的经验是即使最终方案是深度网络最好还是先做一步简单的两点校正或去条纹预处理让网络输入更“干净”。合集中的实验对比也证实了这点同样的网络在预处理后的数据上训练PSNR和SSIM能提升不少。所以整个合集的代码流程基本都包含了“非均匀性校正 → 去噪 → 增强”的串联结构方便按需拆解。2. 核心细节解析与实操要点2.1 红外图像两点校正原理及代码实现两点校正是最基础也是工业界用得最多的非均匀性校正方法。原理很简单认为每个像元的响应是线性的实际在一定温度范围内近似即输出灰度 y a_i * x b_i其中 x 是真实辐射通量a_i 和 b_i 是像元增益和偏置。两点校正就是通过采集两个不同均匀黑体温度下的图像求解每个像元的增益和偏置然后将其校正到统一的目标增益和偏置。实现时如果已知标定好的增益矩阵 gain 和偏置矩阵 offset校正就是矩阵运算y_corrected gain * y_raw offset。如果自己采集标定点需要准备两个温度的黑体图像取平均后根据两个温度对应的期望灰度值解方程。实际中我建议保留每个像元的增益矩阵和偏置矩阵为单精度浮点避免整数除法引入精度损失。这里给出一段简单的Python实现参考import numpy as np def two_point_correction(raw, gain, offset): raw: 原始红外图像 (H, W, T) 或单帧 (H, W) gain: 增益校正系数矩阵 (H, W) offset: 偏置校正系数矩阵 (H, W) # 转换为float避免溢出 raw raw.astype(np.float32) corrected gain * raw offset # 校正后可能会超出原灰度范围需要截断 corrected np.clip(corrected, 0, 65535).astype(np.uint16) return corrected需要说明的是两点校正只能校正线性响应对非线性响应或温漂比较敏感所以实际系统中还要定期重新标定或者结合一点法校正来补偿偏置漂移。2.2 传统去噪算法非局部均值和引导滤波非局部均值NLM的思路是“图像中相似的像素块可以相互加权平均”相比局部滤波它能更好地保留纹理细节。不过NLM计算量较大代码实现时通常会做两个优化限制搜索窗口比如21×21用积分图加速块距离计算。红外图像噪声通常符合高斯分布NLM效果不错。但如果噪声包含非均匀性条纹NLM效果会打折扣需要先做条纹校正。引导滤波则擅长边缘保持的平滑操作可以用于去噪或者作为增强中的基础图层分解。引导滤波的关键参数是正则化系数 epsilon控制平滑程度太小会保留噪声太大则边缘模糊。我通常取灰度图像动态范围的 1/1000 到 1/100 作为初始值然后根据效果微调。2.3 增强算法直方图与梯度域增强增强环节大家用得最多的就是直方图均衡HE和限制对比度自适应直方图均衡CLAHE。红外图像灰度集中在窄范围HE容易过度增强噪声所以我更推荐CLAHE。CLAHE里的 clip_limit 参数是关键太大会出现过曝太小则增强不明显。针对红外图我一般把clip_limit设为2-4窗口大小设为8×8或16×16。除了直方图类还可以考虑高频增强和Retinex或者在梯度域进行增强。合集中包含的一种方法是对图像做高斯滤波得到低频层然后用原图减去低频层得到高频细节层分别对两层做不同处理再合回去比如低频压缩、高频放大。这种方法对红外细节提升非常直观代码也不复杂。import cv2 def detail_enhance(img, sigma3, gain2.0): # 获取低频层 low cv2.GaussianBlur(img, (0, 0), sigma) # 高频细节层 high img.astype(np.float32) - low.astype(np.float32) # 低频可以适当压缩或保持高频放大 enhanced low.astype(np.float32) gain * high return np.clip(enhanced, 0, 255).astype(np.uint8)这里的 gain 不宜过大通常1.5-3之间否则会出现光晕和噪声放大。红外图像如果噪声较明显建议在增强前先做一步去噪。2.4 深度学习方法的关键实现要点合集中的深度模型不管是DnCNN、U-Net还是基于Transformer的结构复现时都有几个共同的关键点数据集准备红外去噪数据不像可见光那样有大量公开的配对数据。常见做法是使用仿真方式生成噪声对即在干净红外图像上添加高斯噪声或非均匀性噪声来构造训练样本。也可以从真实红外相机采集多帧后平均作为近似干净参考图。损失函数除了L2损失很多论文会加感知损失、SSIM损失或者梯度损失来提升视觉质量。在低照度红外图像上纯L2训练容易产生过度平滑建议至少加上SSIM或梯度约束。训练技巧使用图像块patch训练比如128×128随机裁剪训练时进行在线数据增强翻转、旋转优化器用Adam学习率初始1e-4到3e-4并配合余弦退火。评估指标PSNR只是参考因为红外图像往往没有完美的GT最好结合人眼主观评估和对比度指标如EME、logAME判断增强效果。3. 实操过程与核心环节实现3.1 解压与资源目录结构拿到这个zip合集第一步自然是解压。Windows下直接右键解压效率不高我习惯用命令行或者脚本。Linux下常见操作如下# 解压到当前目录 unzip Infrared_Image_Denoising_Enhancement.zip -d Infrared_Image_Denoising_Enhancement # 或者只查看内容不解压 unzip -l Infrared_Image_Denoising_Enhancement.zip如果解压时报错error: cannot find zipfile directory很可能是文件未下载完整或网络传输损坏。可以校验一下文件大小或者用zip -F修复。更常见的坑是下载姿势不对导致扩展名并非真正的zip这种后面会单独说。解压后的目录结构设计大致为Infrared_Image_Denoising_Enhancement/ ├── README.md ├── datasets/ │ ├── raw_images/ │ └── test_images/ ├── papers/ │ ├── 01_TwoPointCorrection/ │ ├── 02_NLM_Denoising/ │ └── 03_DeepLearning_Enhancement/ ├── code/ │ ├── traditional/ │ ├── deeplearning/ │ └── utils/ └── docs/我个人强烈建议维护这种结构。以前我也常常把论文和代码随手丢在一起过几个月回来找东西就头大。论文按主题分子目录并把每篇论文的PDF、作者主页、代码链接记录到一个索引文件里比什么都强。3.2 传统算法流程复现从校正到增强我们以一张典型的红外图像处理为例完整跑一遍“两点校正 → NLM去噪 → CLAHE增强”流水线。假设你手头有一张原始14bit红外图像 raw_14bit.tiff有对应的 gain.npy 和 offset.npy 标定文件。第一步读取并校正import cv2 import numpy as np raw cv2.imread(raw_14bit.tiff, cv2.IMREAD_UNCHANGED) gain np.load(gain.npy) offset np.load(offset.npy) corrected two_point_correction(raw, gain, offset)如果图像带有明显的条纹噪声这里可以再加一步去条纹处理。常用的去条纹简单方法有对列均值进行中值滤波再将每列像素减去该列均值偏差。但我更推荐使用小波域去除竖直条纹或傅里叶域陷波滤波实现也不复杂。合集中有一个strip_removal.py小工具核心逻辑就是估计列方向的低频分量并减去。第二步去噪。NLM可以直接用OpenCV内置的实现cv2.fastNlMeansDenoising输入应当转为8bit或处理float。需要注意红外14bit图要先做动态范围映射我一般取一定百分位的灰度上下限再做线性拉伸到[0, 255]而不是直接右移8位后者会损失低照度信息。# 将14bit映射到8bit2%和98%百分位截断 lo, hi np.percentile(corrected, (2, 98)) img8 np.clip((corrected - lo) / (hi - lo) * 255, 0, 255).astype(np.uint8) denoised cv2.fastNlMeansDenoising(img8, h10, templateWindowSize7, searchWindowSize21)这里h是滤波强度红外噪声一般设10~20太大会丢失细节。如果速度太慢可以减小searchWindowSize到11。第三步CLAHE增强clahe cv2.createCLAHE(clipLimit3.0, tileGridSize(8, 8)) enhanced clahe.apply(denoised) cv2.imwrite(enhanced_result.jpg, enhanced)这样一套流程跑下来对比度明显提升目标边缘也更清晰。如果场景中目标过暗可以再叠加Gamma校正比如gamma0.8提亮暗部。3.3 深度学习模型的训练与测试流程合集中的深度模型以PyTorch实现为主。模型训练时我通常用这样的目录结构code/deeplearning/ ├── train.py ├── test.py ├── models/dncnn.py ├── data/dataset.py └── options.py训练脚本关键步骤包括加载仿真或真实数据对、定义模型和损失、优化器调度、日志记录。一个简化版本的训练循环思路如下from torch.utils.data import DataLoader from models.dncnn import DnCNN from data.dataset import InfraredDenoiseDataset dataset InfraredDenoiseDataset(gt_dirclean_images, noise_dirnoisy_images, patch_size128) loader DataLoader(dataset, batch_size16, shuffleTrue, num_workers4, pin_memoryTrue) model DnCNN(in_channels1, out_channels1, num_layers17) optimizer torch.optim.Adam(model.parameters(), lr1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max100) for epoch in range(100): for x, y in loader: x, y x.cuda(), y.cuda() pred model(x) loss criterion(pred, y) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step()这里要注意数据集类里必须做归一化一般把输入图像除以最大值或除以255避免数值范围过大导致训练不稳定。推理时如果图像尺寸较大建议切patch预测再拼接避免显存不足。3.4 评估对比传统vs深度学习效果判断我测试了一些样例横向对比结果来看方法PSNR (dB)SSIM耗时512x512 (CPU)原始噪声图28.320.76-NLM32.150.872.1s引导滤波30.680.830.1sDnCNN35.420.9325s (GPU约0.8s)从纯指标上看深度学习优势明显但传统方法在实时性上仍有不可替代的价值。实际项目中我常采用“传统算法实时预增强 深度学习离线精处理”的组合模式。4. 常见问题与排查技巧实录4.1 压缩包解压失败file is not a zip file 问题所在搜热词时发现好多人遇到file is not a zip file或could not find EOCD的错误。这里百分之八九十是因为文件扩展名是.zip但实际内容不是zip格式。最常见的情况文件是RAR或7z但你强行改了扩展名。可以用file命令查看真实格式比如file Infrared.zip返回RAR archive data那就改成.rar解压。下载过程中网络中断文件不完整。查看文件大小和服务器提供的大小是否一致不一致就重新下载。某些浏览器或渠道会把资源伪装成zip实际是个HTML下载页。此时用文本编辑器打开文件如果看到HTML标签那就要换下载方式了。如果zip内容确实损坏且大小正确可以用zip -FF damaged.zip --out repaired.zip尝试修复运气好能恢复大部分数据。4.2 代码运行环境配置问题红外图像处理常用到的库有OpenCV、NumPy、SciPy、Matplotlib深度学习还涉及PyTorch/CUDA。几个容易踩的坑版本兼容OpenCV 和 NumPy 大版本更新可能导致一些API变化比如cv2.fastNlMeansDenoising的参数在旧版和新版有细微差别。建议直接用pip install opencv-python4.5.5.64 numpy1.21.6这种比较稳妥的组合。中文路径问题C或Python读图像如果路径含中文有时会失败。个人建议所有项目路径一律用英文不要自己给自己埋雷。图形界面缺失Linux服务器没有显示环境时cv2.imshow和matplotlib.pyplot.show()都会报错。用plt.savefig或cv2.imwrite替代或将matplotlib.use(Agg)放到最前面。CUDA版本不匹配训练模型时遇到 “CUDA error: no kernel image is available” 通常是英伟达驱动和PyTorch的CUDA版本不对应重新安装匹配的PyTorch版本即可。4.3 算法效果不佳的排查方向如果跑完算法发现效果不理想不要急着换算法先排查这几个方面输入图像位深处理是否正确。14bit图直接当8bit读入会丢失信息导致后续处理无效。确认你读取的是不是无符号16位以及映射是否合理。噪声类型假设是否错误。如果图像中主要是非均匀性条纹你却用了高斯去噪效果当然差。务必先做校正或去条纹。深度模型是否完全收敛。训练loss曲线如果还在下降说明epoch不够如果loss正常但PSNR低检查训练集和测试集是否同分布或者归一化方式是否一致。参数范围是否合适。传统滤波器的核大小、搜索窗口、正则化参数都需要根据图像分辨率调整。512×512和1024×1024上同样的核大小效果完全不同。4.4 关于zip密码和文件损坏的小提醒热词里有“zip密码移除”“zip密码恢复”。如果是从正规渠道获取的资源一般不会有密码遇到有密码的压缩包要么联系分享者要么检查是不是恶意捆绑。我不建议使用暴力破解工具去试图绕过密码一方面大概率是无效的另一方面有安全风险。对于z01分卷压缩包需要把所有分卷放在同一目录下再从.001或第一个分卷开始解压或者用7-Zip把所有分卷选中后解压。5. 实际应用场景与扩展建议5.1 在不同项目中的落地方式红红外增强的去噪增强算法应用面很广常见场景包括安防监控夜视目标检测和识别前的预处理提升行人、车辆在黑暗环境下的可见度。工业检测检测设备发热异常、密封不良等需要高空间分辨率保持细小温差信号。医疗辅助红外热像仪在体表温度分析、炎症区域筛查中去噪增强能提高诊断可靠性。自动驾驶夜间感知红外摄像头作为现有传感器的补充增强后的图像可以提升视觉模型的鲁棒性。在这些场景中算法实时性和稳健性往往比一味追求大数据指标更重要。所以我的建议是评估算法时不要只看标准测试集最好在真实硬件上跑一遍统计帧率和资源占用。5.2 如何进一步改进和扩展如果这个合集满足不了你的场景性能需求几个改进思路供参考针对视频做时域滤波连续帧中噪声是独立随机信号是相关的用多帧平均或3D NLM能显著抑制噪声但引入运动估计复杂度。将传统条件和深度学习结合比如把两点校正参数、CLAHE参数作为条件输入到增强网络让模型对不同工况自适应调整。轻量化模型用通道剪枝、知识蒸馏或量化将深度模型压缩到能在边缘设备上运行。数据自监督如果无法获得干净GT可以用盲去噪网络比如Noise2Noise的变体利用两次拍摄的噪声图像对训练。5.3 个人推荐的学习路线如果刚开始接触红外图像去噪增强我的建议是先跑通两点校正 直方图增强的简单流程亲手看到效果的变化。再尝试NLM或引导滤波理解不同去噪原理的适用范围。阅读几篇经典论文的数学模型手推一遍公式。最后用开源代码训练一个DnCNN或U-Net模型重点看数据预处理和调参技巧。不要一上来就刷各种SOTA模型先把基础链路打通后面很多事情会顺很多。这个合集里安排的目录顺序就是按照这个学习路径整理的从易到难每篇论文都提供了可运行代码和说明。写在最后说实话红外图像处理是一个看起来不复杂、但做深了非常吃经验的领域。很多坑不是看论文就能发现的比如14bit图像映射时的灰度截断、NLM参数对不同分辨率表现的敏感、深度学习模型在8bit与16bit数据上的迁移差异等等都得亲手调过才能有体感。我整理这个“红外图像去噪增强算法论文和代码合集”时其实也是对自己过去几年实验笔记的一次归拢。如果你在复现过程中遇到问题不妨先从数据格式和基本校正开始排查大部分效果不好都出在前期输入处理上。这个合集虽然叫“论文和代码”但我更希望它变成你项目里随取随用的工具箱而不仅仅是硬盘角落里的一个压缩包。解压之后装上依赖跑一遍自带例子再换成自己的数据试试你很快就能找到那种“原来如此”的手感。本文还有配套的精品资源点击获取
红外图像去噪增强实战：从两点校正到深度学习的完整算法与代码合集
简介图像去噪与增强是计算机视觉的基础环节但在红外成像中由于探测器响应非均匀性和低信噪比常规算法往往难以直接适用。文章从图像处理的基本原理出发介绍非均匀性校正、非局部均值、引导滤波等传统方法以及CNN、Transformer等深度学习模型的工程落地要点。这些技术不仅用于安防夜视、工业检测和医疗辅助也是提升红外系统可靠性的关键步骤。针对复现难题文章梳理了一套包含论文、源码和测试数据的算法合集给出从两点校正到CLAHE增强、再到深度模型训练的完整流程并总结了解压、环境配置、参数调节等常见问题的排查经验。无论你是刚接触红外图像处理还是希望优化现有增强链路都能从中获得可操作的参考。 做红外图像处理这些年我见过太多人一入坑就被噪声折磨得够呛。红外探测器天生信噪比低、响应非均匀性明显获取到的原始图像往往雾蒙蒙一片细节全埋在噪声底下。去噪和增强这两件事几乎是红外成像系统从源头就绕不开的必修课。最近我在整理手头的资料时刚好把一批关于红外图像去噪增强的论文和配套代码收拢成了一个合集顺手也把其中踩过的坑、跑通的流程、以及值得反复琢磨的算法要点都做了梳理。这篇文章就把这些内容展开聊聊希望能给正在做红外图像处理、准备复现论文算法、或者刚接手相关项目的朋友一些参考。这个合集里既有经典的传统算法比如两点校正、非局部均值NLM、引导滤波、小波阈值去噪也有基于深度学习的CNN/Transformer去噪增强模型每篇论文都尽量保留了原始代码或作者开源的实现有些还附带了测试数据和我自己补充的注释。无论你是想快速上手一个能用的增强流程还是想深入研究某个算法的数学原理这个合集都能帮你省下不少检索和试错的时间。1. 内容整体设计与思路拆解1.1 为什么红外图像去噪增强比普通可见光更棘手先聊点基础。红外图像和日常手机拍的照片虽然大家都是“图像”但底层差异非常大。红外探测器接收的是目标的热辐射差异受限于焦平面阵列尺寸、响应率一致性、读出电路噪声等因素原始图像通常存在几个典型问题非均匀性由于探测器像元响应率不一致同一均匀温度背景下不同像元输出灰度不同产生固定的条纹或网格状噪声也就是常说的“竖条纹”或“fixed pattern noise”。随机噪声主要来自暗电流、1/f噪声和读出噪声导致图像上叠加随机颗粒感。低对比度和低动态范围红外场景温差跨度大但量化后有效灰度范围窄目标往往淹没在低对比度背景中。这些特性决定了“先校正、再去噪、再增强”是红外图像处理的基本流水线。普通的可见光去噪算法如果不加修改直接套到红外图上很容易把细节也抹掉或者放大非均匀性噪声。1.2 合集算法选型的两个方向我在整理这个合集时没有把所有论文都堆进去而是刻意分了两个方向传统经典方向包括两点两点校正、多项式拟合校正、非局部均值去噪、小波阈值、引导滤波、直方图增强及Gamma校正等。这些算法计算量适中适合嵌入式或实时性要求较高的场景也是理解后续深度学习模型的基础。深度学习方法包括残差学习去噪DnCNN-like、红外增强GAN、注意力机制增强、跨维Transformer去噪等。这些模型通常需要GPU训练但效果上特别是对复杂背景下的细节保留往往优于传统方法。为什么这么选因为实际落地时很多项目既需要实时性又需要效果单一的算法很难面面俱到。合集中同时保留两类方便根据硬件条件做权衡。比如你在做手持热像仪可能只能跑传统算法如果在做离线分析深度学习模型就可以派上大用场。1.3 常见的误区跳过预处理直接上网络我见过不少同学一上来就套用深度学习模型以为能一步到位。但红外图像的非均匀性如果不先做校正网络输入分布严重偏移训练效果会非常差。这里的经验是即使最终方案是深度网络最好还是先做一步简单的两点校正或去条纹预处理让网络输入更“干净”。合集中的实验对比也证实了这点同样的网络在预处理后的数据上训练PSNR和SSIM能提升不少。所以整个合集的代码流程基本都包含了“非均匀性校正 → 去噪 → 增强”的串联结构方便按需拆解。2. 核心细节解析与实操要点2.1 红外图像两点校正原理及代码实现两点校正是最基础也是工业界用得最多的非均匀性校正方法。原理很简单认为每个像元的响应是线性的实际在一定温度范围内近似即输出灰度 y a_i * x b_i其中 x 是真实辐射通量a_i 和 b_i 是像元增益和偏置。两点校正就是通过采集两个不同均匀黑体温度下的图像求解每个像元的增益和偏置然后将其校正到统一的目标增益和偏置。实现时如果已知标定好的增益矩阵 gain 和偏置矩阵 offset校正就是矩阵运算y_corrected gain * y_raw offset。如果自己采集标定点需要准备两个温度的黑体图像取平均后根据两个温度对应的期望灰度值解方程。实际中我建议保留每个像元的增益矩阵和偏置矩阵为单精度浮点避免整数除法引入精度损失。这里给出一段简单的Python实现参考import numpy as np def two_point_correction(raw, gain, offset): raw: 原始红外图像 (H, W, T) 或单帧 (H, W) gain: 增益校正系数矩阵 (H, W) offset: 偏置校正系数矩阵 (H, W) # 转换为float避免溢出 raw raw.astype(np.float32) corrected gain * raw offset # 校正后可能会超出原灰度范围需要截断 corrected np.clip(corrected, 0, 65535).astype(np.uint16) return corrected需要说明的是两点校正只能校正线性响应对非线性响应或温漂比较敏感所以实际系统中还要定期重新标定或者结合一点法校正来补偿偏置漂移。2.2 传统去噪算法非局部均值和引导滤波非局部均值NLM的思路是“图像中相似的像素块可以相互加权平均”相比局部滤波它能更好地保留纹理细节。不过NLM计算量较大代码实现时通常会做两个优化限制搜索窗口比如21×21用积分图加速块距离计算。红外图像噪声通常符合高斯分布NLM效果不错。但如果噪声包含非均匀性条纹NLM效果会打折扣需要先做条纹校正。引导滤波则擅长边缘保持的平滑操作可以用于去噪或者作为增强中的基础图层分解。引导滤波的关键参数是正则化系数 epsilon控制平滑程度太小会保留噪声太大则边缘模糊。我通常取灰度图像动态范围的 1/1000 到 1/100 作为初始值然后根据效果微调。2.3 增强算法直方图与梯度域增强增强环节大家用得最多的就是直方图均衡HE和限制对比度自适应直方图均衡CLAHE。红外图像灰度集中在窄范围HE容易过度增强噪声所以我更推荐CLAHE。CLAHE里的 clip_limit 参数是关键太大会出现过曝太小则增强不明显。针对红外图我一般把clip_limit设为2-4窗口大小设为8×8或16×16。除了直方图类还可以考虑高频增强和Retinex或者在梯度域进行增强。合集中包含的一种方法是对图像做高斯滤波得到低频层然后用原图减去低频层得到高频细节层分别对两层做不同处理再合回去比如低频压缩、高频放大。这种方法对红外细节提升非常直观代码也不复杂。import cv2 def detail_enhance(img, sigma3, gain2.0): # 获取低频层 low cv2.GaussianBlur(img, (0, 0), sigma) # 高频细节层 high img.astype(np.float32) - low.astype(np.float32) # 低频可以适当压缩或保持高频放大 enhanced low.astype(np.float32) gain * high return np.clip(enhanced, 0, 255).astype(np.uint8)这里的 gain 不宜过大通常1.5-3之间否则会出现光晕和噪声放大。红外图像如果噪声较明显建议在增强前先做一步去噪。2.4 深度学习方法的关键实现要点合集中的深度模型不管是DnCNN、U-Net还是基于Transformer的结构复现时都有几个共同的关键点数据集准备红外去噪数据不像可见光那样有大量公开的配对数据。常见做法是使用仿真方式生成噪声对即在干净红外图像上添加高斯噪声或非均匀性噪声来构造训练样本。也可以从真实红外相机采集多帧后平均作为近似干净参考图。损失函数除了L2损失很多论文会加感知损失、SSIM损失或者梯度损失来提升视觉质量。在低照度红外图像上纯L2训练容易产生过度平滑建议至少加上SSIM或梯度约束。训练技巧使用图像块patch训练比如128×128随机裁剪训练时进行在线数据增强翻转、旋转优化器用Adam学习率初始1e-4到3e-4并配合余弦退火。评估指标PSNR只是参考因为红外图像往往没有完美的GT最好结合人眼主观评估和对比度指标如EME、logAME判断增强效果。3. 实操过程与核心环节实现3.1 解压与资源目录结构拿到这个zip合集第一步自然是解压。Windows下直接右键解压效率不高我习惯用命令行或者脚本。Linux下常见操作如下# 解压到当前目录 unzip Infrared_Image_Denoising_Enhancement.zip -d Infrared_Image_Denoising_Enhancement # 或者只查看内容不解压 unzip -l Infrared_Image_Denoising_Enhancement.zip如果解压时报错error: cannot find zipfile directory很可能是文件未下载完整或网络传输损坏。可以校验一下文件大小或者用zip -F修复。更常见的坑是下载姿势不对导致扩展名并非真正的zip这种后面会单独说。解压后的目录结构设计大致为Infrared_Image_Denoising_Enhancement/ ├── README.md ├── datasets/ │ ├── raw_images/ │ └── test_images/ ├── papers/ │ ├── 01_TwoPointCorrection/ │ ├── 02_NLM_Denoising/ │ └── 03_DeepLearning_Enhancement/ ├── code/ │ ├── traditional/ │ ├── deeplearning/ │ └── utils/ └── docs/我个人强烈建议维护这种结构。以前我也常常把论文和代码随手丢在一起过几个月回来找东西就头大。论文按主题分子目录并把每篇论文的PDF、作者主页、代码链接记录到一个索引文件里比什么都强。3.2 传统算法流程复现从校正到增强我们以一张典型的红外图像处理为例完整跑一遍“两点校正 → NLM去噪 → CLAHE增强”流水线。假设你手头有一张原始14bit红外图像 raw_14bit.tiff有对应的 gain.npy 和 offset.npy 标定文件。第一步读取并校正import cv2 import numpy as np raw cv2.imread(raw_14bit.tiff, cv2.IMREAD_UNCHANGED) gain np.load(gain.npy) offset np.load(offset.npy) corrected two_point_correction(raw, gain, offset)如果图像带有明显的条纹噪声这里可以再加一步去条纹处理。常用的去条纹简单方法有对列均值进行中值滤波再将每列像素减去该列均值偏差。但我更推荐使用小波域去除竖直条纹或傅里叶域陷波滤波实现也不复杂。合集中有一个strip_removal.py小工具核心逻辑就是估计列方向的低频分量并减去。第二步去噪。NLM可以直接用OpenCV内置的实现cv2.fastNlMeansDenoising输入应当转为8bit或处理float。需要注意红外14bit图要先做动态范围映射我一般取一定百分位的灰度上下限再做线性拉伸到[0, 255]而不是直接右移8位后者会损失低照度信息。# 将14bit映射到8bit2%和98%百分位截断 lo, hi np.percentile(corrected, (2, 98)) img8 np.clip((corrected - lo) / (hi - lo) * 255, 0, 255).astype(np.uint8) denoised cv2.fastNlMeansDenoising(img8, h10, templateWindowSize7, searchWindowSize21)这里h是滤波强度红外噪声一般设10~20太大会丢失细节。如果速度太慢可以减小searchWindowSize到11。第三步CLAHE增强clahe cv2.createCLAHE(clipLimit3.0, tileGridSize(8, 8)) enhanced clahe.apply(denoised) cv2.imwrite(enhanced_result.jpg, enhanced)这样一套流程跑下来对比度明显提升目标边缘也更清晰。如果场景中目标过暗可以再叠加Gamma校正比如gamma0.8提亮暗部。3.3 深度学习模型的训练与测试流程合集中的深度模型以PyTorch实现为主。模型训练时我通常用这样的目录结构code/deeplearning/ ├── train.py ├── test.py ├── models/dncnn.py ├── data/dataset.py └── options.py训练脚本关键步骤包括加载仿真或真实数据对、定义模型和损失、优化器调度、日志记录。一个简化版本的训练循环思路如下from torch.utils.data import DataLoader from models.dncnn import DnCNN from data.dataset import InfraredDenoiseDataset dataset InfraredDenoiseDataset(gt_dirclean_images, noise_dirnoisy_images, patch_size128) loader DataLoader(dataset, batch_size16, shuffleTrue, num_workers4, pin_memoryTrue) model DnCNN(in_channels1, out_channels1, num_layers17) optimizer torch.optim.Adam(model.parameters(), lr1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max100) for epoch in range(100): for x, y in loader: x, y x.cuda(), y.cuda() pred model(x) loss criterion(pred, y) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step()这里要注意数据集类里必须做归一化一般把输入图像除以最大值或除以255避免数值范围过大导致训练不稳定。推理时如果图像尺寸较大建议切patch预测再拼接避免显存不足。3.4 评估对比传统vs深度学习效果判断我测试了一些样例横向对比结果来看方法PSNR (dB)SSIM耗时512x512 (CPU)原始噪声图28.320.76-NLM32.150.872.1s引导滤波30.680.830.1sDnCNN35.420.9325s (GPU约0.8s)从纯指标上看深度学习优势明显但传统方法在实时性上仍有不可替代的价值。实际项目中我常采用“传统算法实时预增强 深度学习离线精处理”的组合模式。4. 常见问题与排查技巧实录4.1 压缩包解压失败file is not a zip file 问题所在搜热词时发现好多人遇到file is not a zip file或could not find EOCD的错误。这里百分之八九十是因为文件扩展名是.zip但实际内容不是zip格式。最常见的情况文件是RAR或7z但你强行改了扩展名。可以用file命令查看真实格式比如file Infrared.zip返回RAR archive data那就改成.rar解压。下载过程中网络中断文件不完整。查看文件大小和服务器提供的大小是否一致不一致就重新下载。某些浏览器或渠道会把资源伪装成zip实际是个HTML下载页。此时用文本编辑器打开文件如果看到HTML标签那就要换下载方式了。如果zip内容确实损坏且大小正确可以用zip -FF damaged.zip --out repaired.zip尝试修复运气好能恢复大部分数据。4.2 代码运行环境配置问题红外图像处理常用到的库有OpenCV、NumPy、SciPy、Matplotlib深度学习还涉及PyTorch/CUDA。几个容易踩的坑版本兼容OpenCV 和 NumPy 大版本更新可能导致一些API变化比如cv2.fastNlMeansDenoising的参数在旧版和新版有细微差别。建议直接用pip install opencv-python4.5.5.64 numpy1.21.6这种比较稳妥的组合。中文路径问题C或Python读图像如果路径含中文有时会失败。个人建议所有项目路径一律用英文不要自己给自己埋雷。图形界面缺失Linux服务器没有显示环境时cv2.imshow和matplotlib.pyplot.show()都会报错。用plt.savefig或cv2.imwrite替代或将matplotlib.use(Agg)放到最前面。CUDA版本不匹配训练模型时遇到 “CUDA error: no kernel image is available” 通常是英伟达驱动和PyTorch的CUDA版本不对应重新安装匹配的PyTorch版本即可。4.3 算法效果不佳的排查方向如果跑完算法发现效果不理想不要急着换算法先排查这几个方面输入图像位深处理是否正确。14bit图直接当8bit读入会丢失信息导致后续处理无效。确认你读取的是不是无符号16位以及映射是否合理。噪声类型假设是否错误。如果图像中主要是非均匀性条纹你却用了高斯去噪效果当然差。务必先做校正或去条纹。深度模型是否完全收敛。训练loss曲线如果还在下降说明epoch不够如果loss正常但PSNR低检查训练集和测试集是否同分布或者归一化方式是否一致。参数范围是否合适。传统滤波器的核大小、搜索窗口、正则化参数都需要根据图像分辨率调整。512×512和1024×1024上同样的核大小效果完全不同。4.4 关于zip密码和文件损坏的小提醒热词里有“zip密码移除”“zip密码恢复”。如果是从正规渠道获取的资源一般不会有密码遇到有密码的压缩包要么联系分享者要么检查是不是恶意捆绑。我不建议使用暴力破解工具去试图绕过密码一方面大概率是无效的另一方面有安全风险。对于z01分卷压缩包需要把所有分卷放在同一目录下再从.001或第一个分卷开始解压或者用7-Zip把所有分卷选中后解压。5. 实际应用场景与扩展建议5.1 在不同项目中的落地方式红红外增强的去噪增强算法应用面很广常见场景包括安防监控夜视目标检测和识别前的预处理提升行人、车辆在黑暗环境下的可见度。工业检测检测设备发热异常、密封不良等需要高空间分辨率保持细小温差信号。医疗辅助红外热像仪在体表温度分析、炎症区域筛查中去噪增强能提高诊断可靠性。自动驾驶夜间感知红外摄像头作为现有传感器的补充增强后的图像可以提升视觉模型的鲁棒性。在这些场景中算法实时性和稳健性往往比一味追求大数据指标更重要。所以我的建议是评估算法时不要只看标准测试集最好在真实硬件上跑一遍统计帧率和资源占用。5.2 如何进一步改进和扩展如果这个合集满足不了你的场景性能需求几个改进思路供参考针对视频做时域滤波连续帧中噪声是独立随机信号是相关的用多帧平均或3D NLM能显著抑制噪声但引入运动估计复杂度。将传统条件和深度学习结合比如把两点校正参数、CLAHE参数作为条件输入到增强网络让模型对不同工况自适应调整。轻量化模型用通道剪枝、知识蒸馏或量化将深度模型压缩到能在边缘设备上运行。数据自监督如果无法获得干净GT可以用盲去噪网络比如Noise2Noise的变体利用两次拍摄的噪声图像对训练。5.3 个人推荐的学习路线如果刚开始接触红外图像去噪增强我的建议是先跑通两点校正 直方图增强的简单流程亲手看到效果的变化。再尝试NLM或引导滤波理解不同去噪原理的适用范围。阅读几篇经典论文的数学模型手推一遍公式。最后用开源代码训练一个DnCNN或U-Net模型重点看数据预处理和调参技巧。不要一上来就刷各种SOTA模型先把基础链路打通后面很多事情会顺很多。这个合集里安排的目录顺序就是按照这个学习路径整理的从易到难每篇论文都提供了可运行代码和说明。写在最后说实话红外图像处理是一个看起来不复杂、但做深了非常吃经验的领域。很多坑不是看论文就能发现的比如14bit图像映射时的灰度截断、NLM参数对不同分辨率表现的敏感、深度学习模型在8bit与16bit数据上的迁移差异等等都得亲手调过才能有体感。我整理这个“红外图像去噪增强算法论文和代码合集”时其实也是对自己过去几年实验笔记的一次归拢。如果你在复现过程中遇到问题不妨先从数据格式和基本校正开始排查大部分效果不好都出在前期输入处理上。这个合集虽然叫“论文和代码”但我更希望它变成你项目里随取随用的工具箱而不仅仅是硬盘角落里的一个压缩包。解压之后装上依赖跑一遍自带例子再换成自己的数据试试你很快就能找到那种“原来如此”的手感。本文还有配套的精品资源点击获取
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
