Image-Restoration-SDE多任务实践：去模糊、去阴影、超分辨率全攻略-尧图网络科技

Image-Restoration-SDE多任务实践：去模糊、去阴影、超分辨率全攻略

【免费下载链接】image-restoration-sdeImage Restoration with Mean-Reverting Stochastic Differential Equations, ICML 2023. Winning solution of the NTIRE 2023 Image Shadow Removal Challenge.项目地址: https://gitcode.com/gh_mirrors/im/image-restoration-sde

Image-Restoration-SDE是基于均值回复随机微分方程（SDE）的图像恢复工具，能够解决去模糊、去阴影、超分辨率等多种图像质量问题，曾获NTIRE 2023图像去阴影挑战赛冠军。本文将带你快速掌握这个强大工具的核心功能与使用方法。

🚀 核心技术原理：SDE驱动的图像修复革命

Image-Restoration-SDE创新性地将随机微分方程应用于图像恢复领域，通过模拟图像退化与恢复的动态过程实现高质量修复。其核心框架包含两个关键SDE过程：

Image-Restoration-SDE的SDE退化与恢复过程示意图，展示了从清晰图像到退化图像再到恢复图像的完整数学建模

图像退化SDE：模拟真实世界中图像质量下降的过程，如模糊、噪声污染等
图像恢复SDE：通过逆向SDE过程，从退化图像（LQ）重建清晰图像（GT）

这种基于物理过程的建模方法，相比传统深度学习方法具有更好的泛化能力和恢复效果，尤其在复杂退化场景下表现突出。

💻 环境准备：5分钟快速搭建

1️⃣ 克隆项目仓库

git clone https://gitcode.com/gh_mirrors/im/image-restoration-sde cd image-restoration-sde

2️⃣ 安装依赖

项目依赖已整理在codes/requirements.txt中，使用pip快速安装：

pip install -r requirements.txt

主要依赖包括：

PyTorch 1.13.0+（深度学习框架）
OpenCV 4.6.0+（图像处理）
einops 0.6.0（张量操作）
gradio（可选，用于可视化界面）

🔍 多任务实战指南

去模糊任务：让运动模糊图像重获清晰

去模糊是Image-Restoration-SDE的核心功能之一，通过codes/config/deblurring模块实现。使用预配置的refusion模型可以快速处理模糊图像：

修改配置文件：调整codes/config/deblurring/options/test/refusion.yml中的参数：

datasets: test1: name: YourDataset mode: LQGT dataroot_GT: path/to/clear_images dataroot_LQ: path/to/blurry_images path: pretrain_model_G: pretrained/refusion.pth

运行测试脚本：

cd codes/config/deblurring bash demo.sh # 执行测试部分，取消test.py行注释

去阴影处理：还原图像本真色彩

Image-Restoration-SDE在去阴影任务上表现卓越，是NTIRE 2023图像去阴影挑战赛的获胜方案。其去阴影效果显著优于传统方法：

Image-Restoration-SDE去阴影效果展示，上排为带阴影原图，下排为去阴影结果

执行去阴影任务只需切换到对应的配置目录：

cd codes/config/deshadow # 修改options/test/refusion.yml配置数据集路径 python test.py -opt=options/test/refusion.yml

超分辨率：低清图像一键变高清

超分辨率模块能够将低分辨率图像放大到高分辨率，同时保持细节清晰。通过codes/config/sisr目录下的配置文件，可以轻松实现4倍超分辨率：

# 在sisr/options/test/refusion.yml中设置 degradation: scale: 4 # 超分辨率放大倍数

运行后对比效果：

Image-Restoration-SDE在去雨、超分辨率、去模糊和去噪任务上的效果对比，IR-SDE列展示了本项目的恢复结果

⚙️ 高级配置：定制你的恢复方案

调整SDE参数

在各任务的YAML配置文件中，可以通过sde部分调整核心参数：

sde: max_sigma: 50 # 最大噪声水平 T: 100 # 时间步数 schedule: cosine # 噪声调度策略：linear或cosine eps: 0.005 # 数值稳定性参数

选择网络结构

项目提供多种网络结构选择，在配置文件的network_G部分设置：

network_G: which_model_G: ConditionalNAFNet # 可选模型：ConditionalNAFNet或DenoisingUNet setting: width: 64 # 网络宽度 enc_blk_nums: [1, 1, 1, 28] # 编码器块数量 middle_blk_num: 1 # 中间块数量 dec_blk_nums: [1, 1, 1, 1] # 解码器块数量

📈 训练自己的模型

如果需要针对特定场景训练模型，可以使用各任务目录下的train.py脚本。以去模糊任务为例：

cd codes/config/deblurring # 单GPU训练 python train.py -opt=options/train/refusion.yml # 多GPU训练 python -m torch.distributed.launch --nproc_per_node=2 train.py -opt=options/train/refusion.yml --launcher pytorch

训练配置文件中可以设置学习率、迭代次数、数据增强等参数，以获得最佳训练效果。