去雨、去噪、去模糊 测评教程（附源码）【CVPR 2021】
🥇 版权: 本文由【墨理学AI】原创：敬请查阅 🎉 声明: 作为全网 A I领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️
🍖 该博文旨在带你了解如何使用深度学习进行图像恢复【去雨、去噪、去模糊】，【❤️ 基准测试、实战教程 ❤️】
- 🍊 专栏：图像修复-代码环境搭建-知识总结
- 🍊 墨理，2020年硕士毕业，目前从事图像算法，AI工程化 相关工作
- 🍊 学术交流，ID 相称即可，墨理
- 🍊 感谢每位读者大大、学术探讨小伙伴的支持和认可
📔 基础信息
一篇应用于【 去模糊、去雨、去噪 】的多阶段渐进式图像恢复论文
- Multi-Stage Progressive Image Restoration (CVPR 2021)
- 多阶段渐进式图像恢复
- https://arxiv.org/abs/2102.02808
- https://github.com/swz30/MPRNet
🔴 Abstract
图像恢复任务需要在恢复图像时在空间细节和高级上下文信息之间实现复杂的平衡。在本文中，我们提出了一种新颖的协同设计，可以最佳地平衡这些相互竞争的目标。我们的主要提议是一个多阶段架构，它逐步学习退化输入的恢复函数，从而将整个恢复过程分解为更易于管理的步骤。具体来说，我们的模型首先使用编码器-解码器架构学习上下文特征，然后将它们与保留本地信息的高分辨率分支相结合。在每个阶段，我们引入了一种新颖的每像素自适应设计，利用原位监督注意力来重新加权局部特征。这种多阶段架构的一个关键要素是不同阶段之间的信息交换。为此，我们提出了一种双向方法，其中信息不仅从早期到后期按顺序交换，而且特征处理块之间也存在横向连接以避免任何信息丢失。由此产生的紧密互连的多阶段架构称为 MPRNet，在包括图像去雨、去模糊和去噪在内的一系列任务中，在十个数据集上提供了强大的性能提升。
🔵 The main contributions
- 一种新颖的多阶段方法，能够生成上下文丰富且空间准确的输出； 由于其多阶段性质，我们的框架将具有挑战性的图像恢复任务分解为子任务，以逐步恢复退化的图像
- 一个有效的监督注意力模块，它在进一步传播之前在每个阶段充分利用恢复的图像来细化传入的特征
- 跨阶段聚合多尺度特征的策略
- 我们通过在 10 个合成和真实世界数据集上为各种恢复任务（包括图像去雨、去模糊和去噪）取得的优异效果来证明我们的 MPRNet 的有效性，同时保持低复杂度（见图 1）。 此外，我们提供详细的消融、定性结果和泛化测试。
🟣 论文实验数据集
Image Deblurring 【去模糊数据集】
- GoPro [53] dataset -- 下载主页
- 主页详情如下
Image Deraining 【去雨数据集】
- Rain14000 [23] Rain1800 [81] Rain800 [90] 【训练】
- Rain100H [81], Rain100L [81], Test100 [90], Test2800 [23], and Test1200 [89] 【测试】
Image Denoising 【去噪】
- SIDD dataset [1] -- 主页 ：https://www.eecs.yorku.ca/~kamel/sidd/dataset.php
- SIDD 测试数据集 -- 主页：https://www.eecs.yorku.ca/~kamel/sidd/benchmark.php
- DND benchmark dataset [60] -- Darmstadt Noise dataset -- 主页 ：http://noise.visinf.tu-darmstadt.de/benchmark/
🟡 Conclusion
在这项工作中，我们提出了一种多阶段的图像恢复体系架构，通过在每个阶段注入监督来逐步改善退化的输入。我们为我们的设计制定指导原则，要求在多个阶段进行互补的特征处理，并在它们之间进行灵活的信息交换。为此，我们提出 contextually-enriched and spatially accurate stages ，对一组不同的特征进行统一编码。为了确保交互阶段之间的协同作用，我们提出了跨阶段的特征融合和从早期阶段到后期阶段的注意力引导输出交换。我们的模型在众多基准数据集上取得了显著的性能提升。此外，我们的模型在模型大小方面重量轻，在运行时方面效率高，这对于资源有限的设备来说非常有意义。
📕 环境搭建
- 服务器：ubuntu1~18.04 Quadro RTX 5000 16G
- CUDA版本 V10.0.130
基础环境搭建如下
conda create -n torch11 python=3.7.5
conda activate torch11
pip install torch==1.1.0
pip install torchvision==0.3.0
## 或者（建议使用 conda 来安装）
conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 -c pytorch
## 或者(根据你的 Cuda 版本来决定安装命令)
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm
Install warmup scheduler 【必须步骤】
conda activate torch11
git clone https://github.com/swz30/MPRNet.git
cd MPRNet-main
cd pytorch-gradual-warmup-lr/
python setup.py install
输出如下
running install
running bdist_egg
running egg_info
...
...
Installed /home/moli/anaconda3/envs/torch11/lib/python3.6/site-packages/warmup_scheduler-0.3-py3.6.egg
Processing dependencies for warmup-scheduler==0.3
Finished processing dependencies for warmup-scheduler==0.3
📗 预训练模型和测试数据
🟧 预训练模型
🟨 设置测试数据
- 去模糊：这里暂时使用 GOPRO_Large\test\GOPR0384_11_00 作为测试数据，放置在samples/ 目录下
- 去雨：Rain100H/
- 去模糊：高斯噪声 和 脉冲噪声 图像各一张 ，放置在 samples/noise/ 目录下
- 项目，目录结构如下
- 博文使用的测试数据集，设置如下
📘 测试
🔴 去模糊测试
python demo.py --task Deblurring --input_dir ./samples/GOPR0384_11_00/blur --result_dir ./samples/output/
输出如下
# GPU 占用 10209MiB
Files saved at ./samples/output/
输入输出对比效果
该去模糊图像和数据集中该测试图像对应的清晰图片对比【可见去模糊效果还不错】
🔵 去雨测试
cmd
python demo.py --task Deraining --input_dir ./samples/Rain100H/input/ --result_dir ./samples/Rain100H/output/
输出如下
# GPU 占用 1461MiB
Files saved at ./samples/Rain100H/output/
输入输出对比效果
🟣 去噪测试
python demo.py --task Denoising --input_dir ./samples/noise/ --result_dir ./samples/denoise
输出如下
# GPU 占用 2087MiB
Files saved at ./samples/denoise
去噪声效果如下
📙 博文运行代码+模型+测试数据分享
有需要此次源码的小伙伴， 墨理学AI 公众号后台，回复
20211120即可自动获取本博文此次的运行代码+模型+测试数据分享+对应论文
20211120
🚀🚀 文末专栏推荐 🚀🚀
👋 如果感觉文章看完了不过瘾，还想更进一步，那么可以来我的其他 专栏 看一下哦~
- ❤️ 图像风格转换 —— 代码环境搭建 实战教程【关注即可阅】！
- 💜 图像修复-代码环境搭建-知识总结 实战教程 【据说还行】
- 💙 超分重建-代码环境搭建-知识总结 解秘如何让白月光更清晰【脱单神器】
- 💛 YOLO专栏，只有实战，不讲道理 目标检测【建议收藏】！
- 🎻 个人整理的 Cuda 系列 Linux 安装教程【适合小白进阶】
- 💜 ubuntu18给当前用户安装cuda11.2 图文教程 | 配置cuDNN8.1 |
- 💜 Linux服务器下给当前用户安装自己的CUDA10.0
- 💜 Linux下cuda10.0安装Pytorch和Torchvision
- 💜 Linux 可以安装多个版本的Cuda 吗 | 给我一台新的服务器，我会怎么安排 Cuda
- 💜 查看CUDA和cuDNN的版本号
- 🍖 深度学习、调参搬砖、开发利器【大佬必备】
- ❤️ VSCode远程连接 Linux 服务器进行开发调试 | C++远程调试 | Python远程调试 | VSCode 神器 ，你值得拥有
- ❤️ windows下 pycharm配置Linux服务器的 conda环境之最强指南 | 深度学习模型远程调试 | SFTP 同步传输 |
博主简介：墨理，2020年 硕士毕业，目前从事图像算法，AI工程化 相关工作
- 🍊 计算机视觉：超分重建、图像修复、目标检测、风格迁移 等领域 稍有所学
- 🍊 AI 工程化：Ncnn、MNN、TensorRT 正在 学习
- 🍊 C++、Python、Java 略懂一二
- 🍊 全网 10 w 读者粉丝
- 🍊 博文主要创作平台：CSDN + 公--中--号 + 掘金 + 知乎
喜欢请关注 墨理学AI 及其 同名 公---中--- 号 墨理学AI
取经路上，让墨理学AI 陪你畅享更多有趣AI
投递哔哩哔哩等公司10个岗位 >