多尺度交替连接残差网络用于图像去模糊

陈清江; 胡倩楠; 李金阳

doi:10.37188/OPE.20212907.1686

您当前的位置：

首页 >

文章列表页 >

多尺度交替连接残差网络用于图像去模糊

信息科学 | 更新时间：2021-08-09

- 多尺度交替连接残差网络用于图像去模糊
- Image deblurring based on multi-scale alternating connection residual network
- 光学精密工程 2021年29卷第7期页码：1686-1694
- 作者机构：
  
  西安建筑科技大学理学院，陕西西安 710055
- 作者简介：
  
  [ "陈清江（1966-），男，河南信阳人，博士，教授，2003年于信阳师范学院获硕士学位，2006年于西安交通大学获博士学位，主要从事小波分析，图像处理与信号处理方面的研究。E-mail：qjchen66xytu@126.com" ]
  [ "胡倩楠（1996-），女，陕西渭南人，西安建筑科技大学硕士研究生，2019年于咸阳师范学院获得理学学士学位，主要从事小波分析，图像处理与信号处理方面的研究（本文通讯作者）。E-mail：1227409677@qq.com" ]
- 基金信息：
  
  国家自然科学基金(61403298);陕西省自然科学基金(2015JM1024)
- DOI：10.37188/OPE.20212907.1686
  中图分类号： TP301.6
- 收稿日期：2020-09-18，
  
  修回日期：2020-11-16，
  
  纸质出版日期：2021-07-15
- 稿件说明：
移动端阅览
陈清江,胡倩楠,李金阳.多尺度交替连接残差网络用于图像去模糊[J].光学精密工程,2021,29(07):1686-1694.

CHEN Qing-jiang,HU Qian-nan,LI Jin-yang.Image deblurring based on multi-scale alternating connection residual network[J].Optics and Precision Engineering,2021,29(07):1686-1694.
陈清江,胡倩楠,李金阳.多尺度交替连接残差网络用于图像去模糊[J].光学精密工程,2021,29(07):1686-1694. DOI： 10.37188/OPE.20212907.1686.

CHEN Qing-jiang,HU Qian-nan,LI Jin-yang.Image deblurring based on multi-scale alternating connection residual network[J].Optics and Precision Engineering,2021,29(07):1686-1694. DOI： 10.37188/OPE.20212907.1686.

摘要

为更好地解决由于相机抖动、物体之间相对运动等因素引起的图像模糊问题，本文设计了一种多尺度交替连接残差网络用于图像去模糊，采用“从粗到细”的多尺度方式来逐渐恢复出清晰图像。首先，提出一种多尺度残差模块来拓展网络宽度，提取并融合不同尺度之间的特征信息；其次，提出一种基于扩张卷积的交替连接残差模块来逐渐恢复模糊图像的高频信息；最后，利用一层卷积来对特征图进行重建。实验结果表明：本文所提去模糊算法的峰值信噪比以及结构相似度分别为32.313 6 dB和0.942 5，均高于目前先进的图像去模糊技术。从评价指标和主观效果上均可看出本文所提去模糊方法具有更强的图像恢复能力，纹理细节更丰富，能够有效提升图像去模糊效果，具有更强的实用价值。

Abstract

To solve the problem of image blur caused by camera jitter， the relative motion between objects， and other factors， a multi-scale alternating-connection residual network is designed in this study for image deblurring， and the “coarse to fine” multi-scale method is used to gradually restore the clear image. First， a multi-scale residual module is proposed to expand the network width， and to extract and fuse the feature information between different scales. Second， an alternating-connection residual module based on dilated convolution is proposed to gradually recover the high-frequency information of the fuzzy image. Finally， a convolution layer is used to reconstruct the feature map. The experimental results show that the peak signal-to-noise ratio （PSNR） and structural similarity （SSIM） of the proposed method are 32.3136 dB and 0.9425， respectively， better than those obtained by the current image deblurring techniques. The evaluation index and subjective effect suggest that the proposed deblurring method has stronger image restoration ability， richer texture details， can effectively improve the image deblurring effect， and has higher practical value.

关键词

Keywords

references

KOUR A ， YADA V K ， MAHESHWARI V ， et al . A review on image processing ［J］. International Journal of Electronics Communication and Computer Engineering ， 2013 ， 4 （ 1 ）： 270 - 275 .

MAIRAL J ， BACH F ， PONCE J ， et al . Non-local sparse models for image restoration ［C］. 2009 IEEE 12th international conference on computer vision. IEEE ， 2009 ： 2272 - 2279 .

DONG WEISHENG ， WANG PEIVAO ， YIN WOTAO ， et al . Denoising prior driven deep neural network for image restoration ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2019 ， 41 （ 10 ）： 2305 - 2318 .

NAH S ， HYUN KIM T ， MU LEE K . Deep multi-scale convolutional neural network for dynamic scene deblurring ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2017 ： 3883 - 3891 .

BODI WANG ， GUIXIONG LIU ， JUNFANG WU . Blind deblurring of saturated images based on optimization and deep learning for dynamic visual inspection on the assembly line ［J］. Symmetry ， 2019 ， 11 （ 5 ）.

PAN J ， HU Z ， SU Z ， et al . Deblurring text images via L0-regularized intensity and gradient prior ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2014 ： 2901 - 2908 .

LI L ， PAN J ， LAI W S ， et al . Learning a discriminative prior for blind image deblurring ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2018 ： 6616 - 6625 .

RUAN G SH ， SUN J X ， SUN Y ， et al . Restoration of camera jitter blurred image processing outliers ［J］. Journal of Image and Graphics ， 2019 ， 19 （ 5 ）： 677 - 682 ．

陈清江，张雪 . 混合残差学习与导向滤波算法在图像去雾中的应用［J］. 光学精密工程， 2019 ， 27 （ 12 ）： 2702 - 2712 .

CHEN Q J ， ZHANG X . Application of hybrid residual learning and guided filtering algorithm in image defogging ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 12 ）： 2702 - 2712 . （in Chinese）

范丽丽，赵宏伟，赵浩宇，等 . 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1152 - 1164 .

FAN L L ， ZHAO H W ， ZHAO H Y ， et al . A survey of target detection based on deep convolution neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese）

王中宇，倪显扬，尚振东 . 利用卷积神经网络的自动驾驶场景语义分割［J］. 光学精密工程， 2019 ， 27 （ 11 ）： 2429 - 2438 .

WANG ZH Y ， NI X Y ， SHANG ZH D . Autonomous driving semantic segmentation with convolution neural network ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 11 ）： 2429 - 2438 . （in Chinese）

LIU C ， ZHANG X H . Deep convolutional autoencoder networks approach to low-light level image restoration under extreme low-light illumination ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 04 ）： 951 - 961 .

PENG W ， HONG X ， ZHAO G . Video action recognition via neural architecture searching ［C］. 2019 IEEE International Conference on Image Processing （ICIP）. IEEE ， 2019 ： 11 - 15 .

陈斌，朱晋宁，东一舟 . 基于残差整流增强卷积神经网络的表情识别［J］. 液晶与显示， 2020 ， 35 （ 12 ）： 1299 - 1308 .

CHEN B ， ZHU J N ， DONG Y ZH . Expression recognition based on residual rectifier enhanced convolution neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 12 ）： 1299 - 1308 . （in Chinese）

徐胜军，欧阳朴衍，郭学源，等 . 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割［J］. 光学精密工程， 2020 ， 28 （ 07 ）： 1588 - 1599 .

XU SH J ， OUYANG P X ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 07 ）： 1588 - 1599 . （in Chinese）

WENG Y ， ZHOU T ， LIU L ， et al . Automatic convolutional neural architecture search for image classification under different scenes ［J］. IEEE Access ， 2019 ， 7 ： 38495 - 38506 .

SCHULER C J ， HIRSCH M ， HARMELING S ， et al . Learning to deblur ［J］. IEEE transactions on pattern analysis and machine intelligence ， 2015 ， 38 （ 7 ）： 1439 - 1451 .

SUN J ， CAO W ， XU Z ， et al . Learning a convolutional neural network for non-uniform motion blur removal ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2015 ： 769 - 777 .

TAO X ， GAO H ， SHEN X ， et al . Scale-recurrent network for deep image deblurring ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2018 ： 8174 - 8182 .

YU F ， KOLTUM V . Multi-scale context aggregation by dilated convolutions ［J］. arXiv preprint arXiv： 1511.07122 ， 2015 .

LIM B ， SON S ， KIM H ， et al . Enhanced deep residual networks for single image super-resolution ［C］. Proceedings of the IEEE conference on computer vision and pattern recognition workshops ， 2017 ： 136 - 144 .

ZHANG Y ， TIAN Y ， KONG Y ， et al . Residual dense network for image super-resolution ［C］. Proceedings of the IEEE conference on computer vision and pattern recognition ， 2018 ： 2472 - 2481 .

HUANG G ， LIU Z ， MAATEN LVAN DER ， et al . Densely connected convolutional Networks ［C］. Proceedings of the IEEE conference on computer vision and pattern recognition ， 2017 ： 4700 - 4708 .

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . Imagenet classification with deep convolutional neural networks ［C］. Advances in neural information processing systems ， 2012 ： 1097 - 1105 .

浏览量

692

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于注意力机制的宽波段小目标实时去模糊

基于区域选择网络的图像复原及其在计算成像中的应用

基于光纹特征的激光主动照明图像去模糊