Image deblurring based on multi-scale alternating connection residual network

Qing-jiang CHEN; Qian-nan HU; Jin-yang LI

doi:10.37188/OPE.20212907.1686

您当前的位置：

首页 >

文章列表页 >

Image deblurring based on multi-scale alternating connection residual network

Information Sciences | 更新时间：2021-08-09

- Image deblurring based on multi-scale alternating connection residual network
- Optics and Precision Engineering Vol. 29, Issue 7, Pages: 1686-1694(2021)
- 作者机构：
  
  西安建筑科技大学理学院，陕西西安 710055
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20212907.1686
  CLC： TP301.6
- Received：18 September 2020，
  
  Revised：16 November 2020，
  
  Published：15 July 2021
- 稿件说明：
移动端阅览
陈清江,胡倩楠,李金阳.多尺度交替连接残差网络用于图像去模糊[J].光学精密工程,2021,29(07):1686-1694.

CHEN Qing-jiang,HU Qian-nan,LI Jin-yang.Image deblurring based on multi-scale alternating connection residual network[J].Optics and Precision Engineering,2021,29(07):1686-1694.
陈清江,胡倩楠,李金阳.多尺度交替连接残差网络用于图像去模糊[J].光学精密工程,2021,29(07):1686-1694. DOI： 10.37188/OPE.20212907.1686.

CHEN Qing-jiang,HU Qian-nan,LI Jin-yang.Image deblurring based on multi-scale alternating connection residual network[J].Optics and Precision Engineering,2021,29(07):1686-1694. DOI： 10.37188/OPE.20212907.1686.

摘要

为更好地解决由于相机抖动、物体之间相对运动等因素引起的图像模糊问题，本文设计了一种多尺度交替连接残差网络用于图像去模糊，采用“从粗到细”的多尺度方式来逐渐恢复出清晰图像。首先，提出一种多尺度残差模块来拓展网络宽度，提取并融合不同尺度之间的特征信息；其次，提出一种基于扩张卷积的交替连接残差模块来逐渐恢复模糊图像的高频信息；最后，利用一层卷积来对特征图进行重建。实验结果表明：本文所提去模糊算法的峰值信噪比以及结构相似度分别为32.313 6 dB和0.942 5，均高于目前先进的图像去模糊技术。从评价指标和主观效果上均可看出本文所提去模糊方法具有更强的图像恢复能力，纹理细节更丰富，能够有效提升图像去模糊效果，具有更强的实用价值。

Abstract

To solve the problem of image blur caused by camera jitter， the relative motion between objects， and other factors， a multi-scale alternating-connection residual network is designed in this study for image deblurring， and the “coarse to fine” multi-scale method is used to gradually restore the clear image. First， a multi-scale residual module is proposed to expand the network width， and to extract and fuse the feature information between different scales. Second， an alternating-connection residual module based on dilated convolution is proposed to gradually recover the high-frequency information of the fuzzy image. Finally， a convolution layer is used to reconstruct the feature map. The experimental results show that the peak signal-to-noise ratio （PSNR） and structural similarity （SSIM） of the proposed method are 32.3136 dB and 0.9425， respectively， better than those obtained by the current image deblurring techniques. The evaluation index and subjective effect suggest that the proposed deblurring method has stronger image restoration ability， richer texture details， can effectively improve the image deblurring effect， and has higher practical value.

关键词

Keywords

references

KOUR A ， YADA V K ， MAHESHWARI V ， et al . A review on image processing ［J］. International Journal of Electronics Communication and Computer Engineering ， 2013 ， 4 （ 1 ）： 270 - 275 .

MAIRAL J ， BACH F ， PONCE J ， et al . Non-local sparse models for image restoration ［C］. 2009 IEEE 12th international conference on computer vision. IEEE ， 2009 ： 2272 - 2279 .

DONG WEISHENG ， WANG PEIVAO ， YIN WOTAO ， et al . Denoising prior driven deep neural network for image restoration ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2019 ， 41 （ 10 ）： 2305 - 2318 .

NAH S ， HYUN KIM T ， MU LEE K . Deep multi-scale convolutional neural network for dynamic scene deblurring ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2017 ： 3883 - 3891 .

BODI WANG ， GUIXIONG LIU ， JUNFANG WU . Blind deblurring of saturated images based on optimization and deep learning for dynamic visual inspection on the assembly line ［J］. Symmetry ， 2019 ， 11 （ 5 ）.

PAN J ， HU Z ， SU Z ， et al . Deblurring text images via L0-regularized intensity and gradient prior ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2014 ： 2901 - 2908 .

LI L ， PAN J ， LAI W S ， et al . Learning a discriminative prior for blind image deblurring ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2018 ： 6616 - 6625 .

RUAN G SH ， SUN J X ， SUN Y ， et al . Restoration of camera jitter blurred image processing outliers ［J］. Journal of Image and Graphics ， 2019 ， 19 （ 5 ）： 677 - 682 ．

陈清江，张雪 . 混合残差学习与导向滤波算法在图像去雾中的应用［J］. 光学精密工程， 2019 ， 27 （ 12 ）： 2702 - 2712 .

CHEN Q J ， ZHANG X . Application of hybrid residual learning and guided filtering algorithm in image defogging ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 12 ）： 2702 - 2712 . （in Chinese）

范丽丽，赵宏伟，赵浩宇，等 . 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1152 - 1164 .

FAN L L ， ZHAO H W ， ZHAO H Y ， et al . A survey of target detection based on deep convolution neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese）

王中宇，倪显扬，尚振东 . 利用卷积神经网络的自动驾驶场景语义分割［J］. 光学精密工程， 2019 ， 27 （ 11 ）： 2429 - 2438 .

WANG ZH Y ， NI X Y ， SHANG ZH D . Autonomous driving semantic segmentation with convolution neural network ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 11 ）： 2429 - 2438 . （in Chinese）

LIU C ， ZHANG X H . Deep convolutional autoencoder networks approach to low-light level image restoration under extreme low-light illumination ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 04 ）： 951 - 961 .

PENG W ， HONG X ， ZHAO G . Video action recognition via neural architecture searching ［C］. 2019 IEEE International Conference on Image Processing （ICIP）. IEEE ， 2019 ： 11 - 15 .

陈斌，朱晋宁，东一舟 . 基于残差整流增强卷积神经网络的表情识别［J］. 液晶与显示， 2020 ， 35 （ 12 ）： 1299 - 1308 .

CHEN B ， ZHU J N ， DONG Y ZH . Expression recognition based on residual rectifier enhanced convolution neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 12 ）： 1299 - 1308 . （in Chinese）

徐胜军，欧阳朴衍，郭学源，等 . 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割［J］. 光学精密工程， 2020 ， 28 （ 07 ）： 1588 - 1599 .

XU SH J ， OUYANG P X ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 07 ）： 1588 - 1599 . （in Chinese）

WENG Y ， ZHOU T ， LIU L ， et al . Automatic convolutional neural architecture search for image classification under different scenes ［J］. IEEE Access ， 2019 ， 7 ： 38495 - 38506 .

SCHULER C J ， HIRSCH M ， HARMELING S ， et al . Learning to deblur ［J］. IEEE transactions on pattern analysis and machine intelligence ， 2015 ， 38 （ 7 ）： 1439 - 1451 .

SUN J ， CAO W ， XU Z ， et al . Learning a convolutional neural network for non-uniform motion blur removal ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2015 ： 769 - 777 .

TAO X ， GAO H ， SHEN X ， et al . Scale-recurrent network for deep image deblurring ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2018 ： 8174 - 8182 .

YU F ， KOLTUM V . Multi-scale context aggregation by dilated convolutions ［J］. arXiv preprint arXiv： 1511.07122 ， 2015 .

LIM B ， SON S ， KIM H ， et al . Enhanced deep residual networks for single image super-resolution ［C］. Proceedings of the IEEE conference on computer vision and pattern recognition workshops ， 2017 ： 136 - 144 .

ZHANG Y ， TIAN Y ， KONG Y ， et al . Residual dense network for image super-resolution ［C］. Proceedings of the IEEE conference on computer vision and pattern recognition ， 2018 ： 2472 - 2481 .

HUANG G ， LIU Z ， MAATEN LVAN DER ， et al . Densely connected convolutional Networks ［C］. Proceedings of the IEEE conference on computer vision and pattern recognition ， 2017 ： 4700 - 4708 .

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . Imagenet classification with deep convolutional neural networks ［C］. Advances in neural information processing systems ， 2012 ： 1097 - 1105 .

Views

930

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Real-time deblurring of wideband small target based on attention mechanism

Image restoring method based on region selection network and its application in computational imaging

Image deblurring for laser active illumination based on light vein features

Related Author

ZHU Deyan

AO Yongqi

XU Jiayi

LI Chengcheng

ZHANG Yufan

Xiao-tian WU

Hang YANG

Xing-long SUN

Related Institution

College of Astronautics， Nanjing University of Aeronautics and Astronautics

Key Laboratory of Space Optoelectronic Detection and Perception， Nanjing University of Aeronautics and Astronautics

College of Opto-Electronic Engineering， Changchun University of Science and Technology

Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences

State Key Laboratory of Laser Interaction with Matter, Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰