基于区域选择网络的图像复原及其在计算成像中的应用

吴笑天; 杨航; 孙兴龙

doi:10.37188/OPE.20212904.0864

您当前的位置：

首页 >

文章列表页 >

基于区域选择网络的图像复原及其在计算成像中的应用

信息科学 | 更新时间：2021-05-12

- 基于区域选择网络的图像复原及其在计算成像中的应用
- Image restoring method based on region selection network and its application in computational imaging
- 光学精密工程 2021年29卷第4期页码：864-876
- 作者机构：
  
  1.长春理工大学光电工程学院，吉林长春 130022
  2.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
- 作者简介：
  
  [ "吴笑天（1986-），男，吉林长春人，助理研究员，博士研究生，2012年毕业于厦门大学获得硕士学位，主要从事计算成像，机器视觉等方面的研究工作。E-mail： wuzeping1893@163.com" ]
  [ "杨　航（1985-），男，吉林长春人，博士，副研究员，2012年于吉林大学获得博士学位，主要从事机器视觉及图像复原方面的研究。E-mail： yanghang@ciomp.ac.cn" ]
- 基金信息：
  
  中国科学院青年创新促进会项目资助(2020220)
- DOI：10.37188/OPE.20212904.0864
  中图分类号： TP394.1;TH691.9
- 收稿日期：2020-10-03，
  
  修回日期：2020-10-29，
  
  纸质出版日期：2021-04-15
- 稿件说明：
移动端阅览
吴笑天,杨航,孙兴龙.基于区域选择网络的图像复原及其在计算成像中的应用[J].光学精密工程,2021,29(04):864-876.

WU Xiao-tian,YANG Hang,SUN Xing-long.Image restoring method based on region selection network and its application in computational imaging[J].Optics and Precision Engineering,2021,29(04):864-876.
吴笑天,杨航,孙兴龙.基于区域选择网络的图像复原及其在计算成像中的应用[J].光学精密工程,2021,29(04):864-876. DOI： 10.37188/OPE.20212904.0864.

WU Xiao-tian,YANG Hang,SUN Xing-long.Image restoring method based on region selection network and its application in computational imaging[J].Optics and Precision Engineering,2021,29(04):864-876. DOI： 10.37188/OPE.20212904.0864.

摘要

本文针对波前编码成像，单透镜计算成像等领域的全局一致模糊复原背景需求，提出了一种高效的基于区域选择网络的图像去模糊方法。与传统方法通过构建目标函数及各类先验信息实现模糊图像清晰化过程不同，本文方法则基于深度学习与传统方法的结合。传统方法负责图像复原的主体流程，深度学习方法则负责对传统方法中的关键步骤模糊核求取区域选择进行干预。基于深度学习的深度二元分类网络能够自动在全局图像中剔除平坦过曝、短小纹理等区域，并选取最优的用于模糊核求取的图块区域。传统复原方法则以此为基础实现模糊核求取，非盲图像复原及图像清晰化处理过程。实验结果表明：本文的复原方法能够实现良好的复原效果，纹理清晰，稳定可靠；所提出的区域选择网络能够在降低计算复杂度的同时，有效提升模糊核的估计准确度，进而提升图像清晰化的复原效果。在同等条件下，所提出的深度二元分类网络在误差率限定在1.5时，复原成功率较比现有方法提升了2.1%，同时复原图像的平均峰值信噪比较比现有方法提高了0.5 dB。

Abstract

Computational imaging is a new interdisciplinary subject that has gained widespread research attention in recent years. However， its efficiency and recovery effect restrict its development in engineering applications. In this paper， an efficient image deblurring method based on a region selection network is proposed to tackle the restoration task in the fields of wavefront coding imaging and single lens computational imaging. In contrast to traditional image restoration methods， which usually involve construction of an objective function and addition of reasonable image priors to restore blurry images， the proposed method is based on a combination of a deep learning method and a traditional restoration algorithm. The traditional method is used for the main image restoration process， while the deep learning method is used to intervene in the kernel estimation region selection. The deep learning method involves constructing and training a deep binary classification network， which can automatically eliminate the flat overexposure， short texture， and other areas in the global image， and select the most suitable block area for kernel estimation. On this basis， traditional restoration methods perform kernel estimation， non-blind image restoration， and image enhancement processing. The experimental results show that the proposed method can achieve a good and stable restoration effect， that the proposed region selection method can reduce the computational complexity， and that the point spread function can be estimated well. When the error rate is limited to 1.5， the restoration success rate is improved by at least 2.1%， and the average peak signal-to-noise ratio （PSNR） is increased by at least 0.5 dB.

关键词

Keywords

references

王宗跃，夏启明，蔡国榕，等 . 自适应图像组的稀疏正则化图像复原［J］. 光学精密工程， 2019 ， 27 （ 12 ）： 2713 - 2721 .

WANG Z Y ， XIA Q M ， CAI G R . et al . Image restoration based on adaptive group images sparse regularization ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 12 ）： 2713 - 2721 . （in Chinese）

李俊山，杨亚威，张姣，等 . 退化图像复原方法研究进展［J］. 液晶与显示， 2018 ， 33 （ 8 ）： 676 - 689 .

LI J SH ， YANG Y W ， ZHANG J ， et al . Progress of degraded image restoration methods ［J］. Chinese Journal of Liquid Crystals and Displays ， 2018 ， 33 （ 8 ）： 676 - 689 . （in Chinese）

DOWSKI J ， EDWARD R ， CATHEY W T . Extended depth of field through wave-front coding ［J］. Appl. Opt .， 1995 ，（ 34 ）： 1859 - 1866 .

YIFAN PENG ， QILIN SUN ， XIONG DUN ， et al . Learned large field-of-view imaging with thin-plate optics ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 6 ）： 1 - 14 .

PENG Y ， FU Q ， HEIDE F ， et al . The diffractive achromat full spectrum computational imaging with diffractive optics ［J］. ACM Transactions on Graphics ， 2016 ， 35 （ 4 ）： 31 .

SCHULER C ， HIRSCH M ， HARMELING S ， et al . Non-stationary correction of optical aberrations ［C］. IEEE International Conference on Computer Vision ， Barcelona ， 2011 ： 659 - 666 .

KUPYN O ， BUDZAN V ， MYKHAILYCH M ， et al . DeblurGAN： Blind motion deblurring using conditional adversarial networks ［C］. IEEE conference on Computer Vision and Pattern Recognition ， Salt Lake City， UT ， 2018 ： 8183 - 8192 .

HU Z ， YANG M H . Learning Good Regions to Deblur Image ［J］. International Journal of Computer Vision ， 2015 ， 115 （ 3 ）： 345 - 362 .

LEVIN A ， WEISS Y ， DURAND F ， et al . Understanding and evaluating blind deconvolution algorithms ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Miami， FL ， 2009 ： 1964 - 1971 .

FERGUS R ， SINGH B ， HERTZMANN A ， et al . Removing camera shake from a single photograph ［J］. ACM Transactions on Graphics ， 2006 ， 25 （ 3 ）： 787 - 794 .

XU L ， JIA J . Two-phase kernel estimation for robust motion deblurring ［C］. European Conference on Computer Vision ， SPIE ， Heraklion ， 2010 ： 157 - 170 .

JOSHI N ， SZELISKI R ， KRIEGMAN D J . PSF estimation using sharp edge prediction ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Anchorage ， AK ， 2008 ： 1 - 8 .

CHO T S ， JOSHI N ， ZITNICK C L ， et al . A content-aware image prior ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， San Francisco， CA ， 2010 ： 169 - 176 .

SHAN Q ， JIA J ， AGARWALA A . High-quality motion deblurring from a single image ［J］. ACM SIGGRAPH ， 2008 - 27 ： 1 - 10 .

BAE H ， FOWLKES C ， CHOU P H ， et al . Patch mosaic for fast motion deblurring ［C］. Asian conference on Computer Vision ， Springer ， Berlin Heidelberg ， 2012 ： 322 - 335 .

GONG D ， TAN M ， ZHANG Y ， et al . Blind image deconvolution by automatic gradient activation ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Las Vegas， NV ， 2016 ： 1827 - 1836

LAI W ， DING J ， LIN Y ， et al . Blur kernel estimation using normalized color-line priors ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Boston， MA ， 2015 ： 64 - 72 .

PAN J ， HU Z ， SU Z ， et al . Deblurring Text Images via L0-Regularized Intensity and Gradient Prior ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Columbus ， OH ， 2014 ： 2901 - 2908 .

PAN J ， SUN D ， PFISTER H ， et al . Blind image deblurring using dark channel prior ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Las Vegas， NV ， 2016 ： 1628 - 1636 .

YAN Y ， REN W ， GUO Y ， et al . Image deblurring via extreme channels prior ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Honolulu， HI ， 2017 ： 6978 - 6986 .

CHEN L ， FANG F ， WANG T ， et al . Blind image deblurring with local maximum gradient prior ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， CA， USA ， 2019 ： 1742 - 1750 .

刘超，张晓晖 . 超低照度下微光图像的深度卷积自编码网络复原［J］. 光学精密工程， 2018 ， 26 （ 4 ）： 951 - 961 .

LIU CH ， ZHANG X H . Deep convolutional autoencoder networks approach to low-light level image restoration under extreme low-light illumination ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 4 ）： 951 - 961 . （in Chinese）

徐胜军，欧阳朴衍，郭学源，等 . 多尺度特征融合空洞卷积ResNet遥感图像建筑物分割［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1588 - 1599 .

XU SH J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese）

SCHULER C J ， HIRSCH M ， HARMELING S ， et al . Learning to Deblur ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 7 ）： 1439 - 1451 .

HRADIS M ， KOTERA J ， ZEMCIK P ， et al . Convolutional Neural Networks for Direct Text Deblurring ［C］. British Machine Vision Conference ， Swansea， UK ， 2015 ： 6 .1-6. 13 .

YAN R ， SHAO L . Blind image blur estimation via deep learning ［J］. IEEE Transactions on Image Processing ， 2016 ， 25 （ 4 ）： 1910 - 1921 .

LI L ， PAN J ， LAI W S ， et al . Learning a discriminative prior for blind image deblurring ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Salt Lake City， UT ， 2018 ： 6616 - 6625 .

NAH S ， KIM T H ， LEE K M . Deep multi-scale convolutional neural network for dynamic scene deblurring ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Honolulu， HI ， 2017 ： 257 - 265 .

ZHANG J ， PAN J ， REN J ， et al . Dynamic scene deblurring using spatially variant recurrent neural networks ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Salt Lake City， UT ， 2018 ： 2521 - 2529 .

KUPYN O ， MARTYNIUK T ， WU J ， et al . DeblurGAN-v2： Deblurring （Orders-of-Magnitude） faster and better ［C］. International Conference on Computer Vision ， Seoul ， Korea （South）， 2019 ： 8877 - 8886 .

HE K ， SUN J ， FELLOW ， et al . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 （ 33 ）： 2341 - 2353 .

HE K M ， SUN J ， TANG XO . Guided Image Filtering ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2013 （ 35 ）： 1397 - 1409 .

HE K ， ZHANG X ， REN S ， et al . Deep residual learning for image recognition ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， Las Vegas， NV ， 2016 ： 770 - 778 .

AZULAY A ， WEISS Y . Why do deep convolutional networks generalize so poorly to small image transformations ［J］. Journal of Machine Learning Research ， 2019 ， 20 （ 184 ）： 1 - 25 .

YANG H ， ZHANG Z ， GUAN Y ， et al . Rolling bilateral filter-based text image deblurring ［J］. The Visual Computer ， 2019 ， 35 （ 11 ）： 1627 - 1640 .

SUN L ， CHO S ， WANG J ， et al . Edge-based blur kernel estimation using patch priors ［C］. International Conference on Computational Photography . Cambridge， MA ， 2013 ： 1 - 8 .

CHAKRABARTI A . A neural approach to blind motion deblurring ［C］. European Conference on Computer Vision ， Amsterdam， The Netherlands ， 2016 ： 221 - 235 .

KOHLER R ， HIRSCH M ， MOHLER B J ， et al . Recording and playback of camera shake： benchmarking blind deconvolution with a real-world database ［C］. European Conference on Computer Vision ， Florence， Italy ， 2012 ： 27 - 40 .

浏览量

722

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于注意力机制的宽波段小目标实时去模糊

光学系统与图像处理端到端协同设计及其应用

轻量级注意力级联网络的偏振计算成像超分辨率重建

多尺度交替连接残差网络用于图像去模糊

组合曝光的计算成像系统及其复原