深度特征维纳反卷积用于均匀离焦盲去模糊

王成曦; 罗晨; 周江澔; 邹浪; 贾磊

doi:10.37188/OPE.20233118.2713

您当前的位置：

首页 >

文章列表页 >

深度特征维纳反卷积用于均匀离焦盲去模糊

信息科学 | 更新时间：2023-09-25

- 深度特征维纳反卷积用于均匀离焦盲去模糊
- Uniform defocus blind deblurring based on deeper feature-based wiener deconvolution
- 光学精密工程 2023年31卷第18期页码：2713-2722
- 作者机构：
  
  1.东南大学软件学院，江苏苏州 215123
  2.东南大学机械工程学院，江苏南京 211189
  3.无锡尚实电子科技有限公司，江苏无锡 200240
- 作者简介：
  
  [ "王成曦（1999-），男，江苏宿迁人，硕士研究生，2017年于江南大学获得学士学位，主要从事图像处理、深度学习的研究。E-mail： 220215784@seu.edu.cn" ]
  [ "罗晨（1980-），女，江苏扬州人，博士，副教授，博士生导师，2002年于东南大学获得学士学位，2005年于上海交通大学获得硕士学位，2010年于上海交通大学获得博士学位，主要从事机器视觉、三维测量、机器人等方面的研究。E-mail： chenluo@seu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(51975119);无锡市“太湖之光”科技攻关（产业前瞻及关键技术研发）项目资助(G20222011)
- DOI：10.37188/OPE.20233118.2713
  中图分类号： TP319
- 收稿日期：2022-11-21，
  
  修回日期：2022-12-12，
  
  纸质出版日期：2023-09-25
- 稿件说明：
移动端阅览
王成曦,罗晨,周江澔等.深度特征维纳反卷积用于均匀离焦盲去模糊[J].光学精密工程,2023,31(18):2713-2722.

WANG Chengxi,LUO Chen,ZHOU Jianghao,et al.Uniform defocus blind deblurring based on deeper feature-based wiener deconvolution[J].Optics and Precision Engineering,2023,31(18):2713-2722.
王成曦,罗晨,周江澔等.深度特征维纳反卷积用于均匀离焦盲去模糊[J].光学精密工程,2023,31(18):2713-2722. DOI： 10.37188/OPE.20233118.2713.

WANG Chengxi,LUO Chen,ZHOU Jianghao,et al.Uniform defocus blind deblurring based on deeper feature-based wiener deconvolution[J].Optics and Precision Engineering,2023,31(18):2713-2722. DOI： 10.37188/OPE.20233118.2713.

摘要

工业精密制造中，视觉检测设备的成像系统往往景深较小，易产生离焦模糊，严重影响检测效果。针对这一问题，提出了一种针对于均匀离焦图像的盲去模糊网络（Uniform Defocus Blind Deblur Net，UDBD-Net）。首先，提出一种模糊核估计网络，提取离焦模糊的特征，并准确地估计出模糊核；其次，提出一种反卷积网络，通过神经网络学习并估计基于特征维纳反卷积（Feature-based Wiener Deconvolution，FWD）公式中的未知量，更准确地生成去模糊图像的潜在特征；最后，使用一个编解码网络（Encoder-Decoder Net）增强图像的细节，并去除伪影。实验结果表明，该方法在DIV2K和GOPRO图片上的峰值信噪比（Peak Signal to Noise Ratio，PSNR）分别达到31.16 dB和36.16 dB；与目前主流的方法相比，该方法在不显著增加模型推理时间的同时能够复原出更高质量、更自然地去模糊图像。此外，该方法对真实的均匀离焦模糊图像也有较好的去模糊效果，且能够显著提升工业视觉检测算法对于离焦模糊图像的检测效果。

Abstract

In industrial precision manufacturing， the small field depths of the imaging systems of visual inspection equipment can make them susceptible to defocus blurring. This significantly degrades their detection effect. To address this issue， this paper proposes a uniform defocus blind deblurring network （UDBD-Net）. First， a uniform defocus blur kernel estimation net for extracting the characteristics of out-of-focus blurring and accurately estimating the blur kernel is proposed. Second， a non-blind deconvolution network， which is used for learning and estimating the unknown quantity in the feature-based Wiener deconvolution （FWD） formula so as to accurately generate the latent features of blurred images， is presented. Finally， the use of an encoder–decoder net to enhance the details of the recovered image and remove the artifacts is detailed. The experimental results indicate peak signal-to-noise ratio （PSNR） values of 31.16 dB and 36.16 dB for UDBD-Net on the images of DIV2K and GOPRO test sets， respectively. Compared with extant blind deblurring methods， the proposed method can restore deblurred images with higher quality and more naturalness without significantly increasing the model inference time. Furthermore， UDBD-Net can achieve a good deblurring effect on real uniformly defocused blurred images and can considerably improve the detection effect of industrial vision detection algorithms on such images.

关键词

Keywords

references

KARAALI A ， HARTE N ， JUNG C R . Deep multi-scale feature learning for defocus blur estimation ［J］. IEEE Transactions on Image Processing ， 2022 ， 31 ： 1097 - 1106 . doi: 10.1109/tip.2021.3139243 http://dx.doi.org/10.1109/tip.2021.3139243

MA H Y ， LIU S J ， LIAO Q M ， et al . Defocus image deblurring network with defocus map estimation as auxiliary task ［J］. IEEE Transactions on Image Processing ， 2022 ， 31 ： 216 - 226 . doi: 10.1109/tip.2021.3127850 http://dx.doi.org/10.1109/tip.2021.3127850

杨昊元 . 基于图像统计特征的可见光图像复原方法研究［D］. 北京：中国科学院大学， 2021 .

YANG H Y . Visible Image Restoration Methods Based on Image Statistical Features ［D］. Beijing ： University of Chinese Academy of Sciences ， 2021 . （in Chinese）

CHEN M Q ， QUAN Y H ， PANG T Y ， et al . Nonblind image deconvolution via leveraging model uncertainty in an untrained deep neural network ［J］. International Journal of Computer Vision ， 2022 ， 130 （ 7 ）： 1770 - 1789 . doi: 10.1007/s11263-022-01621-9 http://dx.doi.org/10.1007/s11263-022-01621-9

陈清江，胡倩楠，李金阳 . 多尺度交替连接残差网络用于图像去模糊［J］. 光学精密工程， 2021 ， 29 （ 7 ）： 1686 - 1694 . doi: 10.37188/OPE.20212907.1686 http://dx.doi.org/10.37188/OPE.20212907.1686

CHEN Q J ， HU Q N ， LI J Y . Image deblurring based on multi-scale alternating connection residual network ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 7 ）： 1686 - 1694 . （in Chinese） . doi: 10.37188/OPE.20212907.1686 http://dx.doi.org/10.37188/OPE.20212907.1686

HUO D ， MASOUMZADEH A ， YANG Y H . Blind non-uniform motion deblurring using atrous spatial pyramid deformable convolution and deblurring-reblurring consistency ［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition ， 2022 . doi: 10.1109/cvprw56347.2022.00059 http://dx.doi.org/10.1109/cvprw56347.2022.00059

杨航 . 非盲图像复原综述［J］. 中国光学（中英文）， 2022 （ 5 ）： 954 - 972 . doi: 10.37188/co.2022-0099 http://dx.doi.org/10.37188/co.2022-0099

HANG Y . Survey of non-blind image restoration ［J］. Chinese Optics ， 2022 （ 5 ）： 954 - 972 . （in Chinese） . doi: 10.37188/co.2022-0099 http://dx.doi.org/10.37188/co.2022-0099

ZORAN D ， WEISS Y . From learning models of natural image patches to whole image restoration ［C］. 2011 International Conference on Computer Vision . 6 - 13 ， 2011， Barcelona， Spain. IEEE ， 2012： 479 - 486 . doi: 10.1109/iccv.2011.6126278 http://dx.doi.org/10.1109/iccv.2011.6126278

WONG K ， LI F . Fast Parameter Estimation Using Green ’ s Functions ［M］. Advances in Neural Information Processing Systems 14 . Cambridge ： The MIT Press ， 2001 . doi: 10.7551/mitpress/1120.003.0073 http://dx.doi.org/10.7551/mitpress/1120.003.0073

JOSHI N ， LAWRENCE ZITNICK C ， SZELISKI R ， et al . Image deblurring and denoising using color priors ［C］. 2009 IEEE Conference on Computer Vision and Pattern Recognition . 20 - 25 ， 2009， Miami， FL， USA. IEEE ， 2009： 1550 - 1557 . doi: 10.1109/cvpr.2009.5206802 http://dx.doi.org/10.1109/cvpr.2009.5206802

PAN J S ， HU Z ， SU Z X ， et al . Deblurring text images via L0-regularized intensity and gradient Prior ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition . 23 - 28 ， 2014， Columbus， OH， USA. IEEE ， 2014： 2901 - 2908 . doi: 10.1109/cvpr.2014.371 http://dx.doi.org/10.1109/cvpr.2014.371

闫敬文，彭鸿，刘蕾，等 . 基于L0正则化模糊核估计的遥感图像复原［J］. 光学精密工程， 2014 ， 22 （ 9 ）： 2572 - 2579 . doi: 10.3788/ope.20142209.2572 http://dx.doi.org/10.3788/ope.20142209.2572

YAN J W ， PENG H ， LIU L ， et al . Remote sensing image restoration based on zero-norm regularized kernel estimation ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 9 ）： 2572 - 2579 . （in Chinese） . doi: 10.3788/ope.20142209.2572 http://dx.doi.org/10.3788/ope.20142209.2572

曹学影，王琳，谭覃燕，等 . 自适应双刃边法模糊红外图像复原［J］. 光学精密工程， 2022 ， 30 （ 5 ）： 630 - 640 . doi: 10.37188/OPE.20223005.0620 http://dx.doi.org/10.37188/OPE.20223005.0620

CAO X Y ， WANG L ， TAN Q Y ， et al . Restoration of blurred infrared image by adaptive double edge method ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 5 ）： 630 - 640 . （in Chinese） . doi: 10.37188/OPE.20223005.0620 http://dx.doi.org/10.37188/OPE.20223005.0620

TRAN P ， TRAN A T ， PHUNG Q ， et al . Explore image deblurring via encoded blur kernel space ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 20 - 25 ，2021，Nashville，TN， USA. IEEE ， 2021： 11951 - 11960 . doi: 10.1109/cvpr46437.2021.01178 http://dx.doi.org/10.1109/cvpr46437.2021.01178

NAH S ， KIM T H ， LEE K M . Deep multi-scale convolutional neural network for dynamic scene deblurring ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 257 - 265 . doi: 10.1109/cvpr.2017.35 http://dx.doi.org/10.1109/cvpr.2017.35

TAO X ， GAO H Y ， SHEN X Y ， et al . Scale-recurrent network for deep image deblurring ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 8174 - 8182 . doi: 10.1109/cvpr.2018.00853 http://dx.doi.org/10.1109/cvpr.2018.00853

CHEN L ， CHU X ， ZHANG X ， et al . Simple Baselines for Image Restoration ［EB/OL］. 2022 ： arXiv ： 2204 . 04676 . https：//arxiv.org/abs/2204.04676 https://arxiv.org/abs/2204.04676 . doi: 10.1007/978-3-031-20071-7_2 http://dx.doi.org/10.1007/978-3-031-20071-7_2

PAN L Y ， HARTLEY R ， LIU M M ， et al . Phase-only image based kernel estimation for single image blind deblurring ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 6027 - 6036 . doi: 10.1109/cvpr.2019.00619 http://dx.doi.org/10.1109/cvpr.2019.00619

KAUFMAN A ， FATTAL R . Deblurring using analysis-synthesis networks pair ［J］. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition ， 2020 ： 5810 - 5819 . doi: 10.1109/cvpr42600.2020.00585 http://dx.doi.org/10.1109/cvpr42600.2020.00585

REN D W ， ZHANG K ， WANG Q L ， et al . Neural blind deconvolution using deep priors ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 3338 - 3347 . doi: 10.1109/cvpr42600.2020.00340 http://dx.doi.org/10.1109/cvpr42600.2020.00340

LEMPITSKY V ， VEDALDI A ， ULYANOV D . Deep image prior ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 9446 - 9454 . doi: 10.1109/cvpr.2018.00984 http://dx.doi.org/10.1109/cvpr.2018.00984

LUO Z W ， HUANG H B ， YU L ， et al . Deep constrained least squares for blind image super-resolution ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 18 - 24 ， 2022， New Orleans， LA， USA. IEEE ， 2022： 17621 - 17631 . doi: 10.1109/cvpr52688.2022.01712 http://dx.doi.org/10.1109/cvpr52688.2022.01712

DONG J ， ROTH S ， SCHIELE B . Deep Wiener Deconvolution： Wiener Meets Deep Learning for Image Deblurring ［EB/OL］. 2021 ： arXiv ： 2103 . 09962 . https：//arxiv.org/abs/2103.09962.pdf https://arxiv.org/abs/2103.09962.pdf . doi: 10.1109/tpami.2021.3138787 http://dx.doi.org/10.1109/tpami.2021.3138787

AGUSTSSON E ， TIMOFTE R . NTIRE 2017 challenge on single image super-resolution： dataset and study ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 1122 - 1131 . doi: 10.1109/cvprw.2017.150 http://dx.doi.org/10.1109/cvprw.2017.150

GU J J ， LU H N ， ZUO W M ， et al . Blind super-resolution with iterative kernel correction ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 1604 - 1613 . doi: 10.1109/cvpr.2019.00170 http://dx.doi.org/10.1109/cvpr.2019.00170

SETIADI D R I M . PSNR vs SSIM： imperceptibility quality assessment for image steganography ［J］. Multimedia Tools and Applications ， 2020 ， 80 （ 6 ）： 1 - 22 . doi: 10.1007/s11042-020-10035-z http://dx.doi.org/10.1007/s11042-020-10035-z

WANG Y . FTVd is Beyond Fast Total Variation Regularized Deconvolution ［EB/OL］. 2014 ： arXiv ： 1402 . 3869 . https：//arxiv.org/abs/1402.3869.pdf https://arxiv.org/abs/1402.3869.pdf

浏览量

875

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

LightDiffu-DCE：基于光照强度扩散的低光照图像增强

多级图特征融合引导相机位姿回归

基于机载的红外动态目标视频实时超分辨率重建

基于知识蒸馏的Transformer视觉跟踪器

3D-CNN与Transformer混合结构的高光谱图像空谱联合分类