Combined exposure computational imaging system and image restoration method

Xiao-tian WU; Bo LÜ; Bo LIU; Hang YANG

doi:10.37188/OPE.20212902.0452

您当前的位置：

首页 >

文章列表页 >

Combined exposure computational imaging system and image restoration method

Information Sciences | 更新时间：2021-03-05

- Combined exposure computational imaging system and image restoration method
- Optics and Precision Engineering Vol. 29, Issue 2, Pages: 452-462(2021)
- 作者机构：
  
  1.长春理工大学光电工程学院，吉林长春 130022
  2.中国科学院长春光学精密机械及物理研究所，吉林长春 130022
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20212902.0452
  CLC： TP391.4
- Received：17 June 2020，
  
  Revised：17 August 2020，
  
  Published：15 February 2021
- 稿件说明：
移动端阅览
吴笑天,吕博,刘博等.组合曝光的计算成像系统及其复原[J].光学精密工程,2021,29(02):452-462.

WU Xiao-tian,LÜ Bo,LIU Bo,et al.Combined exposure computational imaging system and image restoration method[J].Optics and Precision Engineering,2021,29(02):452-462.
吴笑天,吕博,刘博等.组合曝光的计算成像系统及其复原[J].光学精密工程,2021,29(02):452-462. DOI： 10.37188/OPE.20212902.0452.

WU Xiao-tian,LÜ Bo,LIU Bo,et al.Combined exposure computational imaging system and image restoration method[J].Optics and Precision Engineering,2021,29(02):452-462. DOI： 10.37188/OPE.20212902.0452.

摘要

传统光学成像方式在低照度条件下拍摄高速运动物体时，通过积分时间的配置难以平衡能量获取和高速运动模糊之间的矛盾。为了解决低照度条件下高速运动物体的清晰成像问题，本文提出一种基于组合曝光图像的计算成像方式，通过高帧频相机采集邻近两帧形成组合曝光图像对，基于两帧图像信息的互补，合理估算运动模糊点扩散函数，最终获取高信噪比的复原图像。试验结果表明，本文所述的计算成像方法能够良好地解决低照度条件下高速运动目标的成像模糊问题。通过本方法获得的复原图像相比原降质图像在细节纹理上有明显的改善，客观评价指标峰值信噪比（PSNR），结构相似指数（SSIM）相比原降质图像提升10%左右，整体性能效果优于现有非深度学习复原方法，图像清晰可靠，具有良好的主观视觉效果。

Abstract

In traditional optical imaging， when high-speed moving objects are photographed under low-light conditions， balancing the contrasting differences between energy acquisition and high-speed motion blur by configuring the integration time is difficult. To solve this problem， a computational imaging method based on combined exposure was proposed. A high-frame-rate camera was used to acquire two adjacent frames to form a combined exposure image pair. Based on the complementary information between the two frames， the motion blur point spread function was estimated， and the restored image with a high signal-to-noise ratio （SNR） was then recovered. Experimental results show that the proposed computational imaging method can solve the blur problem of high-speed object imaging under low-light conditions. Compared with the original degraded image， the restored image obtained by the restoration algorithm is significantly improved in terms of detailed texture. The objective evaluation indices of peak SNR and structural similarity index measure are also improved by greater than 10% over those of the degraded image. Overall， the performance of the proposed computational imaging method is better than that of the existing non-depth learning restoration method， and the image proved to be clear and reliable， exhibiting a good subjective visual effect.

关键词

Keywords

references

左超，冯世杰，张翔宇，等 . 深度学习下的计算成像：现状、挑战与未来［J］. 光学学报， 2020 ， 40 （ 1 ）： 0111003 .

ZUO CH ， FENG SH J ， ZHANG X Y ， et al . . Deep learning based computational imaging： status， challenges， and future ［J］. Acta Optica Sinica ， 2020 ， 40 （ 1 ）： 0111003 . （in Chinese）

王飞，王昊，卞耀明，等 . 深度学习在计算成像中的应用［J］. 光学学报， 2020 ， 40 （ 1 ）： 0111002 .

WANG F ， WANG H ， BIAN Y M ， et al . . Applications of deep learning in computational imaging ［J］. Acta Optica Sinica ， 2020 ， 40 （ 1 ）： 0111002 . （in Chinese）

PITTMAN ， SHIH ， STREKALOV ， et al . . Optical imaging by means of two-photon quantum entanglement ［J］. Physical Review A ， Atomic ， Molecular ， and Optical Physics ， 1995 ， 52 （ 5 ）： R3429 - R3432 .

SUN B ， EDGAR M P ， BOWMAN R ， et al . . 3D computational imaging with single-pixel detectors ［J］. Science ， 2013 ， 340 （ 6134 ）： 844 - 847 .

SEN P ， CHEN B ， GARG G ， et al . . Dual photography ［J］. ACM Transactions on Graphics ， 2005 ， 24 （ 3 ）： 745 - 755 .

张玉叶，周胜明，赵育良，等 . 高速运动目标的运动模糊图像复原研究［J］. 红外与激光工程， 2017 ， 46 （ 4 ）： 0428001 .

ZHANG Y Y ， ZHOU SH M ， ZHAO Y L ， et al . . Motion-blurred image deblurring of fast moving target ［J］. Infrared and Laser Engineering ， 2017 ， 46 （ 4 ）： 0428001 . （in Chinese）

CHEN C ， CHEN Q F ， XU J ， et al .. Learning to see in the dark ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City ： IEEE ， 2018 ： 3291 - 3300 .

郭永彩，王婀娜，高潮 . 空间自适应和正则化技术的盲图像复原［J］. 光学精密工程， 2008 ， 16 （ 11 ）： 2263 - 2267 .

GUO Y J ， WANG E N ， GAO CH . Blind image restoration algorithm based on space-adaptive and regularization ［J］. Optics and Precision Engineering ， 2008 ， 16 （ 11 ）： 2263 - 2267 . （in Chinese）

娄帅，丁振良，袁峰，等 . 应用Hopfield神经网络和小波域隐Markov树模型的图像复原［J］. 光学精密工程， 2009 ， 17 （ 11 ）： 2828 - 2834 .

LOU SH ， DING ZH L ， YUAN F ， et al . . Image restoration based on Hopfield neural network and wavelet domain HMT model ［J］. Optics and Precision Engineering ， 2009 ， 17 （ 11 ）： 2828 - 2834 . （in Chinese）

许元男，赵远，刘丽萍，等 . 含噪声模糊图像的点扩展函数参数辨识［J］. 光学精密工程， 2009 ， 17 （ 11 ）： 2849 - 2856 .

XU Y N ， ZHAO Y ， LIU L P ， et al . . Parameter identification of point spread function in noisy and blur images ［J］. Optics and Precision Engineering ， 2009 ， 17 （ 11 ）： 2849 - 2856 . （in Chinese）

XU L ， ZHENG S C ， JIA J Y . Unnatural L0 sparse representation for natural image deblurring ［C］. 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland ： IEEE ， 2013 ： 1107 - 1114 .

LEVIN A ， WEISS Y ， DURAND F ， et al .. Understanding and evaluating blind deconvolution algorithms ［C］. 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami ： IEEE ， 2009 ： 1964 - 1971 .

XU L ， JIA J Y . Two-phase kernel estimation for robust motion deblurring ［C］. Computer Vision - ECCV 2010 ， 2010 ： DOI：10.1007/978-3-642-15549-9_12.

PAN J S ， SUN D Q ， PFISTER H ， et al . . Deblurring images via dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 10 ）： 2315 - 2328 .

WHYTE O ， SIVIC J ， ZISSERMAN A ， et al .. Non-uniform deblurring for Shaken images ［C］. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco ： IEEE ， 2010 ： 491 - 498 .

CHO S ， LEE S . Fast motion deblurring ［J］. ACM Transactions on Graphics ， 2009 ， 28 （ 5 ）： 1 - 8 .

CHAKRABARTI A . A Neural Approach to Blind Motion Deblurring ［M］. Cham ： Springer International Publishing ， 2016 ： 221 - 235 .

LI L ， PAN J S ， LAI W S ， et al .. Learning a discriminative prior for blind image deblurring ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City ： IEEE ， 2018 ： 6616 - 6625 .

NAH S ， KIM T H ， LEE K M . Deep multi-scale convolutional neural network for dynamic scene deblurring ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu ： IEEE ， 2017 ： 257 - 265 .

ZHANG J W ， PAN J S ， REN J ， et al .. Dynamic scene deblurring using spatially variant recurrent neural networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City ： IEEE ， 2018 ： 2521 - 2529 .

KUPYN O ， MARTYNIUK T ， WU J R ， et al .. DeblurGAN-v2： deblurring （orders-of-magnitude） faster and better ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ： IEEE ， 2019 ： 8877 - 8886 .

YUAN L ， SUN J ， QUAN L ， et al . . Image deblurring with blurred/noisy image pairs ［J］. Acm Siggraph ， 2007 （ 26 ）： 654 - 661 .

LEE S H ， PARK H M ， HWANG S Y . Motion deblurring using edge map with blurred/noisy image pairs ［J］. Optics Communications ， 2012 ， 285 （ 7 ）： 1777 - 1786 .

HIRSCH M ， SRA S ， SCHÖLKOPF B ， et al .. Efficient filter flow for space-variant multiframe blind deconvolution ［C］. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco ： IEEE ， 2010 ： 607 - 614 .

OSHER S ， RUDIN L I . Feature-oriented image enhancement using shock filters ［J］. SIAM Journal on Numerical Analysis ， 1990 ， 27 （ 4 ）： 919 - 940 .

SCHULER C J ， HIRSCH M ， HARMELING S ， et al .. Non-stationary correction of optical aberrations ［C］. 2011 International Conference on Computer Vision. Barcelona ： IEEE ， 2011 ： 659 - 666 .

WANG Y L ， YANG J F ， YIN W T ， et al . . A new alternating minimization algorithm for total variation image reconstruction ［J］. SIAM Journal on Imaging Sciences ， 2008 ， 1 （ 3 ）： 248 - 272 .

HEIDE F ， ROUF M ， HULLIN M B ， et al . . High-quality computational imaging through simple lenses ［J］. ACM Transactions on Graphics ， 2013 ， 32 （ 5 ）： 1 - 14 .

Views

619

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Multi-regularization image restoration method for X-ray images of integrated circuit

End-to-end co-design of optics and image processing and its applications

Polarization computational imaging super-resolution reconstruction with lightweight attention cascading network

Restoration of blurred infrared image by adaptive double edge method

End-to-end image dehazing under separated features and collaborative network

Related Author

MA Ge

LIN Sen

LI Zhifu

ZHAO Zhijia

ZOU Tao

DUN Xiong

ZHANG Jian

FENG Shiqi

Related Institution

School of Mechanical and Electrical Engineering， Guangzhou University

Institute of Precision Optical Engineering， MOE Key Laboratory of Advanced Micro-Structured Materials， Shanghai Frontiers Science Center of Digital Optics， Shanghai Professional Technical Service Platform for Full-Spectrum and High-Performance Optical Thin Film Devices and Applications， School of Physics Science and Engineering， Tongji University

Institute of Intelligent Technology， Anhui Wenda University of Information Engineering

Anhui Province Key Laboratory of Polarized Imaging Detecting Technology， Army Artillery and Air Defense Forces Academy of PLA

National Engineering Research Center for Agro-Ecological Big Data Analysis & Application， Anhui University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰