组合曝光的计算成像系统及其复原

吴笑天; 吕博; 刘博; 杨航

doi:10.37188/OPE.20212902.0452

您当前的位置：

首页 >

文章列表页 >

组合曝光的计算成像系统及其复原

信息科学 | 更新时间：2021-03-05

- 组合曝光的计算成像系统及其复原
- Combined exposure computational imaging system and image restoration method
- 光学精密工程 2021年29卷第2期页码：452-462
- 作者机构：
  
  1.长春理工大学光电工程学院，吉林长春 130022
  2.中国科学院长春光学精密机械及物理研究所，吉林长春 130022
- 作者简介：
  
  [ "吴笑天（1986-），男，吉林长春人，博士研究生，助理研究员，博士研究生，2012年于厦门大学获得硕士学位，主要从事计算成像，机器视觉等方面的研究工作。E-mail： wuzeping1893@163.com" ]
- 基金信息：
  
  中国科学院青年创新促进会项目(2020220)
- DOI：10.37188/OPE.20212902.0452
  中图分类号： TP391.4
- 收稿日期：2020-06-17，
  
  修回日期：2020-08-17，
  
  纸质出版日期：2021-02-15
- 稿件说明：
移动端阅览
吴笑天,吕博,刘博等.组合曝光的计算成像系统及其复原[J].光学精密工程,2021,29(02):452-462.

WU Xiao-tian,LÜ Bo,LIU Bo,et al.Combined exposure computational imaging system and image restoration method[J].Optics and Precision Engineering,2021,29(02):452-462.
吴笑天,吕博,刘博等.组合曝光的计算成像系统及其复原[J].光学精密工程,2021,29(02):452-462. DOI： 10.37188/OPE.20212902.0452.

WU Xiao-tian,LÜ Bo,LIU Bo,et al.Combined exposure computational imaging system and image restoration method[J].Optics and Precision Engineering,2021,29(02):452-462. DOI： 10.37188/OPE.20212902.0452.

摘要

传统光学成像方式在低照度条件下拍摄高速运动物体时，通过积分时间的配置难以平衡能量获取和高速运动模糊之间的矛盾。为了解决低照度条件下高速运动物体的清晰成像问题，本文提出一种基于组合曝光图像的计算成像方式，通过高帧频相机采集邻近两帧形成组合曝光图像对，基于两帧图像信息的互补，合理估算运动模糊点扩散函数，最终获取高信噪比的复原图像。试验结果表明，本文所述的计算成像方法能够良好地解决低照度条件下高速运动目标的成像模糊问题。通过本方法获得的复原图像相比原降质图像在细节纹理上有明显的改善，客观评价指标峰值信噪比（PSNR），结构相似指数（SSIM）相比原降质图像提升10%左右，整体性能效果优于现有非深度学习复原方法，图像清晰可靠，具有良好的主观视觉效果。

Abstract

In traditional optical imaging， when high-speed moving objects are photographed under low-light conditions， balancing the contrasting differences between energy acquisition and high-speed motion blur by configuring the integration time is difficult. To solve this problem， a computational imaging method based on combined exposure was proposed. A high-frame-rate camera was used to acquire two adjacent frames to form a combined exposure image pair. Based on the complementary information between the two frames， the motion blur point spread function was estimated， and the restored image with a high signal-to-noise ratio （SNR） was then recovered. Experimental results show that the proposed computational imaging method can solve the blur problem of high-speed object imaging under low-light conditions. Compared with the original degraded image， the restored image obtained by the restoration algorithm is significantly improved in terms of detailed texture. The objective evaluation indices of peak SNR and structural similarity index measure are also improved by greater than 10% over those of the degraded image. Overall， the performance of the proposed computational imaging method is better than that of the existing non-depth learning restoration method， and the image proved to be clear and reliable， exhibiting a good subjective visual effect.

关键词

Keywords

references

左超，冯世杰，张翔宇，等 . 深度学习下的计算成像：现状、挑战与未来［J］. 光学学报， 2020 ， 40 （ 1 ）： 0111003 .

ZUO CH ， FENG SH J ， ZHANG X Y ， et al . . Deep learning based computational imaging： status， challenges， and future ［J］. Acta Optica Sinica ， 2020 ， 40 （ 1 ）： 0111003 . （in Chinese）

王飞，王昊，卞耀明，等 . 深度学习在计算成像中的应用［J］. 光学学报， 2020 ， 40 （ 1 ）： 0111002 .

WANG F ， WANG H ， BIAN Y M ， et al . . Applications of deep learning in computational imaging ［J］. Acta Optica Sinica ， 2020 ， 40 （ 1 ）： 0111002 . （in Chinese）

PITTMAN ， SHIH ， STREKALOV ， et al . . Optical imaging by means of two-photon quantum entanglement ［J］. Physical Review A ， Atomic ， Molecular ， and Optical Physics ， 1995 ， 52 （ 5 ）： R3429 - R3432 .

SUN B ， EDGAR M P ， BOWMAN R ， et al . . 3D computational imaging with single-pixel detectors ［J］. Science ， 2013 ， 340 （ 6134 ）： 844 - 847 .

SEN P ， CHEN B ， GARG G ， et al . . Dual photography ［J］. ACM Transactions on Graphics ， 2005 ， 24 （ 3 ）： 745 - 755 .

张玉叶，周胜明，赵育良，等 . 高速运动目标的运动模糊图像复原研究［J］. 红外与激光工程， 2017 ， 46 （ 4 ）： 0428001 .

ZHANG Y Y ， ZHOU SH M ， ZHAO Y L ， et al . . Motion-blurred image deblurring of fast moving target ［J］. Infrared and Laser Engineering ， 2017 ， 46 （ 4 ）： 0428001 . （in Chinese）

CHEN C ， CHEN Q F ， XU J ， et al .. Learning to see in the dark ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City ： IEEE ， 2018 ： 3291 - 3300 .

郭永彩，王婀娜，高潮 . 空间自适应和正则化技术的盲图像复原［J］. 光学精密工程， 2008 ， 16 （ 11 ）： 2263 - 2267 .

GUO Y J ， WANG E N ， GAO CH . Blind image restoration algorithm based on space-adaptive and regularization ［J］. Optics and Precision Engineering ， 2008 ， 16 （ 11 ）： 2263 - 2267 . （in Chinese）

娄帅，丁振良，袁峰，等 . 应用Hopfield神经网络和小波域隐Markov树模型的图像复原［J］. 光学精密工程， 2009 ， 17 （ 11 ）： 2828 - 2834 .

LOU SH ， DING ZH L ， YUAN F ， et al . . Image restoration based on Hopfield neural network and wavelet domain HMT model ［J］. Optics and Precision Engineering ， 2009 ， 17 （ 11 ）： 2828 - 2834 . （in Chinese）

许元男，赵远，刘丽萍，等 . 含噪声模糊图像的点扩展函数参数辨识［J］. 光学精密工程， 2009 ， 17 （ 11 ）： 2849 - 2856 .

XU Y N ， ZHAO Y ， LIU L P ， et al . . Parameter identification of point spread function in noisy and blur images ［J］. Optics and Precision Engineering ， 2009 ， 17 （ 11 ）： 2849 - 2856 . （in Chinese）

XU L ， ZHENG S C ， JIA J Y . Unnatural L0 sparse representation for natural image deblurring ［C］. 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland ： IEEE ， 2013 ： 1107 - 1114 .

LEVIN A ， WEISS Y ， DURAND F ， et al .. Understanding and evaluating blind deconvolution algorithms ［C］. 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami ： IEEE ， 2009 ： 1964 - 1971 .

XU L ， JIA J Y . Two-phase kernel estimation for robust motion deblurring ［C］. Computer Vision - ECCV 2010 ， 2010 ： DOI：10.1007/978-3-642-15549-9_12.

PAN J S ， SUN D Q ， PFISTER H ， et al . . Deblurring images via dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 10 ）： 2315 - 2328 .

WHYTE O ， SIVIC J ， ZISSERMAN A ， et al .. Non-uniform deblurring for Shaken images ［C］. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco ： IEEE ， 2010 ： 491 - 498 .

CHO S ， LEE S . Fast motion deblurring ［J］. ACM Transactions on Graphics ， 2009 ， 28 （ 5 ）： 1 - 8 .

CHAKRABARTI A . A Neural Approach to Blind Motion Deblurring ［M］. Cham ： Springer International Publishing ， 2016 ： 221 - 235 .

LI L ， PAN J S ， LAI W S ， et al .. Learning a discriminative prior for blind image deblurring ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City ： IEEE ， 2018 ： 6616 - 6625 .

NAH S ， KIM T H ， LEE K M . Deep multi-scale convolutional neural network for dynamic scene deblurring ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu ： IEEE ， 2017 ： 257 - 265 .

ZHANG J W ， PAN J S ， REN J ， et al .. Dynamic scene deblurring using spatially variant recurrent neural networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City ： IEEE ， 2018 ： 2521 - 2529 .

KUPYN O ， MARTYNIUK T ， WU J R ， et al .. DeblurGAN-v2： deblurring （orders-of-magnitude） faster and better ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ： IEEE ， 2019 ： 8877 - 8886 .

YUAN L ， SUN J ， QUAN L ， et al . . Image deblurring with blurred/noisy image pairs ［J］. Acm Siggraph ， 2007 （ 26 ）： 654 - 661 .

LEE S H ， PARK H M ， HWANG S Y . Motion deblurring using edge map with blurred/noisy image pairs ［J］. Optics Communications ， 2012 ， 285 （ 7 ）： 1777 - 1786 .

HIRSCH M ， SRA S ， SCHÖLKOPF B ， et al .. Efficient filter flow for space-variant multiframe blind deconvolution ［C］. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco ： IEEE ， 2010 ： 607 - 614 .

OSHER S ， RUDIN L I . Feature-oriented image enhancement using shock filters ［J］. SIAM Journal on Numerical Analysis ， 1990 ， 27 （ 4 ）： 919 - 940 .

SCHULER C J ， HIRSCH M ， HARMELING S ， et al .. Non-stationary correction of optical aberrations ［C］. 2011 International Conference on Computer Vision. Barcelona ： IEEE ， 2011 ： 659 - 666 .

WANG Y L ， YANG J F ， YIN W T ， et al . . A new alternating minimization algorithm for total variation image reconstruction ［J］. SIAM Journal on Imaging Sciences ， 2008 ， 1 （ 3 ）： 248 - 272 .

HEIDE F ， ROUF M ， HULLIN M B ， et al . . High-quality computational imaging through simple lenses ［J］. ACM Transactions on Graphics ， 2013 ， 32 （ 5 ）： 1 - 14 .

浏览量

619

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

集成电路X射线图像的多正则化图像复原

光学系统与图像处理端到端协同设计及其应用

轻量级注意力级联网络的偏振计算成像超分辨率重建

自适应双刃边法模糊红外图像复原

分离特征和协同网络下的端到端图像去雾