Two-stage image restoration using improved atmospheric scattering model

Nannan ZHANG; Zhiwei LI; Xinjun GUO; Xinjie XIAO; Hao RUAN

doi:10.37188/OPE.20223018.2267

您当前的位置：

首页 >

文章列表页 >

Two-stage image restoration using improved atmospheric scattering model

Information Sciences | 更新时间：2022-09-26

- Two-stage image restoration using improved atmospheric scattering model
- Optics and Precision Engineering Vol. 30, Issue 18, Pages: 2267-2279(2022)
- 作者机构：
  
  1.上海工程技术大学电子电气工程学院，上海 201620
  2.中国科学院上海光学精密机械研究所，上海 201800
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223018.2267
  CLC： TP391.4
- Received：21 April 2022，
  
  Revised：02 June 2022，
  
  Published：25 September 2022
- 稿件说明：
移动端阅览
张楠楠,李志伟,郭新军等.使用改进型大气散射模型的双阶段图像修复[J].光学精密工程,2022,30(18):2267-2279.

ZHANG Nannan,LI Zhiwei,GUO Xinjun,et al.Two-stage image restoration using improved atmospheric scattering model[J].Optics and Precision Engineering,2022,30(18):2267-2279.
张楠楠,李志伟,郭新军等.使用改进型大气散射模型的双阶段图像修复[J].光学精密工程,2022,30(18):2267-2279. DOI： 10.37188/OPE.20223018.2267.

ZHANG Nannan,LI Zhiwei,GUO Xinjun,et al.Two-stage image restoration using improved atmospheric scattering model[J].Optics and Precision Engineering,2022,30(18):2267-2279. DOI： 10.37188/OPE.20223018.2267.

摘要

针对在雾霾天气、水下和夜间环境中获得的图像存在清晰度和对比度下降以及色彩失真等问题，提出一种使用改进型大气散射模型的双阶段图像修复方法。通过在传统的大气散射模型中引入一个全局补偿系数以得到一个改进型大气散射模型，使用该模型的双阶段图像修复方法包含两个阶段：首先，输入一张退化图像，利用改进型大气散射模型得出一张粗略的修复图像，并利用灰度世界算法求出该粗略的修复图像的反照率；其次，将反照率和第一阶段的输出图像作为输入，利用改进型大气散射模型得出最终的修复图像。实验结果表明，所提出的方法可避免图像修复的结果中存在色彩失真和色调偏暗等问题，并且具有很好的适用性，其不仅可有效实现雾霾图像去雾，也可实现水下图像修复和夜间图像增强。与当前最先进的方法相比，所提出的方法在定量和定性实验上都取得了优异的结果。

Abstract

Targeting negative effects such as clarity and contrast degradation and color distortion of images acquired in hazy weather， underwater， and in nighttime environments， a two-stage image restoration method using an improved atmospheric scattering model is proposed. A global compensation coefficient is introduced into the traditional atmospheric scattering model to obtain an improved atmospheric scattering model； the two-stage image restoration method based on this model consists of two stages. First， a degraded image is fed to the improved atmospheric scattering model to obtain a coarse restored image. The grayscale world algorithm is then used to determine the albedo of this coarse restored image. Second， the albedo and output image of the first stage are fed to the improved atmospheric scattering model to obtain the final restored image. Experimental results indicate that the proposed method can avoid the problems of color distortion and dark tones in the restored images and has good applicability. The method can effectively achieve image dehazing， underwater image restoration， and night image enhancement. The proposed method achieves excellent results in both quantitative and qualitative experiments compared with state-of-the-art methods.

关键词

Keywords

references

吕建威，钱锋，韩昊男，等 . 结合天空分割和雾气浓度估计的图像去雾［J］. 光学精密工程， 2022 ， 30 （ 4 ）： 464 - 477 . doi: 10.37188/OPE.20223004.0464 http://dx.doi.org/10.37188/OPE.20223004.0464

LV J W ， QIAN F ， HAN H N ， et al . Single image dehazing with sky segmentation and haze density estimation ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 4 ）： 464 - 477 . （in Chinese） . doi: 10.37188/OPE.20223004.0464 http://dx.doi.org/10.37188/OPE.20223004.0464

王伟鹏，项文杰，戴声奎 . 结合双阈值定位与透射率约束的航拍图像去雾［J］. 液晶与显示， 2020 ， 35 （ 10 ）： 1079 - 1086 . doi: 10.37188/YJYXS20203510.1079 http://dx.doi.org/10.37188/YJYXS20203510.1079

WANG W P ， XIANG W J ， DAI S K . Aerial image defogging based on dual-threshold position and transmittance constraint ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 10 ）： 1079 - 1086 . （in Chinese） . doi: 10.37188/YJYXS20203510.1079 http://dx.doi.org/10.37188/YJYXS20203510.1079

韩昊男，钱锋，吕建威，等 . 图像去雾方法质量评价［J］. 光学精密工程， 2022 ， 30 （ 6 ）： 721 - 733 .

HAN H N ， QIAN F ， LV J W ， et al . Image dehazing method quality assessment ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 6 ）： 721 - 733 . （in Chinese）

冯燕茹，王一斌 . 物理成像模型的分解合成循环细化去雾网络［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2692 - 2702 . doi: 10.37188/OPE.20212911.2692 http://dx.doi.org/10.37188/OPE.20212911.2692

FENG Y R ， WANG Y B . Dehazing using a decomposition-composition and recurrent refinement network based on the physical imaging model ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2692 - 2702 . （in Chinese） . doi: 10.37188/OPE.20212911.2692 http://dx.doi.org/10.37188/OPE.20212911.2692

杨爱萍，白煌煌 . 基于Retinex理论和暗通道先验的夜间图像去雾算法［J］. 激光与光电子学进展， 2017 ， 54 （ 4 ）： 147 - 153 . doi: 10.3788/lop54.041002 http://dx.doi.org/10.3788/lop54.041002

YANG A P ， BAI H H . Nighttime image defogging based on the theory of retinex and dark channel prior ［J］. Laser ＆ Optoelectronics Progress ， 2017 ， 54 （ 4 ）： 147 - 153 . （in Chinese） . doi: 10.3788/lop54.041002 http://dx.doi.org/10.3788/lop54.041002

董丽丽，丁畅，许文海 . 基于直方图均衡化图像增强的两种改进方法［J］. 电子学报， 2018 ， 46 （ 10 ）： 2367 - 2375 . doi: 10.3969/j.issn.0372-2112.2018.10.009 http://dx.doi.org/10.3969/j.issn.0372-2112.2018.10.009

DONG L L ， DING C ， XU W H . Two improved methods based on histogram equalization for image enhancement ［J］. Acta Electronica Sinica ， 2018 ， 46 （ 10 ）： 2367 - 2375 . （in Chinese） . doi: 10.3969/j.issn.0372-2112.2018.10.009 http://dx.doi.org/10.3969/j.issn.0372-2112.2018.10.009

HE K M ， SUN J ， TANG X O . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 12 ）： 2341 - 2353 . doi: 10.1109/tpami.2010.168 http://dx.doi.org/10.1109/tpami.2010.168

HE K M ， SUN J ， TANG X O . Guided image filtering ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2013 ， 35 （ 6 ）： 1397 - 1409 . doi: 10.1109/tpami.2012.213 http://dx.doi.org/10.1109/tpami.2012.213

BERMAN D ， TREIBITZ T ， AVIDAN S . Non-local image dehazing ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1674 - 1682 . doi: 10.1109/cvpr.2016.185 http://dx.doi.org/10.1109/cvpr.2016.185

苏畅，毕国玲，金龙旭，等 . 基于暗通道图像质心偏移量的去雾算法［J］. 光学学报， 2019 ， 39 （ 5 ）： 421 - 428 . doi: 10.3788/aos201939.0533001 http://dx.doi.org/10.3788/aos201939.0533001

SU C ， BI G L ， JIN L X ， et al . Dehazing algorithm based on dark-channel image centroid offset ［J］. Acta Optica Sinica ， 2019 ， 39 （ 5 ）： 421 - 428 . （in Chinese） . doi: 10.3788/aos201939.0533001 http://dx.doi.org/10.3788/aos201939.0533001

MENG G F ， WANG Y ， DUAN J Y ， et al . Efficient image dehazing with boundary constraint and contextual regularization ［C］. 2013 IEEE International Conference on Computer Vision . Sydney， NSW， Australia . IEEE ， 2013 ： 617 - 624 . doi: 10.1109/iccv.2013.82 http://dx.doi.org/10.1109/iccv.2013.82

LI B Y ， PENG X L ， WANG Z Y ， et al . AOD-net： all-in-one dehazing network ［C］. 2017 IEEE International Conference on Computer Vision . Venice， Italy . IEEE ， 2017 ： 4780 - 4788 . doi: 10.1109/iccv.2017.511 http://dx.doi.org/10.1109/iccv.2017.511

CAI B L ， XU X M ， JIA K ， et al . DehazeNet： an end-to-end system for single image haze removal ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2016 ， 25 （ 11 ）： 5187 - 5198 . doi: 10.1109/tip.2016.2598681 http://dx.doi.org/10.1109/tip.2016.2598681

QU Y Y ， CHEN Y Z ， HUANG J Y ， et al . Enhanced Pix2pix dehazing network ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 8152 - 8160 . doi: 10.1109/cvpr.2019.00835 http://dx.doi.org/10.1109/cvpr.2019.00835

乔丹，张闯，朱晨雨 . 基于多尺度融合卷积神经网络的图像去雾算法［J］. 液晶与显示， 2021 ， 36 （ 10 ）： 1420 - 1429 .

QIAO D ， ZHANG C ， ZHU C Y . Image dehazing algorithm based on multi-scale concat convolutional neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 10 ）： 1420 - 1429 . （in Chinese）

魏丙财，张立晔，孟晓亮，等 . 基于深度残差生成对抗网络的运动图像去模糊［J］. 液晶与显示， 2021 ， 36 （ 12 ）： 1693 - 1701 . doi: 10.37188/cjlcd.2021-0120 http://dx.doi.org/10.37188/cjlcd.2021-0120

WEI B C ， ZHANG L Y ， MENG X L ， et al . Motion image deblurring based on depth residual generative adversarial network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 12 ）： 1693 - 1701 . （in Chinese） . doi: 10.37188/cjlcd.2021-0120 http://dx.doi.org/10.37188/cjlcd.2021-0120

DONG X ， WANG G ， PANG Y ， et al . Fast efficient algorithm for enhancement of low lighting video ［C］. 2011 IEEE International Conference on Multimedia and Expo . Barcelona . IEEE ， 2011 ： 1 - 6 . doi: 10.1109/icme.2011.6012107 http://dx.doi.org/10.1109/icme.2011.6012107

NARASIMHAN S G ， NAYAR S K . Vision and the atmosphere ［J］. International Journal of Computer Vision ， 2002 ， 48 （ 3 ）： 233 - 254 . doi: 10.1023/a:1016328200723 http://dx.doi.org/10.1023/a:1016328200723

KOPF J ， NEUBERT B ， CHEN B ， et al . Deep photo ［J］. ACM Transactions on Graphics ， 2008 ， 27 （ 5 ）： 1 - 10 . doi: 10.1145/1409060.1409069 http://dx.doi.org/10.1145/1409060.1409069

CHENG F C ， CHENG C C ， LIN P H ， et al . A hierarchical airlight estimation method for image fog removal ［J］. Engineering Applications of Artificial Intelligence ， 2015 ， 43 ： 27 - 34 . doi: 10.1016/j.engappai.2015.03.011 http://dx.doi.org/10.1016/j.engappai.2015.03.011

MCGLAMERY B L . A computer model for underwater camera systems ［C］. Proc SPIE 0208， Ocean Optics VI ， 1980 ， 0208 ： 221 - 231 . doi: 10.1117/12.958279 http://dx.doi.org/10.1117/12.958279

JAFFE J S . Computer modeling and the design of optimal underwater imaging systems ［J］. IEEE Journal of Oceanic Engineering ， 1990 ， 15 （ 2 ）： 101 - 111 . doi: 10.1109/48.50695 http://dx.doi.org/10.1109/48.50695

LIANG Z ， WANG Y F ， DING X Y ， et al . Single underwater image enhancement by attenuation map guided color correction and detail preserved dehazing ［J］. Neurocomputing ， 2021 ， 425 ： 160 - 172 . doi: 10.1016/j.neucom.2020.03.091 http://dx.doi.org/10.1016/j.neucom.2020.03.091

HU H M ， ZHANG H D ， ZHAO Z C ， et al . Adaptive single image dehazing using joint local-global illumination adjustment ［J］. IEEE Transactions on Multimedia ， 2020 ， 22 （ 6 ）： 1485 - 1495 . doi: 10.1109/tmm.2019.2944260 http://dx.doi.org/10.1109/tmm.2019.2944260

JU M Y ， DING C ， GUO C A ， et al . IDRLP： image dehazing using region line prior ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2021 ， 30 ： 9043 - 9057 . doi: 10.1109/tip.2021.3122088 http://dx.doi.org/10.1109/tip.2021.3122088

ZHANG X S ， YU Y B ， YANG K F ， et al . A fish retina-inspired single image dehazing method ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2022 ， 32 （ 4 ）： 1875 - 1888 . doi: 10.1109/tcsvt.2021.3085311 http://dx.doi.org/10.1109/tcsvt.2021.3085311

WANG W C ， YUAN X H ， WU X J ， et al . Fast image dehazing method based on linear transformation ［J］. IEEE Transactions on Multimedia ， 2017 ， 19 （ 6 ）： 1142 - 1155 . doi: 10.1109/tmm.2017.2652069 http://dx.doi.org/10.1109/tmm.2017.2652069

JU M Y ， DING C ， REN W Q ， et al . IDE： image dehazing and exposure using an enhanced atmospheric scattering model ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2021 ， 30 ： 2180 - 2192 . doi: 10.1109/tip.2021.3050643 http://dx.doi.org/10.1109/tip.2021.3050643

王凯，李志伟，朱成德，等 . 基于二次引导滤波的局部立体匹配算法［J］. 激光与光电子学进展， 2019 ， 56 （ 8 ）： 116 - 122 . doi: 10.3788/lop56.081004 http://dx.doi.org/10.3788/lop56.081004

WANG K ， LI Z W ， ZHU C D ， et al . Local stereo matching algorithm based on secondary guided filtering ［J］. Laser ＆ Optoelectronics Progress ， 2019 ， 56 （ 8 ）： 116 - 122 . （in Chinese） . doi: 10.3788/lop56.081004 http://dx.doi.org/10.3788/lop56.081004

何惜琴，陈冬冬 . 基于YUV颜色模型与导向滤波的图像去雾算法［J］. 液晶与显示， 2021 ， 36 （ 8 ）： 1166 - 1173 . doi: 10.37188/CJLCD.2020-0313 http://dx.doi.org/10.37188/CJLCD.2020-0313

HE X Q ， CHEN D D . Image defogging algorithm based on YUV color model and guided filtering ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 8 ）： 1166 - 1173 . （in Chinese） . doi: 10.37188/CJLCD.2020-0313 http://dx.doi.org/10.37188/CJLCD.2020-0313

BUCHSBAUM G . A spatial processor model for object colour perception ［J］. Journal of the Franklin Institute ， 1980 ， 310 （ 1 ）： 1 - 26 . doi: 10.1016/0016-0032(80)90058-7 http://dx.doi.org/10.1016/0016-0032(80)90058-7

LI B ， REN W ， FU D ， et al . Benchmarking single image dehazing and beyond ［J］. IEEE Transactions on Image Processing ， 2018 ， 28 （ 1 ）： 492 - 505 . doi: 10.1109/tip.2018.2867951 http://dx.doi.org/10.1109/tip.2018.2867951

ANCUTI C O ， ANCUTI C ， TIMOFTE R ， et al . O-HAZE： a dehazing benchmark with real hazy and haze-free outdoor images ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Salt Lake City ， UT， USA . IEEE ， 2018 ： 867 - 8678 . doi: 10.1109/cvprw.2018.00119 http://dx.doi.org/10.1109/cvprw.2018.00119

ANCUTI C ， ANCUTI C O ， TIMOFTE R ， et al . I-HAZE ： A Dehazing Benchmark with Real Hazy and Haze-free Indoor Images ［M］. Advanced Concepts for Intelligent Vision Systems . Cham ： Springer International Publishing ， 2018 ： 620 - 631 . doi: 10.1007/978-3-030-01449-0_52 http://dx.doi.org/10.1007/978-3-030-01449-0_52

ANCUTI C ， ANCUTI C O ， HABER T ， et al . Enhancing underwater images and videos by fusion ［C］. 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence ， RI ， USA . IEEE ， 2012 ： 81 - 88 . doi: 10.1109/cvpr.2012.6247661 http://dx.doi.org/10.1109/cvpr.2012.6247661

FU X Y ， ZHUANG P X ， HUANG Y ， et al . A retinex-based enhancing approach for single underwater image ［C］. 2014 IEEE International Conference on Image Processing . Paris， France . IEEE ， 2014 ： 4572 - 4576 . doi: 10.1109/icip.2014.7025927 http://dx.doi.org/10.1109/icip.2014.7025927

GALDRAN A ， PARDO D ， PICÓN A ， et al . Automatic Red-Channel underwater image restoration ［J］. Journal of Visual Communication and Image Representation ， 2015 ， 26 ： 132 - 145 . doi: 10.1016/j.jvcir.2014.11.006 http://dx.doi.org/10.1016/j.jvcir.2014.11.006

LI C ， GUO C ， REN W ， et al . An underwater image enhancement benchmark dataset and beyond ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2019 ： 2019 Nov28. doi: 10.1109/tip.2019.2955241 http://dx.doi.org/10.1109/tip.2019.2955241

Views

617

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

End-to-end image dehazing under separated features and collaborative network

Dual scale fusion image dehazing algorithm based on frequency-domain feature distillation

Global and local feature fusion image dehazing

Image dehazing based on polarization optimization and atmosphere light correction

Related Author

Jin-long ZHANG

Xiao-zhen LIANG

Yan YANG

Jin-long ZHANG

YANG Shuang

CHEN Qingjiang

JIANG Xin

NIE Haitao

Related Institution

School of Electronic and Information Engineering， Lanzhou Jiaotong University

Xi'an University of Architecture and Technology， School of Science

Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences

Institute of Advanced Technology Innovation， Fuzhou University

College of Mechanical Engineering and Automation， Fuzhou University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰