Single image dehazing with sky segmentation and haze density estimation

Jianwei LV; Feng QIAN; Haonan HAN; Bao ZHANG

doi:10.37188/OPE.20223004.0464

您当前的位置：

首页 >

文章列表页 >

Single image dehazing with sky segmentation and haze density estimation

Information Sciences | 更新时间：2022-02-26

- Single image dehazing with sky segmentation and haze density estimation
- Optics and Precision Engineering Vol. 30, Issue 4, Pages: 464-477(2022)
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100049
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223004.0464
  CLC： TP391.4
- Received：03 June 2021，
  
  Revised：24 June 2021，
  
  Published：25 February 2022
- 稿件说明：
移动端阅览
吕建威,钱锋,韩昊男等.结合天空分割和雾气浓度估计的图像去雾[J].光学精密工程,2022,30(04):464-477.

LV Jianwei,QIAN Feng,HAN Haonan,et al.Single image dehazing with sky segmentation and haze density estimation[J].Optics and Precision Engineering,2022,30(04):464-477.
吕建威,钱锋,韩昊男等.结合天空分割和雾气浓度估计的图像去雾[J].光学精密工程,2022,30(04):464-477. DOI： 10.37188/OPE.20223004.0464.

LV Jianwei,QIAN Feng,HAN Haonan,et al.Single image dehazing with sky segmentation and haze density estimation[J].Optics and Precision Engineering,2022,30(04):464-477. DOI： 10.37188/OPE.20223004.0464.

摘要

针对图像去雾算法在天空区域出现恢复不真实以及雾气浓度估计精度不足等问题，本文提出天空区域分割和雾气浓度估计的去雾算法。首先，为了提高透射率的估计精度以及提升去雾效果，利用梯度阈值和亮度阈值分割天空区域。其次，采用改进的暗通道先验和四叉树细分法估计大气光值。最后，针对天空区域和非天空区域采用不同的透射率估计方法，对于天空区域采用亮通道先验方法，对于非天空区域提出了线性雾气浓度估计模型。结合像素点概率分布得到透射率并采用引导滤波方法进行边缘细化，利用大气散射模型获得最终复原图像。实验结果表明，去雾后的图像在主观和客观质量评价方面表现良好，所提出的算法能够使天空区域恢复自然，去雾更加彻底，增加了图像细节的清晰度。本文算法的运行速率与当前主流算法相当，针对不同有雾场景去雾表现的稳定性优于其它算法。

Abstract

To solve the unnatural restoration of the sky area and imprecise estimation of haze density， a dehazing algorithm for sky segmentation and haze density estimation is proposed. First， to improve the precision of transmission estimation and the quality of image dehazing， the thresholds of gradient and brightness are used to segment the sky region. Next， an adaptive dark channel prior and quadratic tree subdivision method are utilized to estimate the atmospheric light. Finally， different transmission estimation methods are used for the sky and non-sky regions； a bright channel prior is used in the sky region， and a linear haze density estimation model is proposed in the non-sky region. The final transmission is obtained by combining the probability distribution of the pixel and edge refinement using guided filter， and the recovered image is attained using the atmospheric scattering model. Experimental results show that the dehazed images perform well in terms of subjective and objective quality evaluation. The proposed dehazing algorithm can restore a more natural sky and dehaze more thoroughly to improve the clarity of image details. The operating speed of the proposed algorithm is similar to that of the current algorithms. Furthermore， the proposed algorithm is more stable compared to traditional algorithms for different hazy scenes.

关键词

Keywords

references

KIM J H ， JANG W D ， SIM J Y ， et al . Optimized contrast enhancement for real-time image and video dehazing ［J］. Journal of Visual Communication and Image Representation ， 2013 ， 24 （ 3 ）： 410 - 425 . doi: 10.1016/j.jvcir.2013.02.004 http://dx.doi.org/10.1016/j.jvcir.2013.02.004

刘海波，杨杰，吴正平，等 . 基于暗通道先验和Retinex理论的快速单幅图像去雾方法［J］. 自动化学报， 2015 ， 41 （ 7 ）： 1264 - 1273 . doi: 10.16383/j.aas.2015.c140748 http://dx.doi.org/10.16383/j.aas.2015.c140748

LIU H B ， YANG J ， WU Z P ， et al . A fast single image dehazing method based on dark channel prior and retinex theory ［J］. Acta Automatica Sinica ， 2015 ， 41 （ 7 ）： 1264 - 1273 . （in Chinese） . doi: 10.16383/j.aas.2015.c140748 http://dx.doi.org/10.16383/j.aas.2015.c140748

邓莉 . 针对明亮区域的自适应全局暗原色先验去雾［J］. 光学精密工程， 2016 ， 24 （ 4 ）： 892 - 901 . doi: 10.3788/ope.20162404.0892 http://dx.doi.org/10.3788/ope.20162404.0892

DENG L . Adaptive image dehazing for bright areas based on global dark channel prior ［J］. Opt. Precision Eng. ， 2016 ， 24 （ 4 ）： 892 - 901 . （in Chinese） . doi: 10.3788/ope.20162404.0892 http://dx.doi.org/10.3788/ope.20162404.0892

张峥，李奇，徐之海，等 . 结合颜色线和暗通道的遥感图像去雾［J］. 光学精密工程， 2019 ， 27 （ 1 ）： 181 - 190 . doi: 10.3788/ope.20192701.0181 http://dx.doi.org/10.3788/ope.20192701.0181

ZHANG Z ， LI Q ， XU Z H ， et al . Color-line and dark channel based dehazing for remote sensing images ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 1 ）： 181 - 190 . （in Chinese） . doi: 10.3788/ope.20192701.0181 http://dx.doi.org/10.3788/ope.20192701.0181

王一斌，尹诗白，吕卓纹 . 自适应背景光估计与非局部先验的水下图像复原［J］. 光学精密工程， 2019 ， 27 （ 2 ）： 499 - 510 . doi: 10.3788/OPE.20192702.0499 http://dx.doi.org/10.3788/OPE.20192702.0499

WANG Y B ， YIN S B ， LV ZH W . Underwater image restoration with adaptive background light estimation and non-local prior ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 2 ）： 499 - 510 . （in Chinese） . doi: 10.3788/OPE.20192702.0499 http://dx.doi.org/10.3788/OPE.20192702.0499

STARK J A . Adaptive image contrast enhancement using generalizations of histogram equalization ［J］. IEEE Transactions on Image Processing ， 2000 ， 9 （ 5 ）： 889 - 896 . doi: 10.1109/83.841534 http://dx.doi.org/10.1109/83.841534

LAND E H ， MCCANN J J . Lightness and retinex theory ［J］. Journal of the Optical Society of America ， 1971 ， 61 （ 1 ）： 1 - 11 . doi: 10.1364/josa.61.000001 http://dx.doi.org/10.1364/josa.61.000001

LAND E H . The retinex theory of color vision ［J］. Scientific American ， 1977 ， 237 （ 6 ）： 108 - 128 . doi: 10.1038/scientificamerican1277-108 http://dx.doi.org/10.1038/scientificamerican1277-108

NARASIMHAN S G ， NAYAR S K . Shedding light on the weather ［C］. 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition ， 2003 . Proceedings. 1820，2003 ， Madison， WI， USA. IEEE ， 2003： I .

HE K M ， SUN J ， TANG X O . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 12 ）： 2341 - 2353 . doi: 10.1109/tpami.2010.168 http://dx.doi.org/10.1109/tpami.2010.168

LEVIN A ， LISCHINSKI D ， WEISS Y . A closed-form solution to natural image matting ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2008 ， 30 （ 2 ）： 228 - 242 . doi: 10.1109/tpami.2007.1177 http://dx.doi.org/10.1109/tpami.2007.1177

HE K M ， SUN J ， TANG X . Guided image filtering ［C］. European Conf. Computer Vision ， 2010 . doi: 10.1007/978-3-642-15549-9_1 http://dx.doi.org/10.1007/978-3-642-15549-9_1

ZENG L ， DAI Y Z . Single image dehazing based on combining dark channel prior and scene radiance constraint ［J］. Chinese Journal of Electronics ， 2016 ， 25 （ 6 ）： 1114 - 1120 . doi: 10.1049/cje.2016.08.006 http://dx.doi.org/10.1049/cje.2016.08.006

LU X P ， LV G Y ， LEI T . Single image dehazing based on multiple scattering model ［C］. 2014 IEEE International Conference on Signal Processing， Communications and Computing . 58，2014 ， Guilin ， China . IEEE ， 2014 ： 239 - 244 . doi: 10.1109/icspcc.2014.6986190 http://dx.doi.org/10.1109/icspcc.2014.6986190

陈书贞，任占广，练秋生 . 基于改进暗通道和导向滤波的单幅图像去雾算法［J］. 自动化学报， 2016 ， 42 （ 3 ）： 455 - 465 . doi: 10.16383/j.aas.2016.c150212 http://dx.doi.org/10.16383/j.aas.2016.c150212

CHEN S Z ， REN Z G ， LIAN Q S . Single image dehazing algorithm based on improved dark channel prior and guided filter ［J］. Acta Automatica Sinica ， 2016 ， 42 （ 3 ）： 455 - 465 . （in Chinese） . doi: 10.16383/j.aas.2016.c150212 http://dx.doi.org/10.16383/j.aas.2016.c150212

ZHU Q S ， MAI J M ， SHAO L . A fast single image haze removal algorithm using color attenuation prior ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2015 ， 24 （ 11 ）： 3522 - 3533 . doi: 10.1109/tip.2015.2446191 http://dx.doi.org/10.1109/tip.2015.2446191

BERMAN D ， TREIBITZ T ， AVIDAN S . Non-local image dehazing ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 1674 - 1682 . doi: 10.1109/cvpr.2016.185 http://dx.doi.org/10.1109/cvpr.2016.185

MENG G F ， WANG Y ， DUAN J Y ， et al . Efficient image dehazing with boundary constraint and contextual regularization ［C］. 2013 IEEE International Conference on Computer Vision . 18，2013 ， Sydney， NSW， Australia . IEEE ， 2013 ： 617 - 624 . doi: 10.1109/iccv.2013.82 http://dx.doi.org/10.1109/iccv.2013.82

ANCUTI C O ， ANCUTI C ， DE VLEESCHOUWER C ， et al . Color channel transfer for image dehazing ［J］. IEEE Signal Processing Letters ， 2019 ， 26 （ 9 ）： 1413 - 1417 . doi: 10.1109/lsp.2019.2932189 http://dx.doi.org/10.1109/lsp.2019.2932189

CAI B L ， XU X M ， JIA K ， et al . DehazeNet： an end-to-end system for single image haze removal ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2016 ， 25 （ 11 ）： 5187 - 5198 . doi: 10.1109/tip.2016.2598681 http://dx.doi.org/10.1109/tip.2016.2598681

LI B Y ， PENG X L ， WANG Z Y ， et al . AOD-net： all-in-one dehazing network ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 4780 - 4788 . doi: 10.1109/iccv.2017.511 http://dx.doi.org/10.1109/iccv.2017.511

REN W Q ， LIU S ， ZHANG H ， et al . Single image dehazing via multi-scale convolutional neural networks ［C］. Computer Vision-ECCV ， 2016 ， 2016 ： 154 - 169 . doi: 10.1007/978-3-319-46475-6_10 http://dx.doi.org/10.1007/978-3-319-46475-6_10

QIAN W ， ZHOU C ， ZHANG D Y . CIASM-net： a novel convolutional neural network for dehazing image ［C］. 2020 5th International Conference on Computer and Communication Systems （ICCCS）. 1518，2020 ， Shanghai， China. IEEE ， 2020 ： 329 - 333 . doi: 10.1109/icccs49078.2020.9118601 http://dx.doi.org/10.1109/icccs49078.2020.9118601

ZHANG J ， TAO D C . FAMED-net： a fast and accurate multi-scale end-to-end dehazing network ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 72 - 84 . doi: 10.1109/tip.2019.2922837 http://dx.doi.org/10.1109/tip.2019.2922837

LI C Y ， GUO C L ， GUO J C ， et al . PDR-net： perception-inspired single image dehazing network with refinement ［J］. IEEE Transactions on Multimedia ， 2020 ， 22 （ 3 ）： 704 - 716 . doi: 10.1109/tmm.2019.2933334 http://dx.doi.org/10.1109/tmm.2019.2933334

陈清江，张雪 . 混合残差学习与导向滤波算法在图像去雾中的应用［J］. 光学精密工程， 2019 ， 27 （ 12 ）： 2702 - 2712 . doi: 10.3788/ope.20192712.2702 http://dx.doi.org/10.3788/ope.20192712.2702

CHEN Q J ， ZHANG X . Application of hybrid residual learning and guided filtering algorithm in image defogging ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 12 ）： 2702 - 2712 . （in Chinese） . doi: 10.3788/ope.20192712.2702 http://dx.doi.org/10.3788/ope.20192712.2702

NAYAR S K ， NARASIMHAN S G . Vision in bad weather ［C］. Proceedings of the Seventh IEEE International Conference on Computer Vision. 2027，1999 ， Kerkyra， Greece. IEEE ， 1999 ： 820 - 827 . doi: 10.1109/iccv.1999.790306 http://dx.doi.org/10.1109/iccv.1999.790306

韩昊男，钱锋，吕建威，等 . 改进暗通道先验的航空图像去雾［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1387 - 1394 . doi: 10.3788/ope.20202806.1387 http://dx.doi.org/10.3788/ope.20202806.1387

HAN H N ， QIAN F ， LÜ J W ， et al . Aerial image dehazing using improved dark channel prior ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1387 - 1394 . （in Chinese） . doi: 10.3788/ope.20202806.1387 http://dx.doi.org/10.3788/ope.20202806.1387

鞠铭烨，张登银，纪应天 . 基于雾气浓度估计的图像去雾算法［J］. 自动化学报， 2016 ， 42 （ 9 ）： 1367 - 1379 .

JU M Y ， ZHANG D Y ， JI Y T . Image haze removal algorithm based on haze thickness estimation ［J］. Acta Automatica Sinica ， 2016 ， 42 （ 9 ）： 1367 - 1379 . （in Chinese）

ANCUTI C ， ANCUTI C O ， DE VLEESCHOUWER C . D-HAZY： a dataset to evaluate quantitatively dehazing algorithms ［C］. 2016 IEEE International Conference on Image Processing . 2528，2016 ， Phoenix ， AZ ， USA . IEEE ， 2016 ： 2226 - 2230 . doi: 10.1109/icip.2016.7532754 http://dx.doi.org/10.1109/icip.2016.7532754

MARQUARDT D W . An algorithm for least-squares estimation of nonlinear parameters ［J］. Journal of the Society for Industrial and Applied Mathematics ， 1963 ， 11 （ 2 ）： 431 - 441 . doi: 10.1137/0111030 http://dx.doi.org/10.1137/0111030

ZHANG L B ， WANG S ， WANG X H . Single image dehazing based on bright channel prior model and saliency analysis strategy ［J］. IET Image Processing ， 2021 ， 15 （ 5 ）： 1023 - 1031 . doi: 10.1049/ipr2.12082 http://dx.doi.org/10.1049/ipr2.12082

HAUTIÈRE N ， TAREL J P ， AUBERT D ， et al . Blind contrast enhancement assessment by gradient ratioing at visible edges ［J］. Image Analysis & Stereology ， 2011 ， 27 （ 2 ）： 87 . doi: 10.5566/ias.v27.p87-95 http://dx.doi.org/10.5566/ias.v27.p87-95

JOBSON D J ， RAHMAN Z U ， WOODELL G A . Statistics of visual representation ［C］// AeroSense 2002 . Proc SPIE 4736 ， Visual Information Processing XI， Orlando ， FL ， USA . 2002 ， 4736 ： 25 - 35 .

Views

640

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Single image dehazing combining sky segmentation and transmission mapping

Underwater image restoration method combining color compensation and dual background light fusion

Global and local feature fusion image dehazing

Image dehazing based on polarization optimization and atmosphere light correction

Two-stage image restoration using improved atmospheric scattering model

Related Author

Yan YANG

Hao-wen ZHANG

Jin-long ZHANG

ZHA Ziyue

LIN Sen

ZHU Ming

NIE Haitao

JIANG Xin

Related Institution

School of Electronic and Information Engineering， Lanzhou Jiaotong University

School of Automation and Electrical Engineering， Shenyang Ligong University

Institute of Advanced Technology Innovation， Fuzhou University

College of Mechanical Engineering and Automation， Fuzhou University

Shanghai Institute of Optics and Fine Mechanics， Chinese Academy of Sciences

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰