物理成像模型的分解合成循环细化去雾网络

冯燕茹; 王一斌

doi:10.37188/OPE.20212911.2692

您当前的位置：

首页 >

文章列表页 >

物理成像模型的分解合成循环细化去雾网络

信息科学 | 更新时间：2022-01-25

- 物理成像模型的分解合成循环细化去雾网络
- Dehazing using a decomposition-composition and recurrent refinement network based on the physical imaging model
- 光学精密工程 2021年29卷第11期页码：2692-2702
- 作者机构：
  
  1.防灾科技学院信息工程学院，河北三河 065201
  2.四川师范大学工学院，四川成都 610068
- 作者简介：
  
  [ "冯燕茹（1985-），女，山西长治人，硕士，讲师。2011年于太原理工大学获得硕士学位。主要从事模式识别，网络工程和信息安全方面的研究。E-mail： yrfeng2020@163.com" ]
  [ "王一斌（1982-），男，博士后，2015年于西北工业大学获得博士学位，主要从事模式识别和图像处理方面的研究。E-mail：yibeen.wong@gmail.com" ]
- 基金信息：
  
  廊坊市科技局科学研究与发展计划自筹经费项目(2021011046);中央高校基本科研业务费专项资金创新团队资助计划项目(ZY20180125)
- DOI：10.37188/OPE.20212911.2692
  中图分类号： TP391.41
- 收稿日期：2021-05-21，
  
  修回日期：2021-06-28，
  
  纸质出版日期：2021-11-15
- 稿件说明：
移动端阅览
冯燕茹,王一斌.物理成像模型的分解合成循环细化去雾网络[J].光学精密工程,2021,29(11):2692-2702.

FENG Yan-ru,WANG Yi-bin.Dehazing using a decomposition-composition and recurrent refinement network based on the physical imaging model[J].Optics and Precision Engineering,2021,29(11):2692-2702.
冯燕茹,王一斌.物理成像模型的分解合成循环细化去雾网络[J].光学精密工程,2021,29(11):2692-2702. DOI： 10.37188/OPE.20212911.2692.

FENG Yan-ru,WANG Yi-bin.Dehazing using a decomposition-composition and recurrent refinement network based on the physical imaging model[J].Optics and Precision Engineering,2021,29(11):2692-2702. DOI： 10.37188/OPE.20212911.2692.

摘要

为了充分挖掘雾天成像时的先验信息和物理参数间的约束关系，提高去雾算法的精度，本文提出了嵌入物理成像模型的分解合成循环细化网络以实现图像去雾。不同于已有的去雾算法，它包含透射率估计分支和清晰图像估计分支，且两分支均使用嵌入循环单元的多尺度金字塔编码解码网络框架来实现，具有能加强循环间信息交流、充分利用多尺度上下文特征的优点。考虑到透射率与场景深度和雾气浓度有关，可将透射率视为雾浓度先验，引导清晰图像估计分支循环细化去雾结果；而清晰图像中包含场景的深度信息，可将其视为深度先验，引导透射率估计分支预测及循环细化透射率。每次循环时，两分支估计的透射率和清晰图像进一步合成雾图，循环作为网络的输入，以确保透射率和清晰图像的估计结果满足物理成像模型的约束。实验结果表明算法在合成雾图及真实图像上均能取得较好的去雾效果，在视觉评价和客观评价方面均优于现有的去雾算法，单张雾图的处理时间仅为0.037 s，能有效用于图像去雾的工程实践中。

Abstract

To explore the dehazing priors and constraints among the physical parameters during imaging under haze conditions and improve dehazing accuracy， we propose a decomposition–composition and recurrent refinement network based on the physical imaging model for image dehazing. Unlike existing dehazing methods， it contains a transmission prediction branch and a clear image prediction branch. Both branches are built based on the multi-scale pyramid encoder–decoder network with a recurrent unit that can utilize multiscale contextual features and has more complete information exchange. Considering the transmission map is related to the scene depth and haze concentration， the transmission map can be regarded as a haze concentration prior and guide the clear image prediction branch to estimate and refine the dehazing result recurrently. Similarly， the clear image that contains the scene depth information is regarded as a depth prior and guides the transmission map prediction branch to predict and refine the transmission map. Then， the predicted transmission map and clear image are further synthesized as the haze image that serves as the input of the network in each recurrent step， enabling the predicted transmission map and clear image to meet the constraints of the physical imaging model. The experimental results demonstrate that our method not only achieves a good dehazing effect on both synthetic and real images， but also outperforms existing methods in terms of quality and quantity. The average processing time for a single hazy image is 0.037 s， indicating that it has potential application value in the engineering practice of image dehazing.

关键词

Keywords

references

韩昊男，钱锋，吕建威，等 . 改进暗通道先验的航空图像去雾［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1387 - 1394 . doi: 10.3788/ope.20202806.1387 http://dx.doi.org/10.3788/ope.20202806.1387

HAN H N ， QIAN F ， LÜ J W ， et al . Aerial image dehazing using improved dark channel prior ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1387 - 1394 . （in Chinese） . doi: 10.3788/ope.20202806.1387 http://dx.doi.org/10.3788/ope.20202806.1387

HE K M ， SUN J ， TANG X O . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 12 ）： 2341 - 2353 . doi: 10.1109/tpami.2010.168 http://dx.doi.org/10.1109/tpami.2010.168

FATTAL R . Dehazing using color-lines ［J］. ACM Transactions on Graphics ， 2014 ， 34 （ 1 ）： 1 - 14 . doi: 10.1145/2651362 http://dx.doi.org/10.1145/2651362

MENG G F ， WANG Y ， DUAN J Y ， et al . Efficient image dehazing with boundary constraint and contextual regularization ［C］. 2013 IEEE International Conference on Computer Vision . 18，2013 ， Sydney， NSW， Australia . IEEE ， 2013 ： 617 - 624 . doi: 10.1109/iccv.2013.82 http://dx.doi.org/10.1109/iccv.2013.82

YOON I ， JEONG S ， JEONG J ， et al . Wavelength-adaptive dehazing using histogram merging-based classification for UAV images ［J］. Sensors （Basel）， 2015 ， 15 （ 3 ）： 6633 - 6651 . doi: 10.3390/s150306633 http://dx.doi.org/10.3390/s150306633

ZHANG H ， PATEL V M . Densely connected pyramid dehazing network ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 3194 - 3203 . doi: 10.1109/cvpr.2018.00337 http://dx.doi.org/10.1109/cvpr.2018.00337

YIN ， WANG ， YANG . A novel residual dense pyramid network for image dehazing ［J］. Entropy ， 2019 ， 21 （ 11 ）： 1123 . doi: 10.3390/e21111123 http://dx.doi.org/10.3390/e21111123

CHEN D D ， HE M M ， FAN Q N ， et al . Gated context aggregation network for image dehazing and deraining ［C］. 2019 IEEE Winter Conference on Applications of Computer Vision （WACV）. 711，2019 ， Waikoloa， HI， USA. IEEE ， 2019 ： 1375 - 1383 . doi: 10.1109/wacv.2019.00151 http://dx.doi.org/10.1109/wacv.2019.00151

SHAO Y J ， LI L ， REN W Q ， et al . Domain adaptation for image dehazing ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 2805 - 2814 . doi: 10.1109/cvpr42600.2020.00288 http://dx.doi.org/10.1109/cvpr42600.2020.00288

YIN S B ， WANG Y B ， YANG Y H . A novel image-dehazing network with a parallel attention block ［J］. Pattern Recognition ， 2020 ， 102 ： 107255 . doi: 10.1016/j.patcog.2020.107255 http://dx.doi.org/10.1016/j.patcog.2020.107255

周自维，王朝阳，徐亮 . 基于融合门网络的图像理解算法设计与应用［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 906 - 915 . doi: 10.37188/OPE.20212904.0906 http://dx.doi.org/10.37188/OPE.20212904.0906

ZHOU Z W ， WANG CH Y ， XU L . Design and application of image captioning algorithm based on fusion gate neural network ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 906 - 915 . （in Chinese） . doi: 10.37188/OPE.20212904.0906 http://dx.doi.org/10.37188/OPE.20212904.0906

SANG H W ， ZHOU Q H ， ZHAO Y . PCANet： Pyramid convolutional attention network for semantic segmentation ［J］. Image and Vision Computing ， 2020 ， 103 ： 103997 . doi: 10.1016/j.imavis.2020.103997 http://dx.doi.org/10.1016/j.imavis.2020.103997

徐胜军，欧阳朴衍，郭学源，等 . 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1588 - 1599 . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588

XU SH J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588

鞠默然，罗海波，刘广琦，等 . 采用空间注意力机制的红外弱小目标检测网络［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 843 - 853 . doi: 10.37188/OPE.20212904.0843 http://dx.doi.org/10.37188/OPE.20212904.0843

JU M R ， LUO H B ， LIU G Q ， et al . Infrared dim and small target detection network based on spatial attention mechanism ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 843 - 853 . （in Chinese） . doi: 10.37188/OPE.20212904.0843 http://dx.doi.org/10.37188/OPE.20212904.0843

LI B Y ， REN W Q ， FU D P ， et al . Benchmarking single-image dehazing and beyond ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 1 ）： 492 - 505 . doi: 10.1109/tip.2018.2867951 http://dx.doi.org/10.1109/tip.2018.2867951

姚婷婷，梁越，柳晓鸣，等 . 基于雾线先验的时空关联约束视频去雾算法［J］. 电子与信息学报， 2020 ， 42 （ 11 ）： 2796 - 2804 . doi: 10.11999/JEIT190403 http://dx.doi.org/10.11999/JEIT190403

YAO T T ， LIANG Y ， LIU X M ， et al . Video dehazing algorithm via haze-line prior with spatiotemporal correlation constraint ［J］. Journal of Electronics & Information Technology ， 2020 ， 42 （ 11 ）： 2796 - 2804 . （in Chinese） . doi: 10.11999/JEIT190403 http://dx.doi.org/10.11999/JEIT190403

浏览量

644

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

双视觉注意网络的联合图像去雾和透射率估计

全局和局部特征融合的图像去雾

基于偏振度优化与大气光校正的图像去雾

使用改进型大气散射模型的双阶段图像修复

适应性双通道先验的图像去雾方法