图像去雾方法质量评价

韩昊男; 钱锋; 吕建威; 张葆

doi:10.37188/OPE.20223006.0721

您当前的位置：

首页 >

文章列表页 >

图像去雾方法质量评价

信息科学 | 更新时间：2022-04-26

- 图像去雾方法质量评价
- Image dehazing method quality assessment
- 光学精密工程 2022年30卷第6期页码：721-733
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100049
- 作者简介：
  
  [ "韩昊男（1993-），男，吉林白山人，博士研究生，2016年于哈尔滨工业大学获得理学学士学位，现为中国科学院大学长春光学精密机械与物理研究所博士研究生，主要从事计算机视觉和图像处理方面的研究。E-mail： hanhaonan16@mails.ucas.edu.cn" ]
  [ "张　葆（1964-），男，研究员。1989年、1994年于长春理工大学分别获得理学学士、理学硕士学位。2004年于中国科学院长春精密机械与物理研究所获得博士学位。2004年5月至8月，曾任澳大利亚悉尼大学、阿德莱德大学高级访问学者。主要从事图像处理、光学设计、目标识别与跟踪的研究。 E-mail： zhangb@ciomp.ac.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(61705225)
- DOI：10.37188/OPE.20223006.0721
  中图分类号： TP391.4
- 收稿日期：2021-06-29，
  
  修回日期：2021-08-16，
  
  纸质出版日期：2022-03-25
- 稿件说明：
移动端阅览
韩昊男,钱锋,吕建威等.图像去雾方法质量评价[J].光学精密工程,2022,30(06):721-733.

HAN Haonan,QIAN Feng,LV Jianwei,et al.Image dehazing method quality assessment[J].Optics and Precision Engineering,2022,30(06):721-733.
韩昊男,钱锋,吕建威等.图像去雾方法质量评价[J].光学精密工程,2022,30(06):721-733. DOI： 10.37188/OPE.20223006.0721.

HAN Haonan,QIAN Feng,LV Jianwei,et al.Image dehazing method quality assessment[J].Optics and Precision Engineering,2022,30(06):721-733. DOI： 10.37188/OPE.20223006.0721.

摘要

针对近年来去雾算法质量的评价方法普遍依赖主观评价结果，但缺乏定量描述；现有的客观质量评价方法与主观评价方法之间的一致性不稳定，使两者有时会出现分歧的问题。为提升针对去雾方法的客观质量评价性能，本文提出了一种基于人工合成图像的全参考去雾方法质量评价。首先，建立合成图像数据集，数据集包括参考无雾图像，合成有雾图像，对这些合成有雾图像使用8种主流去雾算法得到的去雾图像。然后，将去雾后图像可能引入的一些质量问题进行分类。最后，通过结合清晰度相关特征和现有的客观质量评价，针对性地提出了一种由图像可视性、结构相似性和颜色恢复度相互融合的去雾方法质量评价。在合成图像数据集中，将本文方法与现有典型的图像质量评价方法进行对比实验，实验结果表明：对于合成图像数据集，本文提出的方法在SRCC、PLCC和RMSE指标上表现最优。本文方法与主观评价的一致性更高，更有利于支持去雾算法的研究。

Abstract

In recent years， responding to subjective assessment results in assessment methods by targeting the quality of dehazing algorithms has become common， but this lacks quantitative description. However， existing objective quality assessment methods and subjective assessment have been inconsistent， and the two sometimes diverge. Therefore， to improve the objective quality assessment performance of a dehazing method， a full reference dehazing method quality assessment based on artificially synthesized images is proposed here. First， a synthetic image dataset is established that includes reference haze-free， synthetic hazy， and dehazed images obtained by using eight state-of-the-art dehazing algorithms on these synthetic hazy images. Second， we classify quality problems that might be introduced by the dehazed images. Third， by combining clarity-related features and existing objective methods of image quality assessment， a dehazing method quality assessment is proposed through mutual integration of image visibility， structural similarity， and color recovery. In the synthetic image dataset， this paper’s method is compared with existing image quality assessment methods for experiments. The experimental results showed that， for the synthetic image dataset， the proposed method performed optimally in SRCC， PLCC， and RMSE metrics. The consistency of this paper’s method with subjective assessment was better， which was more favorable to support research on dehazing algorithms.

关键词

Keywords

references

贺长秀 . 图像去雾算法研究进展［J］. 现代计算机， 2020 （ 28 ）： 47 - 51 . doi: 10.3969/j.issn.1007-1423.2020.28.009 http://dx.doi.org/10.3969/j.issn.1007-1423.2020.28.009

HE C X . Research progress on image dehazing algorithm ［J］. Modern Computer ， 2020 （ 28 ）： 47 - 51 . （in Chinese） . doi: 10.3969/j.issn.1007-1423.2020.28.009 http://dx.doi.org/10.3969/j.issn.1007-1423.2020.28.009

张峥，李奇，徐之海，等 . 结合颜色线和暗通道的遥感图像去雾［J］. 光学精密工程， 2019 ， 27 （ 1 ）： 181 - 190 . doi: 10.3788/ope.20192701.0181 http://dx.doi.org/10.3788/ope.20192701.0181

ZHANG Z ， LI Q ， XU Z H ， et al . Color-line and dark channel based dehazing for remote sensing images ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 1 ）： 181 - 190 . （in Chinese） . doi: 10.3788/ope.20192701.0181 http://dx.doi.org/10.3788/ope.20192701.0181

嵇晓强，戴明，尹传历，等 . 航拍降质图像的去雾处理［J］. 光学精密工程， 2011 ， 19 （ 7 ）： 1659 - 1668 . doi: 10.3788/ope.20111907.1659 http://dx.doi.org/10.3788/ope.20111907.1659

JI X Q ， DAI M ， YIN C L ， et al . Haze removal for aerial degraded images ［J］. Opt. Precision Eng. ， 2011 ， 19 （ 7 ）： 1659 - 1668 . （in Chinese） . doi: 10.3788/ope.20111907.1659 http://dx.doi.org/10.3788/ope.20111907.1659

韩昊男，钱锋，吕建威，等 . 改进暗通道先验的航空图像去雾［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1387 - 1394 . doi: 10.3788/ope.20202806.1387 http://dx.doi.org/10.3788/ope.20202806.1387

HAN H N ， QIAN F ， LÜ J W ， et al . Aerial image dehazing using improved dark channel prior ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1387 - 1394 . （in Chinese） . doi: 10.3788/ope.20202806.1387 http://dx.doi.org/10.3788/ope.20202806.1387

LI B ， REN W ， FU D ， et al . Benchmarking single image dehazing and beyond ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2018 ， 28 （ 1 ）： 492 - 505 . doi: 10.1109/tip.2018.2867951 http://dx.doi.org/10.1109/tip.2018.2867951

MIN X K ， ZHAI G T ， GU K ， et al . Quality evaluation of image dehazing methods using synthetic hazy images ［J］. IEEE Transactions on Multimedia ， 2019 ， 21 （ 9 ）： 2319 - 2333 . doi: 10.1109/tmm.2019.2902097 http://dx.doi.org/10.1109/tmm.2019.2902097

HUYNH-THU Q ， GHANBARI M . Scope of validity of PSNR in image/video quality assessment ［J］. Electronics Letters ， 2008 ， 44 （ 13 ）： 800 . doi: 10.1049/el:20080522 http://dx.doi.org/10.1049/el:20080522

WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1016/j.jvcir.2019.102655 http://dx.doi.org/10.1016/j.jvcir.2019.102655

MCCARTNEY E J ， HALL F F . Optics of the atmosphere： scattering by molecules and particles ［J］. Physics Today ， 1977 ， 30 （ 5 ）： 76 - 77 . doi: 10.1063/1.3037551 http://dx.doi.org/10.1063/1.3037551

NARASIMHAN S G ， NAYAR S K . Contrast restoration of weather degraded images ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2003 ， 25 （ 6 ）： 713 - 724 . doi: 10.1109/tpami.2003.1201821 http://dx.doi.org/10.1109/tpami.2003.1201821

NAYAR S K ， NARASIMHAN S G . Vision in bad weather ［C］. Proceedings of the Seventh IEEE International Conference on Computer Vision. 2027，1999 ， Kerkyra， Greece. IEEE ， 1999 ： 820 - 827 . doi: 10.1109/iccv.1999.790306 http://dx.doi.org/10.1109/iccv.1999.790306

FATTAL R . Single image dehazing ［J］. ACM Transactions on Graphics ， 2008 ， 27 （ 3 ）： 1 - 9 . doi: 10.1145/1360612.1360671 http://dx.doi.org/10.1145/1360612.1360671

TAREL J P ， HAUTIÈRE N . Fast visibility restoration from a single color or gray level image ［C］. 2009 IEEE 12th International Conference on Computer Vision. September 29 - October 2 ， 2009 ， Kyoto， Japan. IEEE ， 2009： 2201 - 2208 . doi: 10.1109/iccv.2009.5459251 http://dx.doi.org/10.1109/iccv.2009.5459251

HE K M ， SUN J ， TANG X O . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 12 ）： 2341 - 2353 . doi: 10.1109/tpami.2010.168 http://dx.doi.org/10.1109/tpami.2010.168

NISHINO K ， KRATZ L ， LOMBARDI S . Bayesian defogging ［J］. International Journal of Computer Vision ， 2012 ， 98 （ 3 ）： 263 - 278 . doi: 10.1007/s11263-011-0508-1 http://dx.doi.org/10.1007/s11263-011-0508-1

ZHU Q S ， MAI J M ， SHAO L . A fast single image haze removal algorithm using color attenuation prior ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2015 ， 24 （ 11 ）： 3522 - 3533 . doi: 10.1109/tip.2015.2446191 http://dx.doi.org/10.1109/tip.2015.2446191

BERMAN D ， TREIBITZ T ， AVIDAN S . Non-local image dehazing ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 1674 - 1682 . doi: 10.1109/cvpr.2016.185 http://dx.doi.org/10.1109/cvpr.2016.185

CAI B L ， XU X M ， JIA K ， et al . DehazeNet： an end-to-end system for single image haze removal ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2016 ， 25 （ 11 ）： 5187 - 5198 . doi: 10.1109/tip.2016.2598681 http://dx.doi.org/10.1109/tip.2016.2598681

REN W ， SI L ， HUA Z ， et al . Single Image Dehazing via Multi-scale Convolutional Neural Networks ［C］. European Conference on Computer Vision. Springer ， Cham ， 2016 . doi: 10.1007/978-3-319-46475-6_10 http://dx.doi.org/10.1007/978-3-319-46475-6_10

LI B Y ， PENG X L ， WANG Z Y ， et al . AOD-net： all-in-one dehazing network ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 4780 - 4788 . doi: 10.1109/iccv.2017.511 http://dx.doi.org/10.1109/iccv.2017.511

WANG Z ， SIMONCELLI E P ， BOVIK A C . Multiscale structural similarity for image quality assessment ［C］. The Thrity-Seventh Asilomar Conference on Signals ， Systems & Computers ， 2003 . 912，2003 ， Pacific Grove， CA， USA. IEEE ， 2003： 1398 - 1402 . doi: 10.1109/acssc.2003.1292216 http://dx.doi.org/10.1109/acssc.2003.1292216

ZHANG L ， ZHANG L ， MOU X Q ， et al . FSIM： a feature similarity index for image quality assessment ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2011 ， 20 （ 8 ）： 2378 - 2386 . doi: 10.1109/tip.2011.2109730 http://dx.doi.org/10.1109/tip.2011.2109730

ZHANG L ， SHEN Y ， LI H Y . VSI： a visual saliency-induced index for perceptual image quality assessment ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2014 ， 23 （ 10 ）： 4270 - 4281 . doi: 10.1109/tip.2014.2346028 http://dx.doi.org/10.1109/tip.2014.2346028

LIU A M ， LIN W S ， NARWARIA M . Image quality assessment based on gradient similarity ［J］. IEEE Transactions on Image Processing ， 2012 ， 21 （ 4 ）： 1500 - 1512 . doi: 10.1109/tip.2011.2175935 http://dx.doi.org/10.1109/tip.2011.2175935

XUE W F ， ZHANG L ， MOU X Q ， et al . Gradient magnitude similarity deviation： a highly efficient perceptual image quality index ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2014 ， 23 （ 2 ）： 684 - 695 . doi: 10.1109/tip.2013.2293423 http://dx.doi.org/10.1109/tip.2013.2293423

ZIAEI NAFCHI H ， SHAHKOLAEI A ， HEDJAM R ， et al . Mean deviation similarity index： efficient and reliable full-reference image quality evaluator ［J］. IEEE Access ， 2016 ， 4 ： 5579 - 5590 . doi: 10.1109/access.2016.2604042 http://dx.doi.org/10.1109/access.2016.2604042

YANG G Y ， LI D S ， LU F ， et al . RVSIM： a feature similarity method for full-reference image quality assessment ［J］. EURASIP Journal on Image and Video Processing ， 2018 ， 2018 ： 6 . doi: 10.1186/s13640-018-0246-1 http://dx.doi.org/10.1186/s13640-018-0246-1

LAYEK M ， UDDIN A F M ， LE T P ， et al . Center emphasized visual saliency and a contrast-based full reference image quality index ［J］. Symmetry ， 2019 ， 11 （ 3 ）： 296 . doi: 10.3390/sym11030296 http://dx.doi.org/10.3390/sym11030296

SHI C Y ， LIN Y D . Full reference image quality assessment based on visual salience with color appearance and gradient similarity ［J］. IEEE Access ， 2020 ， 8 ： 97310 - 97320 . doi: 10.1109/access.2020.2995420 http://dx.doi.org/10.1109/access.2020.2995420

CHOI L K ， YOU J ， BOVIK A C . Referenceless prediction of perceptual fog density and perceptual image defogging ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2015 ， 24 （ 11 ）： 3888 - 3901 . doi: 10.1109/tip.2015.2456502 http://dx.doi.org/10.1109/tip.2015.2456502

RMAN NSIL BE ， HOIEM D ， KOHLI P ， et al . Indoor Segmentation and Support Inference from RGBD Images ［C］. Proceedings of the 12th European conference on Computer Vision-Volume Part V. Springer ， Berlin， Heidelberg ， 2012 . doi: 10.1007/978-3-642-33715-4_54 http://dx.doi.org/10.1007/978-3-642-33715-4_54

HIRSCHMULLER H ， SCHARSTEIN D . Evaluation of cost functions for stereo matching ［C］. 2007 IEEE Conference on Computer Vision and Pattern Recognition . 1722，2007 ， Minneapolis ， MN ， USA . IEEE ， 2007 ： 1 - 8 . doi: 10.1109/cvpr.2007.383248 http://dx.doi.org/10.1109/cvpr.2007.383248

SCHARSTEIN D ， HIRSCHMÜLLER H ， KITAJIMA Y ， et al . High-resolution stereo datasets with subpixel-accurate ground truth ［C］. Pattern Recognition ， 2014 . doi: 10.1007/978-3-319-11752-2_3 http://dx.doi.org/10.1007/978-3-319-11752-2_3

VQEG . Final report from the video quality experts group on the validation of objective models of video quality assessment ［C］. VQEG Meeting ， Ottawa， Canada ， 2000 .

MA K D ， LIU W T ， WANG Z . Perceptual evaluation of single image dehazing algorithms ［C］. 2015 IEEE International Conference on Image Processing . 2730，2015 ， Quebec City ， QC， Canada . IEEE ， 2015 ： 3600 - 3604 . doi: 10.1109/icip.2015.7351475 http://dx.doi.org/10.1109/icip.2015.7351475

HAUTIÈRE N ， TAREL J P ， AUBERT D ， et al . Blind contrast enhancement assessment by gradient ratioing at visible edges ［J］. Image Analysis & Stereology ， 2011 ， 27 （ 2 ）： 87 . doi: 10.5566/ias.v27.p87-95 http://dx.doi.org/10.5566/ias.v27.p87-95

GU K ， TAO D C ， QIAO J F ， et al . Learning a no-reference quality assessment model of enhanced images with big data ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2018 ， 29 （ 4 ）： 1301 - 1313 . doi: 10.1109/tnnls.2017.2649101 http://dx.doi.org/10.1109/tnnls.2017.2649101

MIN X K ， ZHAI G T ， GU K ， et al . Objective quality evaluation of dehazed images ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2019 ， 20 （ 8 ）： 2879 - 2892 . doi: 10.1109/tits.2018.2868771 http://dx.doi.org/10.1109/tits.2018.2868771

MITTAL A ， MOORTHY A K ， BOVIK A C . No-reference image quality assessment in the spatial domain ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2012 ， 21 （ 12 ）： 4695 - 4708 . doi: 10.1109/tip.2012.2214050 http://dx.doi.org/10.1109/tip.2012.2214050

MA K D ， LIU W T ， LIU T L ， et al . dipIQ： blind image quality assessment by learning-to-rank discriminable image pairs ［J］. IEEE Transactions on Image Processing ， 2017 ， 26 （ 8 ）： 3951 - 3964 . doi: 10.1109/tip.2017.2708503 http://dx.doi.org/10.1109/tip.2017.2708503

MA K D ， LIU W T ， ZHANG K ， et al . End-to-end blind image quality assessment using deep neural networks ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 3 ）： 1202 - 1213 . doi: 10.1109/tip.2017.2774045 http://dx.doi.org/10.1109/tip.2017.2774045

MIN X K ， GU K ， ZHAI G T ， et al . Blind quality assessment based on pseudo-reference image ［J］. IEEE Transactions on Multimedia ， 2018 ， 20 （ 8 ）： 2049 - 2062 . doi: 10.1109/tmm.2017.2788206 http://dx.doi.org/10.1109/tmm.2017.2788206

MIN X K ， ZHAI G T ， GU K ， et al . Blind image quality estimation via distortion aggravation ［J］. IEEE Transactions on Broadcasting ， 2018 ， 64 （ 2 ）： 508 - 517 . doi: 10.1109/tbc.2018.2816783 http://dx.doi.org/10.1109/tbc.2018.2816783

浏览量

922

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

频域特征蒸馏的双尺度融合图像去雾网络

全局和局部特征融合的图像去雾

基于深度学习的遥感图像舰船目标检测算法综述

基于偏振度优化与大气光校正的图像去雾

使用改进型大气散射模型的双阶段图像修复