Underwater image enhancement based on color balance and multi-scale fusion

Zhenyu HU; Qi CHEN; Daqi ZHU

doi:10.37188/OPE.20223017.2133

您当前的位置：

首页 >

文章列表页 >

Underwater image enhancement based on color balance and multi-scale fusion

Information Sciences | 更新时间：2022-10-08

- Underwater image enhancement based on color balance and multi-scale fusion
- Optics and Precision Engineering Vol. 30, Issue 17, Pages: 2133-2146(2022)
- 作者机构：
  
  1.上海海事大学智能海事搜救与水下机器人上海工程技术研究中心，上海 201306
  2.上海理工大学机械工程学院，上海 200093
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223017.2133
  CLC： TP394.1;TH691.9
- Received：22 November 2021，
  
  Revised：11 January 2022，
  
  Published：10 September 2022
- 稿件说明：
移动端阅览
胡振宇,陈琦,朱大奇.基于颜色平衡和多尺度融合的水下图像增强[J].光学精密工程,2022,30(17):2133-2146.

HU Zhenyu,CHEN Qi,ZHU Daqi.Underwater image enhancement based on color balance and multi-scale fusion[J].Optics and Precision Engineering,2022,30(17):2133-2146.
胡振宇,陈琦,朱大奇.基于颜色平衡和多尺度融合的水下图像增强[J].光学精密工程,2022,30(17):2133-2146. DOI： 10.37188/OPE.20223017.2133.

HU Zhenyu,CHEN Qi,ZHU Daqi.Underwater image enhancement based on color balance and multi-scale fusion[J].Optics and Precision Engineering,2022,30(17):2133-2146. DOI： 10.37188/OPE.20223017.2133.

摘要

水体对光有吸收和散射作用，导致水下图像出现颜色偏差、细节模糊、对比度低等问题。提出了一种基于颜色平衡和多尺度融合的水下图像增强算法，采用一种颜色平衡方法来校正图像颜色，将颜色平衡处理后的图像从RGB空间转换到Lab空间，用限制对比度自适应直方图均衡化方法处理L通道来增强对比度，且对比度增强后将图像转换回RGB空间。最后，对颜色校正后的图像和对比度增强后的图像按权重图进行多尺度融合。图像增强处理后，在视觉效果和图像质量2个方面比较该算法和其他算法对图像的增强效果。实验结果表明：该算法能够去除水下图像的色偏，提高图像的清晰度和对比度，图像的信息熵、UIQM及UCIQE较原始图像分别提高了5.2%，1.25倍和30.8%。该算法能够有效改善水下图像的视觉质量。

Abstract

This study proposes an underwater enhancement algorithm based on color balance and multi-scale fusion to address the color deviation， detail blur， and low contrast of underwater images caused by water absorbing and scattered light. A color balance method was used to correct color. Then， the color-corrected image was converted from the RGB space to Lab space， and the L-channel was processed with the contrast limited adaptive histogram equalization method to enhance the contrast. Subsequently， the image was converted back to the RGB space. Finally， the multi-scale fusion method was used to fuse the color-corrected image with the contrast-enhanced image according to weight maps. After image enhancement， the enhancement effect of the proposed algorithm was compared with that of other algorithms in terms of visual effect and image quality evaluations. Experiments show that the proposed algorithm can remove color deviation of an underwater image， as well as improve its clarity and contrast. Compared with the original image， the entropy， UIQM， and UCIQE of the processed image increase by at least 5.2%， 1.25 times， and 30.8%， respectively， thereby proving that the proposed algorithm can effectively improve the visual quality of underwater images.

关键词

Keywords

references

TAO Y ， DONG L L ， XU W H . A novel two-step strategy based on white-balancing and fusion for underwater image enhancement ［J］. IEEE Access ， 8 ： 217651 - 217670 .

王一斌，尹诗白，吕卓纹 . 自适应背景光估计与非局部先验的水下图像复原［J］. 光学精密工程， 2019 ， 27 （ 2 ）： 499 - 510 . doi: 10.3788/ope.20192702.0499 http://dx.doi.org/10.3788/ope.20192702.0499

WANG Y B ， YIN SH B ， LÜ ZH W . Underwater image restoration with adaptive background light estimation and non-local prior ［J］. Optics and Precision Engineering ， 2019 ， 27 （ 2 ）： 499 - 510 . （in Chinese） . doi: 10.3788/ope.20192702.0499 http://dx.doi.org/10.3788/ope.20192702.0499

LI C Y ， ANWAR S ， HOU J H ， et al . Underwater image enhancement via medium transmission-guided multi-color space embedding ［J］. IEEE Transactions on Image Processing ， 2021 ， 30 ： 4985 - 5000 . doi: 10.1109/tip.2021.3076367 http://dx.doi.org/10.1109/tip.2021.3076367

HE K M ， SUN J ， TANG X O . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 12 ）： 2341 - 2353 . doi: 10.1109/tpami.2010.168 http://dx.doi.org/10.1109/tpami.2010.168

Jr DREWS P ， NASCIMENTO EDO ， MORAES F ， et al . Transmission estimation in underwater single images ［C］. Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops . New York ： ACM ， 2013 ： 825 - 830 . doi: 10.1109/iccvw.2013.113 http://dx.doi.org/10.1109/iccvw.2013.113

IQBAL K ， ODETAYO M ， JAMES A ， et al . Enhancing the low quality images using Unsupervised Colour Correction Method ［C］. 2010 IEEE International Conference on Systems， Man and Cybernetics . Istanbul， Turkey . IEEE ， 2010 ： 1703 - 1709 . doi: 10.1109/icsmc.2010.5642311 http://dx.doi.org/10.1109/icsmc.2010.5642311

ZHANG S ， WANG T ， DONG J Y ， et al . Underwater image enhancement via extended multi-scale Retinex ［J］. Neurocomputing ， 2017 ， 245 ： 1 - 9 . doi: 10.1016/j.neucom.2017.03.029 http://dx.doi.org/10.1016/j.neucom.2017.03.029

GARG D ， GARG N K ， KUMAR M . Underwater image enhancement using blending of CLAHE and percentile methodologies ［J］. Multimedia Tools and Applications ， 2018 ， 77 （ 20 ）： 26545 - 26561 . doi: 10.1007/s11042-018-5878-8 http://dx.doi.org/10.1007/s11042-018-5878-8

MA X M ， CHEN Z H ， FENG Z P . Underwater image restoration through a combination of improved dark channel prior and gray world algorithms ［J］. Journal of Electronic Imaging ， 2019 ， 28 （ 5 ）： 1 - 10 . doi: 10.1117/1.jei.28.5.053033 http://dx.doi.org/10.1117/1.jei.28.5.053033

范新南，鹿亮，史朋飞，等 . 结合MSRCR与多尺度融合的水下图像增强算法［J］. 国外电子测量技术， 2021 ， 40 （ 2 ）： 6 - 10 . doi: 10.1109/ecti-con51831.2021.9454733 http://dx.doi.org/10.1109/ecti-con51831.2021.9454733

FAN X N ， LU L ， SHI P F ， et al . Underwater image enhancement algorithm combining MSRCR and multi-scale fusion ［J］. Foreign Electronic Measurement Technology ， 2021 ， 40 （ 2 ）： 6 - 10 . （in Chinese） . doi: 10.1109/ecti-con51831.2021.9454733 http://dx.doi.org/10.1109/ecti-con51831.2021.9454733

LI C Y ， GUO J C ， GUO C L ， et al . A hybrid method for underwater image correction ［J］. Pattern Recognition Letters ， 2017 ， 94 ： 62 - 67 . doi: 10.1016/j.patrec.2017.05.023 http://dx.doi.org/10.1016/j.patrec.2017.05.023

ZHOU Y ， TANG Y B ， HUO G Y ， et al . Underwater Image Enhancement Based on Color Balance and Edge Sharpening ［M］. Lecture Notes in Computer Science . Cham ： Springer International Publishing ， 2020 ： 738 - 747 . doi: 10.1007/978-3-030-57881-7_64 http://dx.doi.org/10.1007/978-3-030-57881-7_64

范之国，宋强，代晴晴，等 . 全局参数估计的水下目标偏振复原方法［J］. 光学精密工程， 2018 ， 26 （ 7 ）： 1621 - 1632 . doi: 10.3788/ope.20182607.1621 http://dx.doi.org/10.3788/ope.20182607.1621

FAN ZH G ， SONG Q ， DAI Q Q ， et al . Underwater target polarization recovery method based on global parameter estimation ［J］. Optics and Precision Engineering ， 2018 ， 26 （ 7 ）： 1621 - 1632 . （in Chinese） . doi: 10.3788/ope.20182607.1621 http://dx.doi.org/10.3788/ope.20182607.1621

褚金奎，张培奇，成昊远，等 . 基于特定偏振态成像的水下图像去散射方法［J］. 光学精密工程， 2021 ， 29 （ 5 ）： 1207 - 1215 . doi: 10.37188/OPE.20212905.1207 http://dx.doi.org/10.37188/OPE.20212905.1207

CHU J K ， ZHANG P Q ， CHENG H Y ， et al . De-scattering method of underwater image based on imaging of specific polarization state ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 5 ）： 1207 - 1215 . （in Chinese） . doi: 10.37188/OPE.20212905.1207 http://dx.doi.org/10.37188/OPE.20212905.1207

林森，迟凯晨，李文涛，等 . 基于优势特征图像融合的水下光学图像增强［J］. 光子学报， 2020 ， 49 （ 3 ）： 0310003 . doi: 10.3788/gzxb20204903.0310003 http://dx.doi.org/10.3788/gzxb20204903.0310003

LIN S ， CHI K CH ， LI W T ， et al . Underwater optical image enhancement based on dominant feature image fusion ［J］. Acta Photonica Sinica ， 2020 ， 49 （ 3 ）： 0310003 . （in Chinese） . doi: 10.3788/gzxb20204903.0310003 http://dx.doi.org/10.3788/gzxb20204903.0310003

刘玉洁，朱韶平 . 基于全局和局部多特征的图像增强算法［J］. 液晶与显示， 2020 ， 35 （ 5 ）： 508 - 512 . doi: 10.3788/yjyxs20203505.0508 http://dx.doi.org/10.3788/yjyxs20203505.0508

LIU Y J ， ZHU SH P . Image enhancement algorithm based on global and local multi features ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 5 ）： 508 - 512 . （in Chinese） . doi: 10.3788/yjyxs20203505.0508 http://dx.doi.org/10.3788/yjyxs20203505.0508

林剑萍，廖一鹏 . 结合分数阶微分及Retinex的NSCT自适应低照度图像增强［J］. 液晶与显示， 2020 ， 35 （ 4 ）： 360 - 373 . doi: 10.3788/YJYXS20203504.0360 http://dx.doi.org/10.3788/YJYXS20203504.0360

LIN J P ， LIAO Y P . NSCT adaptive low illumination image enhancement combining fractional differential and Retinex ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 4 ）： 360 - 373 . （in Chinese） . doi: 10.3788/YJYXS20203504.0360 http://dx.doi.org/10.3788/YJYXS20203504.0360

GAO F R ， WANG K ， YANG Z Y ， et al . Underwater image enhancement based on local contrast correction and multi-scale fusion ［J］. Journal of Marine Science and Engineering ， 2021 ， 9 （ 2 ）： 225 . doi: 10.3390/jmse9020225 http://dx.doi.org/10.3390/jmse9020225

AZMI K Z ， CHEM H C ， GHANI A S ， et al . Dual Image Fusion Technique for Underwater Image Contrast Enhancement ［M］. Proceedings of the 11th National Technical Seminar ， 2021 . doi: 10.1007/978-981-15-5281-6_5 http://dx.doi.org/10.1007/978-981-15-5281-6_5

MOHAN S ， SIMON P . Underwater image enhancement based on histogram manipulation and multiscale fusion ［J］. Procedia Computer Science ， 2020 ， 171 ： 941 - 950 . doi: 10.1016/j.procs.2020.04.102 http://dx.doi.org/10.1016/j.procs.2020.04.102

王殿伟，邢质斌，韩鹏飞，等 . 基于模拟多曝光融合的低照度全景图像增强［J］. 光学精密工程， 2021 ， 29 （ 2 ）： 349 - 362 . doi: 10.37188/OPE.20212902.0349 http://dx.doi.org/10.37188/OPE.20212902.0349

WANG D W ， XING ZH B ， HAN P F ， et al . Low illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 2 ）： 349 - 362 . （in Chinese） . doi: 10.37188/OPE.20212902.0349 http://dx.doi.org/10.37188/OPE.20212902.0349

高文，肖海峰 . 基于动态双稳随机共振的低照度彩色图像增强［J］. 液晶与显示， 2021 ， 36 （ 6 ）： 861 - 868 . doi: 10.37188/CJLCD.2020-0283 http://dx.doi.org/10.37188/CJLCD.2020-0283

GAO W ， XIAO H F . Low illumination color image enhancement based on dynamic bistable stochastic resonance ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 6 ）： 861 - 868 . （in Chinese） . doi: 10.37188/CJLCD.2020-0283 http://dx.doi.org/10.37188/CJLCD.2020-0283

JIAN M W ， QI Q ， YU H ， et al . The extended marine underwater environment database and baseline evaluations ［J］. Applied Soft Computing ， 2019 ， 80 ： 425 - 437 . doi: 10.1016/j.asoc.2019.04.025 http://dx.doi.org/10.1016/j.asoc.2019.04.025

PANETTA K ， GAO C ， AGAIAN S . Human-visual-system-inspired underwater image quality measures ［J］. IEEE Journal of Oceanic Engineering ， 2016 ， 41 （ 3 ）： 541 - 551 . doi: 10.1109/joe.2015.2469915 http://dx.doi.org/10.1109/joe.2015.2469915

YANG M ， SOWMYA A . An underwater color image quality evaluation metric ［J］. IEEE Transactions on Image Processing ， 2015 ， 24 （ 12 ）： 6062 - 6071 . doi: 10.1109/tip.2015.2491020 http://dx.doi.org/10.1109/tip.2015.2491020

Views

1703

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Adaptive color compensation and multi-scale fusion for underwater image enhancement

Degradation remote sensing image quality enhancement based on frequency-domain-spatial-domain hybrid attention

Underwater image enhancement using joint texture perception and color histogram features

Cross-level feature aggregation image enhancement with dual-path hybrid attention

Low-light image enhancement based on the fusion of Bilateral filter MSR and AutoMSRCR

Related Author

LIU Cuiyin

JING Tengyun

WANG Feng

CHEN Yuanshuai

WEI Hua

TANG Xiongxin

NIE Haitao

WANG Jing

Related Institution

School of Physics and Material Sciences， Guangzhou University

School of Information Engineering and Automation， Kunming University of Science and Technology

Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences

Laboratory of Science and Technology on Integrated Information System， Institute of Software， Chinese Academy of Sciences

Department of emergency management， Institute of Disaster Prevention

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰