Low-light image enhancement algorithm based on multi-channel fusion attention network

CHEN Qingjiang; GU Yuan

doi:10.37188/OPE.20233114.2111

您当前的位置：

首页 >

文章列表页 >

Low-light image enhancement algorithm based on multi-channel fusion attention network

Information Sciences | 更新时间：2026-09-11

- Low-light image enhancement algorithm based on multi-channel fusion attention network
- Optics and Precision Engineering Vol. 31, Issue 14, Pages: 2111-2122(2023)
- 作者机构：
  
  西安建筑科技大学理学院，陕西西安 710055
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233114.2111
  CLC： TP391.4
- Received：05 July 2022，
  
  Revised：2022-10-13，
  
  Published：25 July 2023
- 稿件说明：
移动端阅览
陈清江,顾媛.多通道融合注意力网络的低照度图像增强[J].光学精密工程,2023,31(14):2111-2122.

CHEN Qingjiang,GU Yuan.Low-light image enhancement algorithm based on multi-channel fusion attention network[J].Optics and Precision Engineering,2023,31(14):2111-2122.
陈清江,顾媛.多通道融合注意力网络的低照度图像增强[J].光学精密工程,2023,31(14):2111-2122. DOI： 10.37188/OPE.20233114.2111.

CHEN Qingjiang,GU Yuan.Low-light image enhancement algorithm based on multi-channel fusion attention network[J].Optics and Precision Engineering,2023,31(14):2111-2122. DOI： 10.37188/OPE.20233114.2111.

摘要

针对低照度图像亮度低、对比度低、颜色失真以及现有增强算法大多没有区别处理不同的通道，不利于提取多层次特征的问题，提出多通道融合注意力网络的低照度图像增强算法。首先，通过将八度卷积（Octave Convolution， OctConv）引入通道拆分后的残差结构中提出多层级特征提取模块；其次，利用注意力机制与交叉残差结构提出跨尺度特征注意模块；再次，通过大小与通道数不同的模块堆叠的方式获取多层次信息；最后，在通道维度上进行特征融合，并通过重建模块获得输出。实验结果表明，与RISSNet算法相比，在真实图像上的峰值信噪比与结构相似度分别由27.001 6 dB和0.889 2提升到27.978 1 dB和0.925 5。所提算法在峰值信噪比、结构相似度、均方误差、视觉信息保真度4种客观评价指标上均获得了最好的结果。该算法能够有效地提高低照度图像的亮度及对比度，且图像纹理细节及色彩保持较好。

Abstract

Low-light images have low brightness， low contrast， and color distortion， and most existing enhancement algorithms do not deal with different channels differently， which is not conducive to the extraction of multi-level features. Therefore， this study proposes a low-light image enhancement algorithm based on a multi-channel fusion attention network. Firstly， we introduced octave convolution （OctConv） into the residual structure after channel splitting and propose a multi-level feature extraction module. Secondly， we proposed a cross-scale feature attention module using an attention mechanism and cross-residual structure. Thirdly， we obtained multi-level information by stacking modules with different sizes and channels. Finally， we performed feature fusion in the channel dimension and obtained the final output through the reconstruction module. The experimental results showed that compared with the RISSNet algorithm， the peak signal-to-noise ratio and structural similarity of real images were improved from 27.001 6 dB and 0.889 2 to 27.978 1 dB and 0.925 5， respectively. The proposed algorithm achieved the best results in four objective evaluation indicators： peak signal-to-noise ratio， structural similarity， mean squared error， and visual information fidelity. The algorithm can effectively improve the brightness and contrast of low-light images with well-maintained image textures and colors.

关键词

Keywords

references

ELIZA JACOB J ， SARITHA S . Video Enhancement and Low-Resolution Facial Image Reconstruction for Crime Investigation ［M］. Intelligent Data Communication Technologies and Internet of Things . Singapore ： Springer Singapore ， 2021 ： 773 - 788 . doi: 10.1007/978-981-15-9509-7_63 http://dx.doi.org/10.1007/978-981-15-9509-7_63

MA Y H ， LIU J ， LIU Y H ， et al . Structure and illumination constrained GAN for medical image enhancement ［J］. IEEE Transactions on Medical Imaging ， 2021 ， 40 （ 12 ）： 3955 - 3967 . doi: 10.1109/tmi.2021.3101937 http://dx.doi.org/10.1109/tmi.2021.3101937

朱均安，陈涛，曹景太 . 基于显著性区域加权的相关滤波目标跟踪［J］. 光学精密工程， 2021 ， 29 （ 2 ）： 363 - 373 . doi: 10.37188/OPE.20212902.0363 http://dx.doi.org/10.37188/OPE.20212902.0363

ZHU J A ， CHEN T ， CAO J T. ， CHEN T ， CAO J T . Salient region weighted correlation filter for object tracking ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 2 ）： 363 - 373 . （in Chinese） . doi: 10.37188/OPE.20212902.0363 http://dx.doi.org/10.37188/OPE.20212902.0363

杨艳春，裴佩佩，党建武，等 . 基于交替梯度滤波器和改进PCNN的红外与可见光图像融合［J］. 光学精密工程， 2022 ， 30 （ 9 ）： 1123 - 1138 . doi: 10.37188/OPE.20223009.1123 http://dx.doi.org/10.37188/OPE.20223009.1123

YANG Y C ， PEI P P ， DANG J W ， et al . Infrared and visible image fusion based on alternating gradient filter and improved PCNN ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 9 ）： 1123 - 1138 . （in Chinese） . doi: 10.37188/OPE.20223009.1123 http://dx.doi.org/10.37188/OPE.20223009.1123

HUMMEL R . Image enhancement by histogram transformation ［J］. Computer Graphics and Image Processing ， 1977 ， 6 （ 2 ）： 184 - 195 . doi: 10.1016/s0146-664x(77)80011-7 http://dx.doi.org/10.1016/s0146-664x(77)80011-7

PIZER SM ， AMBURN EP ， AUSTIN JD ， et al . Adaptive histogram equalization and its variations ［J］. Computer Vision， Graphics， and Image Processing ， 1987 ， 39 （ 3 ）： 355 - 368 . doi: 10.1016/s0734-189x(87)80186-x http://dx.doi.org/10.1016/s0734-189x(87)80186-x

REZA A M . Realization of the contrast limited adaptive histogram equalization （CLAHE） for real-time image enhancement ［J］. Journal of VLSI Signal Processing Systems for Signal ， Image and Video Technology ， 2004 ， 38 （ 1 ）： 35 - 44 . doi: 10.1023/b:vlsi.0000028532.53893.82 http://dx.doi.org/10.1023/b:vlsi.0000028532.53893.82

LAND E H . The retinex theory of color vision ［J］. Scientific American ， 1977 ， 237 （ 6 ）： 108 - 128 . doi: 10.1038/scientificamerican1277-108 http://dx.doi.org/10.1038/scientificamerican1277-108

JOBSON D J ， RAHMAN Z ， WOODELL G A . Properties and performance of a center/surround retinex ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 1997 ， 6 （ 3 ）： 451 - 462 . doi: 10.1109/83.557356 http://dx.doi.org/10.1109/83.557356

JOBSON D J ， RAHMAN Z ， WOODELL G A . A multiscale retinex for bridging the gap between color images and the human observation of scenes ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 1997 ， 6 （ 7 ）： 965 - 976 . doi: 10.1109/83.597272 http://dx.doi.org/10.1109/83.597272

WEI C ， WANG W ， YANG W ， et al . Deep Retinex Decomposition for Low-Light Enhancement ［EB/OL］. 2018 ： arXiv ： 1808 . 04560 . https：//arxiv.org/abs/1808.04560 https://arxiv.org/abs/1808.04560

ZHANG Y H ， ZHANG J W ， GUO X J . Kindling the Darkness： a Practical Low-Light Image Enhancer ［C］. Proceedings of the 27th ACM International Conference on Multimedia. 2125，2019 ， Nice， France. New York ： ACM ， 2019 ： 1632 - 1640 . doi: 10.1145/3343031.3350926 http://dx.doi.org/10.1145/3343031.3350926

GUO C L ， LI C Y ， GUO J C ， et al . Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 1777 - 1786 . doi: 10.1109/cvpr42600.2020.00185 http://dx.doi.org/10.1109/cvpr42600.2020.00185

JIANG Y F ， GONG X Y ， LIU D ， et al . EnlightenGAN： deep light enhancement without paired supervision ［J］. IEEE Transactions on Image Processing ， 2021 ， 30 ： 2340 - 2349 . doi: 10.1109/tip.2021.3051462 http://dx.doi.org/10.1109/tip.2021.3051462

LV F F ， LU F ， WU J H ， et al . MBLLEN： Low-Light Image/Video Enhancement Using CNNs ［C］. BMVC. 2018 ， 220 （ 1 ）： 4 .

潘晓英，魏苗，王昊，等 . 多尺度融合残差编解码器的低照度图像增强方法［J］. 计算机辅助设计与图形学学报， 2022 ， 34 （ 1 ）： 104 - 112 . doi: 10.3724/sp.j.1089.2022.18833 http://dx.doi.org/10.3724/sp.j.1089.2022.18833

PAN X Y ， WEI M ， WANG H ， et al . A multi-scale fusion residual encoder-decoder approach for low illumination image enhancement ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2022 ， 34 （ 1 ）： 104 - 112 . （in Chinese） . doi: 10.3724/sp.j.1089.2022.18833 http://dx.doi.org/10.3724/sp.j.1089.2022.18833

ZHAO J B ， CHEN H Y ， ZENG S Y ， et al . RISSNet： Retain low-light image details and improve the structural similarity net ［J］. IET Image Processing ， 2022 ， 16 （ 7 ）： 1793 - 1806 . doi: 10.1049/ipr2.12446 http://dx.doi.org/10.1049/ipr2.12446

CHEN Y P ， FAN H Q ， XU B ， et al . Drop an octave： reducing spatial redundancy in convolutional neural networks with octave convolution ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 272，2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 3434 - 3443 . doi: 10.1109/iccv.2019.00353 http://dx.doi.org/10.1109/iccv.2019.00353

HU J ， SHEN L ， SUN G . Squeeze-and-Excitation Networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

WANG Q L ， WU B G ， ZHU P F ， et al . ECA-Net： Efficient Channel Attention for Deep Convolutional Neural Networks ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 11531 - 11539 . doi: 10.1109/cvpr42600.2020.01155 http://dx.doi.org/10.1109/cvpr42600.2020.01155

WOO S ， PARK J ， LEE J Y ， et al . CBAM ： Convolutional Block Attention Module ［M］. Computer Vision - ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

GAO S H ， CHENG M M ， ZHAO K ， et al . Res2Net： a new multi-scale backbone architecture ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 2 ）： 652 - 662 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

SIMONYAN K ， ZISSERMAN A . Very Deep Convolutional Networks for Largescale Image Recognition ［C］. Proc of the 3rd International Conference on Learning Representations . La Jolla， CA ： ICLR Press ， 2015 ： 1 - 14 .

MANNOS J ， SAKRISON D . The effects of a visual fidelity criterion of the encoding of images ［J］. IEEE Transactions on Information Theory ， 1974 ， 20 （ 4 ）： 525 - 536 . doi: 10.1109/tit.1974.1055250 http://dx.doi.org/10.1109/tit.1974.1055250

WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1109/tip.2003.819861 http://dx.doi.org/10.1109/tip.2003.819861

SHEIKH H R ， BOVIK A C . Image information and visual quality ［J］. IEEE Transactions on Image Processing ， 2006 ， 15 （ 2 ）： 430 - 444 . doi: 10.1109/tip.2005.859378 http://dx.doi.org/10.1109/tip.2005.859378

CHEN X Y ， WANG S A . Superpixel segmentation based on delaunay triangulation ［C］. 2016 23rd International Conference on Mechatronics and Machine Vision in Practice （M2VIP） . 28 - 30 ， 2016， Nanjing， China. IEEE ， 2017： 1 - 6 . doi: 10.1109/m2vip.2016.7827311 http://dx.doi.org/10.1109/m2vip.2016.7827311

CHEN C ， CHEN Q F ， XU J ， et al . Learning to see in the dark ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 3291 - 3300 . doi: 10.1109/cvpr.2018.00347 http://dx.doi.org/10.1109/cvpr.2018.00347

Views

1178

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Dense pedestrian detection algorithm based on multi-scale feature fusion for low-light nighttime scenes

Sat-YOLO： A target detector for space satellites

Underwater image enhancement network integrating dynamic perception and progressive refinement

Point cloud registration by fusing deep feature consistency with attention network

Cross-modal person re-identification method relation modeling and spectral transformation

Related Author

MA Ximing

LI Ning

NIAN Lun

WU Di

YU Xiangyue

LI Zheng

WANG Yao

JIA Guoyu

Related Institution

Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， Optical Countermeasures Department

Xi'an Institute of Optics and Precision Mechanics， Chinese Academy of Sciences

University of Chinese Academy of Sciences

Qingdao Institute of Software， College of Computer Science and Technology， China University of Petroleum （East China）， Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software

School of Information， Xi'an University of Finance and Economics

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰