多通道融合注意力网络的低照度图像增强

陈清江; 顾媛

doi:10.37188/OPE.20233114.2111

您当前的位置：

首页 >

文章列表页 >

多通道融合注意力网络的低照度图像增强

信息科学 | 更新时间：2023-08-26

- 多通道融合注意力网络的低照度图像增强
- Low-light image enhancement algorithm based on multi-channel fusion attention network
- 光学精密工程 2023年31卷第14期页码：2111-2122
- 作者机构：
  
  西安建筑科技大学理学院，陕西西安 710055
- 作者简介：
  
  [ "陈清江（1966-），男，河南信阳人，博士，教授，硕士生导师，2006年于西安交通大学获博士学位，主要从事小波分析，图像处理与信号处理方面的研究。E-mail：qjchen66xytu@126.com" ]
  [ "顾媛（1998-），女，陕西汉中人，硕士研究生，主要从事图像处理方面的研究。E-mail：2544020739@qq.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(61902304);陕西省自然科学基础研究计划资助项目(2021JQ-495)
- DOI：10.37188/OPE.20233114.2111
  中图分类号： TP391.4
- 收稿日期：2022-07-05，
  
  修回日期：2022-10-13，
  
  纸质出版日期：2023-07-25
- 稿件说明：
移动端阅览
陈清江,顾媛.多通道融合注意力网络的低照度图像增强[J].光学精密工程,2023,31(14):2111-2122.

CHEN Qingjiang,GU Yuan.Low-light image enhancement algorithm based on multi-channel fusion attention network[J].Optics and Precision Engineering,2023,31(14):2111-2122.
陈清江,顾媛.多通道融合注意力网络的低照度图像增强[J].光学精密工程,2023,31(14):2111-2122. DOI： 10.37188/OPE.20233114.2111.

CHEN Qingjiang,GU Yuan.Low-light image enhancement algorithm based on multi-channel fusion attention network[J].Optics and Precision Engineering,2023,31(14):2111-2122. DOI： 10.37188/OPE.20233114.2111.

摘要

针对低照度图像亮度低、对比度低、颜色失真以及现有增强算法大多没有区别处理不同的通道，不利于提取多层次特征的问题，提出多通道融合注意力网络的低照度图像增强算法。首先，通过将八度卷积（Octave Convolution， OctConv）引入通道拆分后的残差结构中提出多层级特征提取模块；其次，利用注意力机制与交叉残差结构提出跨尺度特征注意模块；再次，通过大小与通道数不同的模块堆叠的方式获取多层次信息；最后，在通道维度上进行特征融合，并通过重建模块获得输出。实验结果表明，与RISSNet算法相比，在真实图像上的峰值信噪比与结构相似度分别由27.001 6 dB和0.889 2提升到27.978 1 dB和0.925 5。所提算法在峰值信噪比、结构相似度、均方误差、视觉信息保真度4种客观评价指标上均获得了最好的结果。该算法能够有效地提高低照度图像的亮度及对比度，且图像纹理细节及色彩保持较好。

Abstract

Low-light images have low brightness， low contrast， and color distortion， and most existing enhancement algorithms do not deal with different channels differently， which is not conducive to the extraction of multi-level features. Therefore， this study proposes a low-light image enhancement algorithm based on a multi-channel fusion attention network. Firstly， we introduced octave convolution （OctConv） into the residual structure after channel splitting and propose a multi-level feature extraction module. Secondly， we proposed a cross-scale feature attention module using an attention mechanism and cross-residual structure. Thirdly， we obtained multi-level information by stacking modules with different sizes and channels. Finally， we performed feature fusion in the channel dimension and obtained the final output through the reconstruction module. The experimental results showed that compared with the RISSNet algorithm， the peak signal-to-noise ratio and structural similarity of real images were improved from 27.001 6 dB and 0.889 2 to 27.978 1 dB and 0.925 5， respectively. The proposed algorithm achieved the best results in four objective evaluation indicators： peak signal-to-noise ratio， structural similarity， mean squared error， and visual information fidelity. The algorithm can effectively improve the brightness and contrast of low-light images with well-maintained image textures and colors.

关键词

Keywords

references

ELIZA JACOB J ， SARITHA S . Video Enhancement and Low-Resolution Facial Image Reconstruction for Crime Investigation ［M］. Intelligent Data Communication Technologies and Internet of Things . Singapore ： Springer Singapore ， 2021 ： 773 - 788 . doi: 10.1007/978-981-15-9509-7_63 http://dx.doi.org/10.1007/978-981-15-9509-7_63

MA Y H ， LIU J ， LIU Y H ， et al . Structure and illumination constrained GAN for medical image enhancement ［J］. IEEE Transactions on Medical Imaging ， 2021 ， 40 （ 12 ）： 3955 - 3967 . doi: 10.1109/tmi.2021.3101937 http://dx.doi.org/10.1109/tmi.2021.3101937

朱均安，陈涛，曹景太 . 基于显著性区域加权的相关滤波目标跟踪［J］. 光学精密工程， 2021 ， 29 （ 2 ）： 363 - 373 . doi: 10.37188/OPE.20212902.0363 http://dx.doi.org/10.37188/OPE.20212902.0363

ZHU J A ， CHEN T ， CAO J T. ， CHEN T ， CAO J T . Salient region weighted correlation filter for object tracking ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 2 ）： 363 - 373 . （in Chinese） . doi: 10.37188/OPE.20212902.0363 http://dx.doi.org/10.37188/OPE.20212902.0363

杨艳春，裴佩佩，党建武，等 . 基于交替梯度滤波器和改进PCNN的红外与可见光图像融合［J］. 光学精密工程， 2022 ， 30 （ 9 ）： 1123 - 1138 . doi: 10.37188/OPE.20223009.1123 http://dx.doi.org/10.37188/OPE.20223009.1123

YANG Y C ， PEI P P ， DANG J W ， et al . Infrared and visible image fusion based on alternating gradient filter and improved PCNN ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 9 ）： 1123 - 1138 . （in Chinese） . doi: 10.37188/OPE.20223009.1123 http://dx.doi.org/10.37188/OPE.20223009.1123

HUMMEL R . Image enhancement by histogram transformation ［J］. Computer Graphics and Image Processing ， 1977 ， 6 （ 2 ）： 184 - 195 . doi: 10.1016/s0146-664x(77)80011-7 http://dx.doi.org/10.1016/s0146-664x(77)80011-7

PIZER SM ， AMBURN EP ， AUSTIN JD ， et al . Adaptive histogram equalization and its variations ［J］. Computer Vision， Graphics， and Image Processing ， 1987 ， 39 （ 3 ）： 355 - 368 . doi: 10.1016/s0734-189x(87)80186-x http://dx.doi.org/10.1016/s0734-189x(87)80186-x

REZA A M . Realization of the contrast limited adaptive histogram equalization （CLAHE） for real-time image enhancement ［J］. Journal of VLSI Signal Processing Systems for Signal ， Image and Video Technology ， 2004 ， 38 （ 1 ）： 35 - 44 . doi: 10.1023/b:vlsi.0000028532.53893.82 http://dx.doi.org/10.1023/b:vlsi.0000028532.53893.82

LAND E H . The retinex theory of color vision ［J］. Scientific American ， 1977 ， 237 （ 6 ）： 108 - 128 . doi: 10.1038/scientificamerican1277-108 http://dx.doi.org/10.1038/scientificamerican1277-108

JOBSON D J ， RAHMAN Z ， WOODELL G A . Properties and performance of a center/surround retinex ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 1997 ， 6 （ 3 ）： 451 - 462 . doi: 10.1109/83.557356 http://dx.doi.org/10.1109/83.557356

JOBSON D J ， RAHMAN Z ， WOODELL G A . A multiscale retinex for bridging the gap between color images and the human observation of scenes ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 1997 ， 6 （ 7 ）： 965 - 976 . doi: 10.1109/83.597272 http://dx.doi.org/10.1109/83.597272

WEI C ， WANG W ， YANG W ， et al . Deep Retinex Decomposition for Low-Light Enhancement ［EB/OL］. 2018 ： arXiv ： 1808 . 04560 . https：//arxiv.org/abs/1808.04560 https://arxiv.org/abs/1808.04560

ZHANG Y H ， ZHANG J W ， GUO X J . Kindling the Darkness： a Practical Low-Light Image Enhancer ［C］. Proceedings of the 27th ACM International Conference on Multimedia. 2125，2019 ， Nice， France. New York ： ACM ， 2019 ： 1632 - 1640 . doi: 10.1145/3343031.3350926 http://dx.doi.org/10.1145/3343031.3350926

GUO C L ， LI C Y ， GUO J C ， et al . Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 1777 - 1786 . doi: 10.1109/cvpr42600.2020.00185 http://dx.doi.org/10.1109/cvpr42600.2020.00185

JIANG Y F ， GONG X Y ， LIU D ， et al . EnlightenGAN： deep light enhancement without paired supervision ［J］. IEEE Transactions on Image Processing ， 2021 ， 30 ： 2340 - 2349 . doi: 10.1109/tip.2021.3051462 http://dx.doi.org/10.1109/tip.2021.3051462

LV F F ， LU F ， WU J H ， et al . MBLLEN： Low-Light Image/Video Enhancement Using CNNs ［C］. BMVC. 2018 ， 220 （ 1 ）： 4 .

潘晓英，魏苗，王昊，等 . 多尺度融合残差编解码器的低照度图像增强方法［J］. 计算机辅助设计与图形学学报， 2022 ， 34 （ 1 ）： 104 - 112 . doi: 10.3724/sp.j.1089.2022.18833 http://dx.doi.org/10.3724/sp.j.1089.2022.18833

PAN X Y ， WEI M ， WANG H ， et al . A multi-scale fusion residual encoder-decoder approach for low illumination image enhancement ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2022 ， 34 （ 1 ）： 104 - 112 . （in Chinese） . doi: 10.3724/sp.j.1089.2022.18833 http://dx.doi.org/10.3724/sp.j.1089.2022.18833

ZHAO J B ， CHEN H Y ， ZENG S Y ， et al . RISSNet： Retain low-light image details and improve the structural similarity net ［J］. IET Image Processing ， 2022 ， 16 （ 7 ）： 1793 - 1806 . doi: 10.1049/ipr2.12446 http://dx.doi.org/10.1049/ipr2.12446

CHEN Y P ， FAN H Q ， XU B ， et al . Drop an octave： reducing spatial redundancy in convolutional neural networks with octave convolution ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 272，2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 3434 - 3443 . doi: 10.1109/iccv.2019.00353 http://dx.doi.org/10.1109/iccv.2019.00353

HU J ， SHEN L ， SUN G . Squeeze-and-Excitation Networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

WANG Q L ， WU B G ， ZHU P F ， et al . ECA-Net： Efficient Channel Attention for Deep Convolutional Neural Networks ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 11531 - 11539 . doi: 10.1109/cvpr42600.2020.01155 http://dx.doi.org/10.1109/cvpr42600.2020.01155

WOO S ， PARK J ， LEE J Y ， et al . CBAM ： Convolutional Block Attention Module ［M］. Computer Vision - ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

GAO S H ， CHENG M M ， ZHAO K ， et al . Res2Net： a new multi-scale backbone architecture ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 2 ）： 652 - 662 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

SIMONYAN K ， ZISSERMAN A . Very Deep Convolutional Networks for Largescale Image Recognition ［C］. Proc of the 3rd International Conference on Learning Representations . La Jolla， CA ： ICLR Press ， 2015 ： 1 - 14 .

MANNOS J ， SAKRISON D . The effects of a visual fidelity criterion of the encoding of images ［J］. IEEE Transactions on Information Theory ， 1974 ， 20 （ 4 ）： 525 - 536 . doi: 10.1109/tit.1974.1055250 http://dx.doi.org/10.1109/tit.1974.1055250

WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1109/tip.2003.819861 http://dx.doi.org/10.1109/tip.2003.819861

SHEIKH H R ， BOVIK A C . Image information and visual quality ［J］. IEEE Transactions on Image Processing ， 2006 ， 15 （ 2 ）： 430 - 444 . doi: 10.1109/tip.2005.859378 http://dx.doi.org/10.1109/tip.2005.859378

CHEN X Y ， WANG S A . Superpixel segmentation based on delaunay triangulation ［C］. 2016 23rd International Conference on Mechatronics and Machine Vision in Practice （M2VIP） . 28 - 30 ， 2016， Nanjing， China. IEEE ， 2017： 1 - 6 . doi: 10.1109/m2vip.2016.7827311 http://dx.doi.org/10.1109/m2vip.2016.7827311

CHEN C ， CHEN Q F ， XU J ， et al . Learning to see in the dark ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 3291 - 3300 . doi: 10.1109/cvpr.2018.00347 http://dx.doi.org/10.1109/cvpr.2018.00347

浏览量

545

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多分支残差注意力网络的水下图像增强

自适应色彩补偿和多尺度融合的水下图像增强

半监督式野生动物夜间目标端到端检测

基于注意力机制的宽波段小目标实时去模糊

融合全局信息与双域注意力机制的光学遥感飞机目标检测