Fusion of infrared and visible images via structure and texture-aware retinex

HU Jianping; HAO Mengyun; DU Ying; XIE Qi

doi:10.37188/OPE.20223024.3225

您当前的位置：

首页 >

文章列表页 >

Fusion of infrared and visible images via structure and texture-aware retinex

Information Sciences | 更新时间：2022-12-27

- Fusion of infrared and visible images via structure and texture-aware retinex
- Optics and Precision Engineering Vol. 30, Issue 24, Pages: 3225-3238(2022)
- 作者机构：
  
  1.东北电力大学理学院，吉林吉林 132012
  2.吉林工程技术师范学院数据科学与人工智能学院，吉林长春 130052
  3.吉林大学数学学院，吉林长春 130012
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223024.3225
  CLC： TP391
- Received：28 May 2022，
  
  Revised：08 July 2022，
  
  Published：25 December 2022
- 稿件说明：
移动端阅览
胡建平,郝梦云,杜影等.结构和纹理感知的Retinex融合红外与可见光图像[J].光学精密工程,2022,30(24):3225-3238.

HU Jianping,HAO Mengyun,DU Ying,et al.Fusion of infrared and visible images via structure and texture-aware retinex[J].Optics and Precision Engineering,2022,30(24):3225-3238.
胡建平,郝梦云,杜影等.结构和纹理感知的Retinex融合红外与可见光图像[J].光学精密工程,2022,30(24):3225-3238. DOI： 10.37188/OPE.20223024.3225.

HU Jianping,HAO Mengyun,DU Ying,et al.Fusion of infrared and visible images via structure and texture-aware retinex[J].Optics and Precision Engineering,2022,30(24):3225-3238. DOI： 10.37188/OPE.20223024.3225.

摘要

为了提高红外与可见光图像的融合质量，本文提出一种新颖的基于结构和纹理感知的Retinex模型的红外与可见光图像融合方法。该方法首先通过结构和纹理感知的Retinex模型将源图像分解为反射分量和光照分量，不但能够有效地将源图像的纹理和结构信息进行分离，而且也能很好地提取可见光图像中低亮度下的细节特征信息；然后通过构造源图像的二阶梯度为基础的权值映射和伽马函数对反射分量和光照分量进行融合；最后对融合的反射分量和光照分量进行重建得到最终融合图像。通过对38组广泛使用的TNO红外/可见光图像数据库中的图像进行测试表明，本文方法得到的融合图像不但具有较高的可视化质量，而且与近年来提出的5种高水平方法相比，本文方法在互信息、非线性相关信息熵、图像相位一致性度量上取得了更好的客观评价结果，能够较好地解决红外与可见光图像融合中出现的细节特征缺失和对比度较低的问题。

Abstract

To improve the quality of the fusion of infrared and visible images， this study proposes a novel method based on structure and texture-aware Retinex （STAR）. It first decomposes the source images into reflection and illumination components according to the STAR model. This decomposition can separate the texture and structure of the source images accurately and extract the detailed features of the visible images with low luminance. Subsequently， it merges the reflection component using a weight map， which is constructed using the second-order gradient of the source images as the input. Moreover， it merges the illumination component using a gamma function， which can make the fused image have more brightness information. Finally， it reconstructs the fused reflection and illumination components to obtain the final fusion image. According to the test on 38 pairs of widely used images in the TNO infrared and visible image database， the proposed method can generate excellent fused results with high visual quality. Furthermore， compared with five state-of-the-art methods for the fusion of infrared and visible images， the proposed method achieved significantly better objective evaluation results in mutual information， nonlinear correlation information entropy， and feature measurement based on image phase consistency. This study involves the use of STAR model for fusing infrared and visible images and establishes a direct fusion framework based on Retinex， which improves the fusion results of the existing methods in terms of detailed features and global contrast.

关键词

Keywords

references

MA J ， MA Y ， LI C . Infrared and visible image fusion methods and applications： A survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 .

BULANON D M ， BURKS T F ， ALCHANATIS V . Image fusion of visible and thermal images for fruit detection ［J］. Biosystems Engineering ， 2009 ， 103 （ 1 ）： 12 - 22 .

SAEEDI J ， FAEZ K . Infrared and visible image fusion using fuzzy logic and population-based optimization ［J］. Applied Soft Computing ， 2012 ， 12 （ 3 ）： 1041 - 1054 .

林剑萍，廖一鹏 . 结合分数阶显著性检测及量子烟花算法的NSST域图像融合［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1406 - 1419 . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406

LIN J P ， LIAO Y P . A novel image fusion method with fractional saliency detection and QFWA in NSST ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1406 - 1419 . （in Chinese） . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406

ZHU Z Q ， ZHENG M Y ， QI G Q ， et al . A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain ［J］. IEEE Access ， 2019 ， 7 ： 20811 - 20824 . doi: 10.1109/access.2019.2898111 http://dx.doi.org/10.1109/access.2019.2898111

GAN W ， WU X H ， WU W ， et al . Infrared and visible image fusion with the use of multi-scale edge-preserving decomposition and guided image filter ［J］. Infrared Physics & Technology ， 2015 ， 72 ： 37 - 51 .

MA J Y ， ZHOU Y . Infrared and visible image fusion via gradientlet filter ［J］. Computer Vision and Image Understanding ， 2020 ， 197 / 198 ： 103016 .

刘先红，陈志斌，秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

陈潮起，孟祥超，邵枫，等 . 一种基于多尺度低秩分解的红外与可见光图像融合方法［J］. 光学学报， 2020 ， 40 （ 11 ）： 72 - 80 . doi: 10.3788/aos202040.1110001 http://dx.doi.org/10.3788/aos202040.1110001

CHEN CH Q ， MENG X CH ， SHAO F ， et al . Infrared and visible image fusion method based on multiscale low-rank decomposition ［J］. Acta Optica Sinica ， 2020 ， 40 （ 11 ）： 72 - 80 . （in Chinese） . doi: 10.3788/aos202040.1110001 http://dx.doi.org/10.3788/aos202040.1110001

LI G F ， LIN Y J ， QU X D . An infrared and visible image fusion method based on multi-scale transformation and norm optimization ［J］. Information Fusion ， 2021 ， 71 ： 109 - 129 .

ZHAN K ， KONG L W ， LIU B ， et al . Multimodal image seamless fusion ［J］. Journal of Electronic Imaging ， 2019 ， 28 ： 023027 .

LI H ， QI X B ， XIE W Y . Fast infrared and visible image fusion with structural decomposition ［J］. Knowledge-Based Systems ， 2020 ， 204 ： 106182 .

LIU Y ， CHEN X ， WANG Z F ， et al . Deep learning for pixel-level image fusion： recent advances and future prospects ［J］. Information Fusion ， 2018 ， 42 ： 158 - 173 .

杨艳春，高晓宇，党建武，等 . 基于WEMD和生成对抗网络重建的红外与可见光图像融合［J］. 光学精密工程， 2022 ， 30 （ 3 ）： 320 - 330 . doi: 10.37188/OPE.20223003.0320 http://dx.doi.org/10.37188/OPE.20223003.0320

YANG Y CH ， GAO X Y ， DANG J W ， et al . Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 3 ）： 320 - 330 . （in Chinese） . doi: 10.37188/OPE.20223003.0320 http://dx.doi.org/10.37188/OPE.20223003.0320

ZHANG Y ， LIU Y ， SUN P ， et al . IFCNN： a general image fusion framework based on convolutional neural network ［J］. Information Fusion ， 2020 ， 54 ： 99 - 118 .

刘博，韩广良，罗惠元 . 基于多尺度细节的孪生卷积神经网络图像融合算法［J］. 液晶与显示， 2021 ， 36 （ 9 ）： 1283 - 1293 . doi: 10.37188/CJLCD.2020-0339 http://dx.doi.org/10.37188/CJLCD.2020-0339

LIU B ， HAN G L ， LUO H Y . Image fusion algorithm based on multi-scale detail Siamese convolutional neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 9 ）： 1283 - 1293 . （in Chinese） . doi: 10.37188/CJLCD.2020-0339 http://dx.doi.org/10.37188/CJLCD.2020-0339

LAND E H ， MCCANN J J . Lightness and retinex theory ［J］. Journal of the Optical Society of America ， 1971 ， 61 （ 1 ）： 1 - 11 . doi: 10.1364/josa.61.000001 http://dx.doi.org/10.1364/josa.61.000001

孔玲君，张孟孟 . 基于Retinex的弱可见光和红外图像融合算法［J］. 包装工程， 2020 ， 41 （ 19 ）： 237 - 244 .

KONG L J ， ZHANG M M . Fusion algorithm of low visible light and infrared image based on retinex ［J］. Packaging Engineering ， 2020 ， 41 （ 19 ）： 237 - 244 . （in Chinese）

JOBSON D J ， RAHMAN Z ， WOODELL G A . A multiscale retinex for bridging the gap between color images and the human observation of scenes ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 1997 ， 6 （ 7 ）： 965 - 976 .

PARK S ， MOON B ， KO S ， et al . Low-light image enhancement using variational optimization-based Retinex model ［J］. 2017 IEEE International Conference on Consumer Electronics （ICCE）， 2017 ： 70 - 71 .

XU J ， HOU Y ， REN D ， et al . STAR： a structure and texture aware retinex model ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2020 ， 29 ： 5022 - 5037 .

CAI B L ， XU X M ， GUO K L ， et al . A joint intrinsic-extrinsic prior model for retinex ［C］. 2017 IEEE International Conference on Computer Vision . Venice， Italy . IEEE ， 2017 ： 4020 - 4029 . doi: 10.1109/iccv.2017.431 http://dx.doi.org/10.1109/iccv.2017.431

ZHAN K ， TENG J ， LI Q ， et al .. A Novel Explicit Multi-focus Image Fusion Method ［J］. Journal of Information Hiding and Multimedia Signal Processing ， 2015 ， 6 （ 3 ）： 600 - 612 .

ZHAN K ， XIE Y G ， WANG H B ， et al . Fast filtering image fusion ［J］. Journal of Electronic Imaging ， 2017 ， 26 ： 063004 .

GONZÁLEZ R ， WOODS R . Digital Image Processing ， 3rd edition ［M］. London ： Pearson Education ， 2008

QU G H ， ZHANG D L ， YAN P F . Information measure for performance of image fusion ［J］. Electronics Letters ， 2002 ， 38 （ 7 ）： 313 .

WANG Q ， SHEN Y ， ZHANG J Q . A nonlinear correlation measure for multivariable data set ［J］. Physica D： Nonlinear Phenomena ， 2005 ， 200 （ 3-4 ）： 287 - 295 .

ZHAO J ， LAGANIERE R ， LIU Z . Performance assessment of combinative pixel-level image fusion based on an absolute feature measurement ［J］. International Journal of Innovative Computing， Information and Control ， 2007 ， 3 （ 6 ）： 1433 - 1447 .

Views

838

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Polarized image feature fusion in power inspection

Infrared and visible image fusion based on multi-scale spatial attention complementary

Adaptive color compensation and multi-scale fusion for underwater image enhancement

X-ray image fusion for ancient bronze mirror based on intuitionistic fuzzy set entropy measure and salient feature detection

Conditional diffusion and multi-channel high-low frequency parallel fusion of infrared and visible light images

Related Author

NI Mengyao

PENG Yuanlong

HU Shang

YAN Longchuan

ZHENG Jinkun

CAO Danhua

ZHANG Yongxing

LIAN Bowen

Related Institution

School of Optical and Electronic Information， Huazhong University of Science and Technology

State Grid Information & Telecommunication Branch

State Grid JiangXi Electric Power Supply Co

National Key Laboratory of Adaptive Optics

Institute on Optics and Electronics Technology， Chinese Academy of Sciences

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰