结构和纹理感知的Retinex融合红外与可见光图像

胡建平; 郝梦云; 杜影; 谢琪

doi:10.37188/OPE.20223024.3225

您当前的位置：

首页 >

文章列表页 >

结构和纹理感知的Retinex融合红外与可见光图像

信息科学 | 更新时间：2026-09-12

- 结构和纹理感知的Retinex融合红外与可见光图像
- Fusion of infrared and visible images via structure and texture-aware retinex
- 光学精密工程 2022年30卷第24期页码：3225-3238
- 作者机构：
  
  1.东北电力大学理学院，吉林吉林 132012
  2.吉林工程技术师范学院数据科学与人工智能学院，吉林长春 130052
  3.吉林大学数学学院，吉林长春 130012
- 作者简介：
  
  胡建平（1981-），男，四川岳池人，博士，教授，硕士生导师，2009年于大连理工大学获得博士学位，主要从事计算机图形图学、数字几何处理和图像处理方面的研究。E-mail：neduhjp307@ 163.com
  谢琪（1982-），女，吉林汪清人，博士研究生，讲师，2007年在吉林大学获得硕士学位，主要从事数字图像处理方面的研究。E-mail：xieqi_19820302@126.com
- 基金信息：
  
  国家自然科学基金资助项目(61672149);吉林省自然科学基金资助项目(20210101472JC);吉林省教育厅科学技术研究项目资助(JJKH20210098KJ)
- DOI：10.37188/OPE.20223024.3225
  中图分类号： TP391
- 收稿：2022-05-28，
  
  修回：2022-07-08，
  
  纸质出版：2022-12-25
- 稿件说明：
移动端阅览
胡建平,郝梦云,杜影等.结构和纹理感知的Retinex融合红外与可见光图像[J].光学精密工程,2022,30(24):3225-3238.

HU Jianping,HAO Mengyun,DU Ying,et al.Fusion of infrared and visible images via structure and texture-aware retinex[J].Optics and Precision Engineering,2022,30(24):3225-3238.
胡建平,郝梦云,杜影等.结构和纹理感知的Retinex融合红外与可见光图像[J].光学精密工程,2022,30(24):3225-3238. DOI： 10.37188/OPE.20223024.3225.

HU Jianping,HAO Mengyun,DU Ying,et al.Fusion of infrared and visible images via structure and texture-aware retinex[J].Optics and Precision Engineering,2022,30(24):3225-3238. DOI： 10.37188/OPE.20223024.3225.

摘要

为了提高红外与可见光图像的融合质量，本文提出一种新颖的基于结构和纹理感知的Retinex模型的红外与可见光图像融合方法。该方法首先通过结构和纹理感知的Retinex模型将源图像分解为反射分量和光照分量，不但能够有效地将源图像的纹理和结构信息进行分离，而且也能很好地提取可见光图像中低亮度下的细节特征信息；然后通过构造源图像的二阶梯度为基础的权值映射和伽马函数对反射分量和光照分量进行融合；最后对融合的反射分量和光照分量进行重建得到最终融合图像。通过对38组广泛使用的TNO红外/可见光图像数据库中的图像进行测试表明，本文方法得到的融合图像不但具有较高的可视化质量，而且与近年来提出的5种高水平方法相比，本文方法在互信息、非线性相关信息熵、图像相位一致性度量上取得了更好的客观评价结果，能够较好地解决红外与可见光图像融合中出现的细节特征缺失和对比度较低的问题。

Abstract

To improve the quality of the fusion of infrared and visible images， this study proposes a novel method based on structure and texture-aware Retinex （STAR）. It first decomposes the source images into reflection and illumination components according to the STAR model. This decomposition can separate the texture and structure of the source images accurately and extract the detailed features of the visible images with low luminance. Subsequently， it merges the reflection component using a weight map， which is constructed using the second-order gradient of the source images as the input. Moreover， it merges the illumination component using a gamma function， which can make the fused image have more brightness information. Finally， it reconstructs the fused reflection and illumination components to obtain the final fusion image. According to the test on 38 pairs of widely used images in the TNO infrared and visible image database， the proposed method can generate excellent fused results with high visual quality. Furthermore， compared with five state-of-the-art methods for the fusion of infrared and visible images， the proposed method achieved significantly better objective evaluation results in mutual information， nonlinear correlation information entropy， and feature measurement based on image phase consistency. This study involves the use of STAR model for fusing infrared and visible images and establishes a direct fusion framework based on Retinex， which improves the fusion results of the existing methods in terms of detailed features and global contrast.

关键词

Keywords

references

MA J ， MA Y ， LI C . Infrared and visible image fusion methods and applications： A survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 .

BULANON D M ， BURKS T F ， ALCHANATIS V . Image fusion of visible and thermal images for fruit detection ［J］. Biosystems Engineering ， 2009 ， 103 （ 1 ）： 12 - 22 .

SAEEDI J ， FAEZ K . Infrared and visible image fusion using fuzzy logic and population-based optimization ［J］. Applied Soft Computing ， 2012 ， 12 （ 3 ）： 1041 - 1054 .

林剑萍，廖一鹏 . 结合分数阶显著性检测及量子烟花算法的NSST域图像融合［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1406 - 1419 . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406

LIN J P ， LIAO Y P . A novel image fusion method with fractional saliency detection and QFWA in NSST ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1406 - 1419 . （in Chinese） . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406

ZHU Z Q ， ZHENG M Y ， QI G Q ， et al . A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain ［J］. IEEE Access ， 2019 ， 7 ： 20811 - 20824 . doi: 10.1109/access.2019.2898111 http://dx.doi.org/10.1109/access.2019.2898111

GAN W ， WU X H ， WU W ， et al . Infrared and visible image fusion with the use of multi-scale edge-preserving decomposition and guided image filter ［J］. Infrared Physics & Technology ， 2015 ， 72 ： 37 - 51 .

MA J Y ， ZHOU Y . Infrared and visible image fusion via gradientlet filter ［J］. Computer Vision and Image Understanding ， 2020 ， 197 / 198 ： 103016 .

刘先红，陈志斌，秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

陈潮起，孟祥超，邵枫，等 . 一种基于多尺度低秩分解的红外与可见光图像融合方法［J］. 光学学报， 2020 ， 40 （ 11 ）： 72 - 80 . doi: 10.3788/aos202040.1110001 http://dx.doi.org/10.3788/aos202040.1110001

CHEN CH Q ， MENG X CH ， SHAO F ， et al . Infrared and visible image fusion method based on multiscale low-rank decomposition ［J］. Acta Optica Sinica ， 2020 ， 40 （ 11 ）： 72 - 80 . （in Chinese） . doi: 10.3788/aos202040.1110001 http://dx.doi.org/10.3788/aos202040.1110001

LI G F ， LIN Y J ， QU X D . An infrared and visible image fusion method based on multi-scale transformation and norm optimization ［J］. Information Fusion ， 2021 ， 71 ： 109 - 129 .

ZHAN K ， KONG L W ， LIU B ， et al . Multimodal image seamless fusion ［J］. Journal of Electronic Imaging ， 2019 ， 28 ： 023027 .

LI H ， QI X B ， XIE W Y . Fast infrared and visible image fusion with structural decomposition ［J］. Knowledge-Based Systems ， 2020 ， 204 ： 106182 .

LIU Y ， CHEN X ， WANG Z F ， et al . Deep learning for pixel-level image fusion： recent advances and future prospects ［J］. Information Fusion ， 2018 ， 42 ： 158 - 173 .

杨艳春，高晓宇，党建武，等 . 基于WEMD和生成对抗网络重建的红外与可见光图像融合［J］. 光学精密工程， 2022 ， 30 （ 3 ）： 320 - 330 . doi: 10.37188/OPE.20223003.0320 http://dx.doi.org/10.37188/OPE.20223003.0320

YANG Y CH ， GAO X Y ， DANG J W ， et al . Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 3 ）： 320 - 330 . （in Chinese） . doi: 10.37188/OPE.20223003.0320 http://dx.doi.org/10.37188/OPE.20223003.0320

ZHANG Y ， LIU Y ， SUN P ， et al . IFCNN： a general image fusion framework based on convolutional neural network ［J］. Information Fusion ， 2020 ， 54 ： 99 - 118 .

刘博，韩广良，罗惠元 . 基于多尺度细节的孪生卷积神经网络图像融合算法［J］. 液晶与显示， 2021 ， 36 （ 9 ）： 1283 - 1293 . doi: 10.37188/CJLCD.2020-0339 http://dx.doi.org/10.37188/CJLCD.2020-0339

LIU B ， HAN G L ， LUO H Y . Image fusion algorithm based on multi-scale detail Siamese convolutional neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 9 ）： 1283 - 1293 . （in Chinese） . doi: 10.37188/CJLCD.2020-0339 http://dx.doi.org/10.37188/CJLCD.2020-0339

LAND E H ， MCCANN J J . Lightness and retinex theory ［J］. Journal of the Optical Society of America ， 1971 ， 61 （ 1 ）： 1 - 11 . doi: 10.1364/josa.61.000001 http://dx.doi.org/10.1364/josa.61.000001

孔玲君，张孟孟 . 基于Retinex的弱可见光和红外图像融合算法［J］. 包装工程， 2020 ， 41 （ 19 ）： 237 - 244 .

KONG L J ， ZHANG M M . Fusion algorithm of low visible light and infrared image based on retinex ［J］. Packaging Engineering ， 2020 ， 41 （ 19 ）： 237 - 244 . （in Chinese）

JOBSON D J ， RAHMAN Z ， WOODELL G A . A multiscale retinex for bridging the gap between color images and the human observation of scenes ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 1997 ， 6 （ 7 ）： 965 - 976 .

PARK S ， MOON B ， KO S ， et al . Low-light image enhancement using variational optimization-based Retinex model ［J］. 2017 IEEE International Conference on Consumer Electronics （ICCE）， 2017 ： 70 - 71 .

XU J ， HOU Y ， REN D ， et al . STAR： a structure and texture aware retinex model ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2020 ， 29 ： 5022 - 5037 .

CAI B L ， XU X M ， GUO K L ， et al . A joint intrinsic-extrinsic prior model for retinex ［C］. 2017 IEEE International Conference on Computer Vision . Venice， Italy . IEEE ， 2017 ： 4020 - 4029 . doi: 10.1109/iccv.2017.431 http://dx.doi.org/10.1109/iccv.2017.431

ZHAN K ， TENG J ， LI Q ， et al .. A Novel Explicit Multi-focus Image Fusion Method ［J］. Journal of Information Hiding and Multimedia Signal Processing ， 2015 ， 6 （ 3 ）： 600 - 612 .

ZHAN K ， XIE Y G ， WANG H B ， et al . Fast filtering image fusion ［J］. Journal of Electronic Imaging ， 2017 ， 26 ： 063004 .

GONZÁLEZ R ， WOODS R . Digital Image Processing ， 3rd edition ［M］. London ： Pearson Education ， 2008

QU G H ， ZHANG D L ， YAN P F . Information measure for performance of image fusion ［J］. Electronics Letters ， 2002 ， 38 （ 7 ）： 313 .

WANG Q ， SHEN Y ， ZHANG J Q . A nonlinear correlation measure for multivariable data set ［J］. Physica D： Nonlinear Phenomena ， 2005 ， 200 （ 3-4 ）： 287 - 295 .

ZHAO J ， LAGANIERE R ， LIU Z . Performance assessment of combinative pixel-level image fusion based on an absolute feature measurement ［J］. International Journal of Innovative Computing， Information and Control ， 2007 ， 3 （ 6 ）： 1433 - 1447 .

浏览量

1411

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

双轨制形态学引导的蛋白印迹多曝光图像融合

语义可控的红外与可见光图像融合

光照权重调配机制引导的双流逐层交互式红外与可见光图像融合网络

可靠性自适应引导的红外与可见光图像融合

基于HMSD与改进PCNN的红外与可见光图像融合