Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction

Yanchun YANG; Xiaoyu GAO; Jianwu DANG; Yangping WANG

doi:10.37188/OPE.20223003.0320

您当前的位置：

首页 >

文章列表页 >

Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction

Information Sciences | 更新时间：2022-02-17

- Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction
- Optics and Precision Engineering Vol. 30, Issue 3, Pages: 320-330(2022)
- 作者机构：
  
  兰州交通大学电子与信息工程学院，甘肃兰州 730070
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223003.0320
  CLC： TP391
- Received：27 May 2021，
  
  Revised：01 July 2021，
  
  Published：15 February 2022
- 稿件说明：
移动端阅览
杨艳春,高晓宇,党建武等.基于WEMD和生成对抗网络重建的红外与可见光图像融合[J].光学精密工程,2022,30(03):320-330.

YANG Yanchun,GAO Xiaoyu,DANG Jianwu,et al.Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction[J].Optics and Precision Engineering,2022,30(03):320-330.
杨艳春,高晓宇,党建武等.基于WEMD和生成对抗网络重建的红外与可见光图像融合[J].光学精密工程,2022,30(03):320-330. DOI： 10.37188/OPE.20223003.0320.

YANG Yanchun,GAO Xiaoyu,DANG Jianwu,et al.Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction[J].Optics and Precision Engineering,2022,30(03):320-330. DOI： 10.37188/OPE.20223003.0320.

摘要

针对红外与可见光图像融合中边缘模糊、对比度较低的问题，提出一种二维窗口经验模式分解（WEMD）和生成对抗网络重建的红外与可见光图像融合算法。将红外和可见光图像进行WEMD分解得到内蕴模式函数分量和残余分量，将内蕴模式函数分量通过主成分分析进行融合，残余分量用加权平均进行融合，重构得到初步融合图像，再将初步融合图像输入生成对抗网络中与可见光图像进行对抗博弈，补全背景信息，得到最终的融合图像。客观评价指标采用平均梯度、边缘强度、熵值、结构相似性和互信息，与其他5种方法相比，本文算法的各项指标分别平均提高了46.13%，39.40%，19.91%，3.72%，33.10%。实验结果表明，该算法较好地保留了源图像的边缘及纹理细节信息，同时突出了红外图像的目标，具有较好的可视性，而且在客观评价指标方面也有明显的优势。

Abstract

To overcome the problem of blurred edges and low contrast in the fusion of infrared and visible images， a two-dimensional window empirical mode decomposition （WEMD） and infrared and visible light image fusion algorithm for GAN reconstruction was proposed. The infrared and visible light images were decomposed using WEMD to obtain the intrinsic mode function components （IMF） and residual components. The IMF components were fused through principal component analysis， and the residual components were fused by the weighted average. The preliminary fused image was reconstructed and input into the GAN to play against the visible light image， and some background information was supplemented to obtain the final fusion image. The average gradient （AG）， edge strength （EI）， entropy （EN）， structural similarity （SSIM）， and mutual information （MI） are used for objective evaluation， and they increased by 46.13%， 39.40%， 19.91%， 3.72%， and 33.10%， respectively， compared with the other five methods. The experimental results show that the proposed algorithm achieves better retention of the edge and texture details of the sources image while simultaneously highlighting the target of the infrared image， has better visibility， and has obvious advantages in terms of objective evaluation indicators.

关键词

Keywords

references

刘先红，陈志斌，秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Optics and Precision Engineering ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

SINGH R ， VATSA M ， NOORE A . Integrated multilevel image fusion and match score fusion of visible and infrared face images for robust face recognition ［J］. Pattern Recognition ， 2008 ， 41 （ 3 ）： 880 - 893 . doi: 10.1016/j.patcog.2007.06.022 http://dx.doi.org/10.1016/j.patcog.2007.06.022

HAN J ， BHANU B . Fusion of color and infrared video for moving human detection ［J］. Pattern Recognition ， 2007 ， 40 （ 6 ）： 1771 - 1784 . doi: 10.1016/j.patcog.2006.11.010 http://dx.doi.org/10.1016/j.patcog.2006.11.010

REINHARD E ， ADHIKHMIN M ， GOOCH B ， et al . Color transfer between images ［J］. IEEE Computer Graphics and Applications ， 2001 ， 21 （ 5 ）： 34 - 41 . doi: 10.1109/38.946629 http://dx.doi.org/10.1109/38.946629

冯维，吴贵铭，赵大兴，等 . 多图像融合Retinex用于弱光图像增强［J］. 光学精密工程， 2020 ， 28 （ 3 ）： 736 - 744 . doi: 10.3788/ope.20202803.0736 http://dx.doi.org/10.3788/ope.20202803.0736

FENG W ， WU G M ， ZHAO D X ， et al . Multi images fusion Retinex for low light image enhancement ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 3 ）： 736 - 744 . （in Chinese） . doi: 10.3788/ope.20202803.0736 http://dx.doi.org/10.3788/ope.20202803.0736

殷明，段普宏，褚标，等 . 基于非下采样双树复轮廓波变换和稀疏表示的红外和可见光图像融合［J］. 光学精密工程， 2016 ， 24 （ 7 ）： 1763 - 1771 . doi: 10.3788/OPE.20162407.1763 http://dx.doi.org/10.3788/OPE.20162407.1763

YIN M ， DUAN P H ， CHU B ， et al . Fusion of infrared and visible images combined with NSDTCT and sparse representation ［J］. Optics and Precision Engineering ， 2016 ， 24 （ 7 ）： 1763 - 1771 . （in Chinese） . doi: 10.3788/OPE.20162407.1763 http://dx.doi.org/10.3788/OPE.20162407.1763

ALI S S ， RIAZ M M ， GHAFOOR A . Fuzzy logic and additive wavelet-based panchromatic sharpening ［J］. IEEE Geoscience and Remote Sensing Letters ， 2014 ， 11 （ 1 ）： 357 - 360 . doi: 10.1109/lgrs.2013.2258321 http://dx.doi.org/10.1109/lgrs.2013.2258321

CHEN G ， LI L ， JIN W Q ， et al . Weighted sparse representation and gradient domain guided filter pyramid image fusion based on low-light-level dual-channel camera ［J］. IEEE Photonics Journal ， 2019 ， 11 （ 5 ）： 1 - 15 . doi: 10.1109/jphot.2019.2935134 http://dx.doi.org/10.1109/jphot.2019.2935134

CHOI M ， KIM R Y ， NAM M R ， et al . Fusion of multispectral and panchromatic Satellite images using the curvelet transform ［J］. IEEE Geoscience and Remote Sensing Letters ， 2005 ， 2 （ 2 ）： 136 - 140 . doi: 10.1109/lgrs.2005.845313 http://dx.doi.org/10.1109/lgrs.2005.845313

HUANG N E ， SHEN Z ， LONG S R ， et al . The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis ［J］. Proceedings of the Royal Society of London Series A： Mathematical， Physical and Engineering Sciences ， 1998 ， 454 （ 1971 ）： 903 - 995 . doi: 10.1098/rspa.1998.0193 http://dx.doi.org/10.1098/rspa.1998.0193

YANG J K ， GUO L ， YU S W ， et al . A new multi-focus image fusion algorithm based on BEMD and improved local energy ［J］. Journal of Software ， 2014 ， 9 （ 9 ）： 2329 - 2334 . doi: 10.4304/jsw.9.9.2329-2334 http://dx.doi.org/10.4304/jsw.9.9.2329-2334

王慧斌，廖艳，沈洁，等 . 分级多尺度变换的水下偏振图像融合法［J］. 光子学报， 2014 ， 43 （ 5 ）： 192 - 198 . doi: 10.3788/gzxb20144305.0510004 http://dx.doi.org/10.3788/gzxb20144305.0510004

WANG H B ， LIAO Y ， SHEN J ， et al . Method of underwater polarization image fusion based on hierarchical and multi-scale transform ［J］. Acta Photonica Sinica ， 2014 ， 43 （ 5 ）： 192 - 198 . （in Chinese） . doi: 10.3788/gzxb20144305.0510004 http://dx.doi.org/10.3788/gzxb20144305.0510004

LI H ， WU X J ， KITTLER J . Infrared and visible image fusion using a deep learning framework ［C］. 2018 24th International Conference on Pattern Recognition （ICPR）. 2024，2018 ， Beijing， China. IEEE ， 2018 ： 2705 - 2710 . doi: 10.1109/icpr.2018.8546006 http://dx.doi.org/10.1109/icpr.2018.8546006

MA J Y ， YU W ， LIANG P W ， et al . FusionGAN： a generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 . doi: 10.1016/j.inffus.2018.09.004 http://dx.doi.org/10.1016/j.inffus.2018.09.004

朱攀，黄战华 . 基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合［J］. 光电子·激光， 2017 ， 28 （ 10 ）： 1156 - 1162 . doi: 10.1016/j.infrared.2017.01.013 http://dx.doi.org/10.1016/j.infrared.2017.01.013

ZHU P ， HUANG ZH H . Fusion of infrared and visible images based on BEMD and GFL ［J］. Journal of Optoelectronics·Laser ， 2017 ， 28 （ 10 ）： 1156 - 1162 . （in Chinese） . doi: 10.1016/j.infrared.2017.01.013 http://dx.doi.org/10.1016/j.infrared.2017.01.013

RADFORD A ， METZ L ， CHINTALA S . Unsupervised representation learning with deep convolutional generative adversarial networks ［J］. ICLR 2016 ， 2015 （1）： arXiv： 1511.06434 .

LIU Y ， WANG Z F . Simultaneous image fusion and denoising with adaptive sparse representation ［J］. IET Image Processing ， 2015 ， 9 （ 5 ）： 347 - 357 . doi: 10.1049/iet-ipr.2014.0311 http://dx.doi.org/10.1049/iet-ipr.2014.0311

ZHANG Y ， ZHANG L J ， BAI X Z ， et al . Infrared and visual image fusion through infrared feature extraction and visual information preservation ［J］. Infrared Physics & Technology ， 2017 ， 83 ： 227 - 237 . doi: 10.1016/j.infrared.2017.05.007 http://dx.doi.org/10.1016/j.infrared.2017.05.007

LIU Y ， CHEN X ， WARD R K ， et al . Medical image fusion via convolutional sparsity based morphological component analysis ［J］. IEEE Signal Processing Letters ， 2019 ， 26 （ 3 ）： 485 - 489 . doi: 10.1109/lsp.2019.2895749 http://dx.doi.org/10.1109/lsp.2019.2895749

AMIN-NAJI M ， AGHAGOLZADEH A ， EZOJI M . Ensemble of CNN for multi-focus image fusion ［J］. Information Fusion ， 2019 ， 51 ： 201 - 214 . doi: 10.1016/j.inffus.2019.02.003 http://dx.doi.org/10.1016/j.inffus.2019.02.003

SHEN Y ， WU Z D ， WANG X P ， et al . Tetrolet transform images fusion algorithm based on fuzzy operator ［J］. Journal of Frontiers of Computer Science and Technology ， 2015 ， 9 （ 9 ）： 1132 - 1138 .

XYDEAS C S ， PETROVIĆ V . Objective image fusion performance measure ［J］. Electronics Letters ， 2000 ， 36 （ 4 ）： 308 . doi: 10.1049/el:20000267 http://dx.doi.org/10.1049/el:20000267

闫莉萍，刘宝生，周东华 . 一种新的图像融合及性能评价方法［J］. 系统工程与电子技术， 2007 ， 29 （ 4 ）： 509 - 513 . doi: 10.3321/j.issn:1001-506X.2007.04.003 http://dx.doi.org/10.3321/j.issn:1001-506X.2007.04.003

YAN L P ， LIU B SH ， ZHOU D H . Novel image fusion algorithm with novel performance evaluation method ［J］. Systems Engineering and Electronics ， 2007 ， 29 （ 4 ）： 509 - 513 . （in Chinese） . doi: 10.3321/j.issn:1001-506X.2007.04.003 http://dx.doi.org/10.3321/j.issn:1001-506X.2007.04.003

MA J Y ， MA Y ， LI C . Infrared and visible image fusion methods and applications： a survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 . doi: 10.1016/j.inffus.2018.02.004 http://dx.doi.org/10.1016/j.inffus.2018.02.004

QU G H ， ZHANG D L ， YAN P F . Information measure for performance of image fusion ［J］. Electronics Letters ， 2002 ， 38 （ 7 ）： 313 - 315 . doi: 10.1049/el:20020212 http://dx.doi.org/10.1049/el:20020212

Views

439

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction

Conditional diffusion and multi-channel high-low frequency parallel fusion of infrared and visible light images

Visible-polarized image fusion for nighttime dispersal of mines

Infrared image and visible image fusion algorithm based on secondary image decomposition

Underwater image enhancement synthesizing multi-scale information and attention mechanisms

Related Author

Yan-chun YANG

Xiao-yu GAO

Jian-wu DANG

Yang-ping WANG

DI Jing

WANG Heran

LIANG Chan

LIU Jizhao

Related Institution

School of Information Science and Engineering， Lanzhou University

School of Mechanical Engineering and Automation， Shanghai University

Beijing Institute of Space Mechanics & Electricity

College of Electronic and Optical Engineering & College of Flexible Electronics （Future Technology），Nanjing University of Posts and Telecommunications

Key Laboratory of Road Construction Technology and Equipment， Ministry of Education， Chang' an University

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰