基于WEMD和生成对抗网络重建的红外与可见光图像融合

杨艳春; 高晓宇; 党建武; 王阳萍

doi:10.37188/OPE.20223003.0320

您当前的位置：

首页 >

文章列表页 >

基于WEMD和生成对抗网络重建的红外与可见光图像融合

信息科学 | 更新时间：2022-02-17

- 基于WEMD和生成对抗网络重建的红外与可见光图像融合
- Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction
- 光学精密工程 2022年30卷第3期页码：320-330
- 作者机构：
  
  兰州交通大学电子与信息工程学院，甘肃兰州 730070
- 作者简介：
  
  [ "杨艳春（1979-），女，新疆五家渠人，副教授，博士，硕士生导师，2002年、2007年、2014年于兰州交通大学分别获得学士、硕士和博士学位，主要从事图像融合和图像处理的研究。E-mail： yangyanchun102@sina.com" ]
  [ "高晓宇（1997-），男，内蒙古乌兰察布人，硕士研究生，2019年于兰州交通大学大学获得学士学位，主要从事图像融合和图像处理的研究。E-mail： xiaoyu19971101@163.com" ]
- 基金信息：
  
  长江学者和创新团队发展计划资助项目(IRT_16R36);国家自然科学基金资助项目(62067006);甘肃省科技计划资助项目(18JR3RA104);甘肃省高等学校产业支撑计划资助项目(2020C-19);兰州市科技计划资助项目(2019-4-49);兰州交通大学天佑创新团队资助项目(TY202003);兰州交通大学-天津大学联合创新基金资助项目(2021052)
- DOI：10.37188/OPE.20223003.0320
  中图分类号： TP391
- 收稿日期：2021-05-27，
  
  修回日期：2021-07-01，
  
  纸质出版日期：2022-02-15
- 稿件说明：
移动端阅览
杨艳春,高晓宇,党建武等.基于WEMD和生成对抗网络重建的红外与可见光图像融合[J].光学精密工程,2022,30(03):320-330.

YANG Yanchun,GAO Xiaoyu,DANG Jianwu,et al.Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction[J].Optics and Precision Engineering,2022,30(03):320-330.
杨艳春,高晓宇,党建武等.基于WEMD和生成对抗网络重建的红外与可见光图像融合[J].光学精密工程,2022,30(03):320-330. DOI： 10.37188/OPE.20223003.0320.

YANG Yanchun,GAO Xiaoyu,DANG Jianwu,et al.Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction[J].Optics and Precision Engineering,2022,30(03):320-330. DOI： 10.37188/OPE.20223003.0320.

摘要

针对红外与可见光图像融合中边缘模糊、对比度较低的问题，提出一种二维窗口经验模式分解（WEMD）和生成对抗网络重建的红外与可见光图像融合算法。将红外和可见光图像进行WEMD分解得到内蕴模式函数分量和残余分量，将内蕴模式函数分量通过主成分分析进行融合，残余分量用加权平均进行融合，重构得到初步融合图像，再将初步融合图像输入生成对抗网络中与可见光图像进行对抗博弈，补全背景信息，得到最终的融合图像。客观评价指标采用平均梯度、边缘强度、熵值、结构相似性和互信息，与其他5种方法相比，本文算法的各项指标分别平均提高了46.13%，39.40%，19.91%，3.72%，33.10%。实验结果表明，该算法较好地保留了源图像的边缘及纹理细节信息，同时突出了红外图像的目标，具有较好的可视性，而且在客观评价指标方面也有明显的优势。

Abstract

To overcome the problem of blurred edges and low contrast in the fusion of infrared and visible images， a two-dimensional window empirical mode decomposition （WEMD） and infrared and visible light image fusion algorithm for GAN reconstruction was proposed. The infrared and visible light images were decomposed using WEMD to obtain the intrinsic mode function components （IMF） and residual components. The IMF components were fused through principal component analysis， and the residual components were fused by the weighted average. The preliminary fused image was reconstructed and input into the GAN to play against the visible light image， and some background information was supplemented to obtain the final fusion image. The average gradient （AG）， edge strength （EI）， entropy （EN）， structural similarity （SSIM）， and mutual information （MI） are used for objective evaluation， and they increased by 46.13%， 39.40%， 19.91%， 3.72%， and 33.10%， respectively， compared with the other five methods. The experimental results show that the proposed algorithm achieves better retention of the edge and texture details of the sources image while simultaneously highlighting the target of the infrared image， has better visibility， and has obvious advantages in terms of objective evaluation indicators.

关键词

Keywords

references

刘先红，陈志斌，秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Optics and Precision Engineering ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

SINGH R ， VATSA M ， NOORE A . Integrated multilevel image fusion and match score fusion of visible and infrared face images for robust face recognition ［J］. Pattern Recognition ， 2008 ， 41 （ 3 ）： 880 - 893 . doi: 10.1016/j.patcog.2007.06.022 http://dx.doi.org/10.1016/j.patcog.2007.06.022

HAN J ， BHANU B . Fusion of color and infrared video for moving human detection ［J］. Pattern Recognition ， 2007 ， 40 （ 6 ）： 1771 - 1784 . doi: 10.1016/j.patcog.2006.11.010 http://dx.doi.org/10.1016/j.patcog.2006.11.010

REINHARD E ， ADHIKHMIN M ， GOOCH B ， et al . Color transfer between images ［J］. IEEE Computer Graphics and Applications ， 2001 ， 21 （ 5 ）： 34 - 41 . doi: 10.1109/38.946629 http://dx.doi.org/10.1109/38.946629

冯维，吴贵铭，赵大兴，等 . 多图像融合Retinex用于弱光图像增强［J］. 光学精密工程， 2020 ， 28 （ 3 ）： 736 - 744 . doi: 10.3788/ope.20202803.0736 http://dx.doi.org/10.3788/ope.20202803.0736

FENG W ， WU G M ， ZHAO D X ， et al . Multi images fusion Retinex for low light image enhancement ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 3 ）： 736 - 744 . （in Chinese） . doi: 10.3788/ope.20202803.0736 http://dx.doi.org/10.3788/ope.20202803.0736

殷明，段普宏，褚标，等 . 基于非下采样双树复轮廓波变换和稀疏表示的红外和可见光图像融合［J］. 光学精密工程， 2016 ， 24 （ 7 ）： 1763 - 1771 . doi: 10.3788/OPE.20162407.1763 http://dx.doi.org/10.3788/OPE.20162407.1763

YIN M ， DUAN P H ， CHU B ， et al . Fusion of infrared and visible images combined with NSDTCT and sparse representation ［J］. Optics and Precision Engineering ， 2016 ， 24 （ 7 ）： 1763 - 1771 . （in Chinese） . doi: 10.3788/OPE.20162407.1763 http://dx.doi.org/10.3788/OPE.20162407.1763

ALI S S ， RIAZ M M ， GHAFOOR A . Fuzzy logic and additive wavelet-based panchromatic sharpening ［J］. IEEE Geoscience and Remote Sensing Letters ， 2014 ， 11 （ 1 ）： 357 - 360 . doi: 10.1109/lgrs.2013.2258321 http://dx.doi.org/10.1109/lgrs.2013.2258321

CHEN G ， LI L ， JIN W Q ， et al . Weighted sparse representation and gradient domain guided filter pyramid image fusion based on low-light-level dual-channel camera ［J］. IEEE Photonics Journal ， 2019 ， 11 （ 5 ）： 1 - 15 . doi: 10.1109/jphot.2019.2935134 http://dx.doi.org/10.1109/jphot.2019.2935134

CHOI M ， KIM R Y ， NAM M R ， et al . Fusion of multispectral and panchromatic Satellite images using the curvelet transform ［J］. IEEE Geoscience and Remote Sensing Letters ， 2005 ， 2 （ 2 ）： 136 - 140 . doi: 10.1109/lgrs.2005.845313 http://dx.doi.org/10.1109/lgrs.2005.845313

HUANG N E ， SHEN Z ， LONG S R ， et al . The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis ［J］. Proceedings of the Royal Society of London Series A： Mathematical， Physical and Engineering Sciences ， 1998 ， 454 （ 1971 ）： 903 - 995 . doi: 10.1098/rspa.1998.0193 http://dx.doi.org/10.1098/rspa.1998.0193

YANG J K ， GUO L ， YU S W ， et al . A new multi-focus image fusion algorithm based on BEMD and improved local energy ［J］. Journal of Software ， 2014 ， 9 （ 9 ）： 2329 - 2334 . doi: 10.4304/jsw.9.9.2329-2334 http://dx.doi.org/10.4304/jsw.9.9.2329-2334

王慧斌，廖艳，沈洁，等 . 分级多尺度变换的水下偏振图像融合法［J］. 光子学报， 2014 ， 43 （ 5 ）： 192 - 198 . doi: 10.3788/gzxb20144305.0510004 http://dx.doi.org/10.3788/gzxb20144305.0510004

WANG H B ， LIAO Y ， SHEN J ， et al . Method of underwater polarization image fusion based on hierarchical and multi-scale transform ［J］. Acta Photonica Sinica ， 2014 ， 43 （ 5 ）： 192 - 198 . （in Chinese） . doi: 10.3788/gzxb20144305.0510004 http://dx.doi.org/10.3788/gzxb20144305.0510004

LI H ， WU X J ， KITTLER J . Infrared and visible image fusion using a deep learning framework ［C］. 2018 24th International Conference on Pattern Recognition （ICPR）. 2024，2018 ， Beijing， China. IEEE ， 2018 ： 2705 - 2710 . doi: 10.1109/icpr.2018.8546006 http://dx.doi.org/10.1109/icpr.2018.8546006

MA J Y ， YU W ， LIANG P W ， et al . FusionGAN： a generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 . doi: 10.1016/j.inffus.2018.09.004 http://dx.doi.org/10.1016/j.inffus.2018.09.004

朱攀，黄战华 . 基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合［J］. 光电子·激光， 2017 ， 28 （ 10 ）： 1156 - 1162 . doi: 10.1016/j.infrared.2017.01.013 http://dx.doi.org/10.1016/j.infrared.2017.01.013

ZHU P ， HUANG ZH H . Fusion of infrared and visible images based on BEMD and GFL ［J］. Journal of Optoelectronics·Laser ， 2017 ， 28 （ 10 ）： 1156 - 1162 . （in Chinese） . doi: 10.1016/j.infrared.2017.01.013 http://dx.doi.org/10.1016/j.infrared.2017.01.013

RADFORD A ， METZ L ， CHINTALA S . Unsupervised representation learning with deep convolutional generative adversarial networks ［J］. ICLR 2016 ， 2015 （1）： arXiv： 1511.06434 .

LIU Y ， WANG Z F . Simultaneous image fusion and denoising with adaptive sparse representation ［J］. IET Image Processing ， 2015 ， 9 （ 5 ）： 347 - 357 . doi: 10.1049/iet-ipr.2014.0311 http://dx.doi.org/10.1049/iet-ipr.2014.0311

ZHANG Y ， ZHANG L J ， BAI X Z ， et al . Infrared and visual image fusion through infrared feature extraction and visual information preservation ［J］. Infrared Physics & Technology ， 2017 ， 83 ： 227 - 237 . doi: 10.1016/j.infrared.2017.05.007 http://dx.doi.org/10.1016/j.infrared.2017.05.007

LIU Y ， CHEN X ， WARD R K ， et al . Medical image fusion via convolutional sparsity based morphological component analysis ［J］. IEEE Signal Processing Letters ， 2019 ， 26 （ 3 ）： 485 - 489 . doi: 10.1109/lsp.2019.2895749 http://dx.doi.org/10.1109/lsp.2019.2895749

AMIN-NAJI M ， AGHAGOLZADEH A ， EZOJI M . Ensemble of CNN for multi-focus image fusion ［J］. Information Fusion ， 2019 ， 51 ： 201 - 214 . doi: 10.1016/j.inffus.2019.02.003 http://dx.doi.org/10.1016/j.inffus.2019.02.003

SHEN Y ， WU Z D ， WANG X P ， et al . Tetrolet transform images fusion algorithm based on fuzzy operator ［J］. Journal of Frontiers of Computer Science and Technology ， 2015 ， 9 （ 9 ）： 1132 - 1138 .

XYDEAS C S ， PETROVIĆ V . Objective image fusion performance measure ［J］. Electronics Letters ， 2000 ， 36 （ 4 ）： 308 . doi: 10.1049/el:20000267 http://dx.doi.org/10.1049/el:20000267

闫莉萍，刘宝生，周东华 . 一种新的图像融合及性能评价方法［J］. 系统工程与电子技术， 2007 ， 29 （ 4 ）： 509 - 513 . doi: 10.3321/j.issn:1001-506X.2007.04.003 http://dx.doi.org/10.3321/j.issn:1001-506X.2007.04.003

YAN L P ， LIU B SH ， ZHOU D H . Novel image fusion algorithm with novel performance evaluation method ［J］. Systems Engineering and Electronics ， 2007 ， 29 （ 4 ）： 509 - 513 . （in Chinese） . doi: 10.3321/j.issn:1001-506X.2007.04.003 http://dx.doi.org/10.3321/j.issn:1001-506X.2007.04.003

MA J Y ， MA Y ， LI C . Infrared and visible image fusion methods and applications： a survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 . doi: 10.1016/j.inffus.2018.02.004 http://dx.doi.org/10.1016/j.inffus.2018.02.004

QU G H ， ZHANG D L ， YAN P F . Information measure for performance of image fusion ［J］. Electronics Letters ， 2002 ， 38 （ 7 ）： 313 - 315 . doi: 10.1049/el:20020212 http://dx.doi.org/10.1049/el:20020212

浏览量

510

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于WEMD和生成对抗网络重建的红外与可见光图像融合

电力巡检中的偏振图像特征融合

基于多尺度空间注意力互补的红外与可见光图像融合

自适应色彩补偿和多尺度融合的水下图像增强

融合生成对抗网络的大气无线光信道密钥提取