Infrared and visible image fusion based on alternating gradient filter and improved PCNN

Yanchun YANG; Peipei PEI; Jianwu DANG; Yangping WANG

doi:10.37188/OPE.20223009.1123

您当前的位置：

首页 >

文章列表页 >

Infrared and visible image fusion based on alternating gradient filter and improved PCNN

Information Sciences | 更新时间：2022-05-26

- Infrared and visible image fusion based on alternating gradient filter and improved PCNN
- Optics and Precision Engineering Vol. 30, Issue 9, Pages: 1123-1138(2022)
- 作者机构：
  
  兰州交通大学电子与信息工程学院，甘肃兰州 730070
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223009.1123
  CLC： TP391.41
- Received：12 November 2021，
  
  Revised：29 November 2021，
  
  Published：10 May 2022
- 稿件说明：
移动端阅览
杨艳春,裴佩佩,党建武等.基于交替梯度滤波器和改进PCNN的红外与可见光图像融合[J].光学精密工程,2022,30(09):1123-1138.

YANG Yanchun,PEI Peipei,DANG Jianwu,et al.Infrared and visible image fusion based on alternating gradient filter and improved PCNN[J].Optics and Precision Engineering,2022,30(09):1123-1138.
杨艳春,裴佩佩,党建武等.基于交替梯度滤波器和改进PCNN的红外与可见光图像融合[J].光学精密工程,2022,30(09):1123-1138. DOI： 10.37188/OPE.20223009.1123.

YANG Yanchun,PEI Peipei,DANG Jianwu,et al.Infrared and visible image fusion based on alternating gradient filter and improved PCNN[J].Optics and Precision Engineering,2022,30(09):1123-1138. DOI： 10.37188/OPE.20223009.1123.

摘要

为了克服红外与可见光图像融合过程中在目标物体的边缘处产生虚影的问题，提出一种基于交替梯度滤波器和改进脉冲耦合神经网络的图像融合方法。在梯度滤波器的基础上结合滚动引导滤波器和平滑迭代恢复滤波器提出一种交替梯度滤波器，可以同时实现小结构消除，局部强度保持和边缘恢复的特性。利用交替梯度滤波器分解源图像，分解为近似层和残差层。近似层采用多尺度形态学算子和最大区域能量与源图像相结合的融合规则，残差层用改进参数自适应脉冲耦合神经网络融合规则进行融合。最后，经过交替梯度滤波器重构得到融合结果图。实验结果表明，与其他5种融合方法进行比较，本文方法的客观评价指标平均梯度、标准差、信息熵、空间频率、边缘强度和视觉保真度分别平均提高了18%，10%，2.8%，16%，51%，11.2%，且能够避免在目标物体的边缘处产生虚影，较好地保留源图像的亮度、边缘、细节及纹理等信息。

Abstract

To overcome the problem of image blur at the edge of object in the process of infrared and visible image fusion， an image fusion method based on the alternating gradient filter and improved pulse coupled neural network （PCNN） was proposed. In this paper， a novel alternating gradient filter （AGF） was proposed based on the gradient filter， which combines the rolling guide filter （RGF） and the smooth iterative recovery filter （SIRmed）， with corresponding characteristics of local strength retention and edge recovery. The source images were decomposed into the approximate layer and residual layer using the AGF. The multi-scale morphological operator and the fusion rule of maximum region energy for the source images were adopted for the approximation layer， and then the residual layer was fused with the improved parameter adaptive PCNN fusion rule. Finally， the fusion result was reconstructed by an alternating gradient filter. The experimental results show that compared with the other five fusion methods， the objective evaluation indices of this method， that is the average gradient （AG）， standard deviation （STD）， information entropy （EN）， spatial frequency （SF）， edge intensity （EI）， and visual fidelity （VIFF） increase by 18%， 10%， 2.8%， 16%， 51%， and 11.2%， respectively. In addition， the results demonstrate that the proposed AGF fusion method can overcome the shadow on the edge of the object and reserve the brightness， edge， detail， and texture information of the source images.

关键词

Keywords

references

MULLER A C ， NARAYANAN S . Cognitively-engineered multisensor image fusion for military applications ［J］. Information Fusion ， 2009 ， 10 （ 2 ）： 137 - 149 . doi: 10.1016/j.inffus.2008.08.008 http://dx.doi.org/10.1016/j.inffus.2008.08.008

MA J Y ， MA Y ， LI C . Infrared and visible image fusion methods and applications： a survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 . doi: 10.1016/j.inffus.2018.02.004 http://dx.doi.org/10.1016/j.inffus.2018.02.004

XIAO F Y . Multi-sensor data fusion based on the belief divergence measure of evidences and the belief entropy ［J］. Information Fusion ， 2019 ， 46 ： 23 - 32 . doi: 10.1016/j.inffus.2018.04.003 http://dx.doi.org/10.1016/j.inffus.2018.04.003

ZHANG Z Y ， ZHANG Y M ， CAO Y F ， et al . Infrared and visible airborne targets image fusion with applications to sense and avoid ［J］. IFAC-PapersOnLine ， 2020 ， 53 （ 2 ）： 14742 - 14747 . doi: 10.1016/j.ifacol.2020.12.1892 http://dx.doi.org/10.1016/j.ifacol.2020.12.1892

JIN H Y ， WANG Y Y . A fusion method for visible and infrared images based on contrast pyramid with teaching learning based optimization ［J］. Infrared Physics & Technology ， 2014 ， 64 ： 134 - 142 . doi: 10.1016/j.infrared.2014.02.013 http://dx.doi.org/10.1016/j.infrared.2014.02.013

刘先红，陈志斌，秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

林剑萍，廖一鹏 . 结合分数阶显著性检测及量子烟花算法的NSST域图像融合［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1406 - 1419 . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406

LIN J P ， LIAO Y P . A novel image fusion method with fractional saliency detection and QFWA in NSST ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1406 - 1419 . （in Chinese） . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406

LIU Y ， MIAO C Y ， JI J H ， et al . MMF： a Multi-scale MobileNet based fusion method for infrared and visible image ［J］. Infrared Physics & Technology ， 2021 ， 119 ： 103894 . doi: 10.1016/j.infrared.2021.103894 http://dx.doi.org/10.1016/j.infrared.2021.103894

陈广秋，陈昱存，李佳悦，等 . 基于DNST和卷积稀疏表示的红外与可见光图像融合［J］. 吉林大学学报（工学版）， 2021 ， 51 （ 3 ）： 996 - 1010 .

CHEN G Q ， CHEN Y C ， LI J Y ， et al . Infrared and visible image fusion based on discrete nonseparable shearlet transform and convolutional sparse representation ［J］. Journal of Jilin University （Engineering and Technology Edition）， 2021 ， 51 （ 3 ）： 996 - 1010 . （in Chinese）

LI S T ， KANG X D ， HU J W . Image fusion with guided filtering ［J］. IEEE Transactions on Image Processing ， 2013 ， 22 （ 7 ）： 2864 - 2875 . doi: 10.1109/tip.2013.2244222 http://dx.doi.org/10.1109/tip.2013.2244222

LIU L ， SONG M H ， PENG Y X ， et al . A novel fusion framework of infrared and visible images based on RLNSST and guided filter ［J］. Infrared Physics & Technology ， 2019 ， 100 ： 99 - 108 . doi: 10.1016/j.infrared.2019.05.019 http://dx.doi.org/10.1016/j.infrared.2019.05.019

Zhang Q ， Shen X ， Xu L ， alet ， Rolling guidance filter ［C］. in ： European Conference on Compter Vision，Springer ， 2014 ： 815 - 830 . doi: 10.1007/978-3-319-10578-9_53 http://dx.doi.org/10.1007/978-3-319-10578-9_53

REN L ， PAN Z B ， CAO J Z ， et al . Infrared and visible image fusion based on weighted variance guided filter and image contrast enhancement ［J］. Infrared Physics & Technology ， 2021 ， 114 ： 103662 . doi: 10.1016/j.infrared.2021.103662 http://dx.doi.org/10.1016/j.infrared.2021.103662

LIU Y ， CHEN X ， CHENG J ， et al . Infrared and visible image fusion with convolutional neural networks ［J］. International Journal of Wavelets， Multiresolution and Information Processing ， 2018 ， 16 （ 3 ）： 1850018 . doi: 10.1142/s0219691318500182 http://dx.doi.org/10.1142/s0219691318500182

AN W B ， WANG H M . Infrared and visible image fusion with supervised convolutional neural network ［J］. Optik ， 2020 ， 219 ： 165120 . doi: 10.1016/j.ijleo.2020.165120 http://dx.doi.org/10.1016/j.ijleo.2020.165120

MA J Y ， ZHOU Y . Infrared and visible image fusion via gradientlet filter ［J］. Computer Vision and Image Understanding ， 2020 ， 197 / 198 ： 103016 . doi: 10.1016/j.cviu.2020.103016 http://dx.doi.org/10.1016/j.cviu.2020.103016

KNIEFACZ P ， KROPATSCH W . Smooth and iteratively restore： a simple and fast edge-preserving smoothing model ［EB/OL］. CoRR ， 2015 ， 1505 （ 06702 ）： 1 - 9 . 2015 ： arXiv： 1505 .06702［cs.CV］. https：//arxiv.org/abs/1505.06702 https://arxiv.org/abs/1505.06702

Souza M R ， Pedrini H . Combination of local feture detection methods for digitial video stabilization ［J］. Signal Image Video Process ， 2018 ， 12 ： 991 - 998 . doi: 10.1007/s11760-018-1307-8 http://dx.doi.org/10.1007/s11760-018-1307-8

ZHANG Y ， BAI X Z ， WANG T . Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure ［J］. Information Fusion ， 2017 ， 35 ： 81 - 101 . doi: 10.1016/j.inffus.2016.09.006 http://dx.doi.org/10.1016/j.inffus.2016.09.006

周哓玲，江泽涛 . 结合脉冲耦合神经网络与引导滤波的红外与可见光图像融合［J］. 光学学报， 2019 ， 39 （ 11 ）： 1110003 . doi: 10.3788/aos201939.1110003 http://dx.doi.org/10.3788/aos201939.1110003

ZHOU X L ， JIANG Z T . Infrared and visible image fusion combining pulse-coupled neural network and guided filtering ［J］. Acta Optica Sinica ， 2019 ， 39 （ 11 ）： 1110003 . （in Chinese） . doi: 10.3788/aos201939.1110003 http://dx.doi.org/10.3788/aos201939.1110003

Miao Q G ， Wang B S . A novel algorithm of multi-focus image fusion using adaptive PCNN ［J］. Journal of Electronics & Information Technology ， 2006 ， 28 （ 3 ）： 465 - 470 .

MA J L ， ZHOU Z Q ， WANG B ， et al . Infrared and visible image fusion based on visual saliency map and weighted least square optimization ［J］. Infrared Physics & Technology ， 2017 ， 82 ： 8 - 17 . doi: 10.1016/j.infrared.2017.02.005 http://dx.doi.org/10.1016/j.infrared.2017.02.005

ZHANG Y ， ZHANG L J ， BAI X Z ， et al . Infrared and visual image fusion through infrared feature extraction and visual information preservation ［J］. Infrared Physics & Technology ， 2017 ， 83 ： 227 - 237 . doi: 10.1016/j.infrared.2017.05.007 http://dx.doi.org/10.1016/j.infrared.2017.05.007

FU Z Z ， ZHAO Y F ， XU Y W ， et al . Gradient structural similarity based gradient filtering for multi-modal image fusion ［J］. Information Fusion ， 2020 ， 53 ： 251 - 268 . doi: 10.1016/j.inffus.2019.06.025 http://dx.doi.org/10.1016/j.inffus.2019.06.025

ZHANG Y ， LIU Y ， SUN P ， et al . IFCNN： a general image fusion framework based on convolutional neural network ［J］. Information Fusion ， 2020 ， 54 ： 99 - 118 . doi: 10.1016/j.inffus.2019.07.011 http://dx.doi.org/10.1016/j.inffus.2019.07.011

WANG Z ， BOVIK A C . A universal image quality index ［J］. IEEE Signal Processing Letters ， 2002 ， 9 （ 3 ）： 81 - 84 . doi: 10.1109/97.995823 http://dx.doi.org/10.1109/97.995823

HAN Y ， CAI Y Z ， CAO Y ， et al . A new image fusion performance metric based on visual information fidelity ［J］. Information Fusion ， 2013 ， 14 （ 2 ）： 127 - 135 . doi: 10.1016/j.inffus.2011.08.002 http://dx.doi.org/10.1016/j.inffus.2011.08.002

Views

504

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Research of 3D reconstruction and position estimation of 3D pieces based on binocular structured light peripheral scanning

Multiscale semantic injective fusion of nighttime infrared and visible

Design of partial overlap point cloud registration network driven by overlap score and matching matrix

A method for underwater vehicle attitude measurement based on Snell’s window and its polarization mode

Infrared and visible images fusion based on improved multi-scale structural fusion

Related Author

CHENG Yao

WU Zhetao

SHI Xiaoyi

GONG Ao

XU Wenbing

TANG Qingtao

YANG Yanchun

LI Jialong

Related Institution

College of Mechanical Engineering， Chongqing University of Technology

School of Electronical and Information Engineering，Lanzhou Jiaotong University

School of Information Engineering， Jiangxi University of Science and Technology

Jiangxi Province Key Laboratory of Multidimensional Intelligent Perception and Control

Longnan Dingtai electronic Technology Co.， Ltd.

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰