基于交替梯度滤波器和改进PCNN的红外与可见光图像融合

杨艳春; 裴佩佩; 党建武; 王阳萍

doi:10.37188/OPE.20223009.1123

您当前的位置：

首页 >

文章列表页 >

基于交替梯度滤波器和改进PCNN的红外与可见光图像融合

信息科学 | 更新时间：2022-05-26

- 基于交替梯度滤波器和改进PCNN的红外与可见光图像融合
- Infrared and visible image fusion based on alternating gradient filter and improved PCNN
- 光学精密工程 2022年30卷第9期页码：1123-1138
- 作者机构：
  
  兰州交通大学电子与信息工程学院，甘肃兰州 730070
- 作者简介：
  
  [ "杨艳春（1979-），女，新疆五家渠人，副教授，博士，硕士生导师，2002年、2007年、2014年于兰州交通大学分别获得学士、硕士和博士学位，主要研究方向是图像融合和图像处理。E-mail： yangyanchun102@ sina.com" ]
- 基金信息：
  
  长江学者和创新团队发展计划资助(IRT_16R36);国家自然科学基金资助项目(62067006;61562057);甘肃省科技计划项目(18JR3RA104);甘肃省高等学校产业支撑计划项目(2020C-19);兰州市科技计划项目(2019-4-49);2022年甘肃省高等学校青年博士基金资助项目;甘肃省自然科学基金资助项目(21JR7RA300);兰州交通大学天佑创新团队(TY202003);兰州交通大学-天津大学联合创新基金项目(2021052)
- DOI：10.37188/OPE.20223009.1123
  中图分类号： TP391.41
- 收稿日期：2021-11-12，
  
  修回日期：2021-11-29，
  
  纸质出版日期：2022-05-10
- 稿件说明：
移动端阅览
杨艳春,裴佩佩,党建武等.基于交替梯度滤波器和改进PCNN的红外与可见光图像融合[J].光学精密工程,2022,30(09):1123-1138.

YANG Yanchun,PEI Peipei,DANG Jianwu,et al.Infrared and visible image fusion based on alternating gradient filter and improved PCNN[J].Optics and Precision Engineering,2022,30(09):1123-1138.
杨艳春,裴佩佩,党建武等.基于交替梯度滤波器和改进PCNN的红外与可见光图像融合[J].光学精密工程,2022,30(09):1123-1138. DOI： 10.37188/OPE.20223009.1123.

YANG Yanchun,PEI Peipei,DANG Jianwu,et al.Infrared and visible image fusion based on alternating gradient filter and improved PCNN[J].Optics and Precision Engineering,2022,30(09):1123-1138. DOI： 10.37188/OPE.20223009.1123.

摘要

为了克服红外与可见光图像融合过程中在目标物体的边缘处产生虚影的问题，提出一种基于交替梯度滤波器和改进脉冲耦合神经网络的图像融合方法。在梯度滤波器的基础上结合滚动引导滤波器和平滑迭代恢复滤波器提出一种交替梯度滤波器，可以同时实现小结构消除，局部强度保持和边缘恢复的特性。利用交替梯度滤波器分解源图像，分解为近似层和残差层。近似层采用多尺度形态学算子和最大区域能量与源图像相结合的融合规则，残差层用改进参数自适应脉冲耦合神经网络融合规则进行融合。最后，经过交替梯度滤波器重构得到融合结果图。实验结果表明，与其他5种融合方法进行比较，本文方法的客观评价指标平均梯度、标准差、信息熵、空间频率、边缘强度和视觉保真度分别平均提高了18%，10%，2.8%，16%，51%，11.2%，且能够避免在目标物体的边缘处产生虚影，较好地保留源图像的亮度、边缘、细节及纹理等信息。

Abstract

To overcome the problem of image blur at the edge of object in the process of infrared and visible image fusion， an image fusion method based on the alternating gradient filter and improved pulse coupled neural network （PCNN） was proposed. In this paper， a novel alternating gradient filter （AGF） was proposed based on the gradient filter， which combines the rolling guide filter （RGF） and the smooth iterative recovery filter （SIRmed）， with corresponding characteristics of local strength retention and edge recovery. The source images were decomposed into the approximate layer and residual layer using the AGF. The multi-scale morphological operator and the fusion rule of maximum region energy for the source images were adopted for the approximation layer， and then the residual layer was fused with the improved parameter adaptive PCNN fusion rule. Finally， the fusion result was reconstructed by an alternating gradient filter. The experimental results show that compared with the other five fusion methods， the objective evaluation indices of this method， that is the average gradient （AG）， standard deviation （STD）， information entropy （EN）， spatial frequency （SF）， edge intensity （EI）， and visual fidelity （VIFF） increase by 18%， 10%， 2.8%， 16%， 51%， and 11.2%， respectively. In addition， the results demonstrate that the proposed AGF fusion method can overcome the shadow on the edge of the object and reserve the brightness， edge， detail， and texture information of the source images.

关键词

Keywords

references

MULLER A C ， NARAYANAN S . Cognitively-engineered multisensor image fusion for military applications ［J］. Information Fusion ， 2009 ， 10 （ 2 ）： 137 - 149 . doi: 10.1016/j.inffus.2008.08.008 http://dx.doi.org/10.1016/j.inffus.2008.08.008

MA J Y ， MA Y ， LI C . Infrared and visible image fusion methods and applications： a survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 . doi: 10.1016/j.inffus.2018.02.004 http://dx.doi.org/10.1016/j.inffus.2018.02.004

XIAO F Y . Multi-sensor data fusion based on the belief divergence measure of evidences and the belief entropy ［J］. Information Fusion ， 2019 ， 46 ： 23 - 32 . doi: 10.1016/j.inffus.2018.04.003 http://dx.doi.org/10.1016/j.inffus.2018.04.003

ZHANG Z Y ， ZHANG Y M ， CAO Y F ， et al . Infrared and visible airborne targets image fusion with applications to sense and avoid ［J］. IFAC-PapersOnLine ， 2020 ， 53 （ 2 ）： 14742 - 14747 . doi: 10.1016/j.ifacol.2020.12.1892 http://dx.doi.org/10.1016/j.ifacol.2020.12.1892

JIN H Y ， WANG Y Y . A fusion method for visible and infrared images based on contrast pyramid with teaching learning based optimization ［J］. Infrared Physics & Technology ， 2014 ， 64 ： 134 - 142 . doi: 10.1016/j.infrared.2014.02.013 http://dx.doi.org/10.1016/j.infrared.2014.02.013

刘先红，陈志斌，秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

林剑萍，廖一鹏 . 结合分数阶显著性检测及量子烟花算法的NSST域图像融合［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1406 - 1419 . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406

LIN J P ， LIAO Y P . A novel image fusion method with fractional saliency detection and QFWA in NSST ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1406 - 1419 . （in Chinese） . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406

LIU Y ， MIAO C Y ， JI J H ， et al . MMF： a Multi-scale MobileNet based fusion method for infrared and visible image ［J］. Infrared Physics & Technology ， 2021 ， 119 ： 103894 . doi: 10.1016/j.infrared.2021.103894 http://dx.doi.org/10.1016/j.infrared.2021.103894

陈广秋，陈昱存，李佳悦，等 . 基于DNST和卷积稀疏表示的红外与可见光图像融合［J］. 吉林大学学报（工学版）， 2021 ， 51 （ 3 ）： 996 - 1010 .

CHEN G Q ， CHEN Y C ， LI J Y ， et al . Infrared and visible image fusion based on discrete nonseparable shearlet transform and convolutional sparse representation ［J］. Journal of Jilin University （Engineering and Technology Edition）， 2021 ， 51 （ 3 ）： 996 - 1010 . （in Chinese）

LI S T ， KANG X D ， HU J W . Image fusion with guided filtering ［J］. IEEE Transactions on Image Processing ， 2013 ， 22 （ 7 ）： 2864 - 2875 . doi: 10.1109/tip.2013.2244222 http://dx.doi.org/10.1109/tip.2013.2244222

LIU L ， SONG M H ， PENG Y X ， et al . A novel fusion framework of infrared and visible images based on RLNSST and guided filter ［J］. Infrared Physics & Technology ， 2019 ， 100 ： 99 - 108 . doi: 10.1016/j.infrared.2019.05.019 http://dx.doi.org/10.1016/j.infrared.2019.05.019

Zhang Q ， Shen X ， Xu L ， alet ， Rolling guidance filter ［C］. in ： European Conference on Compter Vision，Springer ， 2014 ： 815 - 830 . doi: 10.1007/978-3-319-10578-9_53 http://dx.doi.org/10.1007/978-3-319-10578-9_53

REN L ， PAN Z B ， CAO J Z ， et al . Infrared and visible image fusion based on weighted variance guided filter and image contrast enhancement ［J］. Infrared Physics & Technology ， 2021 ， 114 ： 103662 . doi: 10.1016/j.infrared.2021.103662 http://dx.doi.org/10.1016/j.infrared.2021.103662

LIU Y ， CHEN X ， CHENG J ， et al . Infrared and visible image fusion with convolutional neural networks ［J］. International Journal of Wavelets， Multiresolution and Information Processing ， 2018 ， 16 （ 3 ）： 1850018 . doi: 10.1142/s0219691318500182 http://dx.doi.org/10.1142/s0219691318500182

AN W B ， WANG H M . Infrared and visible image fusion with supervised convolutional neural network ［J］. Optik ， 2020 ， 219 ： 165120 . doi: 10.1016/j.ijleo.2020.165120 http://dx.doi.org/10.1016/j.ijleo.2020.165120

MA J Y ， ZHOU Y . Infrared and visible image fusion via gradientlet filter ［J］. Computer Vision and Image Understanding ， 2020 ， 197 / 198 ： 103016 . doi: 10.1016/j.cviu.2020.103016 http://dx.doi.org/10.1016/j.cviu.2020.103016

KNIEFACZ P ， KROPATSCH W . Smooth and iteratively restore： a simple and fast edge-preserving smoothing model ［EB/OL］. CoRR ， 2015 ， 1505 （ 06702 ）： 1 - 9 . 2015 ： arXiv： 1505 .06702［cs.CV］. https：//arxiv.org/abs/1505.06702 https://arxiv.org/abs/1505.06702

Souza M R ， Pedrini H . Combination of local feture detection methods for digitial video stabilization ［J］. Signal Image Video Process ， 2018 ， 12 ： 991 - 998 . doi: 10.1007/s11760-018-1307-8 http://dx.doi.org/10.1007/s11760-018-1307-8

ZHANG Y ， BAI X Z ， WANG T . Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure ［J］. Information Fusion ， 2017 ， 35 ： 81 - 101 . doi: 10.1016/j.inffus.2016.09.006 http://dx.doi.org/10.1016/j.inffus.2016.09.006

周哓玲，江泽涛 . 结合脉冲耦合神经网络与引导滤波的红外与可见光图像融合［J］. 光学学报， 2019 ， 39 （ 11 ）： 1110003 . doi: 10.3788/aos201939.1110003 http://dx.doi.org/10.3788/aos201939.1110003

ZHOU X L ， JIANG Z T . Infrared and visible image fusion combining pulse-coupled neural network and guided filtering ［J］. Acta Optica Sinica ， 2019 ， 39 （ 11 ）： 1110003 . （in Chinese） . doi: 10.3788/aos201939.1110003 http://dx.doi.org/10.3788/aos201939.1110003

Miao Q G ， Wang B S . A novel algorithm of multi-focus image fusion using adaptive PCNN ［J］. Journal of Electronics & Information Technology ， 2006 ， 28 （ 3 ）： 465 - 470 .

MA J L ， ZHOU Z Q ， WANG B ， et al . Infrared and visible image fusion based on visual saliency map and weighted least square optimization ［J］. Infrared Physics & Technology ， 2017 ， 82 ： 8 - 17 . doi: 10.1016/j.infrared.2017.02.005 http://dx.doi.org/10.1016/j.infrared.2017.02.005

ZHANG Y ， ZHANG L J ， BAI X Z ， et al . Infrared and visual image fusion through infrared feature extraction and visual information preservation ［J］. Infrared Physics & Technology ， 2017 ， 83 ： 227 - 237 . doi: 10.1016/j.infrared.2017.05.007 http://dx.doi.org/10.1016/j.infrared.2017.05.007

FU Z Z ， ZHAO Y F ， XU Y W ， et al . Gradient structural similarity based gradient filtering for multi-modal image fusion ［J］. Information Fusion ， 2020 ， 53 ： 251 - 268 . doi: 10.1016/j.inffus.2019.06.025 http://dx.doi.org/10.1016/j.inffus.2019.06.025

ZHANG Y ， LIU Y ， SUN P ， et al . IFCNN： a general image fusion framework based on convolutional neural network ［J］. Information Fusion ， 2020 ， 54 ： 99 - 118 . doi: 10.1016/j.inffus.2019.07.011 http://dx.doi.org/10.1016/j.inffus.2019.07.011

WANG Z ， BOVIK A C . A universal image quality index ［J］. IEEE Signal Processing Letters ， 2002 ， 9 （ 3 ）： 81 - 84 . doi: 10.1109/97.995823 http://dx.doi.org/10.1109/97.995823

HAN Y ， CAI Y Z ， CAO Y ， et al . A new image fusion performance metric based on visual information fidelity ［J］. Information Fusion ， 2013 ， 14 （ 2 ）： 127 - 135 . doi: 10.1016/j.inffus.2011.08.002 http://dx.doi.org/10.1016/j.inffus.2011.08.002

浏览量

504

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于双目结构光周视扫描的3D件三维重构与位姿估计研究

夜间红外与可见光多尺度信息注入式图像融合

重叠分数与匹配矩阵驱动的部分重叠点云配准网络设计

基于Snell窗及偏振模式的水下载体航姿测量

改进多尺度结构化融合的红外与可见光图像融合