基于交替梯度滤波器和改进PCNN的红外与可见光图像融合

基于交替梯度滤波器和改进PCNN的红外与可见光图像融合 Infrared and visible image fusion based on alternating gradient filter and improved PCNN corresp first-author E-mail： yangyanchun102@ sina.com E-mail： yangyanchun102@ sina.com 杨艳春（1979-），女，新疆五家渠人，副教授，博士，硕士生导师，2002年、2007年、2014年于兰州交通大学分别获得学士、硕士和博士学位，主要研究方向是图像融合和图像处理。E-mail： yangyanchun102@ sina.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426014&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426022&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426015&type= 22.01332855 32.00400543 杨艳春 （1979-），女，新疆五家渠人，副教授，博士，硕士生导师，2002年、2007年、2014年于兰州交通大学分别获得学士、硕士和博士学位，主要研究方向是图像融合和图像处理。E-mail： yangyanchun102@ sina.com yangyanchun102@ sina.com 兰州交通大学电子与信息工程学院，甘肃 兰州 730070 兰州交通大学电子与信息工程学院，甘肃 兰州 730070 School of Electronic and Information Engineering，Lanzhou Jiaotong University， Lanzhou 730070， China School of Electronic and Information Engineering，Lanzhou Jiaotong University， Lanzhou 730070， China 为了克服红外与可见光图像融合过程中在目标物体的边缘处产生虚影的问题，提出一种基于交替梯度滤波器和改进脉冲耦合神经网络的图像融合方法。在梯度滤波器的基础上结合滚动引导滤波器和平滑迭代恢复滤波器提出一种交替梯度滤波器，可以同时实现小结构消除，局部强度保持和边缘恢复的特性。利用交替梯度滤波器分解源图像，分解为近似层和残差层。近似层采用多尺度形态学算子和最大区域能量与源图像相结合的融合规则，残差层用改进参数自适应脉冲耦合神经网络融合规则进行融合。最后，经过交替梯度滤波器重构得到融合结果图。实验结果表明，与其他5种融合方法进行比较，本文方法的客观评价指标平均梯度、标准差、信息熵、空间频率、边缘强度和视觉保真度分别平均提高了18%，10%，2.8%，16%，51%，11.2%，且能够避免在目标物体的边缘处产生虚影，较好地保留源图像的亮度、边缘、细节及纹理等信息。 To overcome the problem of image blur at the edge of object in the process of infrared and visible image fusion， an image fusion method based on the alternating gradient filter and improved pulse coupled neural network （PCNN） was proposed. In this paper， a novel alternating gradient filter （AGF） was proposed based on the gradient filter， which combines the rolling guide filter （RGF） and the smooth iterative recovery filter （SIRmed）， with corresponding characteristics of local strength retention and edge recovery. The source images were decomposed into the approximate layer and residual layer using the AGF. The multi-scale morphological operator and the fusion rule of maximum region energy for the source images were adopted for the approximation layer， and then the residual layer was fused with the improved parameter adaptive PCNN fusion rule. Finally， the fusion result was reconstructed by an alternating gradient filter. The experimental results show that compared with the other five fusion methods， the objective evaluation indices of this method， that is the average gradient （AG）， standard deviation （STD）， information entropy （EN）， spatial frequency （SF）， edge intensity （EI）， and visual fidelity （VIFF） increase by 18%， 10%， 2.8%， 16%， 51%， and 11.2%， respectively. In addition， the results demonstrate that the proposed AGF fusion method can overcome the shadow on the edge of the object and reserve the brightness， edge， detail， and texture information of the source images. 图像处理 红外与可见光图像融合 交替梯度滤波器 多尺度形态学算子 脉冲耦合神经网络 image processing infrared and visible image fusion alternating gradient filter multiscale morphological operator pulse coupled neural network 1 引　言 1 随着传感器技术的快速发展， 红外与可见光图像融合逐渐成为学者们的研究重点。红外传感器捕捉物体的温度特性，可以不受天气或光线条件的影响连续工作，获取的红外图像具有较高的对比度和突出的目标，但是其空间分辨率较低，容易受到噪声和纹理的影响。可见光传感器根据物体的反射特性进行成像，获得的图像分辨率较高，能够较好地体现纹理和细节信息，然而，图像的质量容易受到光照条件、天气及遮挡等环境因素的制约。因此，结合红外图像的目标识别能力以及可见光图像丰富的场景信息，实现红外与可见光图像的有效融合，可以获得目标更加显著，场景更加丰富的融合图像，目前已广泛应用于目标检测、遥感、医学及军事等领域 ［ 1 1 - 4 4 1-4 ］ 。 红外与可见光图像融合方法通常可以分为两类，即传统方法和深度学习方法 ［ 5 5 - 9 9 5-9 ］ 。多尺度变换方法是传统方法中常用的方法，随着保边滤波技术的不断发展，保边滤波具有空间一致性，能够有效减少图像边缘伪影，并成功地应用在红外与可见光图像融合中。Li等结合引导滤波器在平滑的同时起到保边作用的特性进行图像融合，克服了传统多尺度融合方法对融合尺度要求的限制 ［ 10 10 ］ 。为了在分解过程中有效提高细节和边缘捕获能力，Liu等采用冗余提升不可分离小波在NSST域实现多尺度分解，同时采用引导滤波器生成高效显著图和加权图，不仅提高了计算速度，而且具有良好的性能 ［ 11 11 ］ 。多数保边滤波器皆在考虑图像的边缘以及细节信息，没有考虑尺度感知问题，Zhang等提出滚动引导滤波器（Rolling Guide Filter，RGF），该滤波器具有尺度感知和边缘保持的特性，应用在图像融合中有效提高了融合效果 ［ 12 12 ］ 。Ren等引入加权方差导引滤波器（MVGF），通过两尺度分解代替多尺度分解，有效地保持基层边缘，消除图像轮廓周围的伪影，使图像分解的效果更优，消除了图像边界附近产生的伪影 ［ 13 13 ］ 。近年来，基于深度学习的图像融合方法成为研究热点，Liu等利用孪生卷积网络对两幅源图像的像素级活动信息进行融合，得到权重图，该方法能够从整体上解决图像融合中的活动水平测量和权重分配两个关键问题 ［ 14 14 ］ 。为了更好地进行特征提取，An等提出了一种由编码层、融合层、解码层和输出层组成的基于监督卷积神经网络图像融合方法 ［ 15 15 ］ 。目前，学者们利用多尺度变换方法以及滤波器方法在红外与可见光图像融合上取得了较好的融合效果。然而，基于多尺度变换方法通常将图像中的信息分为结构信息和细节信息，融合算法通常集中于保留不同尺度的细节信息，而不是目标的亮度信息，所以最终的融合图像呈现低对比度，目标不够显著和边缘模糊的问题，亮度的扩散会导致边缘模糊从而产生虚影。因此，Ma等 ［ 16 16 ］ 从亮度和梯度分离的角度提出一种基于模糊梯度阈值函数和全局优化的梯度滤波器，它可以消除小梯度纹理和噪声，同时保持图像整体亮度和边缘梯度。将源图像分解为近似层和残差层，近似层反映了源图像的整体亮度分布，消除了边缘模糊和噪声，可节省图像的对比度和空间结构信息；残差层则反映了源图像的小梯度变化，能够保留源图像的细节纹理信息。 梯度滤波器（Gradient Filter，GF）作为一种新颖的分解工具，在图像融合中具有一定的优势。为进一步提高它的性能，本文根据全局优化梯度滤波器的框架，通过有效结合RGF和平滑迭代滤波器（Smooth Iterative Recovery Filter，SIRmed），提出一种交替梯度滤波器（Alternating Gradient Filter， AGF）来分解图像，在有效保留图像整体亮度和防止边缘模糊的同时，有效地去除了小尺度梯度的纹理和噪声。同时，提出了一种基于交替梯度滤波和改进脉冲耦合神经网络（Pulse Coupled Neural Network， PCNN）的红外与可见光图像融合方法。首先，利用AGF对源图像进行分解；然后，近似层主要利用多尺度形态梯度（Multi-scale Morphological Gradient， MSMG）算子和最大区域能量进行融合；残差层采用改进的PCNN进行融合，能够更好地保留图像细节纹理信息；最后，通过AGF重构得到融合图像。该方法能够避免在目标物体的边缘处产生虚影，较好地保留源图像的亮度、边缘、细节及纹理等信息。 2 交替梯度滤波器 1 2.1　梯度滤波器 2 针对基于局部加权平均的传统滤波器分解图像不可避免地会由于亮度的扩散而导致边缘模糊的不足，本文从亮度和梯度分离的角度出发，设计了一种基于模糊梯度阈值函数和全局优化方法的保边梯度滤波器，在消除小梯度纹理和噪声的同时可保持图像的整体亮度和边缘梯度 ［ 16 16 ］ 。 令GF为 GletF （ I ， ƒ ， α ， λ ， n ），其中 I 是输入的源图像， ƒ 是迭代次数， α 是梯度阈值， λ 是最大惩罚系数， n 是阈值函数斜率。采用参数设定好的梯度滤波器对源图像的亮度分布和小梯度变化进行分解。源图像经过梯度滤波器过滤得到近似层： <math display="block" id="M1"><msub><mrow><mi>A</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>=</mo><mi>G</mi><mi>l</mi><mi>e</mi><mi>t</mi><mi>F</mi><mo stretchy="false">(</mo><mi>I</mi><mo>,</mo><mi>f</mi><mo>,</mo><mi>α</mi><mo>,</mo><mi>λ</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426017&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426024&type= 37.33800125 4.91066647 . 用源图像减去近似层可以得到残差层，即： <math display="block" id="M2"><msub><mrow><mi>R</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>=</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>-</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426034&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426026&type= 21.42066574 3.72533321 ， 其中 m 表示第 m 幅图像。近似层保持了源图像的亮度和能量分布，包含了源图像的对比度和结构信息，没有噪声和边缘模糊，体现了源图像的整体外观。与近似层相比，残差层几乎没有亮度和能量分布，主要反映了小的梯度变化，包括源图像的细节纹理信息。 2.2　交替梯度滤波器 2 AGF结合了GF，RGF和SIRmed3种滤波器的优势。GF是具有全局优化特性的保边滤波器，可以在分解图像过程中克服因亮度扩散而导致的边缘模糊问题。RGF具有大尺度边缘和局部强度保持特性。SIRmed使图像边缘能够较好地表示曲率特性 ［ 17 17 ］ 。3种滤波器的结合可有效保留图像的整体亮度和边缘，同时去除小尺度的噪声信息。 AGF结合GF全局优化的特性、RGF大尺度边缘局部强度保持特性和SIRmed 的边缘恢复特性，消除了RGF的边缘曲率平滑和SIRmed的局部强度降低以及大尺度边缘附近小尺度细节的引入。该算法实现简单、效率高，能够自动保持大尺度结构和局部强度，并能产生高质量的融合结果。AGF的流程如 图1 图1 所示，包括以下4个步骤： 步骤1，用一个联合双边滤波器去除输入图像的小结构 ［ 18 18 ］ 。第 t 次迭代滤波的结果 O t +1 是通过使用前一次迭代步骤对输入图像应用联合滤波器得到的，其公式如下： <math display="block" id="M3"><msubsup><mrow><mi>O</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>K</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi>j</mi><mo>∈</mo><mi>Ω</mi></mrow></munder><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow><mo>⋅</mo><mi>f</mi><mfenced separators="|"><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>i</mi><mo>-</mo><mi>j</mi></mrow></mfenced></mrow></mfenced><mo>⋅</mo><mi>g</mi><mfenced separators="|"><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>O</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>O</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>t</mi></mrow></msubsup></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426032&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426038&type= 66.37866211 9.05933285 ， 其中： I 为输入图像， O 为输出图像， i 和 j 表示图像中像素坐标的索引， K 代表一个标准化因子， f 和 g 分别表示空间滤波核范围和强度滤波核， Ω 表示内核的空间支持。 步骤2，对步骤1得到的结果应用联合双边滤波器，使用源图像作为引导图像，详细过程描述如下： <math display="block" id="M4"><msubsup><mrow><mi>O</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>K</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi>j</mi><mo>∈</mo><mi>Ω</mi></mrow></munder><mrow><msubsup><mrow><mi>O</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>t</mi></mrow></msubsup></mrow><mo>⋅</mo><mi>f</mi><mfenced separators="|"><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>i</mi><mo>-</mo><mi>j</mi></mrow></mfenced></mrow></mfenced><mo>⋅</mo><mi>g</mi><mfenced separators="|"><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426048&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426040&type= 64.68533325 9.05933285 . 步骤3，对第二步的结果进行中值滤波。滤波结果保证了图像灰度和大尺度边缘曲率的保持。中值滤波器的使用可以防止在大尺度边缘附近重新引入过滤后的小尺度细节。 步骤4，对第三步中值滤波后的结果利用GF进行滤波。GF具有全局优化的特性，可避免图像因亮度的扩散而导致边缘模糊，保证了图像边缘信息，详细过程如下： <math display="block" id="M5"><mi>O</mi><mo>=</mo><mi>G</mi><mi>l</mi><mi>e</mi><mi>t</mi><mi>F</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>O</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><mi>f</mi><mo>,</mo><mi>α</mi><mo>,</mo><mi>λ</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426045&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426043&type= 41.82533264 5.07999992 . AGF模型中的每次迭代包含4个连续的步骤：（1）RGF操作过程，对输入图像 I 进行联合双边滤波，利用上一次迭代的结果 O t 作为引导图像；（2）SIRmed操作过程，对第一步得到的结果再次进行联合双边滤波，以原始图像 I 作为引导图像；（3）对第二步的结果应用一个小核（如3×3）的中值滤波器；（4）对第三步的滤波结果使用GF。交替使用原始图像和滤波结果作为输入或引导图像，保证了整体图像强度，保留了大尺度边缘曲率。因此，AGF结合RGF 亮度保持，SIRmed边缘曲率保持和GF边缘信息保持的特点，同时消除RGF边缘曲率平滑和SIRmed对比度降低及在较大边缘附近重新引入小细节的影响。 利用AGF对源图像进行分解类似于GF，通过AGF过滤得到近似层： <math display="block" id="M6"><msub><mrow><mi>A</mi></mrow><mrow><mi>N</mi></mrow></msub><mo>=</mo><mi>A</mi><mi>G</mi><mi>F</mi><mo stretchy="false">(</mo><mi>I</mi><mo>,</mo><mi>f</mi><mo>,</mo><mi>α</mi><mo>,</mo><mi>λ</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426064&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426047&type= 36.40666580 4.91066647 . 源图像减去近似层，得到残差层： <math display="block" id="M7"><msub><mrow><mi>R</mi></mrow><mrow><mi>N</mi></mrow></msub><mo>=</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>N</mi></mrow></msub><mo>-</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426065&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426051&type= 21.50533485 3.72533321 . 为了进一步分析AGF分解源图像的优势，对比GF和AGF分解源图像产生的近似层和残差层的显著区域的三维图的差异，如 图2 图2 所示。由 图2 图2 可知，GF分解得到的近似层含有较多的亮度信息，同时含有较多的细节信息，而AGF分解的近似层同样有较多的亮度信息，包含对比度信息。残差层反映源图像的小梯度变化，包括纹理信息和噪声，GF的残差层包含的细节纹理信息较少，而AGF的残差层含有较多的细节纹理信息。 3 多尺度形态梯度算子 1 梯度表示图像锐度信息，MSMG算子是一种有效的梯度算子，可以在不同尺度上提取图像的梯度信息，用来表示图像中像素邻近区域的对比度强度 ［ 19 19 ］ 。因此，MSMG是一种高效的方法，常用于边缘检测和图像分割。多尺度结构元定义为： <math display="block" id="M8"><mi>S</mi><msub><mrow><mi>E</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><munder><mrow><munder><mrow><mi>S</mi><msub><mrow><mi>E</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⊕</mo><mi>S</mi><msub><mrow><mi>E</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⊕</mo><mo>⋯</mo><mo>⊕</mo><mi>S</mi><msub><mrow><mi>E</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow><mo>︸</mo></munder></mrow><mrow><mi>i</mi></mrow></munder><mo>,</mo><mi>i</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>M</mi></mrow></mfenced><mtext> </mtext></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426057&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426055&type= 71.62799835 7.78933382 ， 其中： SE 1 表示基本结构元素， M 表示尺度数。在数学形态学中，结构元素是图像特征提取的重要工具。不同类型的图像特征可以由不同形状的结构元素提取。因此，需要将结构元素扩展到多尺度，利用这些多尺度结构元素可以提取图像的综合梯度特征。梯度特征 G t 可以用图像 I 的梯度算子表示，即： <math display="block" id="M9"><msub><mrow><mi>G</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mi>I</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>⊕</mo><mi>S</mi><msub><mrow><mi>E</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><mi>I</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>⊙</mo><mi>S</mi><msub><mrow><mi>E</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426072&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426059&type= 64.34667206 4.91066647 ， 其中：⊕和⊙分别表示形态膨胀算子和侵蚀算子， x ， y 均表示像素坐标。从多尺度结构元素和梯度特征出发，计算各尺度上的梯度加权和得到最小二乘梯度图，公式如下： <math display="block" id="M10"><mi>M</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>t</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426060&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426075&type= 42.33333206 8.55133343 ， 其中 w t 代表第 t 个尺度中梯度的权重，它可以表示为： <math display="block" id="M11"><msub><mrow><mi>w</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo>/</mo><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mi>t</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426079&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426062&type= 25.06133461 4.48733330 . 图3 图3 为利用MSMG的图像处理结果，图像边缘信息得到了较好地提取，证明了边界测量的有效性。用MSMG处理红外与可见光图像可以分离出场景信息，突出目标的边缘信息。 4 PCNN模型 1 4.1　简化PCNN模型 2 PCNN不需要任何的训练直接可以使用，是一种基于迭代的运算。标准PCNN模型是一种反馈型网络，接收域、耦合调制域和脉冲发生器3部分是每个神经元的组成部分 ［ 20 20 - 21 21 20-21 ］ 。它的神经元和输入图像的像素点之间是一对一的关系。在PCNN的基本模型中，由于参数过多，在实际应用中难以控制。本文采用一种PCNN的简化模型，如 图4 图4 所示，第（ i，j ）个简化神经元的数学表达公式如下： <math display="block" id="M12"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>F</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>=</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>=</mo><msub><mrow><mi>V</mi></mrow><mrow><mi>L</mi></mrow></msub><munder><mo movablelimits="false">∑</mo><mrow><mi>k</mi><mo>.</mo><mi>l</mi></mrow></munder><mrow><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi><mi>j</mi><mi>k</mi><mi>l</mi></mrow></msub><msub><mrow><mi>Y</mi></mrow><mrow><mi>k</mi><mi>l</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">]</mo></mrow></mtd></mtr><mtr><mtd><msub><mrow><mi>U</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>=</mo><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>f</mi></mrow></msub></mrow></msup><msub><mrow><mi>U</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>+</mo><mi>β</mi><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo></mrow></mfenced></mtd></mtr><mtr><mtd><msub><mrow><mi>Y</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo><mi mathvariant="normal">i</mi><mi mathvariant="normal">f</mi><mtext> </mtext><msub><mrow><mi>U</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>></mo><msub><mrow><mi>θ</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">]</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mtd></mtr></mtable></mrow></mfenced></mtd></mtr><mtr><mtd><msub><mrow><mi>θ</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>=</mo><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>θ</mi></mrow></msub></mrow></msup><mi>θ</mi><mo stretchy="false">[</mo><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi>V</mi></mrow><mrow><mi>θ</mi></mrow></msub><msub><mrow><mi>Y</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426096&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426083&type= 74.33734131 37.93066406 ， 其中： F ij ［ n ］和 L ij ［ n ］分别是迭代 n 中位置（ i，j ）处神经元的馈送输入和链接输入， I ij 表示位置（ i，j ）处的残差层系数， V L 表示链接输入的振幅增益， Y kl 表示周围其他像素位置的输出， U ij ［ n ］表示神经元的内部状态信号，由 <math id="M13"><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>f</mi></mrow></msub></mrow></msup><msub><mrow><mi>U</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426086&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426098&type= 22.09799957 4.57200003 和 F ij ［ n ］（1 +βL ij ［ n ］）组成。PCNN的输出模块被称为脉冲发生器，它决定了该模型的触发事件，其输出 Y ij ［ n ］有两种状态：已触发（ Y ij ［ n ］=1）和未触发（ Y ij ［ n ］=0）。PCNN简化模型的初始化条件为： Y ij （0）=0， U ij （0）=0和 θ ij （0）=0。 4.2　改进的PCNN模型 2 PCNN模型的参数设置在一定程度上决定了该模型性能的好坏。PCNN模型中的参数分别是 α f ， β ， V L ， α e ， V θ 。 本文把参数 β 和 V L 作为一个整体，因为空间频率能够很好地反映图像的纹理信息，所以将 β 和 V L 作为链接输入的权重时再乘以空间频率（Spatial Frequency， SF），设 λ=（βV L ）f S 为加权链接强度。因此，在改进的自适应PCNN模型中实际上有4个参数，即： <math display="block" id="M14"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>α</mi></mrow><mrow><mi>f</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>/</mo><mi>δ</mi><mfenced separators="|"><mrow><mi>s</mi></mrow></mfenced></mrow></mfenced></mtd></mtr><mtr><mtd><mi>λ</mi><mo>=</mo><mfenced separators="|"><mrow><mfrac><mrow><mfenced separators="|"><mrow><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>/</mo><msup><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></mfenced><mo>-</mo><mn mathvariant="normal">0.5</mn></mrow><mrow><mn mathvariant="normal">6</mn></mrow></mfrac></mrow></mfenced><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>V</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo>=</mo><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>f</mi></mrow></msub></mrow></msup><mo>+</mo><mn mathvariant="normal">6</mn><mi>λ</mi></mtd></mtr><mtr><mtd><msub><mrow><mi>α</mi></mrow><mrow><mi>e</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><mfenced open="[" close="]" separators="|"><mrow><mfrac><mrow><msub><mrow><mi>V</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo>/</mo><msup><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow><mrow><mrow><mrow><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">3</mn><msub><mrow><mi>α</mi></mrow><mrow><mi>f</mi></mrow></msub></mrow></msup></mrow></mfenced></mrow><mo>/</mo><mrow><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>f</mi></mrow></msub></mrow></msup></mrow></mfenced></mrow></mrow><mo>+</mo><mn mathvariant="normal">6</mn><mi>λ</mi><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>f</mi></mrow></msub></mrow></msup></mrow></mfrac></mrow></mfenced></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426107&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426105&type= 62.48400116 40.04733276 ， 其中： <math id="M15"><mi>δ</mi><mo stretchy="false">(</mo><mi>s</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426108&type= 6.94266701 3.55599999 表示输入图像 I 的标准差和平均梯度的区间， s´ 表示归一化的Otsu阈值， S max 表示输入图像的最大强度。通过无参数和无监督自动进行选择Otsu的阈值。 参数自适应PCNN模型在进行图像融合时一般根据经验或者实验来确定迭代次数 n ，迭代次数 n 的设置会影响PCNN模型的脉冲同步性。简化PCNN模型每次的点火输出为1或0，不能反映出点火的幅度差异。由于Tanh函数值变化敏感度高，所以本文计算每次迭代过程中子带系数的点火输出幅度采用Tanh函数，在进行同步脉冲激发时，能够更好地体现出点火幅度之间的特征效果的不同。 利用简化PCNN模型以及Tanh函数的PCNN模型做消融实验，融合结果如 图5 图5 所示。其中，差图是利用融合图和红外图像相减得到的，融合图像应更多地保留红外图像的目标信息，作差运算后其目标区域值为0，在图像中显示为黑；而直方图反映了图像的灰度分布规律，描述每个灰度级具有的像素个数。结合差图和直方图可知，利用Tanh函数的PCNN性能更好。因此，采用Tanh函数来计算每次迭代过程中子带系数的点火输出幅度 O ij ［ n ］，如 式（14） 式（14） 所示： <math display="block" id="M16"><mtable><mtr><mtd><msub><mrow><mi>O</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msub><mrow><mi>U</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>-</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo></mrow></mfenced><mo>-</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>-</mo><msub><mrow><mi>U</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo></mrow></mfenced></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msub><mrow><mi>U</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>-</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo></mrow></mfenced><mo>+</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>-</mo><msub><mrow><mi>U</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo></mrow></mfenced></mrow></mfrac></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426111&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426088&type= 71.96665955 16.59466553 . 输出 Y ij ［ n ］可以改进为： <math display="block" id="M17"><msub><mrow><mi>Y</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo><mtext>  </mtext><msub><mrow><mi>O</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>></mo><mn mathvariant="normal">0.5</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mi>e</mi><mi>l</mi><mi>s</mi><mi>e</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426090&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426115&type= 42.07933044 9.73666668 ， 其中，当 Y ij ［ n ］=1时为一次点火。 5 本文方法 1 如 图6 图6 所示，本文方法的具体步骤如下： （1）将已经配准好的源图像红外图像 I 可见光图像 V 利用AGF进行分解，分别得到其近似层和残差层｛ A I ， A v ｝和｛ R I ， R v ｝； （2）利用MSMG处理近似层图像，进行边缘检测，然后分别计算出近似层 A I 和 A V 的最大区域能量 F I （x，y） 和 F V （ x ， y ），采用红外图像的最大区域能量 F I （ x ， y ）和可见光图像的最大区域能量 F V （ x ， y ）与红外图像 I 和可见光图像 V 相结合的融合规则进行融合； （3）将残差层 R I ， R v 的绝对值作为脉冲耦合神经网络的输入，采用改进参数自适应PCNN融合规则进行融合； （4）通过AGF重构得到融合图像。 5.1　近似层融合规则 2 源图像经过AGF分解后，主要的轮廓信息集中在近似层图像中，用来控制融合图像的整体外观和对比度。因此，如何选取近似层的融合规则非常关键。MSMG算子是一种有效的梯度算子，它从图像中提取梯度信息，可以表示图像中像素邻近区域的对比度强度，同时可以区分背景和目标对象，用于残差层融合规则时会在边缘产生伪影，用于近似层时，在保证融合效果同时避免在目标边缘产生伪影。能量是图像的显著特征，反映了图像信号的变化，可保留图像的大部分信息，利用区域能量进行融合能够体现像素之间的相关性。本文提出MSMG和最大区域能量与源图像相结合的融合规则。首先，利用MSMG对近似层的图像进行处理，得到红外图像以及可见光图像近似层图像的最小二乘梯度图： <math display="block" id="M18"><msub><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msub><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mo>=</mo><msub><mrow><mi>M</mi></mrow><mrow><mi>S</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426125&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426124&type= 32.93532944 4.82600021 . A S （ x ， y ）由 式（10） 式（10） 计算得到（ S =I， V）。 局部区域能量表示每个像素自身和附近像素的和，利用局部区域能量（Local Area Energy，LAE）方法选择区域能量中最大的一个像素，计算经MSMG处理后的近似层 A S （ S = I ， V ）的局部能量值 E LS （ i ， j ），公式如下： <math display="block" id="M19"><mtable><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>L</mi><mi>S</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>w</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>w</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">[</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msub><msup><mrow><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mi>x</mi><mo>,</mo><mi>j</mi><mo>+</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>×</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>e</mi></mrow></msub></mrow></mrow><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426127&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426126&type= 59.94400024 14.73200035 ， 其中：（ i ， j ）是近似层 A I 和 A V 进行处理的像素位置， w 值表示局部窗口（ w =3）， W e 是3×3的滤波器模板 W e =［1，1，1；1，1，1；1，1，1］。通过3×3的窗口对区域能量进行滤波，选择邻域内的最大值 F S （ i，j ），公式如下： <math display="block" id="M20"><msub><mrow><mi>F</mi></mrow><mrow><mi>S</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>E</mi></mrow><mrow><mi>L</mi><mi>S</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mi>x</mi><mo>,</mo><mi>j</mi><mo>+</mo><mi>y</mi><mo stretchy="false">)</mo><mfenced open="|" close="" separators="|"><mrow><mn mathvariant="normal">1</mn><mo>≤</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>≤</mo><mn mathvariant="normal">3</mn></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426129&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426128&type= 74.33734131 5.58799982 ， <math display="block" id="M21"><mi>M</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">I</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">I</mi></mrow></msub><mo>></mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426130&type= 56.13399887 10.07533360 ， 其中： F I 表示红外图像近似层的最大值， F V 表示可见光图像近似层的最大值， I I 和 I V 分别表示红外源图像和可见光源图像的灰度值。 通过上述公式得到近似层图像的融合系数 A F （ i ， j ）： <math display="block" id="M22"><msub><mrow><mi>A</mi></mrow><mrow><mi>F</mi></mrow></msub><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced><mo>=</mo><mi>M</mi><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced><mo>×</mo><msub><mrow><mi>A</mi></mrow><mrow><mi mathvariant="normal">I</mi></mrow></msub><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced><mo>+</mo><mo>∼</mo><mi>M</mi><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced><mo>×</mo><msub><mrow><mi>A</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="normal">i</mi><mo>,</mo><mi mathvariant="normal">j</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426118&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426132&type= 80.01000214 4.74133301 ， 其中： M （ i ， j ）为近似层图像（ i ， j ）处的融合权重， A I （ i ， j ）和 A V （ i ， j ）分别为（ i ， j ）处红外图像和可见光图像的近似层分解系数。 5.2　残差层融合规则 2 采用改进的自适应PCNN融合规则对残差层进行融合。将残差层 R I 和 R V 的绝对值作为PCNN的输入激励，即馈送输入为 F ij ［ n ］=| Rs |， S ∈｛ I ， V ｝，去激励改进的自适应PCNN模型来生成融合权重图。具体融合步骤如下： （1）对外部输入激励 F ij ［ n ］进行归一化处理，使其取值范围为［0，1］； （2）采用改进的参数自适应的PCNN模型，其参数根据 式（13） 式（13） 计算； （3）计算式（12）~ 式（15） 式（15） ，在每次迭代结束时添加以下步骤，可以累计触发次数： <math display="block" id="M23"><msub><mrow><mi>T</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo><mo>=</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi>Y</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">[</mo><mi>n</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426119&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426134&type= 46.22800064 4.48733330 . 因此，每个神经元总的触发次数为 T ij ［ N ］，其中 N 表示总迭代次数， R I ， R V 分别是红外图像和可见光图像的残差层系数，改进PCNN红外图像和可见光图像的触发次数分别为 T RI ， T RV ，通过以下规则得到融合系数： <math display="block" id="M24"><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">I</mi></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>T</mi></mrow><mrow><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">I</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi>N</mi><mo stretchy="false">]</mo><mo>≥</mo><msub><mrow><mi>T</mi></mrow><mrow><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi>N</mi><mo stretchy="false">]</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub><mo>,</mo><mtext> </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426121&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426120&type= 47.07466888 10.32933331 . 最后，通过AGF对近似层和残差层的融合系数进行重构，得到最终的融合图像 F 如下： <math display="block" id="M25"><mi>F</mi><mo>=</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>F</mi></mrow></msub><mo>+</mo><msub><mrow><mi>R</mi></mrow><mrow><mi>F</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426138&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28426122&type= 20.65866661 3.80999994 . 6 实验结果及分析 1 6.1　梯度滤波器参数分析 2 GF主要由4个自由参数组成：迭代次数 ƒ 、梯度阈值 α 、最大惩罚系数 λ 和阈值函数斜率 n 。将迭代运算看作滤波运算时，参数 ƒ 控制滤波频率，参数 α 控制要过滤的梯度范围，参数 λ 表示小梯度的去除程度，参数 n 控制惩罚系数在梯度阈值附近的下降速度。 n 越大，惩罚系数的下降速度越快，表明纹理和边界清晰。 当最大惩罚系数 λ 较小时， ƒ 几乎不改变滤波结果。当 λ 较大时，滤波结果通常收敛于3~4次。然而，随着 ƒ 的增加，滤波对梯度变化的影响减小，因为方法中的 λ 比较小，为了减少运行时间，设 ƒ =1。 在阈值函数斜率 n 和最大惩罚系数 λ 保持不变的条件下， α 控制着去除梯度的范围。为进一步说明 α 对滤波结果的影响，如 图7 图7 所示，当 n =10， λ =50时，在一定范围内，随着 α 的增加，越来越多的梯度被移除，图像变得特别模糊。当 α 达到一定水平时，图像模糊程度不会改变。因为红外与可见光图像的特点，只需要移除部分小梯度，所以本文中 α =0.02。 在梯度阈值 α 不变的条件下， λ 控制着小梯度的模糊程度。 λ 越大，小梯度的模糊程度越高。 n 控制着梯度阈值附近惩罚系数的下降速率。 n 越大，下降的速度越快，纹理和边缘之间的边界越清晰。为进一步说明参数 λ 和 n 对滤波结果的影响，令 ɑ =0.02， n 和 λ 取不同值时对应的平滑图像如 图8 图8 所示。 由 图8 图8 可知，当 α =0.02时，参数 n 越高，图像边缘的模糊程度越小，边缘保持性越好；参数λ越大，梯度消除效果越明显。同时，参数 n 改变了 λ 对图像滤波的影响。结合当 α =0.02时参数 n 和 λ 对应的平滑结果图，可知在 λ =50和 n =10时图像的梯度消除效果最好，并且边缘的细节信息保存较完整，因此本文将它们设置为默认值。 6.2　交替梯度滤波器性能分析 2 图9 图9 显示当双边滤波器的 σ spatial =5， σ range =0.05时，前3次迭代过程中RGF，SIRmed和AGF的滤波结果（Iteration分别为1，2，3，在图中记为 t ）。这3种滤波器都是迭代地从输入图像的初始低分辨率开始大规模地恢复图像边缘。在这个过程中，RGF会逐渐平滑大尺度边缘的曲率，SIRmed则会平滑整体图像强度，导致图像的全局对比度降低。AGF会克服RGF曲率平滑和SIRmed局部对比度低的问题，即在不平滑曲率和保持图像亮度的情况下恢复大尺度边缘，同时克服了边缘模糊问题。 图10 图10 为当 t =3时RGF，SIRmed，AGF的滤波结果以及各自对应的三维、二维截面图。三维图像可以看到像素的分布情况以及像素值的大小，选取Iteration=3的滤波结果图进行分析，可以看出RGF的等高线像素分布均匀，因为RGF滤波器的小结构消除以及边缘保持的特点，图像的边缘曲率平滑，因此从三维图中可以看出RGF逐渐平滑大尺度边缘的曲率边缘。而SIRmed产生的边缘能够较好地表示曲率特性，正好克服RGF的缺点，但是SIRmed会平滑整体图像强度，导致全局对比度降低。从三维图也可以看出，像素值整体较低，和RGF相比大尺度峰值总体降低。相比之下，AGF结合RGF，SIRmed以及GF的优点，在防止平滑曲率和保持整体图像亮度以及对比度的情况下恢复了大尺度边缘。从二维截面图可以看出，AGF在平滑曲率和保持局部图像对比度的情况下恢复了大尺度边缘，保持了边缘的区域。 6.3　实验说明 2 为了从视觉效果的角度定性分析该方法的有效性，在公开的TNO，INO等数据集上进行了大量测试，均取得了较好的融合效果。文中选取具有代表性的4组已经配准好的大小分别为632×496，360×270，256×256，768×576的红外与可见光图像进行实验展示，如 图11 图11 所示。将本文方法与RGF方法 ［ 22 22 ］ 、BRG方法 ［ 23 23 ］ 、GSF方法 ［ 24 24 ］ 、IFCNN方法 ［ 25 25 ］ 和GF方法 ［ 16 16 ］ 进行实验对比。 其中，RGF方法采用滚动引导滤波器和高斯滤波器进行多尺度分解，利用视觉显著性图和加权最小二乘进行优化；BRG方法是一种通过红外特征提取和视觉信息保存的简单、快速的红外与视觉图像融合算法；GSF方法是一种基于结构相似性的梯度滤波方法，能够解决计算平均源梯度时受到的抵消效应影响，并突出源图像的显著特征与主要源梯度；IFCNN方法利用两个卷积层从输入图像中提取图像的显著特征，根据输入图像的类型选择合适的融合规则（元素最大、最小或均值）；GF方法是一种新的基于模糊梯度阈值函数和全局优化的滤波器，克服了传统基于局部加权平均的滤波器在分解过程中由于亮度的色散而导致的边缘模糊问题，保证图像的整体亮度和边缘信息。 当 δs =5， δr =0.1， n =3， α =0.02， λ =50和 n =10时AGF效果好，因此将它们作为本文方法的默认设置，自适应PCNN参数 W =［0.0312，1，0.0312；1，0，1；0.0312，1，0.707］，迭代次数 n 通过Tanh函数来设定。本文所有的实验均在win7系统上的Matlab2016a环境中实现，仿真区域窗口设置为3×3。 6.4　仿真结果及分析 2 图12 图12 为4组不同融合方法的实验结果，其中方框内容为每组图像的局部细节放大图。第一组实验图像，RGF方法和IFCNN方法的融合结果整体较好，但是对比度及清晰度不高；BRG方法、GSF方法和GF方法融合图像整体较为模糊，细节纹理信息都不够清晰，其中BRG方法得到的融合图像里面有大面积的伪影出现；本文方法的纹理信息清晰，视觉效果好，因为交替梯度滤波能够避免目标边缘模糊。通过观察局部放大图像可以明显看出，本文方法的纹理细节信息清晰，在场景信息丰富的同时，目标对象显著。第二组融合图像，RGF方法、IFCNN方法的视觉效果好，红外图像的目标人物突出，但清晰度不够，对比度低，细节信息损失较多；BRG方法从视觉角度出发，没有考虑细节信息，因此红外图像的目标人物得到很好地保存，但可见光图像的背景细节信息丢失较为严重；GSF方法对比度高，但目标显著同时边缘有虚影产生，细节信息丢失较多；GF方法边缘细节纹理保存较好，消除小梯度噪声信息，但目标对象不突出；与其他方法相比，本文方法在保留特征信息的同时，图像整体亮度和边缘梯度最好，目标对象显著，背景纹理信息清晰，视觉效果佳。第三组和第四组融合图像，RGF方法、IFCNN方法及GF方法的整体融合效果较好，场景信息丰富，但目标对象不突出，细节纹理不清晰；GSF方法的整体融合效果模糊，含有较多的噪声信息，对比度不高，尤其是第三组图像边缘模糊；BRG方法目标对象显著，但场景信息不丰富，边缘细节信息丢失严重，第四组图像的树叶边缘模糊；相比之下，本文方法的整体视觉效果更好，因为AGF在防止边缘曲率平滑和保持图像亮度的情况下恢复了大尺度边缘，避免图像边缘模糊，因此清晰度和纹理信息明显，同时近似层引入MSMG可以突出目标对象，且没有引入冗余信息。通过对第三、四组图像的局部细节放大图进行观察比较可以看到，本文方法得到的汽车和树枝细节纹理清晰，目标对象突出边缘没有伪影产生，整体融合效果图的场景信息丰富，亮度比其他方法高。 由于人眼视觉的差异，主观评价方法存在着一定的局限性。为对融合结果图进行更加客观地分析，本文利用平均梯度（AG）、标准差（STD）、信息熵（EN）、空间频率（SF）、边缘强度（EI） ［ 26 26 ］ 以及视觉保真度（VIFF） ［ 27 27 ］ 这6种客观评价指标对融合方法的性能进行定量分析。为了方便比较，采用柱状图的表现形式。 表1 表1 为客观评价指标的实验结果， 图13 图13 为4组图像客观评价指标柱状图。 Index RGF BRG GSF IFCNN GF Our method 6 Image1 AG 6.537 1 3.262 2 3.479 3 3.544 6 5.006 5 10.446 7 STD 34.579 9 37.311 2 23.271 28.178 1 31.645 2 52.488 1 EN 6.499 1 6.791 7 6.092 3 6.009 1 6.210 7 7.200 4 SF 18.859 9 11.304 1 9.523 3 13.440 9 15.371 3 29.024 9 EI 2.37×10 -4 2.17×10 -4 1.00×10 -4 1.00×10 -4 1.21×10 -4 0.001 7 VIFF 0.551 6 0.648 7 0.300 2 0.539 9 0.489 3 0.911 5 6 Image2 AG 3.457 9 2.587 7 3.143 1 3.210 1 2.066 5 5.153 7 STD 18.248 2 18.535 2 17.441 4 17.345 6 19.194 2 22.372 0 EN 6.086 8 6.138 7 6.102 9 6.182 3 6.005 3 6.460 9 SF 8.462 1 6.360 2 6.656 5 8.214 6 4.865 9 12.593 6 EI 1.693 6×10 -4 2.249 2×10 -4 1.050 3×10 -4 8.338 5×10 -5 1.270 1×10 -4 0.031 0 VIFF 0.479 9 0.231 5 0.700 9 0.572 1 0.333 7 0.604 3 6 Image3 AG 7.628 0 5.569 0 5.434 2 6.540 3 5.615 2 10.724 6 STD 39.656 6 33.933 2 28.669 3 31.763 38.266 9 48.294 4 EN 7.233 0 6.898 8 6.825 7 7.199 1 7.068 7 7.311 8 SF 18.657 13.578 9 12.592 5 16.546 1 14.043 6 29.119 1 EI 3.394 8×10 -4 5.932 3×10 -4 7.877 0×10 -5 7.134 5×10 -5 2.930 4×10 -4 0.002 1 VIFF 0.318 5 0.177 4 0.228 8 0.288 7 0.257 7 0.372 0 6 Image4 AG 6.769 8 6.051 7 3.873 9 6.421 7 4.676 1 9.648 5 STD 36.056 3 43.051 9 32.696 1 35.897 4 34.210 8 48.458 7 EN 7.040 8 7.046 7 6.993 7 7.001 2 6.943 8 7.253 4 SF 18.853 6 16.742 1 8.498 1 18.641 7 13.449 4 27.140 5 EI 0.002 6 0.001 2 1.689 6×10 -4 0.001 1 0.002 6 0.002 9 VIFF 0.348 2 0.349 9 0.286 8 0.357 1 0.290 9 0.488 9 AG衡量图像中细节反差和纹理变换，值越大，图像细节越清晰；STD反映图像中灰度层次差异性，值越大，说明融合图像的效果越好；EN主要是度量图像包含信息量多少，信息熵越高表示融合图像的信息量越丰富，质量越好；SF反映了空间频率误差的比值；EI边缘强度反映图像的清晰程度，值越大说明融合图像包含的细节信息越丰富，图像越清晰；VIFF是基于视觉保真度提出的衡量图像质量的指标，其值越大，表示图像融合质量越好。 由 图13 图13 可知，本文方法的AG值高，说明细节纹理保留方面较好；STD表示像素灰度值离散长度，可以反映图像细节信息的丰富度，值越高，则细节信息越丰富；EN表示图像所包含信息量的多少，值越大则融合效果越好；SF反应图像的灰度变化率，值越大整体质量越好；EI边缘强度反映图像的清晰程度，值越大说明融合图像包含的细节信息越丰富，图像越清晰；VIFF越高，说明图像与人眼视觉观察越一致，从柱状图可以看出，本文方法的VIFF值最大，融合效果最佳。4组源图像通过6种不同融合方法得到融合结果，通过观察 表1 表1 的6种指标值，结合 图13 图13 客观评价指标的柱状图走向趋势，本文方法的指标值整体较高。通过主观视觉和客观评价指标可以得出，本文提出的方法优于其他对比方法，能够避免在目标物体的边缘处产生虚影，取得了最好的融合结果。 6.5　运行时间分析 2 为了进一步分析本文方法的有效性，评估这些算法的计算效率， 表2 表2 列出了不同融合方法处理632×496，360×270，256×256，768×576四组源图像的平均计算时间。从 表2 表2 可以看出，本文方法的计算效率最高，运行时间最短，RGF和BRG方法的运行时间略长，GSF和IFCNN方法的运行时间偏长。通过定性、定量评价以及时间性能的分析可知，本文方法的性能最佳。 Image RGF BRG GSF IFCNN GF Ours Image1 6.683 1 4.456 7 21.527 6 11.561 8 1.313 8 0.319 7 Image2 5.656 4 2.205 2 12.425 6 9.214 7 1.451 1 0.242 7 Image3 6.985 7 3.502 6 19.930 2 11.614 2 0.556 3 0.394 7 Image4 5.416 2 1.929 3 21.714 6 13.231 4 0.756 9 0.294 8 s 7 结　论 1 结合GF、RGF和SIRmed的优良特性，本文提出AGF，它采用全局优化方法在实现小结构消除的同时具有局部强度保持和边缘恢复的特性。基于AGF，提出一种基于AGF和改进PCNN的红外与可见光图像融合方法。通过AGF对源图像进行分解，它将源图像分解为近似层和残差层，近似层反映源图像的整体亮度分布，采用多尺度形态学算子和最大区域能量作为它的融合规则；残差层反映了源图像的微小梯度变化，保留了源图像的纹理信息，采用改进的PCNN作为融合规则。实验结果表明，主观视觉上本文方法能够避免在目标物体的边缘处产生虚影，较好地保留源图像的亮度、边缘、细节及纹理等信息；在客观评价指标上，与其他5种融合方法进行比较，平均梯度、标准差、信息熵、空间频率、边缘强度和视觉保真度分别平均提高了18%，10%，2.8%，16%，51%，11.2%。为了进一步丰富融合图像的细节信息，今后将进一步研究AGF模型优化以及融合规则的选择。 参考文献 MULLER A C ， NARAYANAN S . Cognitively-engineered multisensor image fusion for military applications ［J］. Information Fusion ， 2009 ， 10 （ 2 ）： 137 - 149 . doi: 10.1016/j.inffus.2008.08.008 http://dx.doi.org/10.1016/j.inffus.2008.08.008 Cognitively-engineered multisensor image fusion for military applications MA J Y ， MA Y ， LI C . Infrared and visible image fusion methods and applications： a survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 . doi: 10.1016/j.inffus.2018.02.004 http://dx.doi.org/10.1016/j.inffus.2018.02.004 Infrared and visible image fusion methods and applications： a survey XIAO F Y . Multi-sensor data fusion based on the belief divergence measure of evidences and the belief entropy ［J］. Information Fusion ， 2019 ， 46 ： 23 - 32 . doi: 10.1016/j.inffus.2018.04.003 http://dx.doi.org/10.1016/j.inffus.2018.04.003 Multi-sensor data fusion based on the belief divergence measure of evidences and the belief entropy ZHANG Z Y ， ZHANG Y M ， CAO Y F ， et al . Infrared and visible airborne targets image fusion with applications to sense and avoid ［J］. IFAC-PapersOnLine ， 2020 ， 53 （ 2 ）： 14742 - 14747 . doi: 10.1016/j.ifacol.2020.12.1892 http://dx.doi.org/10.1016/j.ifacol.2020.12.1892 Infrared and visible airborne targets image fusion with applications to sense and avoid JIN H Y ， WANG Y Y . A fusion method for visible and infrared images based on contrast pyramid with teaching learning based optimization ［J］. Infrared Physics & Technology ， 2014 ， 64 ： 134 - 142 . doi: 10.1016/j.infrared.2014.02.013 http://dx.doi.org/10.1016/j.infrared.2014.02.013 A fusion method for visible and infrared images based on contrast pyramid with teaching learning based optimization 刘先红 ， 陈志斌 ， 秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合 ［J］. 光学 精密工程 ， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242 结合引导滤波和卷积稀疏表示的红外与可见光图像融合 LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242 Infrared and visible image fusion using guided filter and convolutional sparse representation 林剑萍 ， 廖一鹏 . 结合分数阶显著性检测及量子烟花算法的NSST域图像融合 ［J］. 光学 精密工程 ， 2021 ， 29 （ 6 ）： 1406 - 1419 . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406 结合分数阶显著性检测及量子烟花算法的NSST域图像融合 LIN J P ， LIAO Y P . A novel image fusion method with fractional saliency detection and QFWA in NSST ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1406 - 1419 . （in Chinese） . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406 A novel image fusion method with fractional saliency detection and QFWA in NSST LIU Y ， MIAO C Y ， JI J H ， et al . MMF： a Multi-scale MobileNet based fusion method for infrared and visible image ［J］. Infrared Physics & Technology ， 2021 ， 119 ： 103894 . doi: 10.1016/j.infrared.2021.103894 http://dx.doi.org/10.1016/j.infrared.2021.103894 MMF： a Multi-scale MobileNet based fusion method for infrared and visible image 陈广秋 ， 陈昱存 ， 李佳悦 ， 等 . 基于DNST和卷积稀疏表示的红外与可见光图像融合 ［J］. 吉林大学学报（工学版） ， 2021 ， 51 （ 3 ）： 996 - 1010 . 基于DNST和卷积稀疏表示的红外与可见光图像融合 CHEN G Q ， CHEN Y C ， LI J Y ， et al . Infrared and visible image fusion based on discrete nonseparable shearlet transform and convolutional sparse representation ［J］. Journal of Jilin University （Engineering and Technology Edition） ， 2021 ， 51 （ 3 ）： 996 - 1010 . （in Chinese） Infrared and visible image fusion based on discrete nonseparable shearlet transform and convolutional sparse representation LI S T ， KANG X D ， HU J W . Image fusion with guided filtering ［J］. IEEE Transactions on Image Processing ， 2013 ， 22 （ 7 ）： 2864 - 2875 . doi: 10.1109/tip.2013.2244222 http://dx.doi.org/10.1109/tip.2013.2244222 Image fusion with guided filtering LIU L ， SONG M H ， PENG Y X ， et al . A novel fusion framework of infrared and visible images based on RLNSST and guided filter ［J］. Infrared Physics & Technology ， 2019 ， 100 ： 99 - 108 . doi: 10.1016/j.infrared.2019.05.019 http://dx.doi.org/10.1016/j.infrared.2019.05.019 A novel fusion framework of infrared and visible images based on RLNSST and guided filter Zhang Q ， Shen X ， Xu L ， alet ， Rolling guidance filter ［C］. in ： European Conference on Compter Vision，Springer ， 2014 ： 815 - 830 . doi: 10.1007/978-3-319-10578-9_53 http://dx.doi.org/10.1007/978-3-319-10578-9_53 Rolling guidance filter REN L ， PAN Z B ， CAO J Z ， et al . Infrared and visible image fusion based on weighted variance guided filter and image contrast enhancement ［J］. Infrared Physics & Technology ， 2021 ， 114 ： 103662 . doi: 10.1016/j.infrared.2021.103662 http://dx.doi.org/10.1016/j.infrared.2021.103662 Infrared and visible image fusion based on weighted variance guided filter and image contrast enhancement LIU Y ， CHEN X ， CHENG J ， et al . Infrared and visible image fusion with convolutional neural networks ［J］. International Journal of Wavelets， Multiresolution and Information Processing ， 2018 ， 16 （ 3 ）： 1850018 . doi: 10.1142/s0219691318500182 http://dx.doi.org/10.1142/s0219691318500182 Infrared and visible image fusion with convolutional neural networks AN W B ， WANG H M . Infrared and visible image fusion with supervised convolutional neural network ［J］. Optik ， 2020 ， 219 ： 165120 . doi: 10.1016/j.ijleo.2020.165120 http://dx.doi.org/10.1016/j.ijleo.2020.165120 Infrared and visible image fusion with supervised convolutional neural network MA J Y ， ZHOU Y . Infrared and visible image fusion via gradientlet filter ［J］. Computer Vision and Image Understanding ， 2020 ， 197 / 198 ： 103016 . doi: 10.1016/j.cviu.2020.103016 http://dx.doi.org/10.1016/j.cviu.2020.103016 Infrared and visible image fusion via gradientlet filter KNIEFACZ P ， KROPATSCH W . Smooth and iteratively restore： a simple and fast edge-preserving smoothing model ［EB/OL］. CoRR ， 2015 ， 1505 （ 06702 ）： 1 - 9 . 2015 ： arXiv： 1505 .06702［cs.CV］. https：//arxiv.org/abs/1505.06702 https://arxiv.org/abs/1505.06702 Smooth and iteratively restore： a simple and fast edge-preserving smoothing model Souza M R ， Pedrini H . Combination of local feture detection methods for digitial video stabilization ［J］. Signal Image Video Process ， 2018 ， 12 ： 991 - 998 . doi: 10.1007/s11760-018-1307-8 http://dx.doi.org/10.1007/s11760-018-1307-8 Combination of local feture detection methods for digitial video stabilization ZHANG Y ， BAI X Z ， WANG T . Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure ［J］. Information Fusion ， 2017 ， 35 ： 81 - 101 . doi: 10.1016/j.inffus.2016.09.006 http://dx.doi.org/10.1016/j.inffus.2016.09.006 Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure 周哓玲 ， 江泽涛 . 结合脉冲耦合神经网络与引导滤波的红外与可见光图像融合 ［J］. 光学学报 ， 2019 ， 39 （ 11 ）： 1110003 . doi: 10.3788/aos201939.1110003 http://dx.doi.org/10.3788/aos201939.1110003 结合脉冲耦合神经网络与引导滤波的红外与可见光图像融合 ZHOU X L ， JIANG Z T . Infrared and visible image fusion combining pulse-coupled neural network and guided filtering ［J］. Acta Optica Sinica ， 2019 ， 39 （ 11 ）： 1110003 . （in Chinese） . doi: 10.3788/aos201939.1110003 http://dx.doi.org/10.3788/aos201939.1110003 Infrared and visible image fusion combining pulse-coupled neural network and guided filtering Miao Q G ， Wang B S . A novel algorithm of multi-focus image fusion using adaptive PCNN ［J］. Journal of Electronics & Information Technology ， 2006 ， 28 （ 3 ）： 465 - 470 . A novel algorithm of multi-focus image fusion using adaptive PCNN MA J L ， ZHOU Z Q ， WANG B ， et al . Infrared and visible image fusion based on visual saliency map and weighted least square optimization ［J］. Infrared Physics & Technology ， 2017 ， 82 ： 8 - 17 . doi: 10.1016/j.infrared.2017.02.005 http://dx.doi.org/10.1016/j.infrared.2017.02.005 Infrared and visible image fusion based on visual saliency map and weighted least square optimization ZHANG Y ， ZHANG L J ， BAI X Z ， et al . Infrared and visual image fusion through infrared feature extraction and visual information preservation ［J］. Infrared Physics & Technology ， 2017 ， 83 ： 227 - 237 . doi: 10.1016/j.infrared.2017.05.007 http://dx.doi.org/10.1016/j.infrared.2017.05.007 Infrared and visual image fusion through infrared feature extraction and visual information preservation FU Z Z ， ZHAO Y F ， XU Y W ， et al . Gradient structural similarity based gradient filtering for multi-modal image fusion ［J］. Information Fusion ， 2020 ， 53 ： 251 - 268 . doi: 10.1016/j.inffus.2019.06.025 http://dx.doi.org/10.1016/j.inffus.2019.06.025 Gradient structural similarity based gradient filtering for multi-modal image fusion ZHANG Y ， LIU Y ， SUN P ， et al . IFCNN： a general image fusion framework based on convolutional neural network ［J］. Information Fusion ， 2020 ， 54 ： 99 - 118 . doi: 10.1016/j.inffus.2019.07.011 http://dx.doi.org/10.1016/j.inffus.2019.07.011 IFCNN： a general image fusion framework based on convolutional neural network WANG Z ， BOVIK A C . A universal image quality index ［J］. IEEE Signal Processing Letters ， 2002 ， 9 （ 3 ）： 81 - 84 . doi: 10.1109/97.995823 http://dx.doi.org/10.1109/97.995823 A universal image quality index HAN Y ， CAI Y Z ， CAO Y ， et al . A new image fusion performance metric based on visual information fidelity ［J］. Information Fusion ， 2013 ， 14 （ 2 ）： 127 - 135 . doi: 10.1016/j.inffus.2011.08.002 http://dx.doi.org/10.1016/j.inffus.2011.08.002 A new image fusion performance metric based on visual information fidelity 10.37188/OPE.20223009.1123 TP391.41 A 1004-924X（2022）09-1123-16 杨艳春,裴佩佩,党建武等.基于交替梯度滤波器和改进PCNN的红外与可见光图像融合[J].光学精密工程,2022,30(09):1123-1138. 杨艳春,裴佩佩,党建武等.基于交替梯度滤波器和改进PCNN的红外与可见光图像融合[J].光学精密工程,2022,30(09):1123-1138. YANG Yanchun,PEI Peipei,DANG Jianwu,et al.Infrared and visible image fusion based on alternating gradient filter and improved PCNN[J].Optics and Precision Engineering,2022,30(09):1123-1138. YANG Yanchun,PEI Peipei,DANG Jianwu,et al.Infrared and visible image fusion based on alternating gradient filter and improved PCNN[J].Optics and Precision Engineering,2022,30(09):1123-1138. 长江学者和创新团队发展计划资助项目（No.IRT_16R36）；国家自然科学基金资助项目（No.62067006，No.61562057）；甘肃省科技计划项目（No.18JR3RA104）；甘肃省高等学校产业支撑计划项目（No.2020C-19）；兰州市科技计划项目（No.2019-4-49）；2022年甘肃省高等学校青年博士基金资助项目；甘肃省自然科学基金资助项目（No.21JR7RA300）；兰州交通大学天佑创新团队（No.TY202003）；兰州交通大学-天津大学联合创新基金资助项目（No.2021052） 2021-11-12 2021-11-29 2022-05-10 2022-05-26 光学精密工程 9 30