基于WEMD和生成对抗网络重建的红外与可见光图像融合

基于WEMD和生成对抗网络重建的红外与可见光图像融合 Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction corresp first-author E-mail： yangyanchun102@sina.com E-mail： yangyanchun102@sina.com 杨艳春（1979-），女，新疆五家渠人，副教授，博士，硕士生导师，2002年于兰州交通大学获得工学学士，2007年于兰州交通大学获得硕士学位，2014年于兰州交通大学获得博士学位，目前研究的方向是图像融合和图像处理。E-mail： yangyanchun102@sina.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183208&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183212&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183210&type= 22.01332855 32.00399780 杨艳春 （1979-），女，新疆五家渠人，副教授，博士，硕士生导师，2002年于兰州交通大学获得工学学士，2007年于兰州交通大学获得硕士学位，2014年于兰州交通大学获得博士学位，目前研究的方向是图像融合和图像处理。E-mail： yangyanchun102@sina.com yangyanchun102@sina.com 高晓宇（1997-），男，内蒙古乌兰察布人，硕士研究生，2019年于兰州交通大学大学获得理学学士，主要研究方向是图像融合和图像处理。E-mail： xiaoyu19971101@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183216&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183220&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183218&type= 22.01332855 32.00399017 高晓宇 （1997-），男，内蒙古乌兰察布人，硕士研究生，2019年于兰州交通大学大学获得理学学士，主要研究方向是图像融合和图像处理。E-mail： xiaoyu19971101@163.com xiaoyu19971101@163.com 兰州交通大学 电子与信息工程学院，甘肃 兰州 730070 兰州交通大学 电子与信息工程学院，甘肃 兰州 730070 School of Electronic and Information Engineering， Lanzhou Jiaotong University， Lanzhou 730070， China School of Electronic and Information Engineering， Lanzhou Jiaotong University， Lanzhou 730070， China 针对红外与可见光图像融合中边缘模糊、对比度较低的问题，提出一种二维窗口经验模式分解（WEMD）和生成对抗网络（GAN）重建的红外与可见光图像融合算法。首先，将红外和可见光图像进行WEMD分解得到内蕴模式函数分量（IMF）和残余分量，将IMF分量通过主成分分析进行融合，残余分量用加权平均进行融合，重构得到初步融合图像，再将初步融合图像输入到GAN中与可见光图像进行对抗博弈，补全一些背景信息，得到最终的融合图像。其中客观评价指标分别运用平均梯度（AG），边缘强度（EI），熵值（EN），结构相似性（SSIM），和互信息（MI）与其他五种方法相比平均提高了46.13%，39.40%，19.91%，3.72%，33.1%。实验结果表明，本文算法较好地保留了源图像的边缘及纹理细节信息，同时突出了红外图像的目标，具有较好的可视性，而且在客观评价指标方面也有明显的优势。 Aiming at the problem of blurred edges and low contrast in the fusion of infrared and visible images， a two-dimensional window empirical mode decomposition （WEMD） and Infrared and visible light image fusion algorithm for GAN reconstruction is proprosed. First， the infrared and visible light images are decomposed by WEMD to obtain intrinsic mode function components （IMF） and residual components. The IMF components are fused through principal component analysis， and the residual components are fused by weighted average.The preliminary fused image is reconstructed.The preliminary fusion image is input into the GAN to play against the visible light image， and some background information is supplemented to obtain the final fusion image. The average gradient （AG）， edge strength （EI）， entropy （EN）， structural similarity （SSIM）， and mutual information （MI） were used for objective evaluation， respectively， which increased by 46.13%， 39.40%， 19.91%， 3.72%， and 33.1% compared with the other five methods.The experimental results show that the algorithm in this paper better retains the edge and texture details of the sources image， and at the same time highlights the target of the infrared image， has better visibility， and has obvious advantages in objective evaluation indicators. 图像融合 二维窗口经验模式分解 红外与可见光图像 生成对抗网络 image fusion window empirical mode decomposition infrared and visible images generative adversarial network 1 引　言 1 图像融合是从不同传感器捕获的图像中提取最有意义的信息，并将多个源图像的互补信息生成一幅信息更完备、对后续应用更有利的图像 ［ 1 1 ］ 。具体来说，红外成像通过捕捉热辐射信息差异而形成红外图像，与可见光图像相比，红外图像对成像环境比较有鲁棒性，所捕获的红外图像具有显著的对比度，能有效地将热目标与背景区分开。然而对比度、分辨率和细节刻画等方面红外图像又远不如可见光图像，但可见光图像容易受天气、光照等因素影响，且无法有效突出目标。通过红外与可见光图像融合实现两种图像的优势互补，生成的图像既能突出目标区域又有丰富的纹理细节。目前这种技术广泛应用于军事领域 ［ 2 2 ］ 、安全监控 ［ 3 3 ］ 、医疗科学技术 ［ 4 4 ］ 、遥感领域 ［ 5 5 ］ 和机器视觉 ［ 6 6 ］ 。 随着图像融合领域的不断发展，新的融合方法不断提出，而且融合效率也明显提高。 基于多尺度变换的方法是图像融合中的有力工具，比如小波 ［ 7 7 ］ 、金字塔 ［ 8 8 ］ 、曲波 ［ 9 9 ］ 以及它们的修正版本。这些方法取得了一定的融合效果，但得到融合结果耗时长，效率低。经验模态分解（Emperical Mode Decomposition，EMD） ［ 10 10 ］ 是Huang在1998年提出的，它可以分解一维非线性和非平稳信号。诸多学者将一维信号分解扩展到二维图像信号分解，并且已经逐步地发展成熟。文献 ［ 11 11 ］ 提出了一种基于二维经验模态分解（BEMD）的图像融合方法，利用BEMD进行分解，各自分量对应一个融合规则，最后各自分量相加得到融合结果。文献 ［ 12 12 ］ 提出了一种分级多尺度融合的水下偏振图像处理方法，基于二维经验模式分解分别将偏振参量融合图像与偏振强度图像进行多尺度变换，对得到的高低频子图像分别进行加权平均融合，融合权重是采用穷举搜索法计算得到，最后，将高低频融合结果反变换得到最终融合图像。深度学习可以自动从数据中提取独有的特征，而无需人工干预，在图像融合中得到了广泛地应用。文献 ［ 13 13 ］ 利用深度学习框架生成源图像特征的单幅图像，较好地保留了源图像的重要特征，取得了较好的融合效果。文献 ［ 14 14 ］ 用对抗生成网络（Generative Adversarial Networks，GAN）来融合红外与可见光这两种类型的信息，其中生成器的目标是生成具有主要红外强度和附加可见梯度的融合图像，鉴别器的目标是迫使融合图像具有可见图像中存在的更多细节，这使得最终的融合图像同时保持红外图像中的热辐射和可见图像中的纹理信息。 通过分析目前的研究方法，红外可见光图像融合存在以下问题：（1）部分方法利用二维经验BEMD的优良分解特性。在使用BEMD算法分解图像时会存在信号隐藏问题，无法完全将信号完全分离出来，对图像边缘和纹理提取不充分。（2）生成对抗网络训练过程中会产生梯度消失的现象，无法达到纳什均衡。 为解决以上问题，本文提出一种基于WEMD和生成对抗网络重建的红外与可见光图像融合算法。本文利用窗口经验模式分解算法的高频细节信息的强获取能力，可以更好地提取可见光中的背景信息，分解成残余分量和内蕴模式函数分量（Intrinsic Mode Function，IMF）。残余分量则相当于低频信息，融合规则采用加权平均的方法，重构得到初步的融合图像。代表高频信息的IMF分量采用主成分分析（PCA）的融合规则进行融合，生成初步融合图。将得到的初步融合图像输入到生成对抗网络中，针对训练不稳定的问题，将生成对抗网络的目标函数由交叉熵损失替换为最小二乘损失，增强图像细节特征的提取能力。为了验证算法的有效性，与其他5种方法进行对比，本文方法在解决信号隐藏问题的基础上，保留了图像的边缘及纹理等细节信息，具有较好的可视性。 2 理论分析 1 2.1　窗口经验模式分解 2 对于传统的BEMD在许多领域证明其有效性，但是也存在着信号隐藏和收敛速度慢的问题，因为BEMD在计算平均包络时，运用了插值算法，插值算法在端点处和频率变化较大的区域会出现较大的摆动，随着分解层数的增加，得到的分解数据会出现严重的失真。BEMD的分解停止条件是通过计算标准差来决定的，而这种筛选过程不具备快速收敛性，影响了运算速度。针对所存在的问题提出了一种二维窗口经验模式分解（Window Empirical Mode Decomposition，WEMD）在BEMD的基础上，增加了一个自适应窗口，替代了BEMD中通过插值算法计算出上下包络的方法，很好地克服了信号隐藏问题 ［ 15 15 ］ ，并且舍弃了根据标准差的停止筛选条件，有效提高了算法的运算速度。窗口经验模式分解可以很好地解决信号隐藏问题，如 图1 图1 所示： 它的基本算法流程如下： （1）初始化， <math id="M1"><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>=</mo><mi>S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183228&type= 9.82133293 3.72533321 （ S 为原信号），分解层数为i，找到 <math id="M2"><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183235&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183233&type= 5.84200001 3.72533321 的 <math id="M3"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183246&type= 6.43466663 3.80999994 和 <math id="M4"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183252&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183250&type= 6.09600019 3.80999994 ，其中 <math id="M5"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183246&type= 6.43466663 3.80999994 为极大值点， <math id="M6"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183252&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183250&type= 6.09600019 3.80999994 数为极小值点 （2）对当前第 i 层，进行加窗处理： ①初始化一个大小为 <math id="M7"><mi>T</mi><mo>×</mo><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183255&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183254&type= 10.24466610 2.79399991 的窗口， T =3且设定最大窗口为D×D； ②以初始点为中心，当窗口内 <math id="M8"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>=</mo><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183260&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183258&type= 17.52599907 3.80999994 （N为像素个数），则求m（m为窗口内像素均值），然后转到步骤④；否则继续执行步骤③； ③ T = T +2，如果 T < D ，转到步骤②；否则求m； ④计算下一像素，转到步骤②，直到计算完所有像素点； （3）每个像素点的局部均值构成图像 <math id="M9"><msub><mrow><mi>l</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183264&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183262&type= 5.50333309 3.72533321 ，计算可得 <math id="M10"><mi>I</mi><mi>M</mi><msub><mrow><mi>F</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mi>i</mi><mo>=</mo><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183268&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183267&type= 62.73799896 4.23333359 ； （4）重复步骤（2）至（3），直到 <math id="M11"><msub><mrow><mi>c</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183273&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183271&type= 2.28600001 3.72533321 的极值数小于2。 2.2　生成对抗网络框架 2 生成对抗网络将生成模型设计成一个学习概率参数的模型，为了使真实分布数据和生成模型之间的散度最小化，通过一个最大最小博弈对抗过程同时训练两个模型来估计生成模型：生成模型G和鉴别模型D ［ 16 16 ］ 。生成器G将生成的一个样本去欺骗鉴别器D，鉴别器D则是区分真假图像。在训练过程中进行对抗学习来提高两个模型的性能，产生更高质量的图像。它的目标函数定义为： <math display="block" id="M12"><mtable columnalign="left"><mtr><mtd><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>G</mi></mrow></munder><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>D</mi></mrow></munder><mi>V</mi><mo stretchy="false">(</mo><mi>D</mi><mo>,</mo><mi>G</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>∼</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>d</mi><mi>a</mi><mi>t</mi><mi>a</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mi>D</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>∼</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>G</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>D</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183277&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183275&type= 65.53199768 10.66800022 当训练G时，鉴别器D中的参数是不变的。G和D的对抗过程构成了两人最小最大博弈，其中G试图愚弄D，而D被训练来鉴别生成的数据。因此，鉴别器很难区分生成的样本和真实数据。现有的基于GAN的融合方法仅仅应用GAN来迫使融合图像在可见光图像中获得更多细节，而红外图像中的热辐射仅通过内容损失获得。随着对抗博弈的进行，融合后的图像与可见光图像更加相似，热目标的突出度逐渐降低。利用双鉴别器可以很好地解决以上的问题。 3 本文方法 1 将源图像通过WEMD分解得到残余分量和IMF分量，通过加权平均对残余分量进行融合。IMF分量则采用PCA主成分分析法进行融合，PCA方法的降维处理方式应用在图像处理上往往容易获得大尺度下的纹理和细节信息，将PCA应用于IMF分量的融合，可以很好地对IMF分量中的细节、线条和边缘进行捕捉和刻画，从而保留图像的主要的细节信息。最后将得到的各分量的融合图像累加得到初步的融合图像，将初步融合图像输入到生成对抗网络中进行细节重建，得到最终的融合图像。基于WEMD分解的算法流程如 图2 图2 ，过程如下： （1）先将IR，VIS通过WEMD分别分解为残余分量 <math id="M13"><msub><mrow><mi>R</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>,</mo><msub><mrow><mi>R</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183288&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183286&type= 10.41399956 4.14866638 和IMF分量 <math id="M14"><msub><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183293&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183290&type= 7.53533268 4.14866638 ； （2）选用加权平均来融合残余分量，利用PCA融合IMF分量，得到各个分量融合图，重构得到初步的融合图像； （3）再将得到的初步融合图像输入到生成对抗网络中进行细节重建得到最终的融合图像。 3.1　融合部分 2 经过WEMD分解红外图像A和可见光图像B分别得到残余分量 <math id="M15"><msub><mrow><mi>R</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>,</mo><msub><mrow><mi>R</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183330&type= 10.41399956 4.14866638 和IMF分量 <math id="M16"><msub><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183336&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183334&type= 2.87866688 3.72533321 ， <math id="M17"><msub><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183341&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183338&type= 2.70933342 3.72533321 ，残余分量用加权平均来进行融合，将 <math id="M18"><msub><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183336&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183334&type= 2.87866688 3.72533321 ， <math id="M19"><msub><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183341&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183338&type= 2.70933342 3.72533321 通过PCA主成分分析得到融合图像，具体步骤如下： （1）将红外图像A和可见光图像B分解得到残余分量 <math id="M20"><msub><mrow><mi>R</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>,</mo><msub><mrow><mi>R</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183320&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183317&type= 10.41399956 4.14866638 和IMF分量 <math id="M21"><msub><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183336&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183334&type= 2.87866688 3.72533321 ， <math id="M22"><msub><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183341&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183338&type= 2.70933342 3.72533321 。 （2）将残余分量 <math id="M23"><msub><mrow><mi>R</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>,</mo><msub><mrow><mi>R</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183330&type= 10.41399956 4.14866638 通过加权平均得到残余分量融合图像。 （3）将区域图像 <math id="M24"><msub><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183336&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183334&type= 2.87866688 3.72533321 ， <math id="M25"><msub><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183341&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183338&type= 2.70933342 3.72533321 作为矩阵T的列向量，然后对矩阵T按行进行零均值化： <math display="block" id="M26"><msubsup><mrow><mi>t</mi></mrow><mrow><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi>t</mi></mrow><mrow><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow></msub><mo>-</mo><mo>∑</mo><mi>t</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>/</mo><mn mathvariant="normal">2</mn><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183345&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183342&type= 41.48666382 4.74133301 ， 式中： t （ i ， j ）表示矩阵T中位置为（ i ， j ）处的元素， <math id="M27"><msubsup><mrow><mi>t</mi></mrow><mrow><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183349&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183347&type= 5.07999992 3.97933316 为对应位置处零均值化后的元素， <math id="M28"><mo>∑</mo><mi>t</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>/</mo><mn mathvariant="normal">2</mn><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183353&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183351&type= 21.25133324 4.74133301 表示按行求取均值。 （4）求出T每列维度之间的协方差矩阵 <math id="M29"><mi>C</mi><mi>o</mi><mi>v</mi><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>,</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183366&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183363&type= 18.03400040 4.48733330 ， <math id="M30"><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>,</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183361&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183359&type= 11.34533310 4.48733330 为每列对应的特征。 （5）计算协方差矩阵 <math id="M31"><mi>C</mi><mi>o</mi><mi>v</mi><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>,</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183366&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183363&type= 18.03400040 4.48733330 的特征值 <math id="M32"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183370&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183368&type= 7.70466709 4.14866638 对应的特征向量 <math id="M33"><msub><mrow><mi>l</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>l</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183374&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183372&type= 6.60400009 4.14866638 。 （6）将最大特征值 <math id="M34"><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183378&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183376&type= 17.78000069 4.48733330 对应的特征向量视作 <math id="M35"><msub><mrow><mi>l</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183382&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183380&type= 4.74133301 3.72533321 ，并通过归一化操作求得主成分分量： <math display="block" id="M36"><msub><mrow><mi>K</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>l</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow><mrow><mo>∑</mo><msub><mrow><mi>l</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></mfrac><mtable><mtr><mtd/><mtd><msub><mrow><mi>K</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo></mtd></mtr></mtable><mfrac><mrow><msub><mrow><mi>l</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow><mrow><mo>∑</mo><msub><mrow><mi>l</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183387&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183385&type= 54.86399841 9.65200043 . （7）经过PCA后，得到权重 <math id="M37"><msub><mrow><mi>K</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>K</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183393&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183389&type= 9.82133293 4.14866638 ，目标区域图 <math id="M38"><msub><mrow><mi>I</mi></mrow><mrow><mi>F</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183396&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183394&type= 2.70933342 3.72533321 表示为： <math display="block" id="M39"><msub><mrow><mi>I</mi></mrow><mrow><mi>F</mi></mrow></msub><mo>=</mo><msub><mrow><mi>K</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msub><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>+</mo><msub><mrow><mi>K</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msub><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183400&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183398&type= 27.00866890 3.80999994 . （8）将得到的两部分融合图重构得到初步的融合图像。 3.2　细节重建部分 2 细节重建部分是将得到的初步融合图像输入生成对抗网络，通过生成器来生成虚假样本，利用双鉴别器与生成器对抗的过程中补全红外图像和可见光图像的信息。 3 . 2 . 1　生成器网络架构 3 生成器网络结构如 图3 图3 所示。如图所示，它是一个简单的五层卷积神经网络，其中第一层和第二层使用5×5滤波器，第三层和第四层使用3×3滤波器，最后一层使用1×1滤波器。每层的步幅设置为1。对于红外和可见光图像融合，每个下采样过程都会丢失源图像中的一些细节信息，这对融合很重要。因此，只引入卷积层。这也可以保持输入和输出的大小相同，因此，转置卷积层在我们的网络中是不必要的。此外，为了避免梯度消失的问题，遵循深度卷积GAN的规则进行批量归一化和激活函数。为了克服对数据初始化的敏感性，在前四层采用了批量归一化，批量归一化层可以使模型更加稳定，也可以帮助梯度有效地反向传播到每一层。为了避免随着网络加深出现的误差，引入残差网络。在前四层使用ReLU激活函数，最后一层使用tanh激活函数。 3 . 2 . 2　鉴别器的网络架构 3 鉴别器网络结构每一层都只有卷积操作如 图4 图4 ，如 图4 图4 所示。从第一层到第四层，卷积层中使用3 ×3的滤波器，并且在没有填充的情况下将步幅设置为2。鉴别器是一个分类器，它首先从输入图像中提取特征图，然后对它们进行分类。因此，通过将步幅设置为2，它的工作方式与汇集层相同。为了不在模型中引入噪声，只在第一层对输入图像执行填充操作，而在其余三个卷积层不执行填充。从第二层到第四层，使用批处理规范化层。为了避免随着层数的增加出现的误差，所以引入残差网络。每一层激活函数是Leaky ReLU函数。最后一层是线性层。 3 . 2 . 3　网络训练 3 为了解决GAN在网络训练中的不稳定的问题，在训练中引入内容丢失。因此，在本文中，生成器不仅被训练成欺骗鉴别者，而 且约束生成的图像和内容中的源图像之间的相似性的任务。因此，生成器的损失函数由两部分构成，损失函数定义为： <math display="block" id="M40"><msub><mrow><mi>L</mi></mrow><mrow><mi>G</mi></mrow></msub><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>+</mo><mi>λ</mi><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183420&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183418&type= 29.37933159 3.80999994 ， 其中 <math id="M41"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183424&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183422&type= 5.33400011 3.72533321 来自鉴别器， <math id="M42"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183429&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183426&type= 1.77800000 2.79399991 是权重。 <math id="M43"><msub><mrow><mi>L</mi></mrow><mrow><mi>a</mi><mi>g</mi><mi>a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183433&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183431&type= 5.58799982 3.72533321 定义为： <math display="block" id="M44"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>a</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>b</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183438&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183435&type= 81.19533539 4.65666676 ， 式中： <math id="M45"><msub><mrow><mi>D</mi></mrow><mrow><mi>a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183443&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183441&type= 3.97933316 3.72533321 和 <math id="M46"><msub><mrow><mi>D</mi></mrow><mrow><mi>b</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183447&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183445&type= 3.97933316 3.72533321 是两个鉴别函数， <math id="M47"><mi>G</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183451&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183449&type= 7.36600018 3.55599999 是生成函数，内容损失定义如下： <math display="block" id="M48"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><mi>η</mi><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>-</mo><mi>a</mi><mo stretchy="false">)</mo><mo stretchy="false">|</mo><msubsup><mrow><mo stretchy="false">|</mo></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><mi>β</mi><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi>G</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>-</mo><mi>b</mi><mo stretchy="false">|</mo><msubsup><mrow><mo stretchy="false">|</mo></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183455&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183453&type= 67.73333740 5.07999992 ， 式中： <math id="M49"><mi>η</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183460&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183457&type= 1.86266661 3.64066648 和 <math id="M50"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183464&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183462&type= 1.94733346 3.80999994 权衡像素强度和梯度变化的差异， <math id="M51"><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mo>⋅</mo><mo stretchy="false">|</mo><msubsup><mrow><mo stretchy="false">|</mo></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183469&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183467&type= 6.26533365 4.65666676 是一种F-范式，a和b是真实数据的标签。鉴别器的损失定义为： <math display="block" id="M52"><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>a</mi></mrow></msub></mrow></msub><mo>=</mo><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>a</mi></mrow></msub><mo stretchy="false">(</mo><mi>a</mi><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>a</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183473&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183471&type= 68.91867065 5.07999992 ， <math display="block" id="M53"><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>b</mi></mrow></msub></mrow></msub><mo>=</mo><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>b</mi></mrow></msub><mo stretchy="false">(</mo><mi>b</mi><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>b</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183477&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183475&type= 68.74933624 5.07999992 . 4 实验结果与分析 1 为验证本文算法的可行性与有效性，实验中选取六组经过配准的红外与可见光图像进行融合，其大小分别为632×496 pixel，640×480 pixel，620×450 pixel，360×270pixel，595×328 pixel和768×576 pixel。网络模型运用tensorflow框架。实验的仿真平台采用配置为Intel酷睿i5-4210H CPU，运行内存8 GB，操作系统为Win 10，编程环境为python 3.6。如 图5 图5 所示，将本文方法与5种方法进行对比，自适应稀疏表示（ASR） ［ 17 17 ］ ，通过红外特征提取和视觉信息保存实现红外与视觉图像融合（EP） ［ 18 18 ］ ，基于卷积稀疏性的形态学成分分析方法（CSMCA） ［ 19 19 ］ ，集成卷积神经网络方法（ECNN） ［ 20 20 ］ ，文献［ 14 14 ］生成对抗网络（GAN）进行对比。 1;2; 如 图5 图5 ，第一组EP方法很好的突出了高亮区域，但遗漏了很多可见光图像中的信息，而其他方法没有很好突出红外信息，本文方法在保持细节信息的同时，保持足够的红外信息。第二组对比方法的融合结果丢失了一些红外信息，本文方法中很好的体现出了飞机螺旋桨的红外信息，有更好的对比度。本文方法很好的体现了红外目标信息，并保有一定得到背景细节信息。第三组很好的保留了房子周围树木的纹理细节，EP方法有明显的遮挡，GAN方法保留了目标建筑物的显著性，但周边树木的纹理结构却不够丰富。而本文方法很好的突出了红外目标的信息。第四组图像在标出的路面上损失了很多背景信息，CSMCA方法和ECNN方法融合得到的图像虽然突出了前景目标信息，但两个方法丢失了部分细节、纹理信息。相比而言，本文算法对路面的纹理保留得最好，且有效地突出了高亮区域。第五组EP和ECNN具有明显的融合处理痕迹，比如树林的背景被虚化、人体线条失真，且源图像区域间成像特性差异越大、特征变化越急剧处，这种效应越明显，对比之下，ASR、本文方法则较为自然。第六组图片从图可以看出，房子周围的树木模糊，天空中的云出现失真的现象，本文算法可以清晰地看到树木和云朵的纹理信息，相比其他方法具有明显优势。 为了更好地评价图像质量，本文采用了五种值越大融合效果越好客观评价指标，如 表1 表1 所示，对多组图像进行客观的评价。这五种评价指标分别是平均梯度 ［ 23 23 ］ （Average Gradient，AG），边缘强度 ［ 24 24 ］ （Edge Intensity，EI），熵值 ［ 25 25 ］ （Entropy，EN），结构相似性 ［26］ （Structural Similarity，SSIM），和互信息 ［27］ （Mutual Information，MI）。 Fusion method AG EI EN SSIM MI 6 Image1 ASR 6.089 8 49.085 9 6.182 4 0.77 0.378 6 EP 2.447 7 19.428 0 5.869 6 0.778 0 0.322 2 CSMCA 3.968 7 18.750 4 6.322 4 0.794 2 1.204 3 ECNN 4.576 8 20.485 7 6.459 8 0.845 7 1.125 4 GAN 3.806 0 13.930 3 5.758 1 0.800 0 0.138 5 Proposed 7.367 0 50.291 5 7.367 0 0.803 2 0.882 9 Fusion method AG EI EN SSIM MI 6 Image2 ASR 6.633 3 40.386 1 6.436 4 0.698 3 0.324 1 EP 2.870 4 23.452 0 5.607 6 0.695 9 0.882 5 CSMCA 4.768 0 19.434 4 6.519 1 0.710 6 0.709 9 ECNN 4.742 1 18.867 5 6.482 1 0.712 4 0.795 6 GAN 3.016 9 13.523 7 4.562 8 0.758 9 0.114 Proposed 7.388 4 55.040 2 7.385 7 0.661 8 0.896 9 6 Image3 ASR 3.547 6 22.188 7 5.947 8 0.938 6 0.262 4 EP 5.295 7 34.146 0 6.766 8 0.782 0 0.616 2 CSMCA 2.352 1 15.846 2 6.388 3 0.848 2 0.440 7 ECNN 2.185 4 19.357 8 6.258 4 0.854 6 0.798 4 GAN 4.321 3 18.896 6.713 1 0.824 1 0.280 8 Proposed 6.325 4 40.236 4 7.112 3 0.845 6 0.812 7 6 Image4 ASR 3.787 4 33.006 3 6.296 3 0.811 1 0.294 6 EP 6.632 0 34.297 0 6.979 9 0.558 4 0.453 5 CSMCA 4.031 8 17.754 1 6.686 2 0.687 9 0.596 3 ECNN 2.324 8 21.386 5 6.945 8 0.724 8 0.865 4 GAN 4.197 1 14.892 1 7.069 4 0.812 2 0.227 5 Proposed 6.712 3 45.796 0 7.510 9 0.782 8 1.125 6 6 Image5 ASR 7.548 7 26.845 7 7.154 8 0.258 7 0.295 8 EP 7.857 4 38.311 7 6.808 5 0.727 2 0.363 4 CSMCA 4.707 5 18.262 7 6.690 2 0.673 1 0.275 1 ECNN 3.548 7 26.354 7 6.754 8 0.715 4 0.548 7 GAN 4.551 1 15.941 3 6.552 3 0.710 4 0.305 9 Proposed 7.195 5 54.262 0 7.223 0 0.737 5 0.791 5 6 Image6 ASR 4.759 9 30.117 8 6.607 1 0.770 2 0.280 5 EP 5.419 5 33.449 7 7.093 6 0.723 9 0.888 1 CSMCA 3.094 9 19.237 4 6.737 3 0.777 5 0.772 7 ECNN 3.214 8 18.657 8 6.985 4 0.754 6 0.854 7 GAN 3.439 7 17.430 9 7.076 9 0.785 5 0.297 7 Proposed 5.936 5 46.171 8 7.610 7 0.832 7 1.533 0 1;2; 为了对上面的融合图像更加客观公正地进行评价，通过五种客观评价指标进行评价，本文效果优于对比融合方法。本文算法较好地保留了图像的边缘及纹理细节信息，同时突出了红外图像的目标，具有较好的对比度和清晰度。 运行效率也是评估算法性能的重要标准之一，所以统计了对比方法在TNO数据集上的运行时间来比较它们的运行效率，结果如 表2 表2 所示。因为EP方法运用的为传统方法，所以运行时间较短，其他方法需要通过字典或网络来生成融合图像，本文所提方法在TNO数据集上的运行效率比多数方法都快。 Fusion algorithm TNO ASR 333.99 EP 0.13 CSMCA 405.69 ECNN 121.34 GAN 60.13 Proposed 40.57 秒 5 结　论 1 本文提出了一种基于WEMD和生成对抗网络重建的红外与可见光图像融合方法，不仅有效的解决图像分解中信号隐藏的问题，而且能够有效的保持边缘和纹理等细节信息，提高图像的对比度。WEMD算法对各层有好的细节信息提取能力，将图像分解为残余分量和IMF分量，IMF分量可以通过阈值将细节和背景分离开来，更好的提取高频信息。最后重构得到初步的融合图像，初步融合图再通过生成对抗网络的细节重建，补全一些丢失的细节纹理信息。与其他方法相比，能更加丰富图像中的纹理和细节，提高了图像的对比度和清晰度，是一种有效的融合方法。其中客观评价指标分别运用平均梯度（AG），边缘强度（EI），熵值（EN），结构相似性（SSIM），和互信息（MI）与其他五种方法相比平均提高了46.13%，39.40%，19.91%，3.72%，33.1%。在图像融合中会受到噪声的影响，提出更具鲁棒性的融合规则是今后努力的方向。 参考文献 刘先红 ， 陈志斌 ， 秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合 ［J］. 光学 精密工程 ， 2018 ， 26 （ 5 ）： 1242 - 1253 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合 LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Optics and Precision Engineering ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） Infrared and visible image fusion using guided filter and convolutional sparse representation SINGH R ， VATSA M ， NOORE A . Integrated multilevel image fusion and match score fusion of visible and infrared face images for robust face recognition ［J］. Pattern Recognition ， 2008 ， 41 （ 3 ）： 880 - 893 . Integrated multilevel image fusion and match score fusion of visible and infrared face images for robust face recognition HAN J ， BHANU B . Fusion of color and infrared video for moving human detection ［J］. Pattern Recognition ， 2007 ， 40 （ 6 ）： 1771 - 1784 . Fusion of color and infrared video for moving human detection REINHARD E ， ADHIKHMIN M ， GOOCH B ， et al . Color transfer between images ［J］. IEEE Computer Graphics and Applications ， 2001 ， 21 （ 5 ）： 34 - 41 . Color transfer between images 冯维 ， 吴贵铭 ， 赵大兴 ， 等 . 多图像融合Retinex用于弱光图像增强 ［J］. 光学 精密工程 ， 2020 ， 28 （ 3 ）： 736 - 744 . 多图像融合Retinex用于弱光图像增强 FENG W ， WU G M ， ZHAO D X ， et al . Multi images fusion Retinex for low light image enhancement ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 3 ）： 736 - 744 . （in Chinese） Multi images fusion Retinex for low light image enhancement 殷明 ， 段普宏 ， 褚标 ， 等 . 基于非下采样双树复轮廓波变换和稀疏表示的红外和可见光图像融合 ［J］. 光学 精密工程 ， 2016 ， 24 （ 7 ）： 1763 - 1771 . 基于非下采样双树复轮廓波变换和稀疏表示的红外和可见光图像融合 YIN M ， DUAN P H ， CHU B ， et al . Fusion of infrared and visible images combined with NSDTCT and sparse representation ［J］. Optics and Precision Engineering ， 2016 ， 24 （ 7 ）： 1763 - 1771 . （in Chinese） Fusion of infrared and visible images combined with NSDTCT and sparse representation ALI S S ， RIAZ M M ， GHAFOOR A . Fuzzy logic and additive wavelet-based panchromatic sharpening ［J］. IEEE Geoscience and Remote Sensing Letters ， 2014 ， 11 （ 1 ）： 357 - 360 . Fuzzy logic and additive wavelet-based panchromatic sharpening CHEN G ， LI L ， JIN W Q ， et al . Weighted sparse representation and gradient domain guided filter pyramid image fusion based on low-light-level dual-channel camera ［J］. IEEE Photonics Journal ， 2019 ， 11 （ 5 ）： 1 - 15 . Weighted sparse representation and gradient domain guided filter pyramid image fusion based on low-light-level dual-channel camera CHOI M ， KIM R Y ， NAM M R ， et al . Fusion of multispectral and panchromatic Satellite images using the curvelet transform ［J］. IEEE Geoscience and Remote Sensing Letters ， 2005 ， 2 （ 2 ）： 136 - 140 . Fusion of multispectral and panchromatic Satellite images using the curvelet transform HUANG N E ， SHEN Z ， LONG S R ， et al . The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis ［J］. Proceedings of the Royal Society of London Series A： Mathematical ， Physical and Engineering Sciences， 1998 ， 454 （ 1971 ）： 903 - 995 . The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis YANG J K ， GUO L ， YU S W ， et al . A new multi-focus image fusion algorithm based on BEMD and improved local energy ［J］. Journal of Software ， 2014 ， 9 （ 9 ）： 2329 - 2334 . A new multi-focus image fusion algorithm based on BEMD and improved local energy 王慧斌 ， 廖艳 ， 沈洁 ， 等 . 分级多尺度变换的水下偏振图像融合法 ［J］. 光子学报 ， 2014 ， 43 （ 5 ）： 192 - 198 . 分级多尺度变换的水下偏振图像融合法 WANG H B ， LIAO Y ， SHEN J ， et al . Method of underwater polarization image fusion based on hierarchical and multi-scale transform ［J］. Acta Photonica Sinica ， 2014 ， 43 （ 5 ）： 192 - 198 . （in Chinese） Method of underwater polarization image fusion based on hierarchical and multi-scale transform LI H ， WU X J ， KITTLER J . Infrared and visible image fusion using a deep learning framework ［C］. 2018 24th International Conference on Pattern Recognition （ICPR） . August 20-24， 2018 ， Beijing， China . IEEE ， 2018 ： 2705 - 2710 . Infrared and visible image fusion using a deep learning framework MA J Y ， YU W ， LIANG P W ， et al . FusionGAN： a generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 . FusionGAN： a generative adversarial network for infrared and visible image fusion 朱攀 ， 黄战华 . 基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合 ［J］. 光电子·激光 ， 2017 ， 28 （ 10 ）： 1156 - 1162 . 基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合 ZHU P ， HUANG ZH H . Fusion of infrared and visible images based on BEMD and GFL ［J］. Journal of Optoelectronics·Laser ， 2017 ， 28 （ 10 ）： 1156 - 1162 . （in Chinese） Fusion of infrared and visible images based on BEMD and GFL Radford A ， Metz L ， Chintala S . Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks ［J］. Computer Sciencec ， 2015 . Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks LIU Y ， WANG Z F . Simultaneous image fusion and denoising with adaptive sparse representation ［J］. IET Image Processing ， 2015 ， 9 （ 5 ）： 347 - 357 . Simultaneous image fusion and denoising with adaptive sparse representation ZHANG Y ， ZHANG L J ， BAI X Z ， et al . Infrared and visual image fusion through infrared feature extraction and visual information preservation ［J］. Infrared Physics & Technology ， 2017 ， 83 ： 227 - 237 . Infrared and visual image fusion through infrared feature extraction and visual information preservation LIU Y ， CHEN X ， WARD R K ， et al . Medical image fusion via convolutional sparsity based morphological component analysis ［J］. IEEE Signal Processing Letters ， 2019 ， 26 （ 3 ）： 485 - 489 . Medical image fusion via convolutional sparsity based morphological component analysis AMIN-NAJI M ， AGHAGOLZADEH A ， EZOJI M . Ensemble of CNN for multi-focus image fusion ［J］. Information Fusion ， 2019 ， 51 ： 201 - 214 . Ensemble of CNN for multi-focus image fusion SHEN Y ， WU Z D ， WANG X P ， et al . Tetrolet transform images fusion algorithm based on fuzzy operator ［J］. Journal of Frontiers of Computer Science and Technology ， 2015 ， 9 （ 9 ）： 1132 - 1138 . Tetrolet transform images fusion algorithm based on fuzzy operator XYDEAS C S ， PETROVIĆ V . Objective image fusion performance measure ［J］. Electronics Letters ， 2000 ， 36 （ 4 ）： 308 . Objective image fusion performance measure 闫莉萍 ， 刘宝生 ， 周东华 . 一种新的图像融合及性能评价方法 ［J］. 系统工程与电子技术 ， 2007 ， 29 （ 4 ）： 509 - 513 . 一种新的图像融合及性能评价方法 YAN L P ， LIU B SH ， ZHOU D H . Novel image fusion algorithm with novel performance evaluation method ［J］. Systems Engineering and Electronics ， 2007 ， 29 （ 4 ）： 509 - 513 . （in Chinese） Novel image fusion algorithm with novel performance evaluation method MA J Y ， MA Y ， LI C . Infrared and visible image fusion methods and applications： a survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 . Infrared and visible image fusion methods and applications： a survey QU G H ， ZHANG D L ， YAN P F . Information measure for performance of image fusion ［J］. Electronics Letters ， 2002 ， 38 （ 7 ）： 313 - 315 . Information measure for performance of image fusion TP391 A 1004-924X（XXXX）XX-0001-11 杨艳春,高晓宇,党建武等.基于WEMD和生成对抗网络重建的红外与可见光图像融合[J].光学精密工程,DOI:10.37188/OPE..0001 杨艳春,高晓宇,党建武等.基于WEMD和生成对抗网络重建的红外与可见光图像融合[J].光学精密工程,DOI:10.37188/OPE..0001 YANG Yan-chun,GAO Xiao-yu,DANG Jian-wu,et al.Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction[J].Optics and Precision Engineering,DOI:10.37188/OPE..0001 YANG Yan-chun,GAO Xiao-yu,DANG Jian-wu,et al.Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction[J].Optics and Precision Engineering,DOI:10.37188/OPE..0001 长江学者和创新团队发展计划资助（No.IRT_16R36）；国家自然科学基金（No.62067006）；甘肃省科技计划项目（No.18JR3RA104）；甘肃省高等学校产业支撑计划项目（No.2020C-19）；兰州市科技计划项目（No.2019-4-49）；兰州交通大学天佑创新团队（No.TY202003）；兰州交通大学-天津大学联合创新基金项目（No.2021052） 2021-05-27 2021-07-01 2021-08-25 光学精密工程