Image fusion of dual-discriminator generative adversarial network and latent low-rank representation

潜在低秩表示下的双判别器生成对抗网络的图像融合 Image fusion of dual-discriminator generative adversarial network and latent low-rank representation 1 first-author 袁代玉（1998-），女，湖北潜江人，硕士研究生，2019年于昆明理工大学获得学士学位，主要从事红外图像处理方面的研究。E-mail： 249529247@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375531&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375534&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375532&type= 22.01332855 32.00399780 袁代玉 （1998-），女，湖北潜江人，硕士研究生，2019年于昆明理工大学获得学士学位，主要从事红外图像处理方面的研究。E-mail： 249529247@qq.com 249529247@qq.com 1 corresp E-mail： lihuayuan@nchu.edu.cn E-mail： lihuayuan@nchu.edu.cn 袁丽华（1970-），女，江西赣州人，博士，副教授，硕士生导师，1998年于南昌大学获得硕士学位，2009年于南京航空航天大学获得博士学位，主要从事红外无损检测技术方面的研究。E-mail： lihuayuan@nchu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375535&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375543&type= 22.01333618 32.00399780 袁丽华 （1970-），女，江西赣州人，博士，副教授，硕士生导师，1998年于南昌大学获得硕士学位，2009年于南京航空航天大学获得博士学位，主要从事红外无损检测技术方面的研究。E-mail： lihuayuan@nchu.edu.cn lihuayuan@nchu.edu.cn 1 2 南昌航空大学 无损检测教育部重点实验室，江西 南昌 330063 南昌航空大学 无损检测教育部重点实验室，江西 南昌 330063 Key Laboratory of Nondestructive Testing （Ministry of Education）， Nanchang Hangkong University， Nanchang 330063， China Key Laboratory of Nondestructive Testing （Ministry of Education）， Nanchang Hangkong University， Nanchang 330063， China 中国航发沈阳黎明航空发动机有限责任公司，辽宁 沈阳 110043 中国航发沈阳黎明航空发动机有限责任公司，辽宁 沈阳 110043 AECC Shenyang Liming Aero-Engine Co.， LTD.， Shenyang 110043， China AECC Shenyang Liming Aero-Engine Co.， LTD.， Shenyang 110043， China 为了改善红外与可见光图像融合的视觉效果，通过潜在低秩表示将两种不同源的图像分别分解为各自的低秩分量和去除噪声的稀疏分量，采用KL变换确定权重对稀疏分量进行加权融合得到融合稀疏图。再对双判别器的生成对抗网络重设计，借助VGG16网络提取两种源的低秩分量特征作为该网络的输入，通过生成器和判别器的博弈来生成融合低秩图。最后，将融合稀疏图与融合低秩图进行叠加获得最终的融合结果。实验结果表明，在TNO数据集上，与所列的5种先进方法相比，本文所提出的方法在熵、标准差、互信息、差异相关性总和及多尺度结构相似度5种指标上均获得最优结果，相比于次优值，5种指标分别提高了2.43%，4.68%，2.29%，2.24%，1.74%。在RoadScene数据集上只在差异相关性总和及多尺度结构相似度两种指标上取得最优，另外3种指标仅次于GTF（gradient transfer and total variation minimization）方法，但图像视觉效果明显优于GTF方法。综合主观评价和客观评价分析，本文所提方法确实能获得高质量的融合图像，与多种方法相比具有明显的优势。 To improve the visual effect of infrared and visible image fusion， images from two different sources were decomposed into low-rank images and sparse images with noise removed by latent low-rank representation. Moreover， to obtain the fusion sparse plot， the KL transformation was used to determine the weights and weighted fusion of the sparse components. The generation adversarial network of the double discriminator was redesigned， and the low-rank component characteristics of the two sources were extracted as the inputs of the network through the VGG16 network. The fusion low-rank diagram was generated using the game of generator and discriminator. Finally， the fusion sparse image and the fusion low-rank image were superimposed to obtain the final fusion result. Experimental results showed that on the TNO dataset， compared with the five listed advanced methods， the five indicators of entropy， standard deviation， mutual information， sum of difference correlation， and multi-scale structural similarity increased by 2.43%， 4.68%， 2.29%， 2.24%， and 1.74%， respectively， when using the proposed method. For the RoadScene dataset， only two metrics， namely， the sum of the difference correlation and multi-scale structural similarity， were optimal. The other three metrics were second only to the GTF method. However， the image visualization effect was significantly better than the GTF method. Based on subjective evaluation and objective evaluation analysis， the proposed method can obtain high-quality fusion images， which has obvious advantages compared with the comparison method. 红外图像 可见光图像 潜在低秩表示 改进双判别器生成对抗网络 图像评价 infrared image visible image latent low-rank representation modified double-discriminator conditional generative adversarial network image evaluation 1 引 言 1 图像融合主要包含3个关键步骤，即特征提取、融合策略和图像重建。目前的融合方法分为传统方法和深度学习方法。传统方法包括多尺度变换、稀疏表示、子空间和显著性表示等 ［ 1 1 ］ 。Ma等 ［ 2 2 ］ 提出的WLS（weighted least square optimization）方法，通过高斯滤波及引导滤波将源图像分解为基础层和细节层，基础层通过视觉显著图来获得融合权重，细节层通过最小二乘法的优化来融合。该方法避免了传统多尺度分解方法中出现的边缘模糊情况，但是融合结果对比度不高。Ma等 ［ 3 3 ］ 提出的GTF（gradient transfer and total variation minimization）方法将融合看作是一个全变分最小化问题，能够很好地保留可见光的梯度信息，但像素强度会有所减小。 随着神经网络和深度学习技术的快速发展，为了提高图像融合效率，更好地实现实时图像融合，基于卷积神经网络的方法被应用于图像融合任务中。Li等 ［ 4 4 ］ 提出的DenseFuse，其结构与自编码器一致，由编码器和解码器组成，在编码器特征提取过程中采用密集块的操作将浅层特征与高层特征进行级联从而避免浅层特征的丢失，然而需要人工选择融合策略后才能通过解码器重构图像。为了让融合图像中能同时保留红外和可见光图像中的重要特征信息，Li等 ［ 5 5 ］ 考虑从多尺度的角度保留图像特征，提出了NestFuse，与DenseFuse结构一致，也是由编码器、融合策略和解码器组成，不同的是该方法的融合特征分别由每层卷积层提取的特征进行融合后提供，但是该方法也需要人工进行融合策略的选择。为设计一种可学习的融合策略，Li等 ［ 6 6 ］ 提出RFN-Nest，该方法在NestFuse的基础上对融合策略进行改进，将红外图像特征图与可见光图像特征图分为级联后卷积与卷积一次后级联的两路通道，最后对这两路通道的特征图进行叠加，然而这种方法生成的图像对比度低，目标不明显。由于生成对抗网络（Generative Adversarial Network，GAN） ［ 7 7 ］ 在各领域应用中都取得了不错的效果，Ma等 ［ 8 8 ］ 将GAN应用到图像融合任务中，提出了一种端到端的FusionGAN融合方法，该模型由生成器和判别器组成，通过两者的对抗学习来生成融合图像。然而，由于缺乏真实图像，在判别器中分类对象只有融合图像和可见光图像，在不断判别的过程中融合图像得以保留可见光的细节信息，但却忽略了存在于红外图像的部分细节信息。为了弥补FusionGAN中缺失的红外细节信息，Ma等 ［ 9 9 ］ 提出DDcGAN方法，该方法通过设计双判别器使得生成器在生成图像时同时考虑两种源图像的重要特征。 为了在融合结果中保留清晰的目标和丰富细节信息的同时减少边缘模糊和“晕”现象，本文提出一种基于潜在低秩表示框架下的改进双鉴别器对抗网络融合方法，采用潜在低秩表示将两种不同源的图像分解为带有全局信息的低秩分量和带有局部信息的稀疏分量，根据这两个分量的特征信息差异，设计特定的融合规则。本文算法结合潜在低秩表示的优势对源图像进行分解，根据不同分量特征信息的区别实现针对性融合，改进双判别器生成对抗网络的网络结构；在特征提取过程中采用预训练的VGG16网络提取，设计一个特征融合模块，对每个层次的源图像特征进行融合，由融合特征生成金字塔以实现多层级的特征融合来增强目标。 2 相关理论 1 2.1　潜在低秩表示 2 低秩表示（Low-rank Representat i on，LRR） ［ 10 10 ］ 是从数据矩阵中恢复低秩矩阵，可以描述为优化问题： <math display="block" id="M1"><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><msub><mrow><mfenced open="|" close="|" separators="|"><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>A</mi></mrow></mfenced></mrow></mfenced></mrow><mrow><mi>*</mi></mrow></msub><mo>+</mo><mi>λ</mi><mtext> </mtext><msub><mrow><mfenced open="|" close="|" separators="|"><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>E</mi></mrow></mfenced></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375555&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375553&type= 31.24200058 5.33400011 ， 式中： A 表示低秩矩阵； E 表示噪声矩阵； <math id="M2"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375559&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375557&type= 1.77800000 2.79399991 表示平衡系数； <math id="M3"><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mo>·</mo><mo stretchy="false">|</mo><msub><mrow><mo stretchy="false">|</mo></mrow><mrow><mi>*</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375552&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375560&type= 4.74133301 4.40266657 表示核范数； <math id="M4"><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mo>·</mo><mo stretchy="false">|</mo><msub><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375570&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375569&type= 4.74133301 4.40266657 表示l 1 范数。 为解决这一优化问题，以原图像数据矩阵作为字典来探索数据的多个子空间结构从而找到最小秩矩阵，即： <math display="block" id="M5"><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><msub><mrow><mfenced open="|" close="|" separators="|"><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>Z</mi></mrow></mfenced></mrow></mfenced></mrow><mrow><mi>*</mi></mrow></msub><mo>+</mo><mi>λ</mi><msub><mrow><mfenced open="|" close="|" separators="|"><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>E</mi></mrow></mfenced></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375584&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375567&type= 30.81866837 5.33400011 ， <math display="block" id="M6"><mi mathvariant="normal">s</mi><mo>.</mo><mi mathvariant="normal">t</mi><mo>.</mo><mtext>  </mtext><mi>X</mi><mo>=</mo><mi>X</mi><mi>Z</mi><mo>+</mo><mi>E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375587&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375585&type= 28.02466965 2.96333337 式中： X 表示原图像矩阵； Z 表示低秩系数矩阵； XZ 表示低秩矩阵。 当原图像矩阵不够丰富即字典不够完备或数据受损时，恢复低秩矩阵的质量会受到影响。Liu等 ［ 11 11 ］ 提出潜在低秩表示（Latent Low-rank representation，LatLRR），通过在字典中增加隐藏项来解决字典不完备的问题，即： <math display="block" id="M7"><mi>m</mi><mi>i</mi><mi>n</mi><mtext> </mtext><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi>Z</mi><mo stretchy="false">|</mo><msub><mrow><mo stretchy="false">|</mo></mrow><mrow><mi>*</mi></mrow></msub><mo>+</mo><mi>λ</mi><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi>E</mi><mo stretchy="false">|</mo><msub><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375576&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375574&type= 25.73866653 4.40266657 ， <math display="block" id="M8"><mi mathvariant="normal">s</mi><mo>.</mo><mi mathvariant="normal">t</mi><mo>.</mo><mtext>  </mtext><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">O</mi></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">O</mi></mrow></msub><mo>+</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">H</mi></mrow></msub></mrow></mfenced><mi>Z</mi><mo>+</mo><mi>E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375593&type= 44.45000076 4.06400013 式中： X O 表示已知图像矩阵， X H 表示隐藏数据矩阵。 式（3） 式（3） 可以简化为： <math display="block" id="M9"><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi>Z</mi><mo stretchy="false">|</mo><msub><mrow><mo stretchy="false">|</mo></mrow><mrow><mi>*</mi></mrow></msub><mo>+</mo><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi mathvariant="bold-italic">L</mi><mo stretchy="false">|</mo><msub><mrow><mo stretchy="false">|</mo></mrow><mrow><mi>*</mi></mrow></msub><mo>+</mo><mi>λ</mi><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi>E</mi><mo stretchy="false">|</mo><msub><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375582&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375596&type= 36.74533463 4.40266657 ， <math display="block" id="M10"><mi mathvariant="normal">s</mi><mo>.</mo><mi mathvariant="normal">t</mi><mo>.</mo><mtext> </mtext><mi>X</mi><mo>=</mo><mi>X</mi><mi mathvariant="bold-italic">Z</mi><mo>+</mo><mi mathvariant="bold-italic">L</mi><mi>X</mi><mo>+</mo><mi>E</mi><mtext> </mtext></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375601&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375599&type= 37.67666626 2.96333337 式中 L 表示显著系数矩阵。采用增广拉格朗日乘数法 ［ 12 12 ］ 对 式（4） 式（4） 求解获得系数矩阵 Z 和 L ，从而获得图像的低秩分量 X Z 和稀疏分量 L X 。 2.2　生成对抗网络 2 GAN是一个基于最小最大博弈游戏来简单有效地评估目标分布并生成新样本的方法。生成器（Generator，G）和判别器（Discriminator，D）是GAN模型的组成部分，生成器通过学习训练数据的规律生成新的样本，判别器用于区分真实数据和生成的新样本。GAN的实质是判别器和生成器间的对抗，模型训练过程中生成器的任务就是生成足以以假乱真的数据分布来“欺骗”鉴别器，判别器则需要不断判别出新样本，直至达到纳什均衡。生成器和判别器对抗博弈的目标函数为： <math display="block" id="M11"><mtable><mtr><mtd><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><msub><mrow><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="normal">G</mi></mrow></msub><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><msub><mrow><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="normal">D</mi></mrow></msub><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">N</mi></mrow></msub><mfenced separators="|"><mrow><mi>D</mi><mo>,</mo><mi>G</mi></mrow></mfenced><mo>=</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow></msub></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mi>D</mi><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow></mfenced><mo>+</mo><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>p</mi></mrow><mrow><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mtext> </mtext><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>D</mi><mfenced separators="|"><mrow><mi>G</mi><mfenced separators="|"><mrow><mi>z</mi></mrow></mfenced></mrow></mfenced><mo stretchy="false">)</mo></mrow></mfenced><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375605&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375603&type= 71.20466614 11.26066685 式中： <math id="M12"><mi>E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375606&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375614&type= 2.70933342 2.79399991 表示期望计算（下标 <math id="M13"><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375616&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375608&type= 8.97466660 3.89466691 表示训练数据； <math id="M14"><msub><mrow><mi>p</mi></mrow><mrow><mfenced separators="|"><mrow><mi>z</mi></mrow></mfenced></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375628&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375618&type= 5.07999992 3.89466691 表示噪声数据）； <math id="M15"><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375631&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375620&type= 8.38199997 3.55599999 表示生成数据； <math id="M16"><mi>D</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375624&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375622&type= 8.89000034 3.55599999 ， <math id="M17"><mi>D</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375627&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375626&type= 14.81666565 3.55599999 分别表示判别器将真实数据和新样本判别为真实数据的概率。 3 原 理 1 为了更好地保留红外的热辐射信息以及可见光的背景细节信息，考虑到目标区域与背景区域的信息不同，本文提出了一种基于潜在低秩表示及改进双判别器GAN的红外与可见光图像融合方法。具体过程如下： 步骤1：通过潜在低秩表示将红外图像 I 与可见光图像 V 分别处理获得红外图像的低秩分量 I L 和去除噪声的稀疏分量 I S 以及可见光图像的低秩分量 V L 和稀疏分量 V S ； 步骤2：将红外图像的稀疏分量 I S 与可见光图像的稀疏分量 V S 通过加权融合得到融合图像 F S ； 步骤3：将红外图像的低秩分量 I L 与可见光图像的低秩分量 V L 通过改进的DDcGAN进行融合得到融合图像 F L ； 步骤4：将 F L 和 F S 进行叠加得到最终的融合图像 F 。 3.1　图层分解 2 为了提取源图像的全局特征和局部特征，并消除或降低噪声干扰，采用LatLRR的方法分解红外图像 I ，得到红外低秩分量 I L 、红外稀疏分量 I S 和红外噪声图 I E （参见 图1 图1 （a））。同样对可见光图像 V 做类似处理，可获得可见光低秩图 V L 、可见光稀疏图 V S 以及可见光噪声图 V E ，如 图1 图1 （b）所示。可以看到，低秩分量包含着源图像的全局信息，结构信息较少，例如边缘和轮廓信息等；稀疏分量包含着源图像中的局部特征信息，例如目标信息等。此外，在后续融合过程中剔除噪声图层，减小对融合结果的干扰。因此，通过LatLRR对图像进行分解能将两种源图像的优势在不同图层显示出来，帮助后续制定融合策略。 3.2　低秩分量融合 2 通过潜在低秩表示对源图像分解获得的低秩分量包含图像的全局信息，其信息量非常丰富。为了使融合图像中结合可见光的反射信息和红外图像的热辐射信息，目前应用较为广泛的是加权平均的融合策略，但是这种融合策略会丢失大量的原图像信息，如亮度、对比度等。受FusionGAN以及DDcGAN的启发，本文提出一种改进的DDcGAN对低秩分量进行融合，通过对生成器结构的改进以及损失函数的重设计来达到更好的融合效果。优化目标函数为： <math display="block" id="M18"><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><msub><mrow><mi mathvariant="normal">n</mi></mrow><mrow><mi>G</mi></mrow></msub><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><msub><mrow><mi mathvariant="normal">x</mi></mrow><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub></mrow></msub><mi>V</mi><mfenced separators="|"><mrow><mi>G</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub></mrow></mfenced><mo>=</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375636&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375649&type= 44.36533356 3.97933316 <math display="block" id="M19"><mi mathvariant="bold-italic">E</mi><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></mrow></mfenced></mrow></mfenced><mo>+</mo><mi mathvariant="bold-italic">E</mi><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></mrow></mfenced></mrow></mfenced><mo>+</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375638&type= 52.40866470 4.74133301 <math display="block" id="M20"><mi mathvariant="bold-italic">E</mi><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced close="]" separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mfenced separators="|"><mrow><mi>G</mi><mfenced separators="|"><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></mrow></mfenced></mrow></mfenced></mrow></mfenced><mo>+</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375659&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375642&type= 42.07933044 5.50333309 <math display="block" id="M21"><mi mathvariant="bold-italic">E</mi><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375650&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375661&type= 39.20066452 4.82600021 ， 式中： G 表示对抗网络中的生成器； <math id="M22"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375665&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375663&type= 3.64066648 3.72533321 ， <math id="M23"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375789&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375798&type= 4.14866638 3.72533321 分别表示红外判别器和可见光判别器； <math id="M24"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375654&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375669&type= 4.06400013 3.72533321 表示融合图像。 3 . 2 . 1　生成器的网络架构 3 鉴于FusionGAN中生成器结构过于简单，在特征提取中容易丢失浅层特征，导致融合图像边缘模糊，纹理细节不清晰，而DDcGAN中densenet虽能结合浅层特征与高层语义特征，但网络模型复杂。为了保证源图像浅层的纹理及边缘信息以及高层语义信息都能得到很好保留，结合预训练好的VGG16 ［ 13 13 ， 17 17 ］ 提取低秩分量特征，设计融合模块FFM（Features Fusion Module）对每层特征图进行融合，对融合后的特征图进行金字塔重构，保留多尺度特征，尽量避免信息的丢失，最后对融合特征图解码来获得融合图像。生成器网络结构如 图2 图2 所示。 考虑到VGG16每层提取的特征图个数不同，因此在设计FFM时需要考量每一层卷积核的个数。 图3 图3 中， <math id="M25"><msubsup><mrow><mi>ϕ</mi></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375677&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375689&type= 3.89466691 3.89466691 和 <math id="M26"><msubsup><mrow><mi>ϕ</mi></mrow><mrow><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375681&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375679&type= 4.82600021 3.89466691 分别表示由VGG16提取的红外低秩分量和可见光低秩分量的第 i 层特征图。conv1和conv2的卷积核个数设置为输入特征图数量的一半；conv3的输入由前两层的输出级联而成，卷积核个数设置为输入特征图数量的两倍；conv4的卷积核个数与输入特征图个数相等；conv5输出特征图因为要与conv4的输出进行叠加，因此其输出特征图数量要与第四个卷积层相等。 图3 图3 的FFM网络结构设计能同时保留图像的细节和显著性特征。 3 . 2 . 2　鉴别器的网络结构 3 由于红外和可见光两种源图像的特征不同，因此需要设计两个网络结构一致的判别器来引导生成器对源图像特征的提取。如 图4 图4 所示，判别器是一个3层卷积神经网络。神经网络的前三层采用 <math id="M27"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375695&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375693&type= 8.63599968 2.79399991 的卷积核，步长设置为2，激活函数为ReLU，最后将卷积层提取的特征通过全连接层进行整合，最后通过tanh激活函数生成标量，估计输入图像属于源图像的概率。 3 . 2 . 3　损失函数设计 3 改进的DDcGAN损失函数由3部分组成，分别是生成器 <math id="M28"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375705&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375703&type= 2.87866688 2.79399991 的损失，鉴别器 <math id="M29"><msub><mrow><mi>D</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375719&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375707&type= 3.72533321 3.72533321 的损失和鉴别器 <math id="M30"><msub><mrow><mi>D</mi></mrow><mrow><mi>v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375725&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375722&type= 4.06400013 3.72533321 的损失。生成器损失由对抗损失和内容损失组成，即有： <math display="block" id="M31"><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><mi mathvariant="normal">G</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">v</mi></mrow></msub><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375710&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375708&type= 27.51666832 3.80999994 ， 式中： <math id="M32"><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375727&type= 5.50333309 3.72533321 表示生成器与鉴别器之间的对抗损失； <math id="M33"><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375731&type= 8.55133343 3.72533321 表示图像的内容损失； <math id="M34"><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375714&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375734&type= 5.50333309 3.72533321 是鉴别器对融合图像的真实判别与生成器预期鉴别器对融合图像判别结果之间的偏差，表达式如下： <math display="block" id="M35"><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">v</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>L</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>d</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375716&type= 48.68333054 8.63599968 <math display="block" id="M36"><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>L</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>d</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375739&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375737&type= 34.88266373 8.63599968 ， 式中： <math id="M37"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375749&type= 3.30200005 2.87866688 表示融合图像数量； <math id="M38"><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375973&type= 2.28600001 2.79399991 表示生成器预期的判别结果。 红外图像强调目标，主要由像素强度信息表示；可见光图像强调背景纹理，主要由梯度信息表示。内容损失函数为： <math display="block" id="M39"><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi><mi>W</mi></mrow></mfrac><mo stretchy="false">(</mo><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub><mo stretchy="false">|</mo><msubsup><mrow><mo stretchy="false">|</mo></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><mi>ξ</mi><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mo>∇</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub><mo>-</mo><mo>∇</mo><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub><mo stretchy="false">|</mo><msubsup><mrow><mo stretchy="false">|</mo></mrow><mrow><mi mathvariant="normal">F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375765&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375763&type= 70.44266510 7.95866632 ， 式中： <math id="M40"><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375769&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375766&type= 3.30200005 2.79399991 和 <math id="M41"><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375751&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375770&type= 4.06400013 2.87866688 表示图像大小； <math id="M42"><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mo>·</mo><mo stretchy="false">|</mo><msub><mrow><mo stretchy="false">|</mo></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375773&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375772&type= 5.07999992 4.40266657 表示Frobenius范数； <math id="M43"><mi>ξ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375755&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375776&type= 1.86266661 3.64066648 表示平衡参数； <math id="M44"><mo>∇</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375777&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375757&type= 2.87866688 3.13266683 表示梯度算子。 鉴别器 <math id="M45"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375761&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375760&type= 3.64066648 3.72533321 的损失定义为： <math display="block" id="M46"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>L</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>b</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>L</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>a</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375781&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375762&type= 46.05867004 19.04999924 式中： <math id="M47"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375964&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375962&type= 1.86266661 2.79399991 表示红外低秩分量的标签； <math id="M48"><mi>a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375938&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375936&type= 1.86266661 2.79399991 表示融合低秩分量的标签。 鉴别器 <math id="M49"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375789&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375798&type= 4.14866638 3.72533321 的损失定义为： <math display="block" id="M50"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>c</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>a</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375792&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375791&type= 47.75199890 19.04999924 式中： <math id="M51"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375813&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375810&type= 1.52400005 2.79399991 表示可见光低秩分量的标签。 3 . 2 . 4　网络训练 3 本文模型的训练数据选择TNO数据集中不同场景下的41组红外图像和可见光图像，TNO数据集包含多种军事环境下的多光谱夜间图像，波段涵盖可见光、近红外和长波红外。为了提高模型的泛化能力，本文通过滑动模块将源图像裁剪成大小为224×224的42 342组图像块用作训练。训练集中共包含随机选择的 <math id="M52"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375820&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375818&type= 2.87866688 2.79399991 对红外与可见光图像，将这些经过处理后的图像块对作为生成器的输入，输出尺寸为224×224的融合图像。选择 <math id="M53"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375820&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375818&type= 2.87866688 2.79399991 对图像块作为鉴别器输入，训练鉴别器 k 次，并使用RMSProp优化器来更新参数。训练生成器，直至达到最大迭代次数。算法伪代码如 表1 表1 所示。 Input： <math id="M54"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375827&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375838&type= 2.45533323 3.21733332 ， <math id="M55"><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375830&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375828&type= 3.89466691 3.21733332 Output： <math id="M56"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375847&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375831&type= 3.55599999 3.21733332 1： for number of training iterations do 2： for k steps do 3： Select m fusion patches ｛ <math id="M57"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375850&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375835&type= 16.59466553 3.80999994 ｝ from <math id="M58"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375914&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375896&type= 2.45533323 2.37066650 ； 4： Select m visible patches ｛ <math id="M59"><msubsup><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375868&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375856&type= 17.69533348 3.80999994 ｝， m infrared patches ｛ <math id="M60"><msubsup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375859&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375858&type= 14.81666565 3.80999994 ｝ 5： Update <math id="M61"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375876&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375874&type= 3.13266683 3.21733332 ， <math id="M62"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375883&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375862&type= 3.55599999 3.21733332 by RMSPropOptimizer： <math id="M63"><msub><mrow><mo>∇</mo></mrow><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub></mrow></msub><mfenced separators="|"><mrow><mfrac><mrow><mn>1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>L</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>b</mi></mrow></mfenced></mrow><mrow><mn>2</mn></mrow></msup><mo>+</mo><mfrac><mrow><mn>1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>L</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>a</mi></mrow></mfenced></mrow><mrow><mn>2</mn></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375884&type= 67.05599976 8.38199997 <math id="M64"><msub><mrow><mo>∇</mo></mrow><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub></mrow></msub><mfenced separators="|"><mrow><mfrac><mrow><mn>1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>V</mi></mrow><mrow><mi>L</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>c</mi></mrow></mfenced></mrow><mrow><mn>2</mn></mrow></msup><mo>+</mo><mfrac><mrow><mn>1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">v</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>L</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>b</mi></mrow></mfenced></mrow><mrow><mn>2</mn></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375890&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375888&type= 67.05599976 8.38199997 6： end 7： Select m visible patches ｛ <math id="M65"><msubsup><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375904&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375891&type= 17.69533348 3.80999994 ｝， m infrared patches ｛ <math id="M66"><msubsup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375907&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375894&type= 14.81666565 3.80999994 ｝ from training data； 8： Update <math id="M67"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375914&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375896&type= 2.45533323 2.37066650 by RMSPropOptimizer： <math id="M68"><msub><mrow><mo>∇</mo></mrow><mrow><mi mathvariant="normal">G</mi></mrow></msub><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><mi mathvariant="normal">G</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375920&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375916&type= 7.87400007 3.47133350 9： end 训练参数设置如下：训练集样本数量 <math id="M69"><mi>m</mi><mo>=</mo><mn mathvariant="normal">32</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375927&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375928&type= 11.43000031 2.79399991 ；训练迭代次数设置为10；鉴别器训练次数 <math id="M70"><mi>k</mi><mo>=</mo><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375945&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375930&type= 8.38199997 2.79399991 ； <math id="M71"><mi>λ</mi><mo>=</mo><mn mathvariant="normal">100</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375951&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375948&type= 12.19200039 2.79399991 ； <math id="M72"><mi>ξ</mi><mo>=</mo><mn mathvariant="normal">8</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375957&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375954&type= 8.46666718 3.64066648 ；学习速率设置为 <math id="M73"><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">4</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375934&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375933&type= 6.60400009 3.04800010 ，衰减指数设置为0.98；融合图像标签 <math id="M74"><mi>a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375938&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375936&type= 1.86266661 2.79399991 设置为0~0.3中的一个随机数；红外低秩分量标签 <math id="M75"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375964&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375962&type= 1.86266661 2.79399991 设置为0.7~1.2中的一个随机数；可见光低秩分量标签 <math id="M76"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375969&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375966&type= 1.52400005 2.79399991 设置为0.7~1.2中的一个随机数；生成器预期的判别结果 <math id="M77"><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375973&type= 2.28600001 2.79399991 设置为0.7~1.2中的一个随机数。 3.3　稀疏分量融合 2 图像的稀疏分量表征图像的局部结构信息和显著特征，如红外图像中的目标和可见光图像中的部分细节，以增强融合图像的细节特征，减少冗余信息的影响。本文借助K-L变换 ［ 14 14 ］ 对稀疏分量进行融合。K-L变换采用线性投影的方法将数据投影到新的坐标空间中，新的成分按信息量分布，是一种基于信息量的正交线性变换。变换后的主分量互不相关，其中包含最大信息量的是第一主成分。 K-L变换的具体过程如下： 步骤1：将红外稀疏分量 I S 和可见光稀疏分量 V S 矩阵按列展开并作为矩阵 X 的列向量； 步骤2：以矩阵 X 的行向量作为观测量，列作为变量求得矩阵 X 的协方差矩阵 C XX ； 步骤3：计算 C XX 的特征值 <math id="M78"><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375995&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375992&type= 2.87866688 3.72533321 ， <math id="M79"><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376002&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375998&type= 2.87866688 3.72533321 及对应的特征向量 <math id="M80"><msup><mrow><mo stretchy="false">[</mo><mtable><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">ξ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd><mtd><msub><mrow><mi mathvariant="bold-italic">ξ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mtd></mtr></mtable><mo stretchy="false">]</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375981&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376005&type= 26.58533096 3.97933316 和 <math id="M81"><msup><mrow><mo stretchy="false">[</mo><mtable><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">ξ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd><mtd><msub><mrow><mi mathvariant="bold-italic">ξ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mtd></mtr></mtable><mo stretchy="false">]</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376010&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42375983&type= 26.58533096 3.97933316 ； 步骤4：最后计算最大特征值的不相关分量 <math id="M82"><mi>K</mi><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376047&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376050&type= 6.43466663 3.72533321 和 <math id="M83"><mi>K</mi><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376064&type= 6.43466663 3.72533321 。 <math display="block" id="M84"><mi>K</mi><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>ξ</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow><mrow><msub><mo>∑</mo><mrow><mi>i</mi></mrow></msub><mrow/><msub><mrow><mi>ξ</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376028&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376025&type= 29.80266571 10.15999985 ， <math display="block" id="M85"><mi>K</mi><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>ξ</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow><mrow><msub><mo>∑</mo><mrow><mi>i</mi></mrow></msub><mrow/><msub><mrow><mi>ξ</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376032&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376040&type= 29.80266571 10.15999985 . 根据K-L变换获得融合权重 <math id="M86"><mi>K</mi><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376047&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376050&type= 6.43466663 3.72533321 和 <math id="M87"><mi>K</mi><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376064&type= 6.43466663 3.72533321 ，得到融合稀疏分量： <math display="block" id="M88"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><mo>=</mo><mi>K</mi><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋅</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><mo>+</mo><mi>K</mi><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>⋅</mo><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376078&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376059&type= 37.59199905 3.80999994 . 3.4　图像重建 2 为了得到既包含全局信息又包含局部信息的目标图像，最终的融合图像由前面计算的稀疏分量的融合结果和低秩分量的融合结果线性叠加而成，即有： <math display="block" id="M89"><mi>F</mi><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376083&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42376068&type= 20.06599998 3.80999994 . 4 实 验 1 实验验证由对融合图像的主观评价和客观评价相结合。主观评价是从符合人眼视觉系统的角度对融合图像的质量进行评价，通过肉眼观察，判断融合图像所包含的信息是否满足需求。但在很大程度上受个人意志影响，为了避免主观意志直接决定图像质量的评价，本文还采用客观性能评价佐以验证。客观性能评价是通过数学模型的性能指标评价，不受人眼视觉系统和人的主观意志决定。 4.1　TNO数据集实验验证 2 为了评估本文融合方法的性能，对TNO数据集进行实验验证。选取其中6组红外与可见光图像的主观评价作为对比。如 图5 图5 所示（彩图见期刊电子版），图像从上至下分别是红外图像、可见光图像、WLS方法、GTF方法、FusionGAN方法、DDcGAN方法、Rfn-nest方法及本文方法。红色框表示图像中典型目标，黄色框表示图像的纹理细节，用于更加直观地观察各个方法的融合效果。 1;2; 从 图5 图5 中可以看到，WLS方法中引用高斯滤波分解图像导致图像的整体亮度信息减小，对比度低，如第二组和第四组图像红色框内目标不如本文方法突出；GTF方法采用全变分模型导致图像过于光滑而丢失细节，如第三组图像中黄色框内模糊的云层纹理；FusionGAN使用单判别器导致融合图像的像素分布偏向红外图像，背景细节信息保留不足，如第六组图像黄色框内消失的部分云朵；DDcGAN的生成器采用密集网络的结构，无法提取到高层特征空间的语义信息，导致边缘信息严重丢失，如第五组图像中红色框内的伞，边缘轮廓模糊，甚至出现“伪影”；Rfn-nest在解码器中采用nest网络，高层特征在逐层上采样过程引入噪声并模糊了目标，如第一组图像中红色框内模糊的人体目标；而本文方法通过改进特征提取和融合方式，获得了目标清晰，背景信息清晰且自然的融合图像。 为了更充分地反映融合图像的质量，本文采用了5种典型的评价指标，分别是熵（Entropy， EN）、标准差（Standard Deviation， SD）、互信息（Mutual information， MI） ［ 15 15 ］ 、差异相关性总和（Sum of the correlations of differences， SCD）、多尺度结构相似度（Multi-Scale Structural similarity index measure， MS-SSIM） ［ 16 16 ］ 。 TNO数据集上不同融合方法评价指标对比结果如 表2 表2 所示。本文方法在所有指标上都取得了最优值，EN，SD，MI，SCD和MS-SSIM分别提高了2.43%，4.68%，2.29%，2.24%，1.74%。综合来说，本文方法在TNO数据集上能够很好地保留源图像的互补信息，融合图像中目标明显，边缘清晰，且不会出现“伪影”现象。 注： 粗体表示最优值。 Method EN SD MI SCD MS-SSIM WLS 6.640 7 70.588 9 13.281 4 1.796 1 0.917 5 GTF 6.635 3 67.626 1 13.270 7 1.013 4 0.814 7 FusionGAN 5.684 3 50.731 5 11.368 7 1.204 9 0.681 4 DDcGAN 7.230 0 92.140 4 14.461 8 1.593 9 0.784 4 Rfn-nest 6.893 5 74.879 13.787 0 1.816 3 0.887 7 Ours 7.405 4 96.455 5 14.792 3 1.857 0 0.933 5 4.2　RoadScene数据集实验验证 2 为了进一步对本文方法进行验证，在RoadScene数据集上进行第二组实验。为了更加充分地对比不同算法的实验结果，选取4组典型的红外与可见光图像，图像中主要包含道路、路灯、车辆和行人等信息，如 图6 图6 所示。第一组图像中可以看到，只有GTF方法，DDcGAN方法以及本文的方法保留了路灯信息，但GTF方法中背景模糊，DDcGAN方法中背景边缘模糊，并伴有“伪影”存在；第二组图像中，GTF方法，FusionGAN方法和DDcGAN方法中红色框中的云彩信息几乎全部丢失，虽然亮度信息不如WLS方法丰富，但对比度要比WLS方法和Rfn-nest方法高；第三组图像中，除Rfn-nest方法和本文方法，其他3种方法都存在不同程度的边缘模糊情况；第四组图像中，GTF方法，FusionGAN方法和DDcGAN方法也存在着边缘模糊和“伪影”，WLS方法的对比度相对较弱，Rfn-nest方法中背景的树枝纹理不够自然。 1;2; Roadscene数据集上不同融合方法的评价指标如 表3 表3 所示。本文方法在SCD和MS-SSIM 两个指标上取得最优值，EN，SD和MI 3个信息论指标仅次于GTF方法。与其他4种方法相比，本文方法占据明显优势，但从图像效果看，GTF方法由于亮度信息过于丰富导致图像出现了明显的边缘模糊。综合来说，本文所提方法在Roadscene数据集上也能够很好地保留源图像的互补信息和关键信息，融合图像中目标明显，边缘清晰，且不会出现“伪影”现象。 注： 粗体表示最优值。 Method EN SD MI SCD MS-SSIM WLS 7.161 4 61.289 9 14.322 8 1.717 6 0.881 7 GTF 7.650 0 91.344 6 15.300 0 1.130 7 0.743 8 FusionGAN 6.498 2 69.303 9 12.996 4 1.439 8 0.679 4 DDcGAN 7.515 0 82.581 0 15.030 0 1.656 2 0.696 1 Rfn-nest 7.332 6 72.962 7 14.665 3 1.826 8 0.821 6 Ours 7.574 5 86.667 5 15.248 9 1.887 3 0.912 8 5 结 论 1 本文提出一种结合LatLRR和改进DDcGAN的图像融合方法，通过LatLRR将已配准的源图像分解为包含全局信息的低秩分量和包含局部信息的稀疏分量，根据两个分量的特性不同，采取不同的融合策略来获得信息丰富的融合图像。实验表明，在TNO数据集上所提5种评价指标都取得了最优值，相比于次优值，这5种指标分别提高了2.43%，4.68%，2.29%，2.24%，1.74%；在RoadScene数据集上EN，SD，MI 3种评价指标略低于GTF，但SCD和MS-SSIM两种指标相对于次优值分别提高3.31%，3.53%。综合图像视觉效果及客观评价指标来看，本文方法的融合结果更佳，它不仅保留了目标信息还保留了丰富的细节信息，同时还减少了伪影的出现，展现出较为可靠的融合性能。但本文提取图像特征的网络参数较多，计算量大，下一阶段将研究端到端的轻量化模型，进而投入到便携式设备的使用中。 参考文献 沈英 ， 黄春红 ， 黄峰 ， 等 . 红外与可见光图像融合技术的研究进展 ［J］. 红外与激光工程 ， 2021 ， 50 （ 9 ）： 152 - 169 . doi: 10.3788/IRLA20200467 http://dx.doi.org/10.3788/IRLA20200467 红外与可见光图像融合技术的研究进展 SHEN Y ， HUANG CH H ， HUANG F ， et al . Research progress of infrared and visible image fusion technology ［J］. Infrared and Laser Engineering ， 2021 ， 50 （ 9 ）： 152 - 169 . （in Chinese） . doi: 10.3788/IRLA20200467 http://dx.doi.org/10.3788/IRLA20200467 Research progress of infrared and visible image fusion technology MA J L . Infrared and visible image fusion based on visual saliency map and weighted least square optimization ［J］. Infrared Physics & Technology ， 2017 ， 82 ： 8 - 17 . doi: 10.1016/j.infrared.2017.02.005 http://dx.doi.org/10.1016/j.infrared.2017.02.005 Infrared and visible image fusion based on visual saliency map and weighted least square optimization MA J Y . Infrared and visible image fusion via gradient transfer and total variation minimization ［J］. Information Fusion ， 2016 ， 31 ： 100 - 109 . doi: 10.1016/j.inffus.2016.02.001 http://dx.doi.org/10.1016/j.inffus.2016.02.001 Infrared and visible image fusion via gradient transfer and total variation minimization LI H ， WU X J . DenseFuse： a fusion approach to infrared and visible images ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 5 ）： 2614 - 2623 . doi: 10.1109/tip.2018.2887342 http://dx.doi.org/10.1109/tip.2018.2887342 DenseFuse： a fusion approach to infrared and visible images LI H ， WU X J ， DURRANI T . NestFuse： an infrared and visible image fusion architecture based on nest connection and spatial/channel attention models ［J］. IEEE Transactions on Instrumentation and Measurement ， 2020 ， 69 （ 12 ）： 9645 - 9656 . doi: 10.1109/tim.2020.3005230 http://dx.doi.org/10.1109/tim.2020.3005230 NestFuse： an infrared and visible image fusion architecture based on nest connection and spatial/channel attention models LI H . RFN-Nest： an end-to-end residual fusion network for infrared and visible images ［J］. Information Fusion ， 2021 ， 73 ： 72 - 86 . doi: 10.1016/j.inffus.2021.02.023 http://dx.doi.org/10.1016/j.inffus.2021.02.023 RFN-Nest： an end-to-end residual fusion network for infrared and visible images GOODFELLOW I J ， POUGET-ABADIE J ， MIRZA M ， et al . Generative Adversarial Networks ［EB/OL］. 2014 ： arXiv ： 1406 . 2661 . https：//arxiv.org/abs/1406.2661 https://arxiv.org/abs/1406.2661 " Generative Adversarial Networks MA J Y . FusionGAN： a generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 . doi: 10.1016/j.inffus.2018.09.004 http://dx.doi.org/10.1016/j.inffus.2018.09.004 FusionGAN： a generative adversarial network for infrared and visible image fusion MA J Y ， XU H ， JIANG J J ， et al . DDcGAN： a dual-discriminator conditional generative adversarial network for multi-resolution image fusion ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 4980 - 4995 . doi: 10.1109/tip.2020.2977573 http://dx.doi.org/10.1109/tip.2020.2977573 DDcGAN： a dual-discriminator conditional generative adversarial network for multi-resolution image fusion CHEN J H ， YANG J . Robust subspace segmentation via low-rank representation ［C］. Icml ， 2014 . doi: 10.1109/tcyb.2013.2286106 http://dx.doi.org/10.1109/tcyb.2013.2286106 Robust subspace segmentation via low-rank representation LIU G C ， YAN S C . Latent Low-Rank Representation for subspace segmentation and feature extraction ［C］. 2011 International Conference on Computer Vision . 613，2011 ， Barcelona， Spain . IEEE ， 2012 ： 1615 - 1622 . doi: 10.1109/iccv.2011.6126422 http://dx.doi.org/10.1109/iccv.2011.6126422 Latent Low-Rank Representation for subspace segmentation and feature extraction LEE J ， CHOE Y . Low rank matrix recovery via augmented Lagrange multiplier with nonconvex minimization ［C］. 2016 IEEE 12th Image， Video， and Multidimensional Signal Processing Workshop （IVMSP）. 1112，2016 ， Bordeaux， France. IEEE ， 2016 ： 1 - 5 . doi: 10.1109/ivmspw.2016.7528217 http://dx.doi.org/10.1109/ivmspw.2016.7528217 Low rank matrix recovery via augmented Lagrange multiplier with nonconvex minimization XU H ， MA J Y ， JIANG J J ， et al . U2Fusion： a unified unsupervised image fusion network ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2022 ， 44 （ 1 ）： 502 - 518 . doi: 10.1109/tpami.2020.3012548 http://dx.doi.org/10.1109/tpami.2020.3012548 U2Fusion： a unified unsupervised image fusion network 纪强 ， 石文轩 ， 田茂 ， 等 . 基于KL与小波联合变换的多光谱图像压缩 ［J］. 红外与激光工程 ， 2016 ， 45 （ 2 ）： 275 - 281 . doi: 10.3788/irla201645.0228004 http://dx.doi.org/10.3788/irla201645.0228004 基于KL与小波联合变换的多光谱图像压缩 JI Q ， SHI W X ， TIAN M ， et al . Multispectral image compression based on uniting KL transform and wavelet transform ［J］. Infrared and Laser Engineering ， 2016 ， 45 （ 2 ）： 275 - 281 . （in Chinese） . doi: 10.3788/irla201645.0228004 http://dx.doi.org/10.3788/irla201645.0228004 Multispectral image compression based on uniting KL transform and wavelet transform ZHANG X C ， YE P ， XIAO G . VIFB： a visible and infrared image fusion benchmark ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 468 - 478 . doi: 10.1109/cvprw50498.2020.00060 http://dx.doi.org/10.1109/cvprw50498.2020.00060 VIFB： a visible and infrared image fusion benchmark ASLANTAS V ， BENDES E . A new image quality metric for image fusion： the sum of the correlations of differences ［J］. AEU-International Journal of Electronics and Communications ， 2015 ， 69 （ 12 ）： 1890 - 1896 . doi: 10.1016/j.aeue.2015.09.004 http://dx.doi.org/10.1016/j.aeue.2015.09.004 A new image quality metric for image fusion： the sum of the correlations of differences SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［EB/OL］. 2014 ： arXiv ： 1409 . 1556 . https：//arxiv.org/abs/1409.1556 https://arxiv.org/abs/1409.1556 " Very deep convolutional networks for large-scale image recognition 10.37188/OPE.20233107.1085 TN219 A 1004-924X（2023）07-1085-11 袁代玉,袁丽华,习腾彦等.潜在低秩表示下的双判别器生成对抗网络的图像融合[J].光学精密工程,2023,31(07):1085-1095. 袁代玉,袁丽华,习腾彦等.潜在低秩表示下的双判别器生成对抗网络的图像融合[J].光学精密工程,2023,31(07):1085-1095. YUAN Daiyu,YUAN Lihua,XI Tengyan,et al.Image fusion of dual-discriminator generative adversarial network and latent low-rank representation[J].Optics and Precision Engineering,2023,31(07):1085-1095. YUAN Daiyu,YUAN Lihua,XI Tengyan,et al.Image fusion of dual-discriminator generative adversarial network and latent low-rank representation[J].Optics and Precision Engineering,2023,31(07):1085-1095. 国家自然科学基金资助项目（No.51865038）；南昌航空大学研究生创新专项基金资助项目（No.YC2021-085） 2022-08-09 2022-09-26 2023-04-10 2023-04-14 光学精密工程 7 31