Design of intensity image and polarization image fusion network

强度图像和偏振度图像融合网络的设计 Design of intensity image and polarization image fusion network 1 first-author 闫德利（1996-），男，黑龙江齐齐哈尔人，硕士研究生，2020年于中北大学获得学士学位，主要从事偏振目标探测和偏振图像融合的研究。E-mail： yandelijy@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010801&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010808&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010818&type= 22.01332855 32.00400543 闫德利 （1996-），男，黑龙江齐齐哈尔人，硕士研究生，2020年于中北大学获得学士学位，主要从事偏振目标探测和偏振图像融合的研究。E-mail： yandelijy@163.com yandelijy@163.com 1 corresp E-mail： shenchong@nuc.edu.cn E-mail： shenchong@nuc.edu.cn 申 冲（1986-），男，河北保定人，教授，博士生导师，2008年于燕山大学获得学士学位，2010年于东南大学获得硕士学位，2014年于东南大学获得博士学位，主要从事偏振光导航和偏振图像融合的研究。E-mail： shenchong@nuc.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010816&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010813&type= 22.01332855 32.00399017 申 冲 （1986-），男，河北保定人，教授，博士生导师，2008年于燕山大学获得学士学位，2010年于东南大学获得硕士学位，2014年于东南大学获得博士学位，主要从事偏振光导航和偏振图像融合的研究。E-mail： shenchong@nuc.edu.cn shenchong@nuc.edu.cn 2 1 1 中北大学 仪器与电子学院，山西 太原 030051 中北大学 仪器与电子学院，山西 太原 030051 School of Instrument and Electronics， North University of China， Taiyuan 030051， China School of Instrument and Electronics， North University of China， Taiyuan 030051， China 中北大学 信息与通信工程学院，山西 太原 030051 中北大学 信息与通信工程学院，山西 太原 030051 School of Information and Communication Engineering， North University of China， Taiyuan 030051， China School of Information and Communication Engineering， North University of China， Taiyuan 030051， China 为了弥补强度图像在阴暗处丢失纹理细节的劣势，结合偏振度图像的偏振特性，本文提出了一种强度图像和偏振度图像的融合方法。首先，构建编码器网络提取源图像的语义信息和纹理细节。随后，特征融合网络采用加法策略和残差网络进行图像特征融合。最后，通过解码器网络对融合后的图像特征进行重构获得最终的融合图像。此外，根据源图像和融合图像之间的结构相似性损失和梯度损失，本文提出了一种改进的损失函数来引导融合网络训练。实验结果表明：与其他6种方法中融合效果最好的改进的双通道脉冲耦合神经网络（MD-PCNN）相比，本文方法的客观评价指标平均梯度、信息熵、图像质量、标准差和改进的多尺度结构相似性分别提高了4.3%，1.0%，8.1%，2.5%，3.1%，图像噪声降低了8.8%，且克服了强度图像在阴暗处丢失纹理细节的问题。 To overcome the disadvantage that the intensity image loses texture details in the dark， this study proposes a fusion method of the intensity and polarization images that combines the former with the polarization characteristics of the latter. First， an encoder network is constructed to extract the semantic information and texture details of the source image. Subsequently， the feature fusion network adopts an additive strategy and a residual network for image feature fusion. Finally， the fused image features are reconstructed through the decoder network to obtain the final fused image. Furthermore， according to the structural similarity loss and gradient loss between the source and fused images， this study proposes an improved loss function to guide the fusion network training. Experimental results indicate that compared with the modified dual-channel pulse coupled neural network （MD-PCNN）， which has the best fusion effect among the other six methods， the objective evaluation indicators of the proposed method—average gradient， information entropy， image quality， standard deviation， and improved multi-scale structural similarity—are improved by 4.3%， 1.0%， 8.1%， 2.5%， and 3.1%， respectively； the image noise is reduced by 8.8%. Moreover， the problem of losing texture details for intensity images is eliminated. 纹理细节 残差网络 结构相似性 图像融合 texture detail residual network structural similarity image fusion 1 引 言 1 随着偏振成像技术的快速发展，偏振图像融合逐渐成为研究热点。偏振成像系统可以获取场景的光强、偏振角、偏振度等信息，光强图像反映场景的像素强度和像素分布，代表场景信息。偏振角和偏振度是光与物体相互作用的固有属性，与物体本身的形状、纹理、粗糙度等性质有关 ［ 1 1 ］ 。其中，偏振度图像代表物体的偏振信息，图像亮度越强，表示物体偏振特性越高，可以提高物体与背景的对比度。但偏振度与光强无关，不包含场景信息 ［ 2 2 ］ 。因此，根据光强图像中场景信息丰富和偏振度图像包含偏振特性的特点，将光强图像和偏振度图像进行融合，可以得到场景信息丰富同时目标特征显著的融合图像，在遥感、目标探测、生物医学等领域具有广阔的应用前景 ［ 3 3 - 5 5 3-5 ］ 。 大量的图像融合方法被研究人员提出，这些方法可以简单分为两类：传统方法和深度学习方法。常见传统方法的原理都是借鉴信号处理方法，主要包括三个部分：图像变换、活动水平测量和融合规则设计。王利杰等人利用小波变换对偏振角、偏振度和光强图像融合解决了水下偏振成像存在的质量差、对比度低和纹理细节模糊的问题 ［ 6 6 ］ ；沈薛晨等人基于小波-Contourlet变换（WBCT）融合了光强图像和偏振度图像，低频系数通过主成分分析（Principal Component Analysis, PCA）变换融合，高频系数采用区域特性能量的融合规则，解决了源图像信息保留不充分的问题 ［ 7 7 ］ 。李蕾等人基于拉普拉斯金字塔算法融合不同角度的偏振图像，使用权重融合系数算法增强了偏振图像的细节特征 ［ 8 8 ］ 。 传统图像融合方法虽然已经具有很好的融合效果，但需要手动设计融合规则 ［ 9 9 ］ 。针对上述问题，基于深度学习的融合方法被提出。姜兆祯等人利用改进的双通道PCNN模型实现了光强图像和偏振度图像融合，将链接系数由固定值改为随区域特征自适应调整的像素平均梯度，选用空间频率作为模型输入项，减小了轮廓边缘和细节信息的损失 ［ 10 10 ］ 。张俊超等人提出了一种无监督的端到端的深度网络解决强度图像和偏振度图像融合问题，构建了多尺度加权的结构相似性作为损失函数，充分地保持了源图像的特征 ［ 2 2 ］ 。上述方法都取得了卓越的融合性能，但没有根据图像特点针对性的提取特征，具体表现为强度图像中的场景信息和偏振度图像偏振信息是两种不同现象的表现，而上述方法在融合过程中对不同的源图像使用了相同的变换域 ［ 11 11 ］ 。 为了实现光强图像与偏振度图像的融合，本文提出一种基于深度学习的图像融合方法。首先，构建编码器网络提取源图像的语义信息和细节纹理；随后，通过特征融合网络进行图像特征融合；最后，将融合后的特征输入到解码网络进行重构得到最终的融合图像。此外，本文采用改进的图像结构相似性和梯度作为联合损失函数训练网络模型。本文的主要贡献可以总结为：（1）提出了新的光强和偏振度图像的融合模型，与传统图像融合方法相比，本方法不需要手动设计复杂的活动水平测量和图像融合规则；（2）设计了新的损失函数优化图像结构相似性的约束和纹理细节的质量，与现有方法相比，本文提出的改进损失函数可以确保模型关注源图像的语义信息和纹理细节的提取。 2 图像融合方法 1 2.1　源图像的获取 2 偏振成像系统用来采集原始场景信息，主要分为分时成像、分振幅成像、分孔径成像和分焦平面成像系统 ［ 12 12 ］ 。分焦平面成像系统由于体积小、同时成像的特点被广泛使用。本次实验采用Lucid的Phoenix PHX050S-PC偏振相机采集图像，Phoenix相机感光芯片集成了四个方向的纳米级阵列式偏振片，可以同时采集四个方向的偏振图像，其结构如 图1 图1 所示。 偏振图像按照相邻四个像素分解得到4张不同偏振方向的图像，偏振方向分别为 <math id="M1"><mn mathvariant="normal">0</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011404&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011392&type= 2.96333337 3.04800010 ， <math id="M2"><mn mathvariant="normal">45</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011394&type= 4.82600021 3.04800010 ， <math id="M3"><mn mathvariant="normal">90</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011408&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011396&type= 4.82600021 3.04800010 和 <math id="M4"><mn mathvariant="normal">135</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011399&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011398&type= 6.68866634 3.04800010 。通过Stokes矢量描述偏振信息，公式如 式（1） 式（1） ： <math display="block" id="M5"><mi mathvariant="bold-italic">S</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi>S</mi><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mi>S</mi><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mi>S</mi><mn mathvariant="normal">2</mn></mtd></mtr><mtr><mtd><mi>S</mi><mn mathvariant="normal">3</mn></mtd></mtr></mtable></mrow></mfenced><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>+</mo><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">90</mn></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">90</mn></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">45</mn></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">135</mn></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>I</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>L</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010894&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010876&type= 34.62866592 18.62666702 ， 其中： <math id="M6"><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010897&type= 2.53999996 3.72533321 ， <math id="M7"><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">45</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010903&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010901&type= 3.47133350 3.72533321 ， <math id="M8"><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">90</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010938&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010906&type= 3.47133350 3.72533321 和 <math id="M9"><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">135</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010942&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010939&type= 4.48733330 3.72533321 分别为四个方向为 <math id="M10"><mn mathvariant="normal">0</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011404&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011392&type= 2.96333337 3.04800010 ， <math id="M11"><mn mathvariant="normal">45</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011394&type= 4.82600021 3.04800010 ， <math id="M12"><mn mathvariant="normal">90</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011408&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011396&type= 4.82600021 3.04800010 和 <math id="M13"><mn mathvariant="normal">135</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011399&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011398&type= 6.68866634 3.04800010 的偏振图像。 <math id="M14"><mi>S</mi><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011390&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011403&type= 4.06400013 2.79399991 是总光强，即光强图像； <math id="M15"><mi>S</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010987&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010985&type= 4.06400013 2.79399991 表示0°和90°方向的偏振差； <math id="M16"><mi>S</mi><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010992&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010989&type= 4.06400013 2.79399991 表示 <math id="M17"><mn mathvariant="normal">45</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010993&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011009&type= 4.82600021 3.04800010 和 <math id="M18"><mn mathvariant="normal">135</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011399&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011398&type= 6.68866634 3.04800010 方向的偏振差； <math id="M19"><mi>S</mi><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011027&type= 4.06400013 2.79399991 表示右旋和左旋圆偏振光的偏振差，由于自然界中圆偏振光成分少，所以 <math id="M20"><mi>S</mi><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011027&type= 4.06400013 2.79399991 通常认为等于0。因此，在实际的应用中，Stokes矢量经常被简化为如 式（2） 式（2） ： <math display="block" id="M21"><mi mathvariant="bold-italic">S</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi>S</mi><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mi>S</mi><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mi>S</mi><mn mathvariant="normal">2</mn></mtd></mtr></mtable></mrow></mfenced><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mfrac><mrow><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>+</mo><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">45</mn></mrow></msub><mo>+</mo><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">90</mn></mrow></msub><mo>+</mo><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">135</mn></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mtd></mtr><mtr><mtd><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">90</mn></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">45</mn></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">135</mn></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011042&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011039&type= 50.79999924 18.62666702 . 线偏振度表示偏振光占总光强的比例，其计算公式如下： <math display="block" id="M22"><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi><mo>=</mo><mfrac><mrow><mroot><mrow><mi>S</mi><msup><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mi>S</mi><msup><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow/></mroot></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011056&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011054&type= 33.27399826 8.63599968 ， 其中：DoLP范围为0到1，当DoLP=1时，光是完全偏振的；当DoLP=0时，光是非偏振光；当DoLP介于0到1之间时，光是部分偏振的。因此，光强图像和偏振度图像可以通过 式（2） 式（2） 和 式（3） 式（3） 计算。 2.2　图像融合网络模型 2 结合强度图像与偏振度图像的特性和特征提取规则，本文提出了强度图像和偏振图像融合网络，如 图2 图2 所示。本文提出的图像融合网络模型分为三个部分：编码器、特征融合网络和解码器。编码器负责提取源图像中的语义特征和纹理细节；特征融合网络负责融合图像特征；解码器重构特征获得最终的融合图像。 如 图3 图3 所示，源图像送入到编码器网络提取细节纹理和语义信息。编码器由两个分支构成，上面的分支由5个具有16个输出通道的卷积层构成，用来提取源图像的细节纹理，每个卷积层都连接着ReLU激活函数，形成了致密块结构，致密块结构的每一个卷积层的输出都被送到后面的卷积层作为输入，这样的结构可以更好的保留图像的深层特征，所以该分支可以很好地提取的纹理细节特征 ［ 13 13 ］ 。下面的分支用来提取源图像的语义特征，首先，源图像通过具有32个输出通道的卷积层提取浅层特征；然后，这些特征进行三次下采样来扩展特征的通道数；最后，语义特征通过上采样恢复到原始尺寸以便于和细节纹理特征串联。快速下采样和卷积操作可以提取图像语义信息 ［ 14 14 ］ ，这个分支用来提取语义特征。 针对编码器提取的特征，本文设计了一个特征融合网络来融合这些特征，如 图4 图4 所示。特征融合过程分为两步：首先，编码器提取到的相同类型的图像特征采用加法融合策略融合；然后，第一步融合后的不同类型的图像特征采用残差融合网络融合。在本文的网络中，编码器输出的特征尺寸为 <math id="M23"><mi>W</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011098&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011110&type= 19.64266586 2.87866688 ，其中 W ， H 和 N 分别为图像特征的宽度、高度和通道数。加法融合策略可以表示为： <math display="block" id="M24"><msubsup><mrow><mi>f</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><msubsup><mrow><mi>Φ</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>+</mo><msubsup><mrow><mi>Φ</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011124&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011135&type= 55.45666885 5.16466665 ， <math display="block" id="M25"><msubsup><mrow><mi>f</mi></mrow><mrow><mi>s</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><msubsup><mrow><mi>Ψ</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow><mrow><mi mathvariant="normal">n</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>+</mo><msubsup><mrow><mi>Ψ</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011129&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011127&type= 55.88000107 5.16466665 ， 其中： <math id="M26"><msubsup><mrow><mi>Φ</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011149&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011132&type= 5.16466665 3.97933316 （ <math id="M27"><mi>n</mi><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>N</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011152&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011150&type= 25.48466682 3.55599999 ） 表示编码器从强度图像提取的纹理细节， <math id="M28"><msubsup><mrow><mi>Φ</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011164&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011154&type= 8.04333401 3.97933316 （ <math id="M29"><mi>n</mi><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>N</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011159&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011157&type= 25.48466682 3.55599999 ）表示编码器从偏振度图像提取的纹理细节， <math id="M30"><msubsup><mrow><mi>f</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011172&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011171&type= 3.80999994 4.82600021 代表通过加法策略融合后的特征， <math id="M31"><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011181&type= 9.05933285 3.97933316 表示在源图像和融合后图像中相应的位置，参数 <math id="M32"><msubsup><mrow><mi>Ψ</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011195&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011187&type= 5.33400011 3.97933316 ， <math id="M33"><msubsup><mrow><mi>Ψ</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011192&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011198&type= 8.21266651 3.97933316 和 <math id="M34"><msubsup><mrow><mi>f</mi></mrow><mrow><mi>s</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011207&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011218&type= 3.80999994 4.82600021 表示相应的含义。在图像特征融合的第二步中，利用残差融合网络融合 <math id="M35"><msubsup><mrow><mi>f</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011214&type= 3.80999994 4.82600021 和 <math id="M36"><msubsup><mrow><mi>f</mi></mrow><mrow><mi>s</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011207&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011218&type= 3.80999994 4.82600021 。残差融合策略可以表示为： <math display="block" id="M37"><msup><mrow><mi>f</mi></mrow><mrow><mi>n</mi></mrow></msup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>+</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>s</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>+</mo><mi>f</mi><mi>u</mi><mi>s</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011226&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011224&type= 94.14933777 5.16466665 ， 其中： <math id="M38"><mi>f</mi><mi>u</mi><mi>s</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo stretchy="false">(</mo><mo>.</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011227&type= 14.64733315 3.97933316 表示三个带有ReLU激活函数的卷积层的映射， <math id="M39"><msup><mrow><mi>f</mi></mrow><mrow><mi>n</mi></mrow></msup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011238&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011232&type= 13.46199989 4.23333359 表示最终的融合特征。然后，融合特征被送入解码器来重构融合图像。 本文采用了一个简单有效结构来重构最终的融合图像。如 图2 图2 所示，它有4个卷积层构成，除了最后一层外都带有ReLU激活函数。4个卷积层的输出通道分别为64，32，16，和1。网络具体参数如 表1 表1 所示。 2 Layer Channel （input） Channel （output） Activation 10 Encoder 5 Detail Branch Conv 1 16 ReLU Conv 16 16 ReLU Conv 32 16 ReLU Conv 48 16 ReLU Conv 64 64 ReLU 5 Semantic Branch Conv 1 32 ReLU Conv 32 64 ReLU Conv 64 128 ReLU Conv 128 64 ReLU Upsample 64 64 ReLU 2 4 Fusion layer Conv 2 2 ReLU Conv 2 2 ReLU Conv 2 1 ReLU Residual 64×3 64×1 - 2 4 Decoder Conv 64 64 ReLU Conv 64 32 ReLU Conv 32 16 ReLU Conv 16 1 - 2.3　损失函数的设计 2 本部分引入了损失函数来帮助网络模型整合更多有用的信息。SSIM是一种衡量不同图像结构相似性的指标 ［ 15 15 ］ 。它可以被描述为： <math display="block" id="M40"><msub><mrow><mi>l</mi></mrow><mrow><mi>s</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">|</mo><mi>w</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>μ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow></msub><msub><mrow><mi>μ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow></msub><mo>+</mo><mi>C</mi><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>w</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow></msub><mo>+</mo><mi>C</mi><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow><mrow><mo stretchy="false">(</mo><msubsup><mrow><mi>μ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>μ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><mi>C</mi><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><mi>C</mi><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011254&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011245&type= 72.55933380 9.82133293 ， 其中： w 代表滑窗，尺寸为 <math id="M41"><mn mathvariant="normal">11</mn><mo>×</mo><mn mathvariant="normal">11</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011249&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011247&type= 12.27666664 2.79399991 ； <math id="M42"><msub><mrow><mi>μ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011269&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011259&type= 4.57200003 3.64066648 和 <math id="M43"><msubsup><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011271&type= 4.14866638 3.80999994 分别表示在图像 x 在窗口 w 内均值和方差； <math id="M44"><msub><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>w</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011277&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011267&type= 6.60400009 3.89466691 表示图像 x 和 y 在窗口 w 中协方差； C 1和 C 2是两个常数，通常被设置为 <math id="M45"><mn mathvariant="normal">1</mn><mo>×</mo><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">4</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011280&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011278&type= 13.29266548 3.04800010 和 <math id="M46"><mn mathvariant="normal">9</mn><mo>×</mo><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">4</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011300&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011287&type= 13.29266548 3.04800010 ［ 16 16 ］ ；参数 <math id="M47"><msub><mrow><mi>μ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011292&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011302&type= 4.57200003 3.89466691 和 <math id="M48"><msubsup><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011304&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011295&type= 4.14866638 4.14866638 表示相应的含义。 在局部窗口 w 中，灰度值越复杂代表该窗口中包含的图像信息越丰富 ［ 2 2 ］ 。因此，可以利用局部窗口的方差来衡量图像信息。当 <math id="M49"><msubsup><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>></mo><msubsup><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011297&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011306&type= 16.25600052 3.80999994 时，说明 <math id="M50"><mi>S</mi><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011390&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011403&type= 4.06400013 2.79399991 图像局部窗口中包含更多的图像信息，然后损失函数引导网络模型保留图像 <math id="M51"><mi>S</mi><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011390&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011403&type= 4.06400013 2.79399991 在窗口 w 的信息，反之亦然。受到参考文献 ［ 17 17 ］ 的启发，本文根据图像结构相似性设计了损失函数，可以表示成如下形式： <math display="block" id="M52"><msub><mrow><mi>l</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">|</mo><mi>w</mi><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>l</mi></mrow><mrow><mi>s</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">|</mo><mi>w</mi><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>≥</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mtd></mtr><mtr><mtd><msub><mrow><mi>l</mi></mrow><mrow><mi>s</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">|</mo><mi>w</mi><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo><</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011320&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011331&type= 73.23667145 10.75266743 ， <math display="block" id="M53"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>w</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>l</mi></mrow><mrow><mi>m</mi><mi>a</mi><mi>x</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">|</mo><mi>w</mi><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011333&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011324&type= 53.17066193 8.63599968 ， 其中： N 表示图像中滑窗的总数； <math id="M54"><msub><mrow><mi>I</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011337&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011335&type= 3.64066648 3.72533321 ， <math id="M55"><msub><mrow><mi>I</mi></mrow><mrow><mi>D</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011346&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011339&type= 6.51933336 3.72533321 和 <math id="M56"><msub><mrow><mi>I</mi></mrow><mrow><mi>f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011350&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011348&type= 2.11666679 3.72533321 分别代表强度图像、偏振度图像和融合图像。 为了使融合后的图像具有更多的纹理细节，本文引入了梯度损失。它的定义如下： <math display="block" id="M57"><msub><mrow><mi>L</mi></mrow><mrow><mi>g</mi></mrow></msub><mo>=</mo><mfrac><mrow><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mo>∇</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">|</mo><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mo stretchy="false">|</mo><mo>∇</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>S</mi><mn mathvariant="normal">0</mn></mrow></msub><mo stretchy="false">|</mo><mo>,</mo><mo stretchy="false">|</mo><mo>∇</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>D</mi><mi>o</mi><mi>L</mi><mi>P</mi></mrow></msub><mo stretchy="false">|</mo><mo stretchy="false">)</mo><mo stretchy="false">|</mo><msubsup><mrow><mo stretchy="false">|</mo></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow><mrow><mi>H</mi><mo>⋅</mo><mi>W</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011352&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011342&type= 55.11800003 8.29733276 ， 其中： W 和 H 分别表示图像宽度和高度； <math id="M58"><mo>∇</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011360&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011359&type= 2.87866688 3.13266683 代表梯度运算，本文利用Sobel算子计算图像的梯度； <math id="M59"><mo stretchy="false">|</mo><mo>.</mo><mo stretchy="false">|</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011364&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011362&type= 3.38666677 3.47133350 表示绝对值运算； <math id="M60"><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mo>.</mo><mo stretchy="false">|</mo><mo stretchy="false">|</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011357&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011355&type= 4.74133301 3.47133350 表示Frobenius范数运算。 最终损失函数可以描述为： <math display="block" id="M61"><mi>L</mi><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>+</mo><mi>α</mi><msub><mrow><mi>L</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011374&type= 20.91266632 3.80999994 ， 其中： <math id="M62"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011379&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011377&type= 1.94733346 2.79399991 是平衡参数，用来平衡 <math id="M63"><msub><mrow><mi>L</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011383&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011381&type= 3.30200005 3.72533321 和 <math id="M64"><msub><mrow><mi>L</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011388&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011385&type= 3.64066648 3.72533321 的数量级。 2.4　训练设置和细节 2 2 . 4 . 1　数据集 3 现有的偏振图像数据集比较少，而且并不是都适合本实验。为了更好地训练网络模型，本文制作了数据集。它包括200张图片，主要场景有汽车、建筑、路灯等。数据集中的部分代表性图片如 图5 图5 所示。图像由分焦平面成像系统（Phoenix PHX050S-PC）采集，强度图像 <math id="M65"><mi>S</mi><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011390&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011403&type= 4.06400013 2.79399991 和偏振度图像DoLP可以通过 式（2） 式（2） 和 式（3） 式（3） 计算并且作为网络模型的输入。然而，由于数据集只包含200张图片，不足以充分训练网络模型。受到参考文献［ 18 18 ］的启发，本文将图片裁剪成尺寸为40×40的小块，然后通过水平、垂直翻转和 <math id="M66"><mn mathvariant="normal">0</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011404&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011392&type= 2.96333337 3.04800010 ， <math id="M67"><mn mathvariant="normal">45</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011394&type= 4.82600021 3.04800010 ， <math id="M68"><mn mathvariant="normal">90</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011408&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011396&type= 4.82600021 3.04800010 和 <math id="M69"><mn mathvariant="normal">135</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011399&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011398&type= 6.68866634 3.04800010 旋转等操作扩充数据集。通过上述方法，得到了超过一百万个小图像块，这足以训练本文提出的网络。 2 . 4 . 2　训练细节 3 在200张图片的数据集中，强度图像 S 0和偏振度图像DoLP的尺寸为 <math id="M70"><mn mathvariant="normal">1</mn><mtext> </mtext><mn mathvariant="normal">224</mn><mo>×</mo><mn mathvariant="normal">1</mn><mtext> </mtext><mn mathvariant="normal">024</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011419&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011414&type= 21.25133324 2.87866688 。其中，用于训练的图像对数为120，用于验证的图像对数为40，剩下的用于算法性能测试。由于 S 0和DoLP的像素灰度范围不同，每张图像在输入到网络模型之前都需要归一化到［0，1］范围。在训练阶段，本文采用Adam作为优化器对模型进行训练，并在TensorFlow平台上实现本文提出网络模型。训练参数设置如下：batch设置为128，epochs设置为30，学习率设置为0.001。在验证和测试过程中，源图像是直接输入到模型进行训练的，没有进行任何裁剪。网络模型是在一台3.6 GHz Intel Core i7-7820x CPU（32G RAM）和GeForce RTX 3060 GPU的电脑上进行训练和测试的。 3 实验结果和分析 1 3.1　实验设置 2 为了验证网络模型的融合效果，将本文的融合方法与6种图像融合方法比较，分别为曲波变换（CVT） ［ 19 19 ］ 、低通比率金字塔（RP） ［ 20 20 ］ 、小波-Contourlet变换（WBCT） ［ 7 7 ］ 、改进的双通道PCNN（MD-PCNN） ［ 10 10 ］ 、梯度转移变换（GTF） ［ 21 21 ］ 和偏振融合网络（PFnet） ［ 2 2 ］ 。 图像融合性能的评价包括主观评价和客观评价两个方面。主观评价依赖人的视觉感知，由于在大多数情况下融合结果之间没有明显的差异，很难仅从主观视觉来评价图像融合性能。因此，以客观评价作为补充来衡量图像的融合性能。本文选择6个常见的客观评价指标：平均梯度（AG） ［ 22 22 ］ 、信息熵（EN） ［ 23 23 ］ 、图像质量（ <math id="M71"><msup><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011421&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011416&type= 6.43466663 3.47133350 ） ［ 24 24 ］ 、标准差（STD） ［ 25 25 ］ 、图像噪声（ <math id="M72"><msup><mrow><mi>N</mi></mrow><mrow><mi>a</mi><mi>b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011547&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011556&type= 6.94266701 3.13266683 ） ［ 26 26 ］ 和改进的多尺度结构相似性（MS-SSIM） ［ 27 27 ］ 。除了 <math id="M73"><msup><mrow><mi>N</mi></mrow><mrow><mi>a</mi><mi>b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011436&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011435&type= 6.94266701 3.13266683 外，所有指标都会随着融合性能增加而增大。 <math id="M74"><msup><mrow><mi>N</mi></mrow><mrow><mi>a</mi><mi>b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011547&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011556&type= 6.94266701 3.13266683 值越低代表融合性能越好。 3.2　平衡参数的选择 2 为了发挥融合网络的最优性能，需要确定平衡参数 <math id="M75"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011474&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011471&type= 1.94733346 2.79399991 。改变平衡参数重新训练网络，在验证集上对融合性能进行评估。受到参考文献［ 18 18 ］的启发，由于两种损失函数存在数量级的差异，平衡参数分别设置为0，0.1，1和10。当 <math id="M76"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011474&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011471&type= 1.94733346 2.79399991 =0时，只有损失函数 <math id="M77"><msub><mrow><mi>L</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011448&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011446&type= 3.30200005 3.72533321 起作用。随着 <math id="M78"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011474&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011471&type= 1.94733346 2.79399991 的增大， <math id="M79"><msub><mrow><mi>L</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011432&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011452&type= 3.64066648 3.72533321 的作用越来越重要。 表2 表2 列出了不同平衡参数的6种客观评价指标的平均值，最优值用粗体标记。从 表2 表2 可以看出， <math id="M80"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011474&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011471&type= 1.94733346 2.79399991 =0.1时，融合结果在AG，EN， <math id="M81"><msup><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011458&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011456&type= 6.43466663 3.47133350 和STD 4个指标上取得了最优值，在指标 <math id="M82"><msup><mrow><mi>N</mi></mrow><mrow><mi>a</mi><mi>b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011461&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011460&type= 6.94266701 3.13266683 上取得了次优者，在MS-SSIM上取得了第三大值。所以， <math id="M83"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011474&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011471&type= 1.94733346 2.79399991 =0.1时，网络模型的整体融合性能最佳。因此，在后面的实验中 <math id="M84"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011474&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011471&type= 1.94733346 2.79399991 被设置为0.1。 Methods AG EN <math id="M85"><msup><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011493&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011476&type= 5.67266655 2.96333337 STD <math id="M86"><msup><mrow><mi>N</mi></mrow><mrow><mi>a</mi><mi>b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011570&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011568&type= 6.09600019 2.70933342 MS-SSIM <math id="M87"><mi>α</mi><mo>=</mo><mn>0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011503&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011481&type= 7.45066643 2.37066650 6.685 0 6.928 0 0.627 3 8.740 3 0.097 2 0.942 8 <math id="M88"><mi>α</mi><mo>=</mo><mn>0.1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011507&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011483&type= 10.75266743 2.37066650 6.710 7 7.032 5 0.643 2 8.770 3 0.087 1 0.934 6 <math id="M89"><mi>α</mi><mo>=</mo><mn>1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011485&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011509&type= 7.45066643 2.37066650 6.703 8 6.896 3 0.641 2 8.759 6 0.074 6 0.938 5 <math id="M90"><mi>α</mi><mo>=</mo><mn>10</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011488&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011487&type= 8.97466660 2.37066650 6.675 6 6.863 2 0.619 5 8.757 1 0.094 3 0.914 8 3.3　对比实验 2 3 . 3 . 1　主观评价 3 图6 图6 ~ 图8 图8 列出了三种场景下不同融合方法的对比结果。从三组图像可以直观地发现，RP的融合图像包含了很多人工噪声，视觉效果最差。CVT，WBCT的融合结果比较暗，说明强度图像S0中语义信息没有很好的保留。同时，CVT的融合结果中出现了伪影。GTF的融合结果保持了S0的像素强度和分布，但是图像过于平滑，失去了纹理细节。PFnet和MD-PCNN都很好的保持了纹理细节，融合效果优于上述几种方法。但是MD-PCNN的边缘细节更加清晰。本文方法不但很好地保持了纹理细节，而且在像素强度和像素分布上的保留效果更加优秀。例如，在场景3中，PFnet，MD-PCNN和本文方法都保留了相似的纹理细节，但是本文方法的融合结果中左下角车门亮度更接近 S 0。这说明本文方法的融合效果比现有的6种方法更加优越。 1;2; 1;2; 3 . 3 . 2　客观评价 3 为了进一步说明本文方法的融合性能， 表3 表3 列出了6种方法的定量对比结果。 表3 表3 中的数值为40张融合图像的平均值，最优值用粗体表示。从 表3 表3 可以看出，本文方法的较高AG值，说明纹理细节保留较好；在 <math id="M91"><msup><mrow><mi>Q</mi></mrow><mrow><mi>a</mi><mi>b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011545&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011543&type= 6.51933336 3.47133350 和 <math id="M92"><msup><mrow><mi>N</mi></mrow><mrow><mi>a</mi><mi>b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011547&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011556&type= 6.94266701 3.13266683 这两个指标上都获得了最优值，说明图像质量高，噪声低；本文方法获得最高的EN值，说明融合图像信息量丰富，融合效果好；具有最优的STD值，融合结果灰度层级大，融合效果好；在MS-SSIM指标上，本文方法获得了最优值，说明本文方法有更好结构相似性。因此，可以说明本文方法比现有6种方法融合效果更优越。 Methods AG EN <math id="M93"><msup><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011549&type= 5.67266655 2.96333337 STD <math id="M94"><msup><mrow><mi>N</mi></mrow><mrow><mi>a</mi><mi>b</mi><mo>/</mo><mi>f</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011570&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011568&type= 6.09600019 2.70933342 MS-SSIM CVT 5.333 0 6.840 5 0.554 7 8.200 1 0.239 6 0.906 1 RP 6.845 9 6.738 5 0.419 0 8.201 4 0.433 8 0.575 9 WBCT 5.735 4 6.827 3 0.602 8 7.884 5 0.106 4 0.918 2 MD-PCNN 5.836 2 6.947 6 0.589 6 8.054 3 0.087 2 0.909 4 GTF 5.485 1 6.853 2 0.546 7 7.534 8 0.098 2 0.899 3 PFnet 5.616 6 6.941 1 0.616 9 7.933 5 0.085 2 0.906 4 Ours 6.096 3 7.020 2 0.641 8 8.257 5 0.079 5 0.938 5 3.4　执行时间计算 2 为了评估本文融合方法有效性， 表4 表4 列出了各种方法的执行时间，表中数值是融合40对图像执行时间的平均值。从 表4 表4 可以看出，本文融合方法的执行时间最短，计算效率最高，GTF执行时间最长，计算效率最差，RP，WBCT，MD-PCNN和PFnet计算时间略长，CVT计算时间偏长。结合融合结果主观评价、客观评价及执行时间，本文方法在融合强度图像和偏振度图像方面更性能更佳。 CVT RP WBCT MD-PCNN GTF PFnet Ours Time （s） 0.655 1 0.106 4 0.217 3 0.135 2 2.243 1 0.122 5 0.080 2 4 结 论 1 为了融合强度图像和偏振度图像，生成目标显著同时场景信息丰富的融合图像，本文提出一种强度图像和偏振度图像的融合方法。编码器网络提取源图像的语义特征和细节纹理，送到特征融合网络中融合，最后在解码器中进行特征重构，生成最终的融合图像。为了更好地训练网络，本文制作偏振图像数据集。此外，模型采用改进的图像结构相似性和梯度损失作为损失函数实现了无监督学习，可以自适应地提取、融合和重构图像特征。实验结果表明：与其他6种方法中融合效果最好的MD-PCNN相比，本文方法的客观评价指标平均梯度、信息熵、图像质量、标准差和改进的多尺度结构相似性分别提高了4.3%，1.0%，8.1%，2.5%，3.1%，图像噪声降低了8.8%，且克服了强度图像在阴暗处丢失纹理细节的问题。 参考文献 THILAK V ， VOELZ D G ， CREUSERE C D . Polarization-based index of refraction and reflection angle estimation for remote sensing applications ［J］. Applied Optics ， 2007 ， 46 （ 30 ）： 7527 - 7536 . doi: 10.1364/ao.46.007527 http://dx.doi.org/10.1364/ao.46.007527 Polarization-based index of refraction and reflection angle estimation for remote sensing applications ZHANG J C ， SHAO J B ， CHEN J L ， et al . PFNet： an unsupervised deep network for polarization image fusion ［J］. Optics Letters ， 2020 ， 45 （ 6 ）： 1507 - 1510 . doi: 10.1364/ol.384189 http://dx.doi.org/10.1364/ol.384189 PFNet： an unsupervised deep network for polarization image fusion CHEN W ， YAN L ， CHANDRASEKAR V . Optical polarization remote sensing ［J］. International Journal of Remote Sensing ， 2020 ， 41 （ 13 ）： 4849 - 4852 . doi: 10.1080/01431161.2020.1743529 http://dx.doi.org/10.1080/01431161.2020.1743529 Optical polarization remote sensing SUN R ， SUN X B ， CHEN F N ， et al . An artificial target detection method combining a polarimetric feature extractor with deep convolutional neural networks ［J］. International Journal of Remote Sensing ， 2020 ， 41 （ 13 ）： 4995 - 5009 . doi: 10.1080/01431161.2020.1727584 http://dx.doi.org/10.1080/01431161.2020.1727584 An artificial target detection method combining a polarimetric feature extractor with deep convolutional neural networks 李岩 ， 张伟杰 ， 陈嘉玉 . 偏振场景目标探测的建模与仿真 ［J］. 光学 精密工程 ， 2017 ， 25 （ 8 ）： 2233 - 2243 . doi: 10.3788/OPE.20172508.2233 http://dx.doi.org/10.3788/OPE.20172508.2233 偏振场景目标探测的建模与仿真 LI Y ， ZHANG W J ， CHEN J Y . Modeling and simulation for target detection in polarization scene ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 8 ）： 2233 - 2243 . （in Chinese） . doi: 10.3788/OPE.20172508.2233 http://dx.doi.org/10.3788/OPE.20172508.2233 Modeling and simulation for target detection in polarization scene 王利杰 ， 赵海丽 ， 祝勇 ， 等 . 基于多尺度变换的水下偏振图像融合研究 ［J］. 应用激光 ， 2018 ， 38 （ 5 ）： 842 - 846 . 基于多尺度变换的水下偏振图像融合研究 WANG L J ， ZHAO H L ， ZHU Y ， et al . Underwater polarization image fusion research based on multiscale transformation ［J］. Applied Laser ， 2018 ， 38 （ 5 ）： 842 - 846 . （in Chinese） Underwater polarization image fusion research based on multiscale transformation 沈薛晨 ， 刘钧 ， 高明 . 基于小波-Contourlet变换的偏振图像融合算法 ［J］. 红外技术 ， 2020 ， 42 （ 2 ）： 182 - 189 . doi: 10.3724/sp.j.7100931205 http://dx.doi.org/10.3724/sp.j.7100931205 基于小波-Contourlet变换的偏振图像融合算法 SHEN X CH ， LIU J ， GAO M . Polarizing image fusion algorithm based on wavelet-contourlet transform ［J］. Infrared Technology ， 2020 ， 42 （ 2 ）： 182 - 189 . （in Chinese） . doi: 10.3724/sp.j.7100931205 http://dx.doi.org/10.3724/sp.j.7100931205 Polarizing image fusion algorithm based on wavelet-contourlet transform 李蕾 ， 郭天太 ， 潘孙强 ， 等 . 基于Laplacian算法的水下偏振图像复原 ［J］. 电子技术应用 ， 2019 ， 45 （ 9 ）： 85 - 88 . 基于Laplacian算法的水下偏振图像复原 LI L ， GUO T T ， PAN S Q ， et al . Underwater polarization image restoration based on Laplacian algorithm ［J］. Application of Electronic Technique ， 2019 ， 45 （ 9 ）： 85 - 88 . （in Chinese） Underwater polarization image restoration based on Laplacian algorithm MA J Y ， YU W ， LIANG P W ， et al . FusionGAN： a generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 . doi: 10.1016/j.inffus.2018.09.004 http://dx.doi.org/10.1016/j.inffus.2018.09.004 FusionGAN： a generative adversarial network for infrared and visible image fusion 姜兆祯 ， 韩裕生 ， 任帅军 ， 等 . 基于改进PCNN模型的偏振图像融合算法 ［J］. 舰船电子工程 ， 2021 ， 41 （ 3 ）： 33 - 36， 175 . doi: 10.3969/j.issn.1672-9730.2021.03.009 http://dx.doi.org/10.3969/j.issn.1672-9730.2021.03.009 基于改进PCNN模型的偏振图像融合算法 JIANG ZH ZH ， HAN Y SH ， REN SH J ， et al . Polarized image fusion algorithm based on improved PCNN model ［J］. Ship Electronic Engineering ， 2021 ， 41 （ 3 ）： 33 - 36， 175 . （in Chinese） . doi: 10.3969/j.issn.1672-9730.2021.03.009 http://dx.doi.org/10.3969/j.issn.1672-9730.2021.03.009 Polarized image fusion algorithm based on improved PCNN model 王霞 ， 赵家碧 ， 孙晶 ， 等 . 偏振图像融合技术综述 ［J］. 航天返回与遥感 ， 2021 ， 42 （ 6 ）： 9 - 21 . doi: 10.3969/j.issn.1009-8518.2021.06.002 http://dx.doi.org/10.3969/j.issn.1009-8518.2021.06.002 偏振图像融合技术综述 WANG X ， ZHAO J B ， SUN J ， et al . Review of polarization image fusion technology ［J］. Spacecraft Recovery & Remote Sensing ， 2021 ， 42 （ 6 ）： 9 - 21 . （in Chinese） . doi: 10.3969/j.issn.1009-8518.2021.06.002 http://dx.doi.org/10.3969/j.issn.1009-8518.2021.06.002 Review of polarization image fusion technology TYO J S ， GOLDSTEIN D L ， CHENAULT D B ， et al . Review of passive imaging polarimetry for remote sensing applications ［J］. Applied Optics ， 2006 ， 45 （ 22 ）： 5453 - 5469 . doi: 10.1364/ao.45.005453 http://dx.doi.org/10.1364/ao.45.005453 Review of passive imaging polarimetry for remote sensing applications ZHANG J CH ， SHAO J B ， CHEN J L ， et al . Polarization image fusion with self-learned fusion strategy ［J］. Pattern Recognition ， 2021 ， 118 ： 108045 . doi: 10.1016/j.patcog.2021.108045 http://dx.doi.org/10.1016/j.patcog.2021.108045 Polarization image fusion with self-learned fusion strategy FU Y ， WU X J . A Dual-Branch Network for Infrared and Visible Image Fusion ［C］. 2020 25th International Conference on Pattern Recognition （ICPR）. 1015，2021 ， Milan， Italy. IEEE ， 2021 ： 10675 - 10680 . doi: 10.1109/icpr48806.2021.9412293 http://dx.doi.org/10.1109/icpr48806.2021.9412293 A Dual-Branch Network for Infrared and Visible Image Fusion MA K D ， DUANMU Z F ， YEGANEH H ， et al . Multi-exposure image fusion by optimizing A structural similarity index ［J］. IEEE Transactions on Computational Imaging ， 2018 ， 4 （ 1 ）： 60 - 72 . doi: 10.1109/tci.2017.2786138 http://dx.doi.org/10.1109/tci.2017.2786138 Multi-exposure image fusion by optimizing A structural similarity index WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1109/tip.2003.819861 http://dx.doi.org/10.1109/tip.2003.819861 Image quality assessment： from error visibility to structural similarity HOU R C ， ZHOU D M ， NIE R C ， et al . VIF-net： an unsupervised framework for infrared and visible image fusion ［J］. IEEE Transactions on Computational Imaging ， 2020 ， 6 ： 640 - 651 . doi: 10.1109/tci.2020.2965304 http://dx.doi.org/10.1109/tci.2020.2965304 VIF-net： an unsupervised framework for infrared and visible image fusion LI H ， WU X J . DenseFuse： a fusion approach to infrared and visible images ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 5 ）： 2614 - 2623 . doi: 10.1109/tip.2018.2887342 http://dx.doi.org/10.1109/tip.2018.2887342 DenseFuse： a fusion approach to infrared and visible images QUAN S J ， QIAN W P ， GUO J H ， et al . Visible and Infrared Image Fusion Based on Curvelet Transform ［C］. The 2014 2nd International Conference on Systems and Informatics （ICSAI 2014）. 1517，2014 ， Shanghai， China. IEEE ， 2015 ： 828 - 832 . doi: 10.1109/icsai.2014.7009399 http://dx.doi.org/10.1109/icsai.2014.7009399 Visible and Infrared Image Fusion Based on Curvelet Transform TOET A . Image fusion by a ratio of low-pass pyramid ［J］. Pattern Recognition Letters ， 1989 ， 9 （ 4 ）： 245 - 253 . doi: 10.1016/0167-8655(89)90003-2 http://dx.doi.org/10.1016/0167-8655(89)90003-2 Image fusion by a ratio of low-pass pyramid MA J Y ， CHEN C ， LI C ， et al . Infrared and visible image fusion via gradient transfer and total variation minimization ［J］. Information Fusion ， 2016 ， 31 ： 100 - 109 . doi: 10.1016/j.inffus.2016.02.001 http://dx.doi.org/10.1016/j.inffus.2016.02.001 Infrared and visible image fusion via gradient transfer and total variation minimization 杨艳春 ， 裴佩佩 ， 党建武 ， 等 . 基于交替梯度滤波器和改进PCNN的红外与可见光图像融合 ［J］. 光学 精密工程 ， 2022 ， 30 （ 9 ）： 1123 - 1138 . doi: 10.37188/OPE.20223009.1123 http://dx.doi.org/10.37188/OPE.20223009.1123 基于交替梯度滤波器和改进PCNN的红外与可见光图像融合 YANG Y CH ， PEI P P ， DANG J W ， et al . Infrared and visible image fusion based on alternating gradient filter and improved PCNN ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 9 ）： 1123 - 1138 . （in Chinese） . doi: 10.37188/OPE.20223009.1123 http://dx.doi.org/10.37188/OPE.20223009.1123 Infrared and visible image fusion based on alternating gradient filter and improved PCNN ROBERTS J W ， VAN AARDT J A ， AHMED F B . Assessment of image fusion procedures using entropy， image quality， and multispectral classification ［J］. Journal of Applied Remote Sensing ， 2008 ， 2 （ 1 ）： 023522 . doi: 10.1117/1.2945910 http://dx.doi.org/10.1117/1.2945910 Assessment of image fusion procedures using entropy， image quality， and multispectral classification PETROVIĆ V ， XYDEAS C . Evaluation of Image Fusion Performance with Visible Differences ［M］. Lecture Notes in Computer Science . Berlin， Heidelberg ： Springer Berlin Heidelberg ， 2004 ： 380 - 391 . doi: 10.1007/978-3-540-24672-5_30 http://dx.doi.org/10.1007/978-3-540-24672-5_30 Evaluation of Image Fusion Performance with Visible Differences 刘先红 ， 陈志斌 ， 秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合 ［J］. 光学 精密工程 ， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242 结合引导滤波和卷积稀疏表示的红外与可见光图像融合 LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242 Infrared and visible image fusion using guided filter and convolutional sparse representation SHREYAMSHA KUMAR B K . Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform ［J］. Signal， Image and Video Processing ， 2013 ， 7 （ 6 ）： 1125 - 1143 . doi: 10.1007/s11760-012-0361-x http://dx.doi.org/10.1007/s11760-012-0361-x Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform MA K D ， ZENG K ， WANG Z . Perceptual quality assessment for multi-exposure image fusion ［J］. IEEE Transactions on Image Processing ， 2015 ， 24 （ 11 ）： 3345 - 3356 . doi: 10.1109/tip.2015.2442920 http://dx.doi.org/10.1109/tip.2015.2442920 Perceptual quality assessment for multi-exposure image fusion 10.37188/OPE.20233108.1256 TP391.41 A 1004-924X（2023）08-1256-11 闫德利,申冲,王晨光等.强度图像和偏振度图像融合网络的设计[J].光学精密工程,2023,31(08):1256-1266. 闫德利,申冲,王晨光等.强度图像和偏振度图像融合网络的设计[J].光学精密工程,2023,31(08):1256-1266. YAN Deli,SHEN Chong,WANG Chenguang,et al.Design of intensity image and polarization image fusion network[J].Optics and Precision Engineering,2023,31(08):1256-1266. YAN Deli,SHEN Chong,WANG Chenguang,et al.Design of intensity image and polarization image fusion network[J].Optics and Precision Engineering,2023,31(08):1256-1266. 国家自然科学基金创新研究群体资助（No.51821003）；国家自然科学基金优秀青年基金项目资助（No.51922009）；国家自然科学基金面上项目资助（No.61973281）；山西省重点研发计划项目资助（No.202003D111003）；山西省优秀青年培育项目资助（No.202103021222011） 2022-09-06 2022-11-09 2023-04-25 2023-05-04 36544142 光学精密工程 8 31