Application of densely connected network in SAR and multispectral image fusion

密集连接网络在SAR与多光谱影像融合中的应用 Application of densely connected network in SAR and multispectral image fusion first-author 王书涛（1978-），男，河北省秦皇岛人，工学博士，教授，博士生导师，2007年于哈尔滨工业大学取得博士学位。主要从事光谱分析、光电检测和光子晶体光纤方面的研究。E-mail：wangshutao@ysu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849281&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849288&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849284&type= 22.01333618 32.00399780 王书涛 （1978-），男，河北省秦皇岛人，工学博士，教授，博士生导师，2007年于哈尔滨工业大学取得博士学位。主要从事光谱分析、光电检测和光子晶体光纤方面的研究。E-mail： wangshutao@ysu.edu.cn wangshutao@ysu.edu.cn corresp E-mail： 15621156115@163.com E-mail： 15621156115@163.com 崔　凯（1995-），男，山东潍坊人，硕士研究生，主要从事计算机视觉、图像融合方面的研究。E-mail：15621156115@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849294&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849304&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849299&type= 22.01333618 32.00399780 崔　凯 （1995-），男，山东潍坊人，硕士研究生，主要从事计算机视觉、图像融合方面的研究。E-mail： 15621156115@163.com 15621156115@163.com 燕山大学 电气工程学院 河北省测试计量技术及仪器重点实验室，河北 秦皇岛 066004 燕山大学 电气工程学院 河北省测试计量技术及仪器重点实验室，河北 秦皇岛 066004 Key Laboratory of Measurement and Measurement Technology and Instruments， College of Electrical Engineering， Yanshan University， Qinhuangdao 066004， China Key Laboratory of Measurement and Measurement Technology and Instruments， College of Electrical Engineering， Yanshan University， Qinhuangdao 066004， China 为克服单一卫星传感器成像的不足，提出了基于密集连接网络的合成孔径雷达（SAR）与多光谱影像的融合算法。首先分别对SAR影像与多光谱影像进行预处理，使用双三次插值法重采样到同一空间分辨率下，然后使用密集连接网络来分别提取影像的特征图，并采用区域能量最大的融合策略将深度特征进行融合，将融合图像输入到预训练的解码器中进行重构，获得最终融合影像。实验采用哨兵1号SAR影像、Landsat-8影像和高分1号卫星影像进行验证，并与基于成分替换、基于多尺度分解和基于卷积神经网络的代表性方法进行对比试验。实验结果表明，基于密集连接网络的融合算法在多尺度结构相似度指标上的精度高达0.930 7，在其他多种评价指标上也都优于其他融合算法，SAR影像的细节信息和多光谱影像的光谱信息得到很好的保留。 To overcome the shortcomings of single satellite sensor imaging， a fusion algorithm for synthetic aperture radar （SAR） and multispectral images based on densely connected networks is proposed herein. Firstly， the SAR and multispectral images are preprocessed separately， and the bicubic interpolation method is used to resample the same spatial resolution. Then， the densely connected network is used to extract the feature maps of the image separately， and the fusion strategy with the largest regional energy is used to combine the depth features. The fused image is input to a pre-trained decoder for reconstruction to obtain the final fused image. The experiment uses Sentinel-1 SAR images， Landsat-8 images， and Gaofen-1 satellite images for verification and draws comparisons with methods based on component substitution， those based on multiscale decomposition， and those based on deep learning. Experimental results indicate that the accuracy of the fusion algorithm based on densely connected networks in terms of the multiscale structural similarity index is as high as 0.9307， and it is better than other fusion algorithms in terms of other evaluation indexes. Detailed information of SAR images and multispectral images are well preserved. 合成孔径雷达 图像融合 密集连接网络 多光谱 synthetic aperture radar image fusion densely connected network multispectral 1 引　言 1 多光谱（Multispectral， MS）卫星和合成孔径雷达（Synthetic Aperture Radar， SAR）卫星的成像原理不同。多光谱影像是基于光反射成像，拥有较高的光谱分辨率，可以较好得反应地物光谱信息。但其成像受限于天气和光线因素，无法在云雾、冰雪等恶劣天气下保证影像质量，不便于及时性分析。不同于多光谱成像，SAR采用主动式微波成像，不仅可以不受天气影响，全天时全天候成像，而且可以穿透水体，获得更多普通光学卫星无法获得的地物信息 ［ 1 1 ］ 。因此，为了突破卫星单一传感器的成像限制，将多光谱影像和SAR影像进行特征融合，以充分获得地面有效信息，融合后的图像可用于图像分类 ［ 2 2 ］ 、图像分割 ［ 3 3 ］ 和目标识别 ［ 4 4 ］ 等领域，在灾情监测、环境监测、资源勘查、测绘和军事应用等方面都具有重大意义 ［ 5 5 ］ 。 目前针对多源遥感影像的融合算法主要为空间域变换和多尺度分析 ［ 6 6 ］ 两大类。其中，空间域方法采用分量替换，主要包括PCA变换、IHS变换和Brovey变换等。以IHS变换为例，首先将多光谱影像变换到IHS空间，将SAR影像与多光谱I分量做直方图匹配，然后用SAR影像替换其I分量，反变换回RGB空间 ［ 7 7 ］ 。然而此方法在保留光谱信息的同时也造成了光谱失真和细节模糊等问题。多尺度分析法主要是将图像进行多尺度分解，得到低频和高频信息，然后在各自频率上采用不同的融合规则进行特征融合，最后进行逆变换，重构出融合图像 ［ 8 8 ］ 。常用的多尺度分析法有金字塔变换、小波变换、NSCT变换和NSST变换等。2015年，Liu等 ［ 9 9 ］ 提出了小波变换和稀疏表示相结合的融合算法。2017年，Mao等 ［ 10 10 ］ 将多尺度分解和稀疏表示的方法用于太赫兹影像，取得了较好的增强效果。之后，Shen等 ［ 11 11 ］ 提出了基于非下采样剪切波变换（NSST）的偏振图像融合算法。虽然多尺度分析可以在不同尺度分辨率下分析图像，但需要设计不同尺度下的融合规则，增加了计算的复杂程度，同时也容易损失空间细节特征。 近年来，深度学习发展火热，基于卷积神经网络（Convolutional Neural Network， CNN）的特征提取算法应用广泛，也备受多源图像融合领域相关学者的青睐。2016年，Masi等 ［ 12 12 ］ 提出了基于CNN的泛锐化方法，使用简单的三层结构提高了光学卫星影像的融合效果；2017年，Yuan等 ［ 13 13 ］ 结合深度残差网络，增强了多光谱影像泛锐化的精度；2019年，Ma等 ［ 14 14 ］ 提出了基于生成对抗网络的融合模型，在近红外和可见光图像融合中取得了良好的效果；2020年，Xu等 ［ 15 15 ］ 使用ResNet进行多尺度特征融合，并应用于遥感影像建筑物分割。目前，针对SAR与多光谱的研究多集中于多尺度分析。 基于以上分析，本文利用密集连接网络（Densely Connected Network， DenseNet）可减少梯度消失、最大化网络层中特征传播的特点，同时为解决融合影像光谱失真、细节模糊等问题，提出了基于DenseNet的SAR与多光谱影像的融合算法，将图像输入编码器和解码器，充分学习图像特征，采用区域能量最大的融合策略融合深度特征，最终得到清晰的融合图像。 2 卷积神经网络 1 卷积神经网络（Convolutional Neural Network， CNN）是一种包含卷积运算的前馈性神经网络，网络中的参数的梯度可通过反向传播机制不断更新以达到最优，训练好的模型可以学习输入图像的某些特征。LeNet-5是最早提出的用于图像分类的网络 ［ 16 16 ］ 。经过多年的发展，CNN已被广泛应用于目标检测、图像融合、语义分割和自然语言处理 ［ 17 17 ］ 等领域。 CNN的经典结构主要由卷积层、激活层、池化层和全连接层构成。其中，卷积层的作用是通过卷积核对输入图像进行特征提取，其公式如 式（1） 式（1） ： <math display="block" id="M1"><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="bold-italic">ω</mi><mi mathvariant="normal">*</mi><mi mathvariant="bold-italic">x</mi><mo>+</mo><mi mathvariant="bold-italic">b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849312&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849309&type= 25.65399933 3.80999994 ， 其中： <math id="M2"><mi mathvariant="bold-italic">ω</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849321&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849317&type= 2.62466669 2.79399991 为卷积核，通常为奇数大小， b 为偏置向量， * 代表卷积运算， x 为卷积层的输入， f （ x ）为卷积层的输出 。 卷积层之后通常为非线性激活层，其主要作用是提高网络解决非线性问题的能力 ［ 18 18 ］ 。常用的非线性激活函数有ReLU，LeakyReLU，tanh和sigmoid等。其中，LeakyReLU如 式（2） 式（2） 所示： <math display="block" id="M3"><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mi mathvariant="bold-italic">x</mi><mo>,</mo><mi mathvariant="bold-italic">x</mi><mo>></mo><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mi>α</mi><mi mathvariant="bold-italic">x</mi><mo>,</mo><mi mathvariant="bold-italic">x</mi><mo><</mo><mn mathvariant="normal">0</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849331&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849327&type= 29.04066467 9.05933285 ， 其中： x 为上一层卷积层的输出， <math id="M4"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849351&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849346&type= 1.94733346 2.79399991 为泄漏值。 <math id="M5"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849351&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849346&type= 1.94733346 2.79399991 的引入解决了当输入 x 为负时梯度消失的问题。 池化层也称下采样层，其作用为减少特征数据量，降低信息冗余，同时也防止学习过程中出现过拟合现象，常用的池化函数有最大池化和平均池化 ［ 19 19 ］ 。 全连接层位于网络模型的最后一层，该层中的每个节点都与前一层的所有节点相连，将学习到的特征映射到样本标记空间。 本文采用的融合过程如 图1 图1 所示。首先将源图像输入编码模型提取图像特征，然后采用融合规则对特征图进行融合，得到 N 维特征图组，最后输入解码器中重构得到融合图像。 3 融合算法实现 1 3.1　DenseNet模型 2 在传统的CNN模型中，随着网络深度的增加，容易出现网络降级，并且输入层与输出层距离过远，容易导致细节信息的丢失。为了解决网络降级问题，本文引入了密集连接 ［ 20 20 ］ 的网络连接方式，即密集连接块中每一层的输入来自于前面所有层的输出，因此在 L 层的网络结构中，共有 L （ L +1）/2个连接。通过这种连接方式，特征图和梯度信息可以在网络中更有效地传播，从而减轻了梯度消失问题，并且使得参数减少，网络更加容易训练。 本文CNN模型由Encoder和Decoder两部分组成，包含1个输入层、8个卷积层和1个输出层。其中，前4层位于Encoder中，采用密集连接的方式，对输入图像进行特征提取，每个卷积层的输出维度固定为16；后4层位于Decoder中，采用级联方式，对图像进行逆卷积重构。卷积核大小设为3，步长为1，采用反射填充模式，激活函数选用LReLU，模型框架如 图2 图2 所示。密集连接网络参数如 表1 表1 所示。 Layer Input channel Convolution kernel size Activation function Output channel Input 1 * * 1 Conv1 1 3*3 LReLU 16 Conv2 16 3*3 LReLU 16 Conv3 32 3*3 LReLU 16 Conv4 48 3*3 LReLU 16 Conv5 64 3*3 LReLU 64 Conv6 64 3*3 LReLU 32 Conv7 32 3*3 LReLU 16 Conv8 16 3*3 LReLU 1 Output 1 * * 1 3.2　训练过程 2 3 . 2 . 1　损失函数 3 为了更好地重建输入图像、保存更多的有效信息，选择结构相似性（Structural Similarity， SSIM） ［ 21 21 ］ 作为输入输出图像的相似性衡量指标，其公式如式（3）所示。为了避免使用滑动窗口计算SSIM过程中产生的“分块效应”，使用了11×11大小的对称高斯加权函数作为加权窗口，高斯函数标准差设为1.5，这样可以保证局部计算过程中的各向同性，减少窗口大小对计算结果的影响： <math display="block" id="M6"><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo>,</mo><mi mathvariant="bold-italic">y</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>μ</mi></mrow><mrow><mi mathvariant="bold-italic">x</mi></mrow></msub><msub><mrow><mi>μ</mi></mrow><mrow><mi mathvariant="bold-italic">y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>σ</mi></mrow><mrow><mi mathvariant="bold-italic">x</mi><mi mathvariant="bold-italic">y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mo stretchy="false">(</mo><msubsup><mrow><mi>μ</mi></mrow><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>μ</mi></mrow><mrow><mi mathvariant="bold-italic">y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><mi mathvariant="bold-italic">y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849398&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849393&type= 70.61199951 8.80533314 ， （3） 其中： x ， y 分别代表输入和输出图像， <math id="M7"><msub><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow></msub><mo>,</mo><msub><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849408&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849404&type= 8.21266651 4.57200003 分别代表 x 和 y 的均值， <math id="M8"><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849418&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849411&type= 3.21733332 3.97933316 和 <math id="M9"><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849427&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849422&type= 3.21733332 3.97933316 分别代表 x 和 y 的方差， <math id="M10"><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849436&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849431&type= 3.89466691 3.72533321 代表 x 和 y 的协方差， <math id="M11"><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849445&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849440&type= 2.70933342 3.72533321 和 <math id="M12"><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849453&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849450&type= 2.70933342 3.72533321 是维稳系数。SSIM取值范围为（0，1），值越大表明相似性越好，因此选用损失函数 <math id="M13"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849464&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849458&type= 5.67266655 3.72533321 ，如（4）所示： <math display="block" id="M14"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">O</mi><mo>,</mo><mi mathvariant="bold-italic">I</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849472&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849470&type= 36.23733139 4.48733330 ， 其中， <math id="M15"><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">O</mi><mo>,</mo><mi mathvariant="bold-italic">I</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849483&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849477&type= 19.13466644 3.55599999 为输入图像和输出图像的结构相似性指标，其值越大，表明结构信息损失越少，两幅图像越接近。 3 . 2 . 2　融合策略 3 多光谱影像具有丰富的地物信息和光谱信息，SAR影像包含更多的细节信息，为了同时保留两幅图像各自的信息，更好地表达两类图像的特点，采用区域能量最大的融合策略。在融合阶段，融合层加在Conv4之后，将两幅影像的64维特征图进行能量计算，输入到解码器中重构出融合图像。融合公式可用 式（5） 式（5） 表示： <math display="block" id="M16"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="bold-italic">f</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="bold-italic">a</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo>,</mo><mi mathvariant="bold-italic">y</mi><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="bold-italic">a</mi></mrow></msub><mo>≥</mo><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="bold-italic">b</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="bold-italic">b</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo>,</mo><mi mathvariant="bold-italic">y</mi><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="bold-italic">a</mi></mrow></msub><mo><</mo><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="bold-italic">b</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849493&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849488&type= 36.57600021 10.32933331 ， 其中： <math id="M17"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="bold-italic">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849497&type= 2.70933342 3.72533321 和 <math id="M18"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="bold-italic">b</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849512&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849507&type= 2.62466669 3.72533321 分别是SAR影像和多光谱影像的64维特征图， <math id="M19"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="bold-italic">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849518&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849516&type= 3.80999994 3.72533321 和 <math id="M20"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="bold-italic">b</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849528&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849523&type= 3.80999994 3.72533321 为其对应区域的能量，表达式如 式（6） 式（6） 所示： <math display="block" id="M21"><mi mathvariant="bold-italic">E</mi><mo>=</mo><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></msubsup><mrow><msubsup><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><mi mathvariant="bold-italic">I</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo>+</mo><mi>i</mi><mo stretchy="false">)</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">y</mi><mo>+</mo><mi>j</mi><mo stretchy="false">)</mo></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849538&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16849533&type= 51.98533249 5.16466665 ， 其中，［ m ， n ］为计算能量的滑动窗口大小，本文滑动窗口大小设为3。 4 实验结果与分析 1 实验采用哨兵1号SAR影像、Landsat-8和高分1号光学卫星影像进行融合实验。其中，SAR影像采用SNAP雷达影像处理软件进行预处理，主要步骤包括多视、滤波、去除热噪声和地形校正，其中滤波过程选用Lee滤波器。Landsat-8影像选用红、绿、蓝三个波段进行波段叠加，并用真彩色显示。所有影像均经过双三次插值法重采样处理，重采样后的影像空间分辨率均为10 m。为了验证模型的有效性和一般性，选择SAR与Landsat-8影像作为第一组融合数据，选择SAR与高分1号影像作为第二组融合数据。 4.1　训练过程分析 2 本文所提网络的主要功能为提取图像特征并重构图像，因此，训练阶段不进行图像融合，仅使用具有高空间分辨率的SAR影像作为训练数据，数据量为95 000张，图像尺寸为256×256，迭代次数设为3 800，epoch设为3，batch size设为25。采用随机梯度下降法计算损失函数的梯度，迭代更新网络中的权重与偏差项。迭代完成后，保存模型参数。训练过程损失函数曲线如 图3 图3 所示。 从 图3 图3 可以看到，网络收敛迅速，在迭代至936次时，损失函数已达到10 -4 次方量级，且收敛平稳，迭代完成时，损失函数为6.8×10 -4 。这表明网络收敛性能好，可以最大程度减少输入图像的结构损失，网络输出影像与输入影像十分逼近。 4.2　融合结果分析 2 结果分析从主观视觉和客观评价指标两个角度开展。为了更好地体现本文算法在SAR与多光谱影像融合中的优越性，将本文融合算法与基于成分替换法的Brovey变换和GS正交融合、基于多尺度分析法的IHS+Wave和NSCT、基于CNN的PanNet方法进行对比试验。对于PanNet方法，使用40 000张256×256大小的哨兵1号影像进行训练，保留原文中的超参数以达到最佳实验效果。两组实验结果对比如 图4 图4 ~ 图5 图5 所示。 首先对融合结果进行主观评价。从 图4 图4 可以看出，基于成分替换法的Brovey变换和GS正交融合结果表现出了明显的光谱失真现象，岸边厂房和草地颜色明显发生了变化；基于多尺度分析法的IHS+Wave方法和NSCT方法较好的增强了空间分辨率，但也存在不同程度的光谱失真现象；而基于CNN方法的PanNet和本文方法在光谱保持程度上明显大于其他方法，与原多光谱影像相比几乎没有光谱失真，并且SAR影像的空间细节在融合结果中得到了很好的保留，空间分辨率明显上升；相比之下，本文方法融合结果的清晰度要高于PanNet方法，这是由于在训练过程中，PanNet方法将上采样后的多光谱信息手动加入到了模型的输出中，不可避免的会产生手工伪影，影响空间分辨率。同理，在 图5 图5 中，本文方法融合结果不管是在光谱信息的保持上还是在空间细节的增强上，都明显优于其他方法，证明了本文方法在SAR与多光谱影像融合中的优越性。 在客观指标上，选择信息熵（Entropy） ［ 22 22 ］ 、平均梯度（Average Gradient， AG）、图像清晰度（Image Definition， IMDE） ［ 23 23 ］ 、差异相关性之和（Sum of Correlations of Differences， SCD） ［ 24 24 ］ 和多尺度结构相似性（Multiscale Structural Similarity， MSSIM） ［ 25 25 ］ 作为融合质量评价指标。在测试阶段，选用landsat-8影像、高分1号影像和哨兵1号影像各500张进行融合实验，融合结果的平均指标如 表2 表2 所示。 Image group Fusion algorithm AG Entropy IMDE SCD MSSIM 6 1 Brovey 1.583 6 3.878 1 2.087 5 0.209 3 0.835 1 GS 1.504 2 3.774 5 1.960 1 0.251 8 0.552 4 IHS+Wave 4.519 8 4.287 9 2.338 6 0.424 8 0.424 8 NSCT 4.791 1 4.524 8 2.025 8 0.894 1 0.892 5 PanNet 2.597 3 4.487 5 2.814 5 0.952 3 0.884 7 DenseNet 2.813 0 4.849 6 3.733 4 0.968 5 0.893 2 6 2 Brovey 1.697 1 3.882 3 2.192 2 -0.511 2 0.757 6 GS 5.026 5 5.574 8 6.263 5 0.760 2 0.894 3 IHS+Wave 6.041 9 6.265 1 3.251 6 1.198 3 0.771 6 NSCT 5.965 0 6.151 2 2.732 1 1.131 9 0.770 5 PanNet 3.472 5 6.552 3 2.763 6 0.774 5 0.811 4 DenseNet 3.954 2 6.024 0 5.290 6 1.213 2 0.930 7 分析 表2 表2 可以得知，第一组数据中，本文所提方法在除平均梯度外的各项指标上均取得了最优值，与主观分析评价一致，证明本文方法在光谱保持和空间细节保留方面效果较好；其中，平均梯度越大仅表明了图像变化较多，层次更丰富，但从主观角度看，图像的光谱保持程度不一定好。两组数据中，本文方法在SCD和MSSIM指标上取到了最大值，说明融合图像较输入图像失真较少，且从主观角度看图像更加清晰，证明所提方法能很好地保持SAR影像中的细节信息。 5 结　论 1 本文提出了基于密集连接网络的SAR与多光谱影像融合算法，设计并实现了SAR与多光谱影像的融合模型，算法模型分为三部分：编码器、融合层和解码器。首先，源图像输入编码器分别进行特征提取，然后采用区域能量最大的融合策略进行特征融合，最后输入解码器中重构影像，并对融合结果进行了主观和客观两方面的评价。主观上看，融合结果避免了光谱失真，较好地保持了原有的地物色彩，提高了影像的清晰度；多个客观指标也表明提出的算法优于其他融合算法，尤其是多尺度结构相似性指标达到了0.930 7，最大化保持了融合影像和源图像的结构相似度。实验结果表明，提出的密集连接网络融合算法适用于SAR与多光谱影像的融合，且对多个卫星数据具有良好的适应性，表现出了很好的融合效果。 参考文献 PEI J F ， HUANG Y L ， HUO W B ， et al . SAR automatic target recognition based on multiview deep learning framework ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 （ 4 ）： 2196 - 2210 . SAR automatic target recognition based on multiview deep learning framework 闫敬文 ， 陈宏达 ， 刘蕾 . 高光谱图像分类的研究进展 ［J］. 光学 精密工程 ， 2019 ， 27 （ 3 ）： 680 - 693 . 高光谱图像分类的研究进展 YAN J W ， CHEN H D ， LIU L . Overview of hyperspectral image classification ［J］. Opt. precision Eng. ， 2019 ， 27 （ 3 ）： 680 - 693 . （in Chinese） Overview of hyperspectral image classification 杨蕴 ， 李玉 ， 赵泉华 . 高分辨率全色遥感图像多级阈值分割 ［J］. 光学 精密工程 ， 2020 ， 28 （ 10 ）： 2370 - 2383 . 高分辨率全色遥感图像多级阈值分割 YANG Y ， LI Y ， ZHAO Q H . Multi-level threshold segmentation of high-resolution panchromatic remote sensing imagery ［J］. Opt. precision Eng. ， 2020 ， 28 （ 10 ）： 2370 - 2383 . （in Chinese） Multi-level threshold segmentation of high-resolution panchromatic remote sensing imagery 左俊皓 ， 赵聪 ， 朱晓龙 ， 等 . Faster-RCNN和Level-Set结合的高分遥感影像建筑物提取 ［J］. 液晶与显示 ， 2019 ， 34 （ 4 ）： 439 - 447 . Faster-RCNN和Level-Set结合的高分遥感影像建筑物提取 ZUO J H ， ZHAO C ， ZHU X L ， et al . High-resolution remote sensing image building extraction combined with Faster-RCNN and Level-Set ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 4 ）： 439 - 447 . High-resolution remote sensing image building extraction combined with Faster-RCNN and Level-Set KWAK Y ， YOROZUYA A ， IWAMI Y . Disaster risk reduction using image fusion of optical and SAR data before and after tsunami ［C］. 2016 IEEE Aerospace Conference. IEEE ， 2016 ： 1 - 11 . Disaster risk reduction using image fusion of optical and SAR data before and after tsunami LI S T ， KANG X D ， FANG L Y ， et al . Pixel-level image fusion： A survey of the state of the art ［J］. Information Fusion ， 2017 ， 33 ： 100 - 112 . Pixel-level image fusion： A survey of the state of the art 刘川 ， 齐修东 ， 臧文乾 ， 等 . 基于 IHS 变换的 Gram-Schmidt 改进融合算法研究 ［J］. 测绘工程 ， 2018 （ 11 ）： 3 . 基于 IHS 变换的 Gram-Schmidt 改进融合算法研究 LIU CH ， QI X D ， ZANG W Q ， et al . Research of improved Gram-Schmidt image fusion algorithm based on HIS transform ［J］. Engineering of Surveying and Mapping ， 2018 （ 11 ）： 3 . （in Chinese） Research of improved Gram-Schmidt image fusion algorithm based on HIS transform 陈潮起 ， 孟祥超 ， 邵枫 ， 等 . 一种基于多尺度低秩分解的红外与可见光图像融合方法 ［J］. 光学学报 ， 2020 ， 40 （ 11 ）： 1110001 . 一种基于多尺度低秩分解的红外与可见光图像融合方法 CHEN CH Q ， MENG X CH ， SHAO F ， et al . Infrared and Visible Image Fusion Method Based on Multiscale Low-Rank Decomposition ［J］. Acta Optica Sinica ， 2020 ， 40 （ 11 ）： 1110001 . （in Chinese） Infrared and Visible Image Fusion Method Based on Multiscale Low-Rank Decomposition LIU Y ， LIU S ， WANG Z . A general framework for image fusion based on multiscale transform and sparse representation ［J］. Information fusion ， 2015 ， 24 ： 147 - 164 . A general framework for image fusion based on multiscale transform and sparse representation MAO Q ， ZHU Y ， LÜ C ， et al . Image fusion based on multiscale transform and sparse representation to enhance terahertz images ［J］. Optics Express ， 2020 ， 28 （ 17 ）： 25293 - 25307 . Image fusion based on multiscale transform and sparse representation to enhance terahertz images 沈薛晨 ， 刘钧 ， 高明 . 基于NSST变换的微光偏振图像融合算法 ［J］. 激光杂志 ， 2020 ， 41 （ 2 ）： 103 - 113 . 基于NSST变换的微光偏振图像融合算法 SHEN X CH ， LIU J ， GAO M ， et al . Low-light polarization image fusion algorithm based on NSST transform ［J］. Laser Journel ， 2020 ， （ 2 ）： 103 - 113 . （in Chinese） Low-light polarization image fusion algorithm based on NSST transform MASI G ， COZZOLINO D ， VERDOLIVA L ， et al . Pansharpening by convolutional neural networks ［J］. Remote Sensing ， 2016 ， 8 （ 7 ）： 594 . Pansharpening by convolutional neural networks WEI Y ， YUAN Q ， SHEN H ， et al . Boosting the accuracy of multispectral image pansharpening by learning a deep residual network ［J］. IEEE Geoscience and Remote Sensing Letters ， 2017 ， 14 （ 10 ）： 1795 - 1799 . Boosting the accuracy of multispectral image pansharpening by learning a deep residual network MA J ， YU W ， LIANG P ， et al . FusionGAN： A generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 . FusionGAN： A generative adversarial network for infrared and visible image fusion 徐胜军 ， 欧阳朴衍 ， 郭学源 ， 等 . 多尺度特征融合空洞卷积ResNet遥感图像建筑物分割 ［J］. 光学 精密工程 ， 2020 ， 28 （ 7 ）： 1588 - 1599 . 多尺度特征融合空洞卷积ResNet遥感图像建筑物分割 XU SH J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet LECUN Y ， BOTTOU L ， BENGIO Y ， et al . Gradient-based learning applied to document recognition ［J］. Proceedings of the IEEE ， 1998 ， 86 （ 11 ）： 2278 - 2324 . Gradient-based learning applied to document recognition CHEN Y . Convolutional Neural Network for Sentence Classification ［D］. Canada ： University of Waterloo ， 2015 . Convolutional Neural Network for Sentence Classification 曲之琳 ， 胡晓飞 ． 基于改进激活函数的卷积神经网络研究 ［J］． 计算机技术与发展 ， 2017 ， 27 （ 12 ）： 77 - 80 基于改进激活函数的卷积神经网络研究 QU ZH L ， HU X F . Research on Convolutional Neural Network Based on Improved Activation Function ［J］. Computer Technology and Development ， 2017 ， 27 （ 12 ）： 77 - 80 . （in Chinese） Research on Convolutional Neural Network Based on Improved Activation Function 刘万军 ， 梁雪剑 ， 曲海成 . 不同池化模型的卷积神经网络学习性能研究 ［J］. 中国图象图形学报 ， 2016 ， 21 （ 9 ）： 1178 - 1190 . 不同池化模型的卷积神经网络学习性能研究 LIU W J ， LIANG X J ， QU H CH ， et al . Learning performance of convolutional neural networks with different pooling models ［J］. Journal of Image and Graphics ， 2016 ， 21 （ 9 ）： 1178 - 1190 . （in Chinese） Learning performance of convolutional neural networks with different pooling models LI H ， WU X J . DenseFuse： A fusion approach to infrared and visible images ［J］. IEEE Transactions on Image Processing ， 2018 ， 28 （ 5 ）： 2614 - 2623 . DenseFuse： A fusion approach to infrared and visible images WANG Z . Image Quality Assessment ： From Error Visibility to Structural Similarity ［J］. IEEE Transactions on Image Processing ， 2004 . Image Quality Assessment ： From Error Visibility to Structural Similarity 胡利平 ， 刘锦帆 ， 王洪叶 ， 等 ． 基于模糊综合评判的车辆目标SAR仿真图像评估方法 ［J］． 系统工程与电子技术 ， 2019 ， 41 （ 3 ）： 534 - 540 基于模糊综合评判的车辆目标SAR仿真图像评估方法 HU L P ， LIU J F ， WANG H Y ， et al . Vehicle SAR simulation images validation method based on fuzzy comprehensive evaluation ［J］. Systems Engineering and Electronics ， 2019 ， 41 （ 3 ）： 534 - 540 . （in Chinese） Vehicle SAR simulation images validation method based on fuzzy comprehensive evaluation 王健 ． 基于图像处理的自动调焦技术研究 ［D］． 成都 ： 中国科学院光电技术研究所 ， 2013 . 基于图像处理的自动调焦技术研究 WANG J . Study on Technology of Auto-focus Based on Image Processing ［D］. Chengdu ： Institute of Optics and Electronics ， Chinese Academy of Sciences ， 2013 . （in Chinese） Study on Technology of Auto-focus Based on Image Processing ASLANTAS V ， BENDES E . A new image quality metric for image fusion： The sum of the correlations of differences ［J］. AEU-International Journal of Electronics and Communications ， 2015 ， 69 （ 12 ）： 1890 - 1896 . A new image quality metric for image fusion： The sum of the correlations of differences MA K D ， KAI Z ， ZHOU W . Perceptual Quality Assessment for Multi-Exposure Image Fusion ［J］. IEEE Transactions on Image Processing ， 2015 ， 24 （ 11 ）： 3345 - 3356 . Perceptual Quality Assessment for Multi-Exposure Image Fusion 10.37188/OPE.20212905.1145 TP751 A 1004-924X（2021）05-1145-09 王书涛,崔凯,孔德明等.密集连接网络在SAR与多光谱影像融合中的应用[J].光学精密工程,2021,29(05):1145-1153. 王书涛,崔凯,孔德明等.密集连接网络在SAR与多光谱影像融合中的应用[J].光学精密工程,2021,29(05):1145-1153. WANG Shu-tao,CUI Kai,KONG De-ming,et al.Application of densely connected network in SAR and multispectral image fusion[J].Optics and Precision Engineering,2021,29(05):1145-1153. WANG Shu-tao,CUI Kai,KONG De-ming,et al.Application of densely connected network in SAR and multispectral image fusion[J].Optics and Precision Engineering,2021,29(05):1145-1153. 国家自然科学基金资助项目（No.61771419）；河北省自然科学基金资助项目（No.F2017203220） 2020-10-16 2020-12-03 2021-05-15 2021-06-24 光学精密工程 5 29