Deep hyperspectral image denoising by fusing space spectrum-gradient features

融合空谱 - 梯度特征的深度高光谱图像去噪 Deep hyperspectral image denoising by fusing space spectrum-gradient features first-author 李忠伟（1978-），男，山西晋城人，教授，博士生导师，2001年于中国石油大学（华东）获得学士学位，2011年于中国石油大学（华东）油气井工程专业获得博士学位，2018年到英国Cardiff大学访学研修，主要从事大数据处理与人工智能算法及其智慧应用方面的研究。E-mail： lizhongwei@upc.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415620&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415631&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415625&type= 22.01333237 32.00400162 李忠伟 （1978-），男，山西晋城人，教授，博士生导师，2001年于中国石油大学（华东）获得学士学位，2011年于中国石油大学（华东）油气井工程专业获得博士学位，2018年到英国Cardiff大学访学研修，主要从事大数据处理与人工智能算法及其智慧应用方面的研究。E-mail： lizhongwei@upc.edu.cn lizhongwei@upc.edu.cn corresp E-mail： 20060068@upc.edu.cn E-mail： 20060068@upc.edu.cn 王雷全（1981-），男，山东青岛人，博士，高级实验师，硕士生导师，毕业于北京邮电大学信息与通信工程学院，主要从事智能视觉信息处理、跨媒体检索、图像/视频描述、视频理解、深度学习理论与应用等方面的研究。E-mail： 20060068@upc.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415636&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415647&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415642&type= 22.01332855 32.00400162 王雷全 （1981-），男，山东青岛人，博士，高级实验师，硕士生导师，毕业于北京邮电大学信息与通信工程学院，主要从事智能视觉信息处理、跨媒体检索、图像/视频描述、视频理解、深度学习理论与应用等方面的研究。E-mail： 20060068@upc.edu.cn 20060068@upc.edu.cn 中国石油大学（华东） 海洋与空间信息学院，山东 青岛 266580 中国石油大学（华东） 海洋与空间信息学院，山东 青岛 266580 College of Oceanography and Space Informatics， China University of Petroleum， Qingdao 266580， China College of Oceanography and Space Informatics， China University of Petroleum， Qingdao 266580， China 为了去除高光谱图像采集过程中产生的噪声，提升后续图像处理的性能，提出了一种融合空谱-梯度特征的深度高光谱图像去噪方法。它包括空谱特征网络和梯度特征网络，且各网络使用密集跳跃连接和可分离卷积策略进行优化。空谱网络模型实现噪声特征的精确提取，梯度网络模型对噪声纹理特征进行补充，最后基于两个网络的特征提取结果进行融合，实现噪声特征的精准刻画，并用于恢复干净图像。分别在合成噪声图像和真实噪声图像上验证方法的有效性。实验结果表明，该方法在恢复图像内部结构上效果显著，在噪声标准差50的条件下去噪结果的平均信噪比达到29.426 dB，平均结构相似性达到0.967 8 dB，去噪结果使用支持向量机算法进行分类，分类精度达到90.89%。 To remove the noise generated during the process of hyperspectral image acquisition and to improve the performance of subsequent image processing， a deep hyperspectral image denoising method was proposed based on the fusion of spacial spectral and gradient features. It included spacial spectral and gradient characteristic networks， and each network was optimized with a dense connection and separable convolution strategy. The spacial spectral network model extracted the noise features， and the gradient network model supplemented the texture features of the noise. Finally， the feature extraction results of the two networks were fused to achieve characterization of the noise features and to restore clean images. In this study， the effectiveness of the proposed method was verified on synthetic-noise and real-noise images. Experimental results showed that the method had a significant effect on the restoration of the internal structure of images. Under the condition of noise standard deviation of 50， the mean PSNR reached 29.426 dB， while the mean SSIM reached 0.967 8 dB. The denoising results and the original image were classified by SVM algorithm， and the classification accuracy reached 90.89%. 高光谱图像 去噪 空谱网络 梯度网络 密集连接 可分离卷积 hyperspectral image denoise spacial spectral network gradient network dense connection separable convolution 1 引　言 1 高光谱传感器（也称为成像光谱仪）能够在几个连续的窄波段收集地物的电磁光谱信息，生成具有上百个光谱波段的高光谱图像（Hyperspectral Image，HSI）。与其他类型的遥感图像相比，高分辨率遥感图像包含了地物丰富的纹理、形状、结构和邻域关系等信息 ［ 1 1 ］ ，目前成功应用于地物分类 ［ 2 2 ］ ，解混 ［ 3 3 ］ ，目标检测 ［ 4 4 ］ 和变化检测 ［ 5 5 ］ 等。然而，由于传感器响应的不稳定性和大气等环境因素干扰，高光谱数据采集时会产生噪声 ［ 6 6 ］ ，不仅降低了图像质量，也限制了后续图像光谱信息解析的准确度 ［ 7 7 ］ 。因此，研究高效且稳定的HSI恢复方法，对后续数据分析和处理进程具有重要意义 ［ 8 8 - 9 9 8-9 ］ 。 传统的高光谱图像去噪策略主要是基于二维图像逐个谱段降低噪声水平，如NLM方法 ［ 10 10 ］ 、非局部转化方法 ［ 11 11 ］ 、小波变换方法 ［ 12 12 ］ 等，这些方法简单地将HSI作为灰度图像的叠加。然而，HSI相邻谱段高度相关，相隔很远的波段之间的特征差异很大，故逐带方法会丢失谱域中的相似性和差异性，去噪结果往往会引入伪影或谱失真。为了获得更好的去噪性能，必须考虑空间和频谱相关性。谱带之间的相关性通常被建模为低秩先验 ［ 13 13 - 14 14 13-14 ］ ，而空间域中的相关性通常被建模为纹理构造先验，例如全变差正则化 ［ 15 15 ］ ，字典和稀疏表示 ［ 16 16 ］ 等，但是由于数学形式复杂，参数需要手工设置和调整，并且大量的数据先验会使计算复杂度较高 ［ 17 17 ］ 。 随着深度学习的快速发展，基于深度神经网络的HSI去噪算法备受关注 ［ 18 18 ］ 。由于卷积神经网络具有很强的特征拟合能力，基于离散余弦神经网络的方法较基于模型的灰度图像方法，去噪效果更佳。张少磊等使用耦合狄利克雷自编码器提取光谱特征和对应的空间信息重建HSI，将卷积神经网络作为正则化丰度矩阵的先验，避免了传统模型复杂的参数调整 ［ 19 19 ］ 。刘伟等使用三维卷积神经网络，通过保留相邻谱带的相关性和在空间域提取更多的像素特征来获得更好的去噪性能 ［ 20 20 ］ 。Zhang等提出引入简单梯度信息的SSGM网络模型，用于多种HSI噪声的去除 ［ 21 21 ］ 。Maffei提出一种单谱段去噪方法，多次下采样降低参数量进行去噪 ［ 22 22 ］ 。Yuan等提出了端到端的HSID神经网络模型，结合残差策略直接从噪声图像中估计清晰图像 ［ 23 23 ］ 。基于深度学习的HSI去噪算法依赖于GPU的并行计算能力和神经网络的深度结构先验建模能力，均取得了不错的去噪性能。然而，大多数去噪算法是单独谱段去噪，HSI谱段之间的强光谱相关性利用不足。其次，神经网络特征提取过程中较小的样本感受野严重降低了全局空间相关性，空间信息损失过多。另外，随着深度模型网络深度的增加，深层网络特征损失严重，反而降低深度回归任务的准确度。事实上，因为HSI数据的高维性，设计高效的特征提取网络来充分利用空谱相关性是一项重要挑战。 本文提出了一种融合空谱-梯度特征的深度神经网络恢复HSI，它包括空谱特征网络和梯度特征网络两部分。其中，空谱网络由级联的多尺度注意力残差块组成，用于提取基础噪声的分布特征。梯度网络由级联的普通卷积层组成，用于噪声纹理结构的精细识别。考虑到网络深度和广度的平衡，加深网络的同时引入密集跳跃连接和可分离卷积策略进行优化，匹配HSI高维谱信息进行精准噪声拟合的同时，大幅减少中间层高特征维度映射过程中引起的过量参数，以提升网络训练性能。最终，设计有效的方法融合两个网络特征提取结果生成精准噪声图像，并用于恢复干净图像。 综上，本文提出了一种端到端的空谱-梯度特征神经网络去噪方法。该方法以多谱段高光谱数据为输入，级联多尺度特征提取模块提取到的空间和光谱信息为初始特征，以充分利用HSI中丰富的频谱信息和每个频带的不同空间信息，经过所提出的网络直接恢复HSI。设计多尺度残差注意力模块（Multi-scale Attention Residual Block， MARB）提取图像噪声特征，并使用密集连接和可分离卷积策略平衡网络的深度和广度，以强化网络特征提取性能。引入空谱梯度信息，利用空间梯度提取稀疏噪声在水平和垂直方向上的独特结构方向性，利用谱梯度获取谱段间附加互补信息以更好地降低噪声。设计独立的深度网络获取深层梯度特征，最终进行空谱特征和梯度特征的有效融合。实验表明，所提出的模型不但对HSI有很好的去噪效果，对图像内部结构的恢复上效果显著，能够很大程度上改善频谱失真现象。 2 原　理 1 2.1　HSI退化模型 2 HSI是一组三维数据结构 <math id="M1"><mi>h</mi><mo>×</mo><mi>w</mi><mo>×</mo><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415798&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415794&type= 16.00200081 2.79399991 ，其中 <math id="M2"><mi>h</mi><mo>×</mo><mi>w</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415674&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415660&type= 9.65200043 2.79399991 表示空间像素数目， <math id="M3"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415685&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415680&type= 1.52400005 2.79399991 表示光谱谱段数目。HSI退化模型可以表示为： <math display="block" id="M4"><mi>Y</mi><mo>=</mo><mi>X</mi><mo>+</mo><mi>V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415695&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415690&type= 18.20333290 2.96333337 ， 其中： <math id="M5"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416609&type= 2.62466669 2.79399991 表示真值图像， <math id="M6"><mi>V</mi><mo>=</mo><mo stretchy="false">[</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msub><mrow><mi>v</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415720&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415713&type= 28.78666496 4.48733330 表示加性噪声， <math id="M7"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416397&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416394&type= 2.87866688 2.79399991 表示噪声观察图像。特别地，对于加性高斯白噪声， <math id="M8"><msub><mrow><mi>v</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>=</mo><mi>ξ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo>,</mo><msup><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">)</mo><mo>,</mo><mi>n</mi><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">0</mn><mo>,</mo><mi>c</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415739&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415734&type= 36.40666580 5.07999992 ， <math id="M9"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415750&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415743&type= 1.69333339 2.79399991 表示标准正态分布的标准差。由于退化模型移项表示为 <math id="M10"><mi>X</mi><mo>=</mo><mi>Y</mi><mo>-</mo><mi>V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415761&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415757&type= 18.20333290 2.87866688 ，故HSI去噪实际上就是去除已知观察噪声图像 <math id="M11"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416397&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416394&type= 2.87866688 2.79399991 的加性噪声 <math id="M12"><mi>V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416379&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416378&type= 3.04800010 2.87866688 ，从而恢复无噪图像 <math id="M13"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416609&type= 2.62466669 2.79399991 。 2.2　融合空谱-梯度特征的HSI去噪模型 2 本文提出的HSI去噪网络如 图1 图1 所示。该网络输入尺寸为 <math id="M14"><mi>h</mi><mo>×</mo><mi>w</mi><mo>×</mo><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415798&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415794&type= 16.00200081 2.79399991 的HSI噪声数据，通过端到端的学习，直接恢复相同尺寸的去噪结果。为了充分提取随机分布噪声的特征信息，整个网络分为并行的两个阶段。 在第一阶段，训练了一个深度密集可分离卷积网络，用来提取深层空谱噪声特征信息。对输入的通道数为 K 的噪声数据，使用空间多尺度特征提取模块（SM）提取多尺度空间特征信息，使用通道多尺度特征提取模块（CM）提取多尺度光谱特征信息，特征提取模块如 图2 图2 所示。然后，级联特征提取结果，通过MARB进一步提取HSI噪声信息，该模块如 图3 图3 所示。所提出的网络引入多个MARB，级联不同MARB输出结果的同时控制维度，这种优势在于噪声特征重复利用以保证丰富的信息流，进而生成精简模型以有效减少参数数量。考虑到噪声分布特性，结合不同尺度的特征和特征注意模块来捕捉各种噪声成分是一种有效的方法。跳跃连接通常用在残差链接块中，因为它们可以在多个尺度上聚集特征并加速训练过程。因此，密集连接MARB能够更好地捕捉具有不同尺度的噪声结构信息。 在第二阶段，训练了一个梯度特征网络，从不同的输入噪声数据中，分别提取K谱段的空间梯度信息和光谱梯度信息。SM模块用于提取多尺度空间梯度特征信息，CM模块用于提取多尺度光谱梯度特征信息，然后连接特征提取结果并输入到一个十五层的深度卷积网络模型中，这样可以更好地表现噪声在空间方向和光谱方向的梯度分布特性。整个梯度网络中间层使用深度可分离卷积层，可以在维持特征提取层高通道数的同时大幅减少梯度网络训练参数。梯度网络特征提取结果与空谱网络特征提取结果加权融合，并使用单个卷积层拟合噪声特征分布。梯度网络实际上对空谱特征提取网络噪声的拟合起补充作用，并且梯度信息可以提升网络训练速度。最终，噪声拟合结果 <math id="M15"><mi>V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416379&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416378&type= 3.04800010 2.87866688 与输入噪声图像 <math id="M16"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416397&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416394&type= 2.87866688 2.79399991 相减获得去噪结果 <math id="M17"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416609&type= 2.62466669 2.79399991 。 2.3　多尺度特征提取模块 2 本文对空谱网络和梯度网络使用相同的多尺度特征提取模块，如 图2 图2 所示。考虑噪声空间分布的不均匀性，SM模块共设计6种大小不同的卷积核提取空间方向不同大小感受野的空间特征信息。首先使用大小为3×3，5×5，7×7的普通卷积（Conv）提取小范围空间信息。对于更大范围的空间信息提取，考虑到卷积核尺寸增大引发的过量参数会阻碍训练过程，故分别用膨胀率 <math id="M18"><mi>d</mi><mo>=</mo><mn mathvariant="normal">4,5</mn><mo>,</mo><mn mathvariant="normal">6</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415912&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415909&type= 16.25600052 3.21733332 ，大小为 <math id="M19"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416374&type= 8.63599968 2.79399991 的膨胀卷积（Dilated Conv），分别适应 <math id="M20"><mn mathvariant="normal">9</mn><mo>×</mo><mn mathvariant="normal">9</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415931&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415927&type= 8.63599968 2.79399991 ， <math id="M21"><mn mathvariant="normal">11</mn><mo>×</mo><mn mathvariant="normal">11</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415939&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415935&type= 12.27666664 2.79399991 ， <math id="M22"><mn mathvariant="normal">13</mn><mo>×</mo><mn mathvariant="normal">13</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415952&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415947&type= 12.27666664 2.79399991 的空间范围。采用批量标准化函数（Batch Normalization， BN）作为归一化层，缓解多尺度特征提取级联结果过高维度引发的显存压力。BN实际上就是求单个批次训练数据的均值和方差以进行数据标准化，它可以很好地避免浅层网络梯度过小问题以增加网络的学习速率。归一化结果导入非线性激活层，引入该层是为了从卷积输出数据中提取激活特征图像。非线性激活层由多种激活函数实现，如tanh，sigmoid或整流线性单元（ReLU）等，从学习速度角度出发，本文使用ReLU激活函数。SM模块特征提取基本结构可以总结为Conv→级联→BN→ReLU，其输出可以表示为： <math display="block" id="M23"><mtable><mtr><mtd><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>=</mo></mtd></mtr><mtr><mtd><mi>σ</mi><mo stretchy="false">(</mo><mi>B</mi><mi>N</mi><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msub><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">5</mn><mo>×</mo><mn mathvariant="normal">5</mn></mrow></msub><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn></mrow></msub><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow><mrow><mi>d</mi><mo>=</mo><mn mathvariant="normal">4</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow><mrow><mi>d</mi><mo>=</mo><mn mathvariant="normal">5</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow><mrow><mi>d</mi><mo>=</mo><mn mathvariant="normal">6</mn></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415958&type= 75.52266693 9.05933285 其中： <math id="M24"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415971&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415967&type= 5.67266655 3.72533321 指的是SM模块的输出， <math id="M25"><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415981&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415977&type= 7.19666624 3.72533321 表示对输入特征进行卷积核大小为 <math id="M26"><mi>n</mi><mo>×</mo><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416005&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416001&type= 8.63599968 2.79399991 的普通卷积运算， <math id="M27"><msubsup><mrow><mi>F</mi></mrow><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow><mrow><mi>d</mi><mo>=</mo><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415998&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415994&type= 7.45066643 3.97933316 表示对输入特征进行卷积核大小为 <math id="M28"><mi>n</mi><mo>×</mo><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416005&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416001&type= 8.63599968 2.79399991 、膨胀率为 <math id="M29"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416015&type= 1.69333339 2.79399991 的膨胀卷积运算， <math id="M30"><mi>C</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416035&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416030&type= 5.84200001 3.55599999 表示特征级联运算， <math id="M31"><mi>B</mi><mi>N</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416043&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416041&type= 8.80533314 3.55599999 表示批量标准化函数运算， <math id="M32"><mi>σ</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416053&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416049&type= 5.07999992 3.55599999 表示ReLU激活函数运算。 区别于自然图像，HSI具有高通道数的特点，CM模块可以在控制空间方向特征不损失的情况下，单独提取多尺度通道特征以拟合噪声光谱分布情况。该模块使用大小为 <math id="M33"><mn mathvariant="normal">5</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416064&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416057&type= 16.59466553 2.79399991 ， <math id="M34"><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416071&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416068&type= 15.32466698 2.79399991 ， <math id="M35"><mn mathvariant="normal">9</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416079&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416075&type= 15.32466698 2.79399991 的三维卷积（3D Conv）分别提取多尺度通道特征信息并级联，大小为 <math id="M36"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416083&type= 15.32466698 2.79399991 的三维卷积对结果进行降维，最后使用大小为3×3的普通卷积控制输出通道数目。CM模块特征提取基本结构可以总结为3D Conv→级联→3D Conv→ReLU→Conv→BN→ReLU，其输出可以表示为： <math display="block" id="M37"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>=</mo><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><mi>B</mi><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">5</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">9</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416097&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416091&type= 102.10800171 4.48733330 ， 其中： <math id="M38"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416106&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416102&type= 5.84200001 3.72533321 指的是CM模块的输出， <math id="M39"><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416119&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416112&type= 10.75266743 3.72533321 表示卷积核大小为 <math id="M40"><mi>n</mi><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416128&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416123&type= 15.32466698 2.79399991 三维卷积运算。随着网络深度的增加，多尺度特征级联结果能更好地逼近噪声分布。 2.4　MARB 2 多尺度特征有效地结合了不同尺度上的特征，被广泛用于获取更好的物体及其周围环境的信息。注意力机制能够增强回归任务提取信息的能力，这有利于提高网络准确性。受这些思想的启发，MARB用注意力模块指导多尺度特征提取结果以有效学习噪声信息。如 图3 图3 所示，对于输入特征 <math id="M41"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416165&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416164&type= 4.14866638 3.72533321 ，MARB使用大小为 <math id="M42"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416374&type= 8.63599968 2.79399991 ，组数为120的可分离卷积和大小为 <math id="M43"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416374&type= 8.63599968 2.79399991 ，组数为120，膨胀率为2的膨胀卷积分别提取初始特征。然后，各特征提取结果交叉进行这两种类型的卷积运算，生成4个不同卷积组合顺序的特征图。这种交叉特征提取方式既能保证输入信息可以通过所有参数层传播，使得MARB可以通过不同尺度的特征来学习噪声初级特征，同时又提取到卷积层不同组合顺序的噪声结构特征。另外，由于噪声密度分布模式在不同通道上变化很大，因此BCP先验 ［ 24 24 ］ 可能是获得通道特征的不同加权信息的有效方法。经发现，与同等对待不同通道的方法相比，具有BCP的通道式注意方案可以帮助网络更好地保持原噪声图像中的像素亮度。因此，通道注意力可以捕捉噪声区域并帮助提取重要通道特征。同时，由于噪声的分布几乎是不均匀的，在不同的空间位置可能会有所不同，故空间注意力对噪声区域的识别也很重要。本文融合4个组合的特征提取结果，并使用大小为 <math id="M44"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416245&type= 8.63599968 2.79399991 的普通卷积控制通道数目，再使用大小为 <math id="M45"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416374&type= 8.63599968 2.79399991 ，组数为120的可分离卷积提取噪声拟合结果，然后依次通过通道注意力（Channel Attention， CA）和空间注意力（Spatial Attention， SA）模块获得深层特征注意力结果。最终与该模块输入特征 <math id="M46"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416165&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416164&type= 4.14866638 3.72533321 进行跳跃残差连接获得MARB输出特征 <math id="M47"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">R</mi><mi mathvariant="normal">B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416173&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416169&type= 8.72066593 3.72533321 ，可以表述为： <math display="block" id="M48"><mtable><mtr><mtd><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">R</mi><mi mathvariant="normal">B</mi></mrow></msub><mo>=</mo></mtd></mtr><mtr><mtd><mi>s</mi><mi>a</mi><mo stretchy="false">(</mo><mi>c</mi><mi>a</mi><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416177&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416176&type= 73.40599823 9.05933285 <math display="block" id="M49"><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416180&type= 35.39066696 4.48733330 ， <math display="block" id="M50"><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><msub><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow><mrow><mi>d</mi><mo>=</mo><mn mathvariant="normal">2</mn></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416189&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416187&type= 35.81399918 4.65666676 ， <math display="block" id="M51"><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>=</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow><mrow><mi>d</mi><mo>=</mo><mn mathvariant="normal">2</mn></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416195&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416192&type= 35.81399918 4.65666676 ， <math display="block" id="M52"><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub><mo>=</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow><mrow><mi>d</mi><mo>=</mo><mn mathvariant="normal">2</mn></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow><mrow><mi>d</mi><mo>=</mo><mn mathvariant="normal">2</mn></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416200&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416197&type= 36.23733139 4.65666676 ， 其中： <math id="M53"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416207&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416203&type= 2.79399991 2.79399991 表示Conv/Dilated Conv→BN→ReLU组合运算， <math id="M54"><msub><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416214&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416211&type= 7.53533268 3.72533321 和 <math id="M55"><msubsup><mrow><mi>G</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow><mrow><mi>d</mi><mo>=</mo><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416220&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416217&type= 7.95866632 3.97933316 分别表示 <math id="M56"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416374&type= 8.63599968 2.79399991 的普通卷积组合运算和膨胀率为2的 <math id="M57"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416374&type= 8.63599968 2.79399991 膨胀卷积组合运算， <math id="M58"><mi>s</mi><mi>a</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416231&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416229&type= 6.26533365 3.55599999 ， <math id="M59"><mi>c</mi><mi>a</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416235&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416233&type= 6.51933336 3.55599999 分别表示空间注意力和通道注意力运算。 图4 图4 （a）展示了BCP通道注意力提取方案， 图4 图4 （b）展示了BCP空间注意力提取方案。MARB能够强化噪声特征信息的组合和重构。 2.5　密集连接和可分离卷积策略 2 深度学习中，增加网络的深度和广度，本质上都是在增加可学习参数的个数，从而增加网络的拟合能力。最佳网络设计便是追求深度和广度的平衡。目前，大多处理HSI的神经网络模型多是单一地增加深度或者广度，两者结合的模型十分少见，主要是因为梯度消失和梯度爆炸导致网络深度比较大的时候难以训练。另外，网络各层参数数量与当前层输出通道数目正相关，特别对于高通道数量的HSI，极大地增加了计算复杂度，故很难实现相关网络深度和广度的高效平衡。 本文使用10个密集连接的MARB以提升网络深度，每个MARB输入特征通过级联前面所有MARB的输出特征获得。为了减少成倍数增加的特征通道数，每个MARB结束后均加入一个大小为 <math id="M60"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416245&type= 8.63599968 2.79399991 的普通卷积层控制输出通道数目。这种密集连接方式能很大程度地提升MARB噪声特征的提取性能，有助于反向传播梯度来更新参数，同时跳跃级联重复利用噪声特征以保证网络丰富的信息流，并大幅降低参数量。 尽管如此，更深更复杂的网络还是会造成数据计算量更高，显存负荷过载严重。考虑到HSI丰富的光谱信息，本文使用可分离卷积，在维持网络高广度的条件下能够减小网络参数量。换句话说，相同的参数条件下，利用可分离卷积策略能够获得更深更广的网络模型。在普通卷积运算中，对于一个卷积核，它与所有输入特征进行卷积运算，最终求和产生单通道输出特征， <math id="M61"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416259&type= 2.87866688 2.87866688 个卷积核则产生 <math id="M62"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416259&type= 2.87866688 2.87866688 个通道的输出特征。可分离卷积实际上就是对输入特征通道进行分组，每组对应一个卷积核，该卷积核与且只与该组内所有输入特征进行卷积运算核求和，故 <math id="M63"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416259&type= 2.87866688 2.87866688 个卷积核仍能产生 <math id="M64"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416265&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416263&type= 2.87866688 2.87866688 个通道的输出特征，而参数计算量却减少到原来的 <math id="M65"><mn mathvariant="normal">1</mn><mo>/</mo><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416269&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416267&type= 6.51933336 3.30200005 。特别地，本文使用的深度可分离卷积运算组数被设置为输入特征通道数目，最大限度降低参数量的同时保证网络的高效无损信息流。 2.6　HSI梯度信息 2 虽然深度学习方法在HSI去噪领域取得了卓越性能，但是大多数去噪网络无法准确提取噪声，很难恢复图像边缘和内部纹理结构。考虑到噪声分布的无规律性，图像高纹理区域的像素信息可以表述为噪声梯度信息。空间梯度信息由于其独特的结构方向性，在一定程度上可以有效突出稀疏噪声。由于高光谱数据包含数百个波段的丰富光谱信息，每个谱段的噪声水平和类型通常不同，光谱梯度差异提供了额外的补充信息。故充分利用空间梯度和光谱梯度信息，对恢复HSI具有重要意义。 本文使用Sobel滤波器 ［ 25 25 ］ 计算空间梯度信息，该滤波器由一个水平过滤器 <math id="M66"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">H</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416291&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416289&type= 3.89466691 3.72533321 和一个垂直过滤器 <math id="M67"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416277&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416275&type= 3.89466691 3.72533321 组成，表示如下： <math display="block" id="M68"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">H</mi></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mo>-</mo><mn mathvariant="normal">2</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">2</mn></mtd></mtr><mtr><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416281&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416279&type= 28.19400024 13.54666710 ， <math display="block" id="M69"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">2</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">2</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416287&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416283&type= 34.96733475 13.46199989 . 通过计算 <math id="M70"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">H</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416291&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416289&type= 3.89466691 3.72533321 ， <math id="M71"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416294&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416293&type= 3.89466691 3.72533321 和输入图像 <math id="M72"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416609&type= 2.62466669 2.79399991 间的卷积，可以获得水平梯度 <math id="M73"><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">H</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416303&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416300&type= 4.48733330 3.72533321 和垂直梯度 <math id="M74"><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416307&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416305&type= 4.48733330 3.72533321 。这个过程可以写成： <math display="block" id="M75"><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">H</mi></mrow></msub><mo>=</mo><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">H</mi></mrow></msub><mi mathvariant="normal">*</mi><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416313&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416311&type= 17.78000069 3.72533321 ， <math display="block" id="M76"><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub><mo>=</mo><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub><mi mathvariant="normal">*</mi><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416317&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416315&type= 17.69533348 3.72533321 ， 其中，“ <math id="M77"><mi mathvariant="normal">*</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416320&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416319&type= 1.77800000 2.79399991 ”表示卷积运算。本文对水平梯度和竖直梯度进行先平方和再开根号的运算，获得最终空间梯度信息 <math id="M78"><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416325&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416322&type= 4.14866638 3.72533321 ，表示为： <math display="block" id="M79"><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><mo>=</mo><mroot><mrow><msubsup><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">H</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416329&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416327&type= 26.16200066 4.99533367 . 本文利用相邻通道像素值作差获取图像光谱梯度信息 <math id="M80"><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416334&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416332&type= 4.31799984 3.72533321 ，表示为: <math display="block" id="M81"><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub><mo>=</mo><mi>X</mi><mo stretchy="false">(</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo>,</mo><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo>-</mo><mi>X</mi><mo stretchy="false">(</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo>,</mo><mi>k</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416336&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416335&type= 53.17066193 4.48733330 ， 其中 <math id="M82"><mi>m</mi><mo>,</mo><mi>n</mi><mo>,</mo><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416338&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416337&type= 9.99066734 3.21733332 表示三维图像 <math id="M83"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416566&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416562&type= 2.62466669 2.79399991 的像素坐标。本文级联融合空间梯度和光谱梯度信息，并训练独立的梯度网络，最终输出梯度特征提取结果 <math id="M84"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">G</mi><mo>_</mo><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">T</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416342&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416341&type= 9.65200043 3.72533321 ，表示为： <math display="block" id="M85"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">G</mi><mo>_</mo><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">T</mi></mrow></msub><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">15</mn></mrow></msub><mo>∘</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">14</mn></mrow></msub><mo>∘</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>∘</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>∘</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">{</mo><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>S</mi></mrow></msub><mo>,</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>C</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416344&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416343&type= 64.76999664 4.48733330 ， 其中： <math id="M86"><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">{</mo><mo>·</mo><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416346&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416345&type= 9.05933285 4.48733330 表示第 <math id="M87"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416348&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416347&type= 1.86266661 2.79399991 个Conv→BN→ReLU组合运算，卷积层使用组数为120的 <math id="M88"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416374&type= 8.63599968 2.79399991 深度可分离卷积； <math id="M89"><mo>∘</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416352&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416351&type= 1.01600003 2.79399991 表示相邻两个网络层组合 <math id="M90"><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416354&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416353&type= 3.64066648 3.72533321 ， <math id="M91"><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416356&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416355&type= 7.19666624 3.72533321 之间的特征映射变换。 梯度网络输出结果 <math id="M92"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">G</mi><mo>_</mo><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">T</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416359&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416357&type= 9.65200043 3.72533321 与空谱特征网络输出结果 <math id="M93"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">M</mi><mo>_</mo><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">T</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416361&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416360&type= 9.90600014 3.72533321 加权融合生成 <math id="M94"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">T</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416363&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416362&type= 7.19666624 3.72533321 ，表示如下： <math display="block" id="M95"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">T</mi></mrow></msub><mo>=</mo><mi>θ</mi><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">M</mi><mo>_</mo><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">T</mi></mrow></msub><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>θ</mi><mo stretchy="false">)</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">G</mi><mo>_</mo><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">T</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416365&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416364&type= 50.03799820 4.48733330 ， 其中 <math id="M96"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416369&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416366&type= 1.77800000 2.79399991 表示权重常量。然后对 <math id="M97"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">T</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416372&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416371&type= 7.19666624 3.72533321 使用一个 <math id="M98"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416374&type= 8.63599968 2.79399991 的普通卷积整合特征，获得噪声评估特征 <math id="M99"><mi>V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416379&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416378&type= 3.04800010 2.87866688 ，并与网络输入 <math id="M100"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416397&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416394&type= 2.87866688 2.79399991 进行长期跳跃相减运算，以通过整个网络直接传播无损信息恢复 <math id="M101"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416387&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416385&type= 2.79399991 2.79399991 通道HSI去噪结果 <math id="M102"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416609&type= 2.62466669 2.79399991 。 2.7　损失函数 2 均方误差（Mean Square Error， MSE）广泛用于评估去噪图像及其对应的真值图像区别的损失函数。对给定的输入噪声图像 <math id="M103"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416397&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416394&type= 2.87866688 2.79399991 ，其对应的真值图像 <math id="M104"><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416615&type= 3.38666677 3.04800010 ，经过所提出的网络输出去噪图像 <math id="M105"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416609&type= 2.62466669 2.79399991 。因此像素级均方误差损失可定义如下： <math display="block" id="M106"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi></mrow></msub><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi><mi>W</mi><mi>C</mi></mrow></mfrac><msup><mrow><msubsup><mo>∑</mo><mrow><mi>x</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi></mrow></msubsup><mrow><msubsup><mo>∑</mo><mrow><mi>y</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>W</mi></mrow></msubsup><mrow><msubsup><mo>∑</mo><mrow><mi>z</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>C</mi></mrow></msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>X</mi></mrow><mrow><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>z</mi></mrow></msub><mo>-</mo><msubsup><mrow><mi>X</mi></mrow><mrow><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>z</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></mrow></mfenced></mrow></mrow></mrow></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416410&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416408&type= 66.04000092 12.53066730 其中 <math id="M107"><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416414&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416412&type= 2.96333337 2.79399991 ， <math id="M108"><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416419&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416417&type= 3.80999994 2.87866688 ， <math id="M109"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416423&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416421&type= 2.62466669 2.79399991 分别表示HSI的高度、宽度和通道数目。然而，MSE通常会导致高频纹理的模糊和过度平滑，故单独使用它对去除噪声和恢复图像内容具有很大的局限性。为了解决上述问题，本文将图像结构相似性（Structural Similarity， SSIM）引入损失函数计算，即结合MSE损失和SSIM损失作为网络总损失函数，以平衡图像去噪性能和保持图像内部结构。SSIM是衡量两幅图像 <math id="M110"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416425&type= 2.62466669 2.79399991 与 <math id="M111"><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416430&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416428&type= 3.38666677 3.04800010 结构相似程度的重要指标 ［ 26 26 ］ ，即： <math display="block" id="M112"><mtable><mtr><mtd><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo stretchy="false">(</mo><mi>X</mi><mo>,</mo><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>μ</mi></mrow><mrow><mi>X</mi></mrow></msub><msub><mrow><mi>μ</mi></mrow><mrow><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></msub><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow><mrow><msubsup><mrow><mi>μ</mi></mrow><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>μ</mi></mrow><mrow><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfrac><mo>⋅</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>σ</mi></mrow><mrow><mi>X</mi></mrow></msub><msub><mrow><mi>σ</mi></mrow><mrow><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></msub><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow><mrow><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfrac><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416434&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416432&type= 48.59866714 20.15066719 其中： <math id="M113"><msub><mrow><mi>μ</mi></mrow><mrow><mi>X</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416442&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416439&type= 3.55599999 4.57200003 ， <math id="M114"><msub><mrow><mi>σ</mi></mrow><mrow><mi>X</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416447&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416445&type= 3.30200005 3.72533321 分别表示 <math id="M115"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416609&type= 2.62466669 2.79399991 的均值和标准差， <math id="M116"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416609&type= 2.62466669 2.79399991 与 <math id="M117"><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416464&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416461&type= 3.38666677 3.04800010 之间的协方差表示为 <math id="M118"><msub><mrow><mi>σ</mi></mrow><mrow><mi>X</mi></mrow></msub><msub><mrow><mi>σ</mi></mrow><mrow><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416467&type= 7.28133297 4.65666676 ， <math id="M119"><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416480&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416477&type= 3.72533321 3.72533321 ， <math id="M120"><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416489&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416483&type= 3.72533321 3.72533321 是平衡方程的常量。SSIM的取值是0~1，在图像恢复过程中，较大的数值则表明结果图像更类似真值图像，因此SSIM损失可以定义为： <math display="block" id="M121"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo stretchy="false">(</mo><mi>X</mi><mo>,</mo><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416494&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416492&type= 39.79333496 4.65666676 . 总混合损失 <math id="M122"><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416497&type= 2.45533323 2.79399991 经 <math id="M123"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416508&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416505&type= 6.85799980 3.72533321 和 <math id="M124"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416515&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416511&type= 7.45066643 3.72533321 加权求和，结果表示为： <math display="block" id="M125"><mi>L</mi><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi></mrow></msub><mo>+</mo><mi>λ</mi><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416523&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416520&type= 28.10933495 3.80999994 ， 其中 <math id="M126"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416531&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416527&type= 1.77800000 2.79399991 是能够平衡MSE损失和SSIM损失之间权重的超参数。通过适当的设置，混合损失可以在保持全局结构的同时保证每个像素的相似性，这有助于去噪模型恢复图像。根据经验，本文设置 <math id="M127"><mi>λ</mi><mo>=</mo><mn mathvariant="normal">0.2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416536&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416534&type= 11.43000031 2.79399991 。 3 实　验 1 本文提出的模型在下述服务器上运行：操作系统Ubuntu18.04.3，CPU处理器Intel（R） Core（TM） i7-9700K CPU @ 3.60 GHz，GPU显卡NVIDIA RTX 2070 Super GPU，基于深度学习框架Pytorch1.3。 3.1　实验数据及预处理 2 本文使用HSI公开数据集对所提算法模型的有效性进行训练和评估。训练时，本文选择HYDICE机载传感器获取的Washington DC Mall的一部分作为训练数据。该传感器共包括0.4~2.4 μm红外光谱中的210个光谱带，其中去除存在严重大气干扰的0.9~1.4 μm的谱段，共剩有191个谱段。该高光谱数据集尺寸为1 208×307×191，在该数据集上加入合成噪声，并切割200×200×191的数据用于测试模型，剩余部分用于训练网络。 由于HSI像素值表示反射率，故用于训练网络的数据首先需要进行归一化处理，即每个谱段的像素值缩放到［0，1］之间。另外，考虑到对比实验需要控制参数变量，本文将网络输入通道数设定为 K =24。本文设置训练数据集切片尺寸为20×20，切割步长等于20，并且对数据切片进行包括旋转、翻折、放缩等在内的数据增强操作，最终共生成真值图像切片198 648个。通过向真值图像切片添加不同方差水平的高斯白噪声来合成噪声切片，噪声标准差（ <math id="M128"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416542&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416539&type= 1.69333339 2.79399991 ）设置为25，50和100，保证网络能够学习不同的噪声配置，避免训练过程中出现数据冗余问题。由于数据集做过归一化处理，故高斯噪声分布实际使用的标准差 <math id="M129"><mi>σ</mi><mi mathvariant="normal">'</mi><mo>=</mo><mi>σ</mi><mo>/</mo><mn mathvariant="normal">255.0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416550&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416546&type= 19.38866615 3.47133350 。所提出的模型使用Adam优化器训练，整个训练过程共迭代100次，学习率初始化为0.001，并且每迭代30次学习率衰减0.5，每个批次送入128个噪声-真值切片组。为了提高模型收敛速度，本文使用Kaiming分布 ［ 27 27 ］ 初始化卷积层和激活层参数，BN层初始化权重值约束为［ - 0.025，0.025］，初始偏移量值设置为0。 为了评估所提出方法的有效性，测试实验分为合成噪声实验和真实噪声实验两部分。本文使用从Washington DC Mall数据集剪裁的200×200×191的部分进行合成噪声实验，对该测试数据分别添加一定标准差的高斯白噪声，分别评估同样噪声水平下训练好的模型的去噪效果。 这里选择Indian Pines数据集和Cave数据集进行真实噪声实验。由于传感器本身局限和大气等环境干扰的影响，两个数据本身具有一定水平的噪声。参考已有的HSI去噪方法，选择训练完成的 <math id="M130"><mi>σ</mi><mo>=</mo><mn mathvariant="normal">50</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416714&type= 10.32933331 2.79399991 的去噪模型进行去噪效果测试。Indian Pines数据集由机载可见红外成像光谱仪（AVIRIS）获得，由145×145个像素和220个光谱带组成。在去除吸水带（第104~108、第150~163和第220谱段）后，剩余的200个谱带被保留用于实验，图像分辨率为145×145×200。Cave数据集由Cooled CCD相机获得，谱段为400~700 nm，图像分辨率为512×512×31，两个数据集均进行归一化处理。 3.2　性能评价标准 2 本文使用平均峰值信噪比（Mean Peak Signal to Noise Ratio， MPSNR）、平均结构相似性指数（MSSIM）来评估所提出模型的去噪效果，这两个度量指标常用作评价HSI回归任务的拟合性能。两幅图像 <math id="M131"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416566&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416562&type= 2.62466669 2.79399991 和 <math id="M132"><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416615&type= 3.38666677 3.04800010 之间的峰值信噪比（PSNR）为： <math display="block" id="M133"><mi>P</mi><mi>S</mi><mi>N</mi><mi>R</mi><mo stretchy="false">(</mo><mi>X</mi><mo>,</mo><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">10</mn><mo>⋅</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mfenced separators="|"><mrow><mfrac><mrow><mi>M</mi><mi>A</mi><msubsup><mrow><mi>X</mi></mrow><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow><mrow><mi>M</mi><mi>S</mi><msub><mrow><mi>E</mi></mrow><mrow><mi>X</mi><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></msub></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416580&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416577&type= 54.77933884 10.07533360 ， 其中： <math id="M134"><mi>M</mi><mi>A</mi><msubsup><mrow><mi>X</mi></mrow><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416589&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416584&type= 10.41399956 3.97933316 为 <math id="M135"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416609&type= 2.62466669 2.79399991 最大像素值， <math id="M136"><mi>M</mi><mi>S</mi><msub><mrow><mi>E</mi></mrow><mrow><mi>X</mi><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416607&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416600&type= 11.51466751 3.80999994 为 <math id="M137"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416609&type= 2.62466669 2.79399991 与 <math id="M138"><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416615&type= 3.38666677 3.04800010 之间的均方误差。各谱段的PSNR和SSIM的平均值分别表示为MPSNR和MSSIM。 本文可视化比较不同算法的去噪结果，选择少数谱段数据生成伪彩色图像以保证高的视觉质量。为了分析去噪图像的后续处理性能，使用机器学习SVM算法分别对去噪前后的HSI进行分类验证。 3.3　实验结果比较与分析 2 用本文所提方法与几个当前主流的HSI去噪方法进行比较，包括HSSNR方法 ［ 12 12 ］ ，ITSReg方法 ［ 16 16 ］ ，BM4D方法 ［ 15 15 ］ ，LRMR方法 ［ 14 14 ］ ，HSID-CNN方法 ［ 21 21 ］ ，就指标值和视觉效果进行评估。 3 . 3 . 1　合成噪声实验结果与分析 3 给定 <math id="M139"><mi>σ</mi><mo>=</mo><mo stretchy="false">{</mo><mn mathvariant="normal">25,50,100</mn><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416619&type= 26.41600037 3.55599999 ，合成噪声实验结果如 表1 表1 所示，最佳指标值以粗体显示。可以明显看出，除了在噪声水平 <math id="M140"><mi>σ</mi><mo>=</mo><mn mathvariant="normal">100</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416629&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416626&type= 12.02266598 2.79399991 条件下MPSNR偏低，所提出的算法基本在所有噪声水平中表现出最高MPSNR和MSSIM。特别在 <math id="M141"><mi>σ</mi><mo>=</mo><mn mathvariant="normal">50</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416638&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416634&type= 10.15999985 2.79399991 的噪声水平下，所提出方法获得的MPSNR相比于HSID方法提升0.458 dB，MSSIM提升0.014 2 dB。尽管算法对高强度噪声没有获得最好的MPSNR，但是仍能取得最好的MSSIM，也证实所提出模型对图像内部结构具有很强的恢复能力。 2 Methods 2 <math id="M142"><mi>σ</mi><mo>=</mo><mn>25</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416645&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416641&type= 8.80533314 2.45533323 2 <math id="M143"><mi>σ</mi><mo>=</mo><mn>50</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416730&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416726&type= 8.80533314 2.45533323 2 <math id="M144"><mi>σ</mi><mo>=</mo><mn>100</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416661&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416656&type= 10.41399956 2.45533323 MPSNR MSSIM MPSNR MSSIM MPSNR MSSIM HSSNR 28.018 0.936 1 22.232 0.823 3 16.314 0.604 9 ITSReg 31.072 0.970 9 26.732 0.925 3 22.975 0.821 4 BM4D 31.136 0.968 5 26.752 0.920 8 22.577 0.811 9 LRTA 33.029 0.980 9 28.806 0.953 2 24.310 0.879 9 HSID 33.050 0.981 3 28.968 0.953 6 25.296 0.901 4 Our method 33.439 0.983 2 29.426 0.967 8 25.279 0.903 3 图5 图5 展示了噪声水平 <math id="M145"><mi>σ</mi><mo>=</mo><mn mathvariant="normal">50</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416714&type= 10.32933331 2.79399991 条件下不同算法的去噪效果。本文选择57，27和17三个谱段的噪声图像、真值图像和去噪结果分别组成各自的伪彩色图像，对方框内部细节放大显示。其中， 图5 图5 （a）表示添加噪声水平 <math id="M146"><mi>σ</mi><mo>=</mo><mn mathvariant="normal">50</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416714&type= 10.32933331 2.79399991 的合成噪声图像， 图5 图5 （b）表示真值图像，图 5（c） 5（c） ~ 5（g） 5（g） 分别表示其他对比算法的去噪结果， 图5 图5 （h）表示所提出方法的去噪结果。可以看出，HSSNR获得的去噪图像存在明显的残留噪声，ITSReg和BM4D的去噪效果不理想，且获得的图像表现得较为模糊。LRTA，HSID及所提出的算法均取得了不错的去噪效果，但是观察放大区域，LRTA在图像纹理细节的保持上效果不佳，受周围地物影响伪影效果明显。另外，观察到底部白色边缘，HSID受边缘高亮区域影响仍具有伪影现象，而本文所提出的方法对纹理细节特征具有更佳的抓取能力，图像恢复效果最好。这是因为本文方法利用了从输入噪声级图中给出的更多先验信息，跳跃链接保证信息层级重复利用，使得网络在去噪性能和内部结构恢复之间保持良好的平衡。 由于高光谱数据谱段多，为了更好地评估单谱段去噪效果，本文选择可视化展示所提出算法和HSID算法在噪声水平 <math id="M149"><mi>σ</mi><mo>=</mo><mn mathvariant="normal">50</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416714&type= 10.32933331 2.79399991 下，全谱段去噪结果的PSNR和SSIM。如 图6 图6 所示（彩图见期刊电子版），蓝线和黄线分别代表本文算法结果和HSID算法结果，可以看出，两个算法单谱段PSNR峰值和低值表现相似，这与高光谱传感器不同谱段的成像特点高度相关。不确定度分析全谱段数据可以看出，本文算法结果均值优于HSID算法结果。虽然本文算法全谱段的PSNR标准差为0.773，高于HSID方法的0.596，但是全谱段的SSIM标准差为0.017，低于HSID方法的0.034，这也进一步说明本文算法对纹理结构的恢复效果稳定，特别是在高频区域和低频区域，本文算法单谱段的去噪指标更高且更稳定。另外，SSIM曲线的稳定也表明本文对图像纹理结构的恢复效果更佳，并且在大多数谱段具有更高的去噪峰值。 3 . 3 . 2　真实噪声实验结果与分析 3 Indian Pines数据集本身具有明显的噪点和条纹，故直接对原图像进行去噪实验。使用第2谱段数据可视化显示所提出的算法对比其他算法的去噪结果，如 图7 图7 所示，方框区域在右上角放大显示。对比发现，HSSNR算法和ITSReg算法的去噪图像很模糊，图像严重失真。BM4D算法可以减少一些噪声，但一些密集的噪声和条纹仍然保留在恢复的结果中。LRTR算法虽然接近原图像，但仍具有伪影现象，一些详细的信息同时被平滑和丢失。HSID算法和本文算法的去噪效果最为显著，但是，HSID算法结果保持着高亮度，这也造成细节结构不明显，相比本文算法表现最好，有效地消除了噪点和条纹，同时保留了HSI内部结构信息。 为了进一步评估所提出算法恢复图像内部结构的能力，这里选择4幅Cave噪声图像，分别使用HSID算法和所提出算法进行去噪以获取去噪结果，如 图8 图8 所示。可以看出，在两种颜色过渡区域，HSID算法容易丢失边缘细节，产生一定程度的模糊。另外，与周围背景区域区别度较小的颜色，HSID算法很难还原，甚至直接恢复成背景颜色。本文算法有效地去除了噪声，同时保留了局部细节和结构信息，没有明显的过度平滑，能更好地恢复过渡颜色。 为了验证去噪图像的后续处理性能，本文选择Indian Pines数据集，并使用SVM分类器分别将所提出算法去噪前后的图像进行分类。分类效果使用总体精度（Overall Accuracy， OA）和Kappa系数两个指标进行评测，如 表2 表2 所示。OA表示被正确分类的类别像元数与总的类别个数的比值，Kappa系数代表着分类与完全随机的分类产生错误减少的比例，两个值越大代表分类准确度越高。该数据集的分类结果如 图9 图9 所示。对比 图9 图9 （a）和 图9 图9 （b）可以看出，原图像的分类结果存在大量误分类像素点，特别是在同类别内部更加明显。蓝色类识别效果极差，分类指标OA和Kappa分别只有80.74%和0.780 2。对于本文算法去噪图像的分类结果，OA和Kappa得到显著提升，蓝色区域得到正常识别，这是因为Indian Pines数据集不同地物类别呈块状分布，块内噪点就会造成该类内部的误分类，而蓝色类作为作物混生区，同物异谱现象造成严重的伪影。本文算法能够更好地提取类别块内部结构，块内噪点去除明显，故分类性能明显提升，OA和Kappa达到90.89%和0.888 4，分别提升10.15%和0.108 2。故本文提出的去噪算法在有效恢复HSI质量的同时，对后续图像应用处理上也具有很强的潜力。 Index Original image Our method OA 80.74 90.89 Kappa 0.780 2 0.888 4 3.4　实验超参数设置评价与分析 2 3 . 4 . 1　梯度信息融合 3 为了确定网络中梯度信息的最佳融合位置和融合方式，本文对比分析了4种融合策略，包括：A0单一空谱网络；A1对空谱多尺度特征提取结果和梯度多尺度特征提取结果先直接级联，再经过密集连接的MARB；A2对密集连接MARB结果和梯度多尺度特征提取结果直接级联；A3则使用本文独立的梯度特征网络，然后使用 <math id="M152"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416809&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416807&type= 1.77800000 2.79399991 加权融合空谱特征和梯度特征，如 式（16） 式（16） 所示；另外，为了获得最佳权重参数 <math id="M153"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416804&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416801&type= 1.77800000 2.79399991 ，这里又设计了3组不同权重的实验A3-1，A3-2和A3-3，对应的 <math id="M154"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416809&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416807&type= 1.77800000 2.79399991 值分别为0.1，0.2和0.3。实验在噪声水平 <math id="M155"><mi>σ</mi><mo>=</mo><mn mathvariant="normal">25</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416813&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416812&type= 10.32933331 2.79399991 的条件下进行3次并取平均值，结果如 表3 表3 所示，最佳结果加粗显示。对比发现，A0结果取得最低实验指标值；A1，A2和A3-2三组均取得不错的实验效果，A3-2实验获得的最大MPSNR值为33.439 dB和最大MSSIM值为0.983 2 dB，这与噪声中梯度信息的影响能力有关。 图10 图10 绘制了这三组实验训练模型过程中损失函数的变化曲线，可以看出，A3-2实验组网络收敛最快且稳定，这也证明了本文所使用的梯度特征和空谱特征融合方式的高效性。 Index A0 A1 A2 A3-1 A3-2 A3-3 MPSNR 33.139 33.412 33.402 33.259 33.439 33.307 MSSIM 0.979 2 0.981 5 0.982 1 0.982 3 0.983 2 0.982 0 3 . 4 . 2　参数量分析 3 本文使用密集连接和可分离卷积策略降低网络参数。 表4 表4 给出了使用可分离卷积策略时，不同MARB在使用密集连接策略前后的参数量。从10个MARB块中选择第1，3，8，9，10个MARB用于统计参数量，可以看出，本文密集连接方法可以很好地避免MARB参数的膨胀增长。从最后一个MARB可以看出，失去密集连接后参数量膨胀严重，使用密集连接的参数量比直接连接减少98%左右。为了证明可分离卷积策略的有效性，本文分别统计所提出模型使用普通卷积和使用可分离卷积的参数情况，并与梯度去噪网络SSGN ［ 21 21 ］ 进行比较，结果如 表5 表5 所示。由于本文算法的网络深度及广度均比较大，使用可分离卷积前后网络训练参数量变化显著，网络参数量基本达到20倍的差值。相比于SSGN方法，尽管复杂的网络产生更多的梯度求导运算过程，但是参数量和模型大小减小到1/3。可分离卷积最大限度压缩网络模型大小到2.06 MB，这在复杂网络模型的保存上具有优势。因此，密集连接和可分离卷积策略实现了所提出模型在高效特征提取性能下网络广度和深度的平衡。 MARB Common connection Dense connection The first 51 069 51 069 The third 204 276 51 069 The eighth 1 481 001 51 069 The ninth 1 889 553 51 069 The last 2 349 174 51 069 MB Methods Total number of training parameters The number of parameters to differentiate the gradient The model size Total estimated size Our method of ordinary convolution 9 796 416 68.74 37.37 106.15 SSGN 1 638 834 6.67 6.25 12.95 Our method of separable convolution 540 336 61.04 2.06 63.14 MB 4 结　论 1 本文提出了一种基于深度学习的HSI去噪方法，通过深度空谱-梯度网络学习噪声图像和真值图像之间的非线性端到端映射，以更好地利用空间信息、光谱信息和梯度信息恢复图像。其中，多尺度特征提取模块用于捕获多尺度特征，MARB更好地集中噪声空谱特征，密集连接和可分离卷积策略优化模型规模，多尺度梯度信息进一步丰富噪声特征。合成数据实验和真实数据实验表明，该方法在评价指标、视觉效果上均优于多数主流方法。特别地，本文算法对图像纹理结构恢复效果显著，在 <math id="M156"><mi>σ</mi><mo>=</mo><mn mathvariant="normal">50</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416838&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416835&type= 10.41399956 2.79399991 噪声水平下获得29.426 dB的PSNR、0.967 8 dB的SSIM以及90.389%的SVM分类精度。在未来的工作中，我们将研究更有效的网络学习结构来消除HSI中的混合噪声，如条带噪声、脉冲噪声和死线等。 参考文献 贾建鑫 ， 孙海彬 ， 蒋长辉 ， 等 . 多源遥感数据的道路提取技术研究现状及展望 ［J］. 光学 精密工程 ， 2021 ， 29 （ 2 ）： 430 - 442 . doi: 10.37188/OPE.20212902.0430 http://dx.doi.org/10.37188/OPE.20212902.0430 多源遥感数据的道路提取技术研究现状及展望 JIA J X ， SUN H B ， JIANG CH H ， et al . Road extraction technology based on multi-source remote sensing： ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 2 ）： 430 - 442 . （in Chinese） . doi: 10.37188/OPE.20212902.0430 http://dx.doi.org/10.37188/OPE.20212902.0430 Road extraction technology based on multi-source remote sensing： PAOLETTI M E ， HAUT J M ， FERNANDEZ-BELTRAN R ， et al . Capsule networks for hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 4 ）： 2145 - 2160 . doi: 10.1109/tgrs.2018.2871782 http://dx.doi.org/10.1109/tgrs.2018.2871782 Capsule networks for hyperspectral image classification PALSSON B ， SIGURDSSON J ， SVEINSSON J R ， et al . Hyperspectral unmixing using a neural network autoencoder ［J］. IEEE Access ， 2018 ， 6 ： 25646 - 25656 . doi: 10.1109/access.2018.2818280 http://dx.doi.org/10.1109/access.2018.2818280 Hyperspectral unmixing using a neural network autoencoder YANG B ， YANG M H ， PLAZA A ， et al . Dual-mode FPGA implementation of target and anomaly detection algorithms for real-time hyperspectral imaging ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2015 ， 8 （ 6 ）： 2950 - 2961 . doi: 10.1109/jstars.2015.2388797 http://dx.doi.org/10.1109/jstars.2015.2388797 Dual-mode FPGA implementation of target and anomaly detection algorithms for real-time hyperspectral imaging FERRARIS V ， DOBIGEON N ， WEI Q ， et al . Robust fusion of multiband images with different spatial and spectral resolutions for change detection ［J］. IEEE Transactions on Computational Imaging ， 2017 ， 3 （ 2 ）： 175 - 186 . doi: 10.1109/tci.2017.2692645 http://dx.doi.org/10.1109/tci.2017.2692645 Robust fusion of multiband images with different spatial and spectral resolutions for change detection RASTI B ， SCHEUNDERS P ， GHAMISI P ， et al . Noise reduction in hyperspectral imagery： overview and application ［J］. Remote Sensing ， 2018 ， 10 （ 3 ）： 482 . doi: 10.3390/rs10030482 http://dx.doi.org/10.3390/rs10030482 Noise reduction in hyperspectral imagery： overview and application 张兵 . 高光谱图像处理与信息提取前沿 ［J］. 遥感学报 ， 2016 ， 20 （ 5 ）： 1062 - 1090 . doi: 10.11834/jrs.20166179 http://dx.doi.org/10.11834/jrs.20166179 高光谱图像处理与信息提取前沿 ZHANG B . Advancement of hyperspectral image processing and information extraction ［J］. Journal of Remote Sensing ， 2016 ， 20 （ 5 ）： 1062 - 1090 . （in Chinese） . doi: 10.11834/jrs.20166179 http://dx.doi.org/10.11834/jrs.20166179 Advancement of hyperspectral image processing and information extraction LU X Q ， WANG Y L ， YUAN Y . Graph-regularized low-rank representation for destriping of hyperspectral images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2013 ， 51 （ 7 ）： 4009 - 4018 . doi: 10.1109/tgrs.2012.2226730 http://dx.doi.org/10.1109/tgrs.2012.2226730 Graph-regularized low-rank representation for destriping of hyperspectral images YAN L ， ZHU R X ， LIU Y ， et al . Scene capture and selected codebook-based refined fuzzy classification of large high-resolution images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 （ 7 ）： 4178 - 4192 . doi: 10.1109/TGRS.2018.2828314 http://dx.doi.org/10.1109/TGRS.2018.2828314 Scene capture and selected codebook-based refined fuzzy classification of large high-resolution images BUADES A ， COLL B ， MOREL J M . A non-local algorithm for image denoising ［C］. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR' 05 ）. 2025，2005 ， San Diego， CA， USA. IEEE ， 2005： 60 - 65 . doi: 10.1109/cvpr.2005.38 http://dx.doi.org/10.1109/cvpr.2005.38 A non-local algorithm for image denoising DABOV K ， FOI A ， KATKOVNIK V ， et al . Image denoising by sparse 3-D transform-domain collaborative filtering ［J］. IEEE Transactions on Image Processing ， 2007 ， 16 （ 8 ）： 2080 - 2095 . doi: 10.1109/tip.2007.901238 http://dx.doi.org/10.1109/tip.2007.901238 Image denoising by sparse 3-D transform-domain collaborative filtering OTHMAN H ， QIAN S N . Noise reduction of hyperspectral imagery using hybrid spatial-spectral derivative-domain wavelet shrinkage ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2006 ， 44 （ 2 ）： 397 - 408 . doi: 10.1109/tgrs.2005.860982 http://dx.doi.org/10.1109/tgrs.2005.860982 Noise reduction of hyperspectral imagery using hybrid spatial-spectral derivative-domain wavelet shrinkage 张倩颖 ， 谢晓振 . 加权Schatten范数低秩表示的高光谱图像恢复 ［J］. 光学 精密工程 ， 2019 ， 27 （ 2 ）： 421 - 432 . doi: 10.3788/ope.20192702.0421 http://dx.doi.org/10.3788/ope.20192702.0421 加权Schatten范数低秩表示的高光谱图像恢复 ZHANG Q Y ， XIE X ZH . Hyperspectral image restoration via weighted Schatten norm low-rank representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 2 ）： 421 - 432 . （in Chinese） . doi: 10.3788/ope.20192702.0421 http://dx.doi.org/10.3788/ope.20192702.0421 Hyperspectral image restoration via weighted Schatten norm low-rank representation ZHANG H Y ， HE W ， ZHANG L P ， et al . Hyperspectral image restoration using low-rank matrix recovery ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2014 ， 52 （ 8 ）： 4729 - 4743 . doi: 10.1109/tgrs.2013.2284280 http://dx.doi.org/10.1109/tgrs.2013.2284280 Hyperspectral image restoration using low-rank matrix recovery JIANG C ， ZHANG H Y ， ZHANG L P ， et al . Hyperspectral image denoising with a combined spatial and spectral weighted hyperspectral total variation model ［J］. Canadian Journal of Remote Sensing ， 2016 ， 42 （ 1 ）： 53 - 72 . doi: 10.1080/07038992.2016.1158094 http://dx.doi.org/10.1080/07038992.2016.1158094 Hyperspectral image denoising with a combined spatial and spectral weighted hyperspectral total variation model XIE Q ， ZHAO Q ， MENG D Y ， et al . Multispectral images denoising by intrinsic tensor sparsity regularization ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 1692 - 1700 . doi: 10.1109/cvpr.2016.187 http://dx.doi.org/10.1109/cvpr.2016.187 Multispectral images denoising by intrinsic tensor sparsity regularization 张良培 ， 李家艺 . 高光谱图像稀疏信息处理综述与展望 ［J］. 遥感学报 ， 2016 ， 20 （ 5 ）： 1091 - 1101 . doi: 10.11834/jrs.20166050 http://dx.doi.org/10.11834/jrs.20166050 高光谱图像稀疏信息处理综述与展望 ZHANG L P ， LI J Y . Development and prospect of sparse representation-based hyperspectral image processing and analysis ［J］. Journal of Remote Sensing ， 2016 ， 20 （ 5 ）： 1091 - 1101 . （in Chinese） . doi: 10.11834/jrs.20166050 http://dx.doi.org/10.11834/jrs.20166050 Development and prospect of sparse representation-based hyperspectral image processing and analysis ZHU X X ， TUIA D ， MOU L C ， et al . Deep learning in remote sensing： a comprehensive review and list of resources ［J］. IEEE Geoscience and Remote Sensing Magazine ， 2017 ， 5 （ 4 ）： 8 - 36 . doi: 10.1109/mgrs.2017.2762307 http://dx.doi.org/10.1109/mgrs.2017.2762307 Deep learning in remote sensing： a comprehensive review and list of resources 张少磊 ， 付光远 ， 汪洪桥 ， 等 . 基于向量总变差约束局部光谱解混的高光谱图像超分辨 ［J］. 光学 精密工程 ， 2019 ， 27 （ 12 ）： 2683 - 2692 . doi: 10.3788/ope.20192712.2683 http://dx.doi.org/10.3788/ope.20192712.2683 基于向量总变差约束局部光谱解混的高光谱图像超分辨 ZHANG SH L ， FU G Y ， WANG H Q ， et al . Total-variation-regularized local spectral unmixing for hyperspectral image super-resolution ［J］. Opt.. Precision Eng. ， 2019 ， 27 （ 12 ）： 2683 - 2692 . （in Chinese） . doi: 10.3788/ope.20192712.2683 http://dx.doi.org/10.3788/ope.20192712.2683 Total-variation-regularized local spectral unmixing for hyperspectral image super-resolution LIU W ， LEE J . A 3-D atrous convolution neural network for hyperspectral image denoising ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 8 ）： 5701 - 5715 . doi: 10.1109/tgrs.2019.2901737 http://dx.doi.org/10.1109/tgrs.2019.2901737 A 3-D atrous convolution neural network for hyperspectral image denoising ZHANG Q ， YUAN Q Q ， LI J ， et al . Hybrid noise removal in hyperspectral imagery with a spatial–spectral gradient network ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 10 ）： 7317 - 7329 . doi: 10.1109/tgrs.2019.2912909 http://dx.doi.org/10.1109/tgrs.2019.2912909 Hybrid noise removal in hyperspectral imagery with a spatial–spectral gradient network MAFFEI A ， HAUT J M ， PAOLETTI M E ， et al . A single model CNN for hyperspectral image denoising ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 ， 58 （ 4 ）： 2516 - 2529 . doi: 10.1109/tgrs.2019.2952062 http://dx.doi.org/10.1109/tgrs.2019.2952062 A single model CNN for hyperspectral image denoising YUAN Q Q ， ZHANG Q ， LI J ， et al . Hyperspectral image denoising employing a spatial-spectral deep residual convolutional neural network ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 2 ）： 1205 - 1218 . doi: 10.1109/tgrs.2018.2865197 http://dx.doi.org/10.1109/tgrs.2018.2865197 Hyperspectral image denoising employing a spatial-spectral deep residual convolutional neural network YAN Y Y ， REN W Q ， GUO Y F ， et al . Image deblurring via extreme channels prior ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 6978 - 6986 . doi: 10.1109/cvpr.2017.738 http://dx.doi.org/10.1109/cvpr.2017.738 Image deblurring via extreme channels prior SOBEL I ， FELDMAN G . An Isotropic 3 x 3 Image Gradient Operator［R/OL］. Presentation at Stanford AI Project ， 1968 . https：//www.researchgate.net/publication/239398674_An_Isotropic_3x3_Image_Gradient_Operator https://www.researchgate.net/publication/239398674_An_Isotropic_3x3_Image_Gradient_Operator An Isotropic WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1016/j.jvcir.2019.102655 http://dx.doi.org/10.1016/j.jvcir.2019.102655 Image quality assessment： from error visibility to structural similarity HE K M ， ZHANG X Y ， REN S Q ， et al . Delving deep into rectifiers： surpassing human-level performance on ImageNet classification ［C］. 2015 IEEE International Conference on Computer Vision （ICCV）. 713，2015 ， Santiago， Chile. IEEE ， 2015 ： 1026 - 1034 . doi: 10.1109/iccv.2015.123 http://dx.doi.org/10.1109/iccv.2015.123 Delving deep into rectifiers： surpassing human-level performance on ImageNet classification 10.37188/OPE.2021.0485 TP394.1 TH691.9 A 1004-924X（2022）05-0615-15 李忠伟,张浩,王雷全等.融合空谱 - 梯度特征的深度高光谱图像去噪[J].光学精密工程,2022,30(05):615-629. 李忠伟,张浩,王雷全等.融合空谱-梯度特征的深度高光谱图像去噪[J].光学精密工程,2022,30(05):615-629. LI Zhongwei,ZHANG Hao,WANG Leiquan,et al.Deep hyperspectral image denoising by fusing space spectrum-gradient features[J].Optics and Precision Engineering,2022,30(05):615-629. LI Zhongwei,ZHANG Hao,WANG Leiquan,et al.Deep hyperspectral image denoising by fusing space spectrum-gradient features[J].Optics and Precision Engineering,2022,30(05):615-629. 国家自然科学基金联合基金资助项目（No. U1906217）；国家自然科学基金面上项目（No. 62071491）；中央高校基本科研业务费专项资金资助项目（No. 19CX05003A-11） 2021-07-22 2021-08-19 2022-03-10 2022-03-25 光学精密工程 5 30