空谱域适应与XGBoost结合的跨场景高光谱图像分类 Cross-scene hyperspectral image classification combined spatial-spectral domain adaptation with XGBoost 1 first-author 王爱丽（1979-），女，天津人，博士，副教授，硕士生导师，2008年于哈尔滨工业大学获得博士学位，主要从事机器视觉、深度学习图像分类的研究。Email：aili925@hrbust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715069&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715076&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715072&type= 22.01332855 32.00399780 王爱丽 （1979-），女，天津人，博士，副教授，硕士生导师，2008年于哈尔滨工业大学获得博士学位，主要从事机器视觉、深度学习图像分类的研究。Email： aili925@hrbust.edu.cn aili925@hrbust.edu.cn 1 2 1 corresp E-mail： woo@hrbust.edu.cn E-mail： woo@hrbust.edu.cn 吴海滨（1977-），男，上海人，博士，教授，博士生导师，2002年于哈尔滨工业大学获得硕士学位，2008年于哈尔滨理工大学获得博士学位，主要从事机器视觉、医学虚拟现实、深度学习图像分类的研究。E-mail：woo@hrbust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715095&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715091&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715098&type= 22.01332855 32.00399780 吴海滨 （1977-），男，上海人，博士，教授，博士生导师，2002年于哈尔滨工业大学获得硕士学位，2008年于哈尔滨理工大学获得博士学位，主要从事机器视觉、医学虚拟现实、深度学习图像分类的研究。E-mail： woo@hrbust.edu.cn woo@hrbust.edu.cn 3 哈尔滨理工大学 测控技术与通信工程学院 黑龙江省激光光谱技术及应用重点实验室， 黑龙江 哈尔滨 150080 哈尔滨理工大学 测控技术与通信工程学院 黑龙江省激光光谱技术及应用重点实验室， 黑龙江 哈尔滨 150080 Heilongjiang Province Key Laboratory of Laser Spectroscopy Technology and Application， College of measurement and control technology and communication Engineering， Harbin University of Science and Technology， Harbin 150080， China Heilongjiang Province Key Laboratory of Laser Spectroscopy Technology and Application， College of measurement and control technology and communication Engineering， Harbin University of Science and Technology， Harbin 150080， China 国网黑龙江省电力有限公司 综合信息中心，黑龙江 哈尔滨 150010 国网黑龙江省电力有限公司 综合信息中心，黑龙江 哈尔滨 150010 State Grid Heilongjiang Electric Power Co.， Ltd， Integrated data center， Harbin 150010， China State Grid Heilongjiang Electric Power Co.， Ltd， Integrated data center， Harbin 150010， China 中部大学 计算机科学学院，日本 爱知 487-8501 中部大学 计算机科学学院，日本 爱知 487-8501 Department of Computer Science， Chubu University， Aichi 487-8501， Japan Department of Computer Science， Chubu University， Aichi 487-8501， Japan 针对跨场景高光谱遥感图像分类中源域和目标域的频谱偏移问题，提出一种结合空谱域适应与极度梯度提升树（eXtreme Gradient Boosting， XGBoost）的跨场景高光谱图像分类模型。将深度超参数卷积模型（Depthwise Over-parameterized Convolution Model，DOCM）和大核注意力（Large Kernel Attention，LKA）结合，构成空谱注意力模型，提取源域空谱特征。利用相同的空谱注意力模型对目标域进行特征提取，并与鉴别器完成对抗域适应，减少源域与目标域之间的频谱偏移；通过目标域中少量有标签数据对目标域特征提取器进行有监督域适应，使目标域特征提取器进一步学习目标域的真实分布，并对源域和目标域的特征进行映射，形成相似的空间分布，完成聚类域适应。最后，使用集成分类器XGBoost进行高光谱图像分类，进一步提高模型的训练速度与置信度。在Pavia和Indiana高光谱数据集上的实验结果表明，本文算法的总体分类精度分别达到了91.62%和 65.98%。相比较于其他跨场景高光谱图像分类模型，本文所提模型具有更高的地物分类精度。 For solving the problem of spectral shift between the source domain and target domain in cross-scene hyperspectral remote sensing image classification， this study proposes a cross-scene hyperspectral image classification model combining spatial-spectral domain adaptation and Xtreme Gradient Boosting （XGBoost）. First， the Depth Over Parametric Convolution Model （DOCM） and Large Kernel Attention （LKA） was combined to form a spatial-spectral attention model and extract the spatial-spectral features of the source domain. Next， the same spatialspectral attention model was used to extract features from the target domain， and the discriminator was used to adapt to the confrontation domain to reduce the spectral shift between the source and target domains. Second， the feature extractor of the target domain was adapted to the supervised domain through a small amount of labeled data in the target domain such that the feature extractor of the target domain can learn the true distribution of the target domain and map the features of the source and target domains to form a similar spatial distribution and complete the clustering domain adaptation. Finally， the ensemble classifier XGBoost was used to classify hyperspectral images to further improve the training speed and confidence of the model. Experimental results for the Pavia and Indiana hyperspectral datasets indicate that the overall classification accuracy of this algorithm reaches 91.62% and 65.98%， respectively. Compared with other cross-scene hyperspectral image classification models， the proposed model has a higher classification accuracy. 高光谱图像 域适应 大核注意力 XGBoost hyperspectral images domain adaptation large kernel attention XGBoost 1 引 言 1 高光谱图像是由同一区域的数百个连续波段光谱组成，具有“谱像合一”的特点 ［ 1 1 - 2 2 1-2 ］ 。这种丰富的光谱信息和空间信息更加有利于区分不同的土地覆盖类型，在农林监测 ［ 3 3 ］ 、城市遥感 ［ 4 4 ］ 等领域具有重要应用。因此，高光谱图像分类一直是光学领域的研究热点。 近年来，基于神经网络的分类算法在高光谱遥感图像领域得到了应用，如2D卷积 ［ 5 5 ］ 、3D卷积 ［ 6 6 ］ 和图卷积 ［ 7 7 ］ 。虽然算法研究取得了较大的突破，但模型泛化性能的提高需要大量有标记的样本。然而，由于高光谱遥感图像“同谱异物”“同物异谱”的成像复杂性，样本手工标注难度大，标记样本往往是十分有限的。因此，在训练样本有限的条件下提高高光谱图像分类模型的泛化性能，成为亟待解决的问题。 域适应（Domain Adaptation，DA）的思想是使一个领域（源领域）的知识适配另一领域（目标领域） ［ 8 8 ］ 。根据目标域是否有少量标记数据，域适应又可以分为无监督域适应和有监督域适应。无监督域适应的主要策略是通过最小化源和目标特征之间的分布差异来引导特征学习。近年来，在高光谱图像分类任务中，DA被广泛用于减小跨场景图像之间的光谱偏移并提高分类精度，也就是利用与目标域相似的，包括足够多标记样本的源域来帮助标记样本有限的目标图像进行分类。Huang等提出（Graph Embedding and Distribution Alignment，GEDA）方法 ［ 9 9 ］ ，使用图嵌入方法和伪标记学习方法来学习源域和目标域的类间和类内差异矩阵，保留了两个域的局部判别信息。同时，使用高光谱图像的空间和频谱特征，并执行分布对齐和子空间对齐以最小化域之间的频谱差异。Chen提出新型类感知域方法，通过联合局部和全局的对抗自适应框架，在特征和输出空间上分别执行特定类和全局域对齐，类鉴别器利用不同的策略来提取两个数据域的标签 ［ 10 10 ］ 。Deng等提出基于深度度量学习的特征嵌入模型（Euclidean Distance-Deep Metric Learning-Based Feature Embedding-Unsupervised Domain Adaptation，ED-DMM-UDA） ［ 11 11 ］ ，采用基于深度嵌入特征的度量学习思想对样本进行相似性学习，利用无监督域适应技术减少不同场景之间的分布差异，是一种特征级域适应方法。赵春晖等提出的基于密集卷积和域自适应的高光谱图像分类方法（Dense Convolution and Domain Adaptation，DCDA） ［ 12 12 ］ ，使用密集卷积在源域中进行深度特征学习，然后应用域适应技术转移到目标域，提高了高光谱图像的分类精度。以上方法均采用无监督方式，通过混淆域鉴别器来学习，有效地将目标样本嵌入到源特征空间。 域适应完毕后，训练样本有限的问题得到解决，下一步进行分类。现有分类器可分为集成分类器与单一分类器两类，其中集成分类器是将单分类器进行组合，组合后的分类器比单分类器拥有更高的置信度。目前，高光谱图像分类中应用最多的集成学习方法是Bagging和Boosting。Boosting方法通过将单一分类器（弱分类器）串联集成在一起，为弱分类器赋予不同的权重形成强分类器，比Bagging并联弱分类器拥有更好的分类效果 ［ 13 13 ］ 。Chen等提出基于自适应Boosting的加权随机森林组合算法，同时为样本和弱分类器赋予不同权重，分类器对错分样本更加重视，分类结果比样本等权重集成Boosting方法更好 ［ 14 14 ］ 。Boosting集成方法的典型代表有梯度提升树（Gradient Boosting Decision Tree， GBDT） ［ 15 15 ］ 、极限梯度提升树（eXtreme Gradient Boosting， XGBoost） ［ 16 16 ］ 。XGBoost对GBDT进行了改进，比GBDT更加快速，分类准确率更高。 综上，利用域适应技术，本文提出一种空谱域适应与XGBoost结合（Spatial-spectral Domain Adaptation combined with XGBoost，SSDAX）的跨场景高光谱图像分类模型，在目标域训练样本有限的条件下能够获得更好的泛化性能。为解决跨场景高光谱图像中源域和目标域之间的光谱偏移问题，在SSDAX中引入了空谱注意力模型，该模型通过捕获长距离依赖、增大感受野，可以充分挖掘高光谱图像的局部结构信息，具有空间维度和光谱维度的适应性，并且能够在提取复杂特征的同时加速模型训练，提高模型的收敛性能；同时，为解决分类模型计算速度慢和单分类器可信度低的问题，利用XGBoost集成分类器代替传统单一分类器，通过多分类器加权集成有效地提升了高光谱图像地物分类的准确度。 2 SSDAX模型 1 2.1　SSDAX模型架构 2 本文所提模型如 图1 图1 所示，SSDAX模型分为三层空谱域适应和XGBoost集成分类器两大部分。模型训练时，首先将带有标签的源域训练样本（Source Labeled Samples，SLS）送入源域特征提取器（Source Extractor，SE），训练样本在源域上的特征提取能力。然后，将无标签的目标域样本（Target Unlabeled Samples，TUS）输入目标域特征提取器（Target Extractor，TE）并与鉴别器形成对抗网络，在鉴别器和目标域特征提取器的对抗过程中减小目标特征和源特征的分布差异。接着，利用目标域中少量带有标签的样本（Target Labeled Samples，TLS）训练目标域特征提取器，对特征空间进行映射聚类，使目标域和源域的聚类中心不断接近，类别间样本分布差异增大以完成无监督的聚类域适应。最后利用XGBoost进行分类。 2.2　空谱注意力模型 2 为降低模型复杂度且使得源域和目标域的特征提取均能兼顾空间维度和光谱维度，SE和TE均使用空谱注意力模型。空谱注意力模型如 图2 图2 所示，由深度超参数卷积模型（Depthwise Over-parameterized Convolution Model，DOCM）和大核注意力（Large Kernel Attention，LKA）模型 ［ 17 17 ］ 组成。 2 . 2 . 1　深度超参数卷积模型 3 DOCM由深度超参数卷积（Depthwise Over-parameterized Convolution， DOConv）、Batch Normalization（BN）、Rectified Linear Unit（ReLU）和Dropout构成，DOConv在提取复杂特征的同时可以加速卷积神经网络（Convolutional Neural Network， CNN）训练，持续提升模型的收敛性能。 DOConv是由传统卷积和深度卷积组合而成，数学表达式为： <math display="block" id="M1"><mi mathvariant="bold-italic">O</mi><mo>=</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">D</mi><mo>,</mo><mi mathvariant="bold-italic">W</mi><mo stretchy="false">)</mo><mo>⊛</mo><mi mathvariant="bold-italic">P</mi><mo>=</mo><mi mathvariant="bold-italic">W</mi><mi mathvariant="normal">*</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">D</mi><mo>∘</mo><mi mathvariant="bold-italic">P</mi><mo stretchy="false">)</mo><mo>=</mo><mo stretchy="false">(</mo><msup><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>∘</mo><mi mathvariant="bold-italic">W</mi><mo stretchy="false">)</mo><mi mathvariant="normal">*</mi><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715133&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715143&type= 71.79733276 3.80999994 ， 其中： <math id="M2"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715137&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715149&type= 2.70933342 2.79399991 表示输入的patch张量， <math id="M3"><mi mathvariant="bold-italic">D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715172&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715156&type= 3.04800010 2.79399991 表示传统卷积的卷积核， <math id="M4"><mi mathvariant="bold-italic">W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715162&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715160&type= 3.97933316 2.96333337 表示深度卷积的卷积核， <math id="M5"><mo>⊛</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715167&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715164&type= 3.47133350 3.47133350 表示深度超参数卷积算子， <math id="M6"><mo>∘</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715199&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715185&type= 1.01600003 2.79399991 表示深度卷积算子， <math id="M7"><mi mathvariant="normal">*</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715192&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715189&type= 1.77800000 2.79399991 表示传统卷积算子， <math id="M8"><mi mathvariant="bold-italic">O</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715210&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715207&type= 2.96333337 2.79399991 表示深度超参数卷积的输出。传统卷积和深度卷积串联与DOConv的计算公式分别为： <math display="block" id="M9"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>=</mo><mi mathvariant="bold-italic">D</mi><mo>∘</mo><mi mathvariant="bold-italic">P</mi></mtd><mtd><mo>:</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi></mrow></msub><mo>×</mo><mo stretchy="false">(</mo><mi>M</mi><mo>×</mo><mi>N</mi><mo stretchy="false">)</mo><mo>×</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext></mrow></msub><mo>×</mo><mo stretchy="false">(</mo><mi>H</mi><mo>×</mo><mi>W</mi><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi mathvariant="bold-italic">O</mi><mo>=</mo><mi mathvariant="bold-italic">W</mi><mi mathvariant="normal">*</mi><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>'</mi></mrow></msup></mtd><mtd><mo>:</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mtext> </mtext></mrow></msub><mo>×</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext></mrow></msub><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi><mo>×</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715212&type= 73.15200043 9.48266602 ， <math display="block" id="M10"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>T</mi></mrow></msup><mo>∘</mo><mi mathvariant="bold-italic">W</mi></mtd><mtd><mo>:</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi></mrow></msub><mo>×</mo><mo stretchy="false">(</mo><mi>M</mi><mo>×</mo><mi>N</mi><mo stretchy="false">)</mo><mo>×</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext></mrow></msub><mo>×</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mtext> </mtext></mrow></msub></mtd></mtr><mtr><mtd><mi mathvariant="bold-italic">O</mi><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>'</mi></mrow></msup><mi mathvariant="normal">*</mi><mi mathvariant="bold-italic">P</mi></mtd><mtd><mo>:</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mtext> </mtext></mrow></msub><mo>×</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext></mrow></msub><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi><mo>×</mo><mo stretchy="false">(</mo><mi>M</mi><mo>×</mo><mi>N</mi><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715235&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715232&type= 73.40599823 9.99066734 ， 其中： <math id="M11"><mi mathvariant="bold-italic">W</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715227&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715223&type= 4.40266657 3.38666677 和 <math id="M12"><mi mathvariant="bold-italic">P</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715249&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715246&type= 3.30200005 3.30200005 表示特征图计算的中间结果， <math id="M13"><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715267&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715263&type= 4.23333359 3.72533321 表示特征图的通道数， <math id="M14"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715256&type= 6.18066692 3.72533321 为卷积核的组数量。两者的卷积过程分别如图 3 3 （a）和 3 3 （b）所示。通常情况下， <math id="M15"><mi>H</mi><mo>×</mo><mi>W</mi><mo>≫</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715290&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715277&type= 21.84399986 3.72533321 且 <math id="M16"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi></mrow></msub><mo>≥</mo><mi>M</mi><mo>×</mo><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715286&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715292&type= 22.35199928 4.14866638 ，即传统卷积和深度卷积串联的计算量远大于DOConv。说明DOConv具有更小的前向传播计算量，能够弥补模型层数深度化导致的收敛速度慢的问题 ［ 18 18 ］ 。 2 . 2 . 2　大核注意力 3 LKA具有卷积和注意力的双重优势，包括提取局部结构信息、捕获长距离依赖和适应性。此外，LKA还可改进小卷积核导致的网络感受野较小的问题。为避免大卷积核增加网络模型的参数，LKA将大卷积核分解为空间局部卷积（深度卷积）、空间长距离卷积（深度空洞卷积）和光谱卷积（ <math id="M17"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715313&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715327&type= 8.63599968 2.79399991 卷积），如 图4 图4 所示。具体是一个 <math id="M18"><mi>K</mi><mo>×</mo><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715349&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715331&type= 10.66800022 2.79399991 的卷积分解为一个扩张率为 <math id="M19"><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715358&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715354&type= 2.28600001 2.79399991 ，尺寸为 <math id="M20"><mfenced open="⌈" close="⌉" separators="|"><mrow><mfrac><mrow><mi>K</mi></mrow><mrow><mi>d</mi></mrow></mfrac></mrow></mfenced><mo>×</mo><mfenced open="⌈" close="⌉" separators="|"><mrow><mfrac><mrow><mi>K</mi></mrow><mrow><mi>d</mi></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715366&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715362&type= 17.52599907 9.22866726 的深度空洞卷积（Deepwise Dilation Convolution， DW-D-Conv）、一个 <math id="M21"><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mi>d</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo>×</mo><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mi>d</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715380&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715346&type= 30.73399925 3.55599999 的深度卷积（Deepwise Convolution， DW-Conv）和一个 <math id="M22"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715374&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715382&type= 8.63599968 2.79399991 卷积（Pointwise Convolution， PW-Conv）。 LKA除进行大核分解外，还从空间和光谱维度引入了一种新型注意力方法，它可以根据输入的空间和光谱特征选择有区别的特征，并自动忽略噪声响应。在捕获长距离依赖后，LKA通过估计每个光谱的重要性和每个光谱中空间像素点的重要性生成注意力图。其计算公式为： <math display="block" id="M23"><mi>A</mi><mi>t</mi><mi>t</mi><mi>e</mi><mi>n</mi><mi>t</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo>=</mo><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>D</mi><mi>W</mi><mo>-</mo><mi>D</mi><mo>-</mo><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mo stretchy="false">(</mo><mi>D</mi><mi>W</mi><mo>-</mo><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715402&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715410&type= 92.96399689 4.48733330 ， <math display="block" id="M24"><mi>O</mi><mi>u</mi><mi>t</mi><mi>p</mi><mi>u</mi><mi>t</mi><mo>=</mo><mi>A</mi><mi>t</mi><mi>t</mi><mi>e</mi><mi>n</mi><mi>t</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo>⊗</mo><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715421&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715416&type= 36.99933624 4.06400013 ， 其中： <math id="M25"><mi>F</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715441&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715438&type= 19.30400085 3.38666677 是输入的特征图， <math id="M26"><mi>A</mi><mi>t</mi><mi>t</mi><mi>e</mi><mi>n</mi><mi>t</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715430&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715428&type= 31.07266808 3.38666677 表示注意力图， <math id="M27"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715452&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715433&type= 3.55599999 3.55599999 表示逐像素点相乘。 2.3　三层空谱域适应 2 为了更好地实现高光谱图像空间维和光谱维的域适应，本文采用对抗域适应、有监督域适应和聚类域适应三层方法。通过优化三层域适应损失进行分布适配，最终使得源域和目标域具有类似的边缘概率分布和条件概率分布，从而达到域适应的目的。其总体损失函数如下： <math display="block" id="M28"><mtable><mtr><mtd><mi>L</mi><mo stretchy="false">(</mo><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mi>β</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">u</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi></mrow></msub><mo stretchy="false">(</mo><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mi>β</mi><mo stretchy="false">)</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi></mrow></msub><mo stretchy="false">(</mo><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>C</mi></mrow></msub><mo stretchy="false">(</mo><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715455&type= 52.06999969 10.24466610 其中： <math id="M29"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715465&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715460&type= 3.80999994 3.72533321 为目标域无标签训练样本TUS， <math id="M30"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715486&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715476&type= 1.94733346 2.79399991 为目标域特征提取器的参数， <math id="M31"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715491&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715478&type= 2.28600001 3.64066648 是鉴别器的参数， <math id="M32"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">|</mo><mi>x</mi><mo>∈</mo><mi mathvariant="bold-italic">X</mi><mo>,</mo><mi>y</mi><mo>∈</mo><mi mathvariant="bold-italic">Y</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715495&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715480&type= 40.97866440 4.91066647 为目标域有少量标签的样本TLS， <math id="M33"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715503&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715500&type= 3.13266683 2.79399991 是训练数据集， <math id="M34"><mi mathvariant="bold-italic">Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715519&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715506&type= 3.13266683 2.79399991 是标签集。 通过目标域特征提取器与鉴别器之间的对抗学习完成第一层域适应，该层可通过优化式（7）实现。 <math display="block" id="M35"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">u</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi><mtext> </mtext></mrow></msub><mfenced separators="|"><mrow><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mi>β</mi></mrow></mfenced><mo>=</mo><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>β</mi></mrow></munder><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></munder><mo>-</mo><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><mi>S</mi><mi>L</mi><mi>S</mi></mrow></munder><mrow><mi>l</mi><mi>o</mi><mi>g</mi></mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>β</mi></mrow></msub><mo stretchy="false">[</mo><mi>S</mi><mi>E</mi><mo stretchy="false">(</mo><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>-</mo></mtd></mtr><mtr><mtd><mtext>                   </mtext><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></munder><mrow><mi>l</mi><mi>o</mi><mi>g</mi></mrow><mo stretchy="false">{</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>β</mi></mrow></msub><mo stretchy="false">[</mo><mi>T</mi><mi>E</mi><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo stretchy="false">}</mo><mo>,</mo><mtext>                   </mtext><mo stretchy="false">(</mo><mn mathvariant="normal">7</mn><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715523&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715510&type= 77.38533020 16.00200081 其中： <math id="M36"><msub><mrow><mi>D</mi></mrow><mrow><mi>β</mi></mrow></msub><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715531&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715530&type= 7.53533268 4.48733330 是对抗学习中的鉴别器，用以区分输入特征是来自源域还是目标域。最终的训练目标是使得生成器和鉴别器达到纳什均衡状态，即鉴别器判断输入数据来自源域和目标域的概率均为0.5。 第二层域适应是利用目标域少量有标签样本对前一步训练完毕的目标域特征提取器进行调整，使得目标域特征提取网络能够进一步学习目标域样本的条件概率分布，进而更好地提取与源域分布相似的特征。该层以均方误差作为损失函数，其优化公式为： <math display="block" id="M37"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi></mrow></msub><mo stretchy="false">(</mo><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></munder><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>∈</mo><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></munder><mrow><mo stretchy="false">[</mo><mi>T</mi><mi>E</mi><msup><mrow><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>-</mo><mi>y</mi><mo stretchy="false">]</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715547&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715544&type= 66.20932770 9.22866726 . 第三层域适应是对源域特征进行聚类，然后将聚类中心和两层域适应后的目标域特征映射到同一个公共域空间。为了能够尽可能缩小公共域空间中源域和目标域的分布差异，在本层域适应内引入映射聚类损失，用来衡量公共域空间内同类样本的聚集程度。通过迭代映射目标域特征，优化聚类损失，使源域和目标域的聚类中心距离不断减小。全部类别的映射聚类损失优化公式为： <math display="block" id="M38"><msub><mrow><mi>L</mi></mrow><mrow><mi>C</mi></mrow></msub><mo stretchy="false">(</mo><mi>α</mi><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></munder><mrow><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>k</mi></mrow></munder><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>T</mi><mi>E</mi><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715549&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715536&type= 54.10200119 7.78933382 ， 其中： <math id="M39"><msub><mrow><mi>C</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715555&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715539&type= 3.64066648 3.72533321 表示第 <math id="M40"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715660&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715645&type= 1.69333339 2.79399991 类样本的聚类中心，其值为第 <math id="M41"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715660&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715645&type= 1.69333339 2.79399991 类样本的均值。减小映射聚类损失有助于目标域样本在同一公共域空间内的分类。 2.4　XGBoost 2 XGBoost ［ 16 16 ］ 为改进Gradient Boosting的分布式梯度增强框架，具有快速和高效的特点，可以弥补高光谱分类模型训练耗时较长的不足。XGBoost设计了一个新的目标函数，通过优化目标函数减小预测误差，即： <math display="block" id="M42"><mi>o</mi><mi>b</mi><mi>j</mi><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mi>l</mi></mrow><mfenced separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mover accent="true"><mi>y</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced><mo>+</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>K</mi></mrow></munderover></mstyle><mrow><mi>Ω</mi></mrow><mfenced separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715582&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715563&type= 45.72000122 8.55133343 ， 其中： <math id="M43"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715586&type= 1.86266661 2.79399991 为样本数， <math id="M44"><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715593&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715590&type= 2.87866688 4.57200003 为第 <math id="M45"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715622&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715619&type= 1.10066664 2.79399991 个样本的标签， <math id="M46"><msub><mrow><mover accent="true"><mi>y</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715608&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715598&type= 2.87866688 4.57200003 是第 <math id="M47"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715622&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715619&type= 1.10066664 2.79399991 个样本的预测值， <math id="M48"><mi>l</mi><mfenced separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mover accent="true"><mi>y</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715616&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715615&type= 12.53066730 4.82600021 代表损失函数， <math id="M49"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715649&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715633&type= 3.04800010 2.79399991 表示树的个数， <math id="M50"><msub><mrow><mi>f</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715657&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715653&type= 2.79399991 4.57200003 表示第 <math id="M51"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715660&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715645&type= 1.69333339 2.79399991 棵树， <math id="M52"><mi>Ω</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715662&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715664&type= 2.70933342 2.79399991 用来衡量模型的复杂度。当 <math id="M53"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>∼</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715683&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715671&type= 12.61533356 4.57200003 训练完毕后就不再调整，利用 <math id="M54"><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715675&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715673&type= 2.53999996 4.57200003 弥补 <math id="M55"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715710&type= 13.03866673 4.48733330 与真实值的残差，其中 <math id="M56"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715723&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715717&type= 6.94266701 3.72533321 是由前 <math id="M57"><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715803&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715798&type= 7.78933382 2.79399991 棵树组成的极致梯度提升模型。第 <math id="M58"><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715770&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715758&type= 1.26999998 2.79399991 棵树表示为： <math display="block" id="M59"><msup><mrow><mover accent="true"><mi>y</mi><mo>¯</mo></mover></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msup><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>t</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><msup><mrow><mover accent="true"><mi>y</mi><mo>¯</mo></mover></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup><mo>+</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715754&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715750&type= 48.17533112 8.55133343 . 在训练第 <math id="M60"><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715770&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715758&type= 1.26999998 2.79399991 棵树时，其目标函数为： <math display="block" id="M61"><mtable><mtr><mtd><mi>o</mi><mi>b</mi><msup><mrow><mi>j</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msup><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mi>l</mi></mrow><mfenced separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msubsup><mrow><mover accent="true"><mi>y</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msubsup></mrow></mfenced><mo>+</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>t</mi></mrow></munderover></mstyle><mrow><mi>Ω</mi></mrow><mfenced separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced><mo>=</mo></mtd></mtr><mtr><mtd><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mi>l</mi></mrow><mfenced separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msubsup><mrow><mover accent="true"><mi>y</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msubsup><mo>+</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mfenced><mo>+</mo><mi>Ω</mi><mfenced separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></mfenced><mo>+</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><mi>Ω</mi></mrow><mfenced separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715775&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715763&type= 70.27333069 18.88066673 其中： <math id="M62"><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><mi>Ω</mi></mrow><mfenced separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715780&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715783&type= 13.63133430 8.55133343 可以表示前 <math id="M63"><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715803&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715798&type= 7.78933382 2.79399991 棵树的复杂度，是个常数，并不会影响模型的优化结果。所以对 式（12） 式（12） 进行泰勒展开后去掉常数项可以得到： <math display="block" id="M64"><mi>o</mi><mi>b</mi><msup><mrow><mi>j</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msup><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi></mrow></msub><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced><mo>+</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><msubsup><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mfenced></mrow><mo>+</mo><mi>Ω</mi><mfenced separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715793&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715805&type= 67.30999756 9.05933285 ， 其中： <math id="M65"><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msup><mrow><mi>l</mi></mrow><mrow><mi>'</mi></mrow></msup><mfenced separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715810&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715809&type= 31.15733528 4.82600021 ， <math id="M66"><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msup><mrow><mi>l</mi></mrow><mrow><mi>'</mi></mrow></msup><mfenced separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715819&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715812&type= 31.07266808 4.82600021 。 为便于讨论 <math id="M67"><mi>Ω</mi><mfenced separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715823&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715831&type= 9.14400005 4.82600021 的定义，本文作出如下定义： <math id="M68"><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi>w</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>w</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>T</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715858&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715838&type= 25.23066711 3.97933316 表示叶子结点的输出向量， <math id="M69"><mi>q</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715875&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715842&type= 7.70466709 3.97933316 表示样本到叶子节点的映射，则 <math id="M70"><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>q</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715880&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715866&type= 20.40466690 4.91066647 。 <math id="M71"><mi>Ω</mi><mfenced separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715883&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715869&type= 9.14400005 4.82600021 可以定义为： <math display="block" id="M72"><mi>Ω</mi><mfenced separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></mfenced><mo>=</mo><mi>γ</mi><mi>T</mi><mo>+</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mi>λ</mi><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>T</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>w</mi></mrow><mrow><mi>j</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715891&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715889&type= 37.93066406 9.05933285 ， 其中： <math id="M73"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715897&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715895&type= 2.87866688 2.79399991 表示叶子结点数， <math id="M74"><msub><mrow><mi>w</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715908&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715906&type= 3.64066648 3.72533321 表示叶子结点 <math id="M75"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715963&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715946&type= 1.60866666 3.64066648 的输出， <math id="M76"><mi>γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715927&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715923&type= 1.94733346 3.64066648 是叶子结点数量的惩罚系数， <math id="M77"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715916&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715929&type= 1.77800000 2.79399991 是正则化系数。于是， 式（13） 式（13） 可以整理为： <math display="block" id="M78"><mi>o</mi><mi>b</mi><msup><mrow><mi>j</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msup><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>T</mi></mrow></munderover></mstyle><mrow><mfenced open="[" close="]" separators="|"><mrow><mfenced separators="|"><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>∈</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></munder><mrow><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow></mfenced><msub><mrow><mi>w</mi></mrow><mrow><msub><mrow><mi>q</mi></mrow><mrow><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></msub></mrow></msub><mo>+</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mfenced separators="|"><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>∈</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></munder><mrow><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mo>+</mo><mi>λ</mi></mrow></mfenced><msubsup><mrow><mi>w</mi></mrow><mrow><mi>j</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mfenced></mrow><mo>+</mo><mi>γ</mi><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715949&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715917&type= 74.08333588 11.59933376 ， 其中 <math id="M79"><msub><mrow><mi>I</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715943&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715951&type= 2.11666679 3.72533321 为索引为 <math id="M80"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715963&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715946&type= 1.60866666 3.64066648 的叶子上含有的样本集合。 式（15） 式（15） 即为最终需要优化的函数。 3 实验结果及分析 1 3.1　实验数据集 2 为了验证本文所提出的模型对高光谱图像的分类性能，同时避免单一数据集带来的偶然性，使用Pavia和Indiana两个高光谱开源数据集（来源为 https：//www.ehu.eus/ccwintco/index.php/Hyperspectral_Remote_Sensing_Scenes https://www.ehu.eus/ccwintco/index.php/Hyperspectral_Remote_Sensing_Scenes ）进行测试。 Pavia数据集是通过数字机载成像系统传感器捕获的意大利Pavia市区图像，选择Pavia University作为训练的源区域，像素尺寸为（243， 243， 72）；Pavia City中心作为目标区域，像素尺寸为（400， 400， 72）。Indiana数据集是通过机载可见光/红外成像光谱仪（AVIRIS）捕获的美国Indiana西北部Indiana试验场图像，选择两个不相交的区域分别作为源区域和目标区域，源区域的像素尺寸为（400， 300， 220），目标区域的像素尺寸同样为（400， 300， 220）。两个数据集的源区域与目标区域相对应的土地覆盖分类详情如 表1 表1 和 表2 表2 所示。Pavia和Indiana数据集的源区域和目标区域的假彩色图和地面真值图分别如 图5 图5 和 图6 图6 所示。 No. Category Source Target C1 Trees 266 2 424 C2 Asphalt 266 1 704 C3 Parking lot 265 287 C4 Bitumen 206 685 C5 Meadow 273 1 251 C6 Soil 213 1 475 No. Category Source Target C1 Concrete/ Asphalt 4 867 2 942 C2 Corn cleanTill 9 822 6 029 C3 Corn cleanTill EW 11 414 7 999 C4 Orchard 5 106 1 562 C5 Soybeans cleanTill 4 731 4 792 C6 Soybeans cleanTill EW 2 996 1 638 C7 Wheat 3 223 10 739 3.2　实验平台及参数 2 实验使用Windows10操作系统，处理器为Intel（R） Core（TM） i5-6300HQ CPU @ 2.30GHz，机带RAM为12GB，GPU为NVIDIA GeForce GTX 960M。在Python环境下，利用Pytorch框架完成实验程序编写。学习率采用动态学习率，动量为1，初始值为0.1，优化算法采用随机梯度下降。空谱注意力模型各卷积层Stride均设置为1，输入通道数为ch，其余参数设置见 表3 表3 。实验中，所有结果均是10次实验均值。每次实验每个类无放回随机选取180个源域有标签样本、180个目标域无标签样本和20个目标域有标签样本作为训练集，利用目标域中其余样本作为测试集。 Layer name Output shape Filter size Padding Dilation Groups Input 5×5× ch - - - - DoConv 5×5×200 （1， 1） （0， 0） （1， 1） 1 BN 5×5×200 - - - - ReLu 5×5×200 - - - - Dropout 5×5×200 - - - - Avgpool 1×1×200 （5， 5） （0， 0） （1， 1） - DW-Conv 1×1×200 （5， 5） （2， 2） （1， 1） 200 DW-D-Conv 1×1×200 （7， 7） （9， 9） （3，3） 200 1×1 Conv 1×1×200 （1， 1） （0， 0） （1， 1） 1 FC 128 - - - - 3.3　实验对比及分析 2 3 . 3 . 1　DA分析 3 图7 图7 和 图8 图8 分别显示了本文模型在两个数据集上域适应前与域适应后的源域与目标域的特征分布。可以看出，经过域适应提取域不变特征后，域间概率分布差异减小，缓解了高光谱图像源域和目标域之间的频谱偏移问题，目标域的特征分布更加接近源域的特征分布。 3 . 3 . 2　不同分类方法的对比 3 为验证本文所提出模型的高光谱图像分类性能，将它与径向基函数支持向量机（Radial Basis Function-Support Vector Machine，RBF-SVM） ［ 19 19 ］ 、扩展形态轮廓支持向量机（EMP-SVM） ［ 20 20 ］ 、深度卷积神经网络（Deep Convolutional Neural Network， DCNN） ［ 21 21 ］ 、基于欧几里得距离的无监督域适应分类算法（ED-DMM-UDA） ［ 11 11 ］ 、结合曼哈顿度量和深度参数化卷积的无监督域适应加权KNN跨场景分类方法（MDDUWK） ［ 22 22 ］ 、基于密集卷积和域自适应的高光谱图像分类方法（DCDA） ［ 12 12 ］ 进行比较。本文采用的实验评价指标为总体精度（Overall Accuracy， OA）、平均精度（Average Accuracy， AA）和Kappa系数（ K ）。 表4 表4 和 表5 表5 给出了不同算法在Pavia和Indiana数据集上的分类结果。对比Pavia和Indiana数据集上的分类结果可以看出，所有对比方法在Indiana数据集上的分类精度明显低于Pavia数据集。对比 图7 图7 、 图8 图8 的特征分布可视化结果发现，Indiana数据集DA前，源域和目标域的特征分布差异明显，两个域特征轴线的夹角明显大于Pavia数据集。DA之后，Indiana数据集源域和目标域特征分布差异对比于Pavia数据集略大，因此Indiana数据集的分类精度略低于Pavia数据集。 Method C1 C2 C3 C4 C5 C6 OA/% AA/% K ×100 Time/s RBF-SVM 79.58 80.19 81.55 85.92 84.12 74.97 79.32 79.40 77.34 66.84 EMP-SVM 80.40 80.75 84.17 88.12 83.29 78.56 80.53 80.89 78.15 330.90 DCNN 86.47 84.40 86.66 90.45 83.04 82.56 84.20 83.94 81.17 277.76 ED-DMM-UDA 89.20 86.55 94.80 92.20 96.09 82.12 87.98 88.50 84.85 39.31 DCDA 92.14 94.36 100 81.35 95.78 81.99 90.63 90.08 88.00 42.74 SSDAX 94.17 90.58 99.13 92.15 94.22 84.81 91.62 92.51 89.39 36.93 Method C1 C2 C3 C4 C5 C6 C7 OA/% AA/% K ×100 Time/s RBF-SVM 59.43 29.32 42.91 69.30 22.04 55.30 51.94 43.61 47.18 35.76 158.26 EMP-SVM 60.82 34.90 34.02 88.77 30.95 58.10 75.65 51.98 54.74 43.07 424.65 DCNN 65.22 39.14 41.98 82.96 36.12 61.15 77.87 56.10 57.78 46.26 294.50 ED-DMM-UDA 72.22 41.48 36.00 91.81 33.32 67.15 80.60 56.82 60.37 48.10 170.24 DCDA 53.18 25.01 41.15 93.90 42.29 80.72 82.16 61.60 61.79 53.00 153.72 SSDAX 77.44 54.20 44.63 91.19 54.78 64.38 86.98 65.98 67.66 58.57 151.05 由于传统卷积的卷积核通常只有3×3或5×5，感受野小。本文引入LKA和空洞卷积在不增加参数数量的同时，增大了网络的感受野。由实验结果也可以看出，在Pavia数据集上，SSDAX的OA比RBF-SVM和EMP-SVM分别高出12.3%和11.09%，在Indiana数据集上分别高出22.37%和14%。DCNN依赖于大量的训练样本，在有标记样本不足的情况下模型难以充分训练，特征提取能力无法满足小样本需求，所以DCNN的OA比SSDAX模型在两个数据集上分别低7.42%和9.88%。此外，由于DCNN模型具有高复杂度，在Pavia数据集上的运算时间是SSDAX的7.5倍。ED-DMM-UDA所提的深度度量学习网络在特征提取与嵌入方面并未考虑感受野与光谱域适应，而SSDAX模型能够解决这种不足。值得一提的是，在分类难度较大的Indiana数据集上，SSDAX与ED-DMM-UDA的OA差值高达9.16%，Kappa差值高达0.104 7。结果表明，本文所提模型在两个数据集上的分类性能均更高。 3 . 3 . 3　消融实验 3 SSDAX在MDDUWK基础上，结合LKA和XGBoost进行改进。为了验证所提模型各组成部分的有效性，进行了两组消融实验，包括在模型中仅加入LKA的实验（SSDA）与仅加入XGBoost的实验（SDAX）。 表6 表6 和 表7 表7 展示了两个数据集上的消融实验结果。 Method C1 C2 C3 C4 C5 C6 OA/% AA/% K ×100 Time/s MDDUWK 89.36 91.40 97.23 97.23 96.14 84.79 90.12 91.03 87.54 37.84 SSDA 89.81 91.55 96.97 87.94 96.43 84.74 90.38 91.24 87.86 38.47 SDAX 93.04 89.12 98.09 92.00 94.59 85.88 91.16 92.12 88.82 35.72 SSDAX 94.17 90.58 99.13 92.15 94.22 84.81 91.62 92.51 89.39 36.93 Method C1 C2 C3 C4 C5 C6 C7 OA/% AA/% K ×100 Time/s MDDUWK 72.86 44.87 48.92 91.76 48.22 68.11 84.08 63.44 65.55 55.72 166.91 SSDA 71.83 50.06 48.38 92.15 48.97 69.53 83.94 64.25 66.41 56.57 156.83 SDAX 75.60 53.12 44.62 88.57 53.49 66.00 85.60 65.02 66.71 57.42 151.61 SSDAX 77.44 54.20 44.63 91.19 54.78 64.38 86.98 65.98 67.66 58.57 151.05 实验结果表明，SSDA的OA在两个数据集上分别提升0.26%和0.81%。SDAX将MDDUWK所采用的加权K近邻分类器替换为XGBoost分类器后，两个数据集的OA分别提升1.04%和1.58%。SSDAX模型的分类能力得到进一步地提升，与MDDUWK相比，在两个数据集上OA分别提升1.5%和2.54%。综上，本文所提出模型的各组成部分均可提高高光谱地物分类的准确率。 为了直观地展示所提出的SSDAX的有效性，将上述所有方法在两个数据集上进行了可视化，分别如 图9 图9 和 图10 图10 所示。显然，所提出的 SSDAX错误标记的像素更少，分类结果更准确。 1;2; 4 结 论 1 本文提出了一个结合三层空谱域适应与XGBoost集成的高光谱图像分类模型。首先将源域数据送入源域特征提取模型，训练模型提取源域数据特征的能力，然后进入三层空谱域适应阶段，逐层经过无监督对抗、有监督调整和映射聚类以提高模型域适应能力，最后利用提取的特征训练XGBoost集成分类器作为最终的分类器。实验结果表明，该模型在Pavia和Indiana数据集上得到的OA值分别为91.62%和65.98%，AA值分别为92.51%和67.66%，Kappa值分别为0.893 9和0.585 7。所提模型性能相比于其他跨场景高光谱分类模型具有明显的提升。 参考文献 黄鸿 ， 张臻 ， 李政英 . 面向高光谱影像分类的深度流形重构置信网络 ［J］. 光学 精密工程 ， 2021 ， 29 （ 8 ）： 1985 - 1998 . doi: 10.37188/OPE.20212908.1985 http://dx.doi.org/10.37188/OPE.20212908.1985 面向高光谱影像分类的深度流形重构置信网络 HUANG H ， ZHANG ZH ， LI ZH Y . Deep manifold reconstruction belief network for hyperspectral remote sensing image classification ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 8 ）： 1985 - 1998 . （in Chinese） . doi: 10.37188/OPE.20212908.1985 http://dx.doi.org/10.37188/OPE.20212908.1985 Deep manifold reconstruction belief network for hyperspectral remote sensing image classification 樊星皓 ， 刘春雨 ， 金光 ， 等 . 轻小型高分辨率星载高光谱成像光谱仪 ［J］. 光学 精密工程 ， 2021 ， 29 （ 3 ）： 463 - 473 . doi: 10.37188/ope.20212903.0463 http://dx.doi.org/10.37188/ope.20212903.0463 轻小型高分辨率星载高光谱成像光谱仪 FAN X H ， LIU CH Y ， JIN G ， et al . Small and high-resolution spaceborne hyperspectral imaging spectrometer ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 3 ）： 463 - 473 . （in Chinese） . doi: 10.37188/ope.20212903.0463 http://dx.doi.org/10.37188/ope.20212903.0463 Small and high-resolution spaceborne hyperspectral imaging spectrometer QIN H M ， ZHOU W Q ， YAO Y ， et al . Estimating aboveground carbon stock at the scale of individual trees in subtropical forests using UAV LiDAR and hyperspectral data ［J］. Remote Sensing ， 2021 ， 13 （ 24 ）： 4969 . doi: 10.3390/rs13244969 http://dx.doi.org/10.3390/rs13244969 Estimating aboveground carbon stock at the scale of individual trees in subtropical forests using UAV LiDAR and hyperspectral data CRUZ-RAMOS C ， GARCIA-SALGADO B P ， REYES-REYES R ， et al . Gabor features extraction and land-cover classification of urban hyperspectral images for remote sensing applications ［J］. Remote Sensing ， 2021 ， 13 （ 15 ）： 2914 . doi: 10.3390/rs13152914 http://dx.doi.org/10.3390/rs13152914 Gabor features extraction and land-cover classification of urban hyperspectral images for remote sensing applications LIU Q C ， XIAO L ， YANG J X ， et al . Content-guided convolutional neural network for hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 ， 58 （ 9 ）： 6124 - 6137 . doi: 10.1109/tgrs.2020.2974134 http://dx.doi.org/10.1109/tgrs.2020.2974134 Content-guided convolutional neural network for hyperspectral image classification BINTA ZAKARIA Z ， ISLAM M R . Hybrid 3DNet： hyperspectral image classification with spectral-spatial dimension reduction using 3D CNN ［J］. International Journal of Computer Applications ， 2022 ， 184 （ 23 ）： 6 - 11 . doi: 10.5120/ijca2022922270 http://dx.doi.org/10.5120/ijca2022922270 Hybrid 3DNet： hyperspectral image classification with spectral-spatial dimension reduction using 3D CNN JIA S ， JIANG S G ， ZHANG S Y ， et al . Graph-in-graph convolutional network for hyperspectral image classification ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2022 ， PP. DOI： 10.1109/TNNLS.2022.3182715 http://dx.doi.org/10.1109/TNNLS.2022.3182715 . Graph-in-graph convolutional network for hyperspectral image classification 刘桂雄 ， 黄坚 . 基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术 ［J］. 光学 精密工程 ， 2022 ， 30 （ 1 ）： 117 - 125 . doi: 10.37188/OPE.20223001.0117 http://dx.doi.org/10.37188/OPE.20223001.0117 基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术 LIU G X ， HUANG J . Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 1 ）： 117 - 125 . （in Chinese） . doi: 10.37188/OPE.20223001.0117 http://dx.doi.org/10.37188/OPE.20223001.0117 Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms HUANG Y ， PENG J T ， NING Y J ， et al . Graph embedding and distribution alignment for domain adaptation in hyperspectral image classification ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2021 ， 14 ： 7654 - 7666 . doi: 10.1109/jstars.2021.3099805 http://dx.doi.org/10.1109/jstars.2021.3099805 Graph embedding and distribution alignment for domain adaptation in hyperspectral image classification CHEN J F ， CHEN G ， FANG B ， et al . Class-aware domain adaptation for coastal land cover mapping using optical remote sensing imagery ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2021 ， 14 ： 11800 - 11813 . doi: 10.1109/jstars.2021.3128527 http://dx.doi.org/10.1109/jstars.2021.3128527 Class-aware domain adaptation for coastal land cover mapping using optical remote sensing imagery DENG B ， JIA S ， SHI D M . Deep metric learning-based feature embedding for hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 ， 58 （ 2 ）： 1422 - 1435 . doi: 10.1109/tgrs.2019.2946318 http://dx.doi.org/10.1109/tgrs.2019.2946318 Deep metric learning-based feature embedding for hyperspectral image classification 赵春晖 ， 李彤 ， 冯收 . 基于密集卷积和域自适应的高光谱图像分类 ［J］. 光子学报 ， 2021 ， 50 （ 3 ）： 0310001 . doi: 10.3788/gzxb20215003.0310001 http://dx.doi.org/10.3788/gzxb20215003.0310001 基于密集卷积和域自适应的高光谱图像分类 ZHAO CH H ， LI T ， FENG SH . Hyperspectral image classification based on dense convolution and domain adaptation ［J］. Acta Photonica Sinica ， 2021 ， 50 （ 3 ）： 0310001 . （in Chinese） . doi: 10.3788/gzxb20215003.0310001 http://dx.doi.org/10.3788/gzxb20215003.0310001 Hyperspectral image classification based on dense convolution and domain adaptation 周钢 ， 郭福亮 . 集成学习方法研究 ［J］. 计算技术与自动化 ， 2018 ， 37 （ 4 ）： 148 - 153 . doi: 10.16339/j.cnki.jsjsyzdh.201804026 http://dx.doi.org/10.16339/j.cnki.jsjsyzdh.201804026 集成学习方法研究 ZHOU G ， GUO F L . Research on ensemble learning ［J］. Computing Technology and Automation ， 2018 ， 37 （ 4 ）： 148 - 153 . （in Chinese） . doi: 10.16339/j.cnki.jsjsyzdh.201804026 http://dx.doi.org/10.16339/j.cnki.jsjsyzdh.201804026 Research on ensemble learning 陈伟民 ， 张凌 ， 宋冬梅 ， 等 . 基于AdaBoost改进随机森林的高光谱图像地物分类方法研究 ［J］. 遥感技术与应用 ， 2018 ， 33 （ 4 ）： 612 - 620 . doi: 10.11873/j.issn.1004-0323.2018.4.0612 http://dx.doi.org/10.11873/j.issn.1004-0323.2018.4.0612 基于AdaBoost改进随机森林的高光谱图像地物分类方法研究 CHEN W M ， ZHANG L ， SONG D M ， et al . Research on hyperspectral imagery land cover classification method based on AdaBoost improved random forest ［J］. Remote Sensing Technology and Application ， 2018 ， 33 （ 4 ）： 612 - 620 . （in Chinese） . doi: 10.11873/j.issn.1004-0323.2018.4.0612 http://dx.doi.org/10.11873/j.issn.1004-0323.2018.4.0612 Research on hyperspectral imagery land cover classification method based on AdaBoost improved random forest 李润祥 ， 高小红 ， 汤敏 . 基于双树复小波分解的Boosting集成学习土地覆被分类研究 ［J］. 遥感技术与应用 ， 2022 ， 37 （ 2 ）： 354 - 356， 358 . 基于双树复小波分解的Boosting集成学习土地覆被分类研究 LI R X ， GAO X H ， TANG M . Study on boosting ensemble learning land cover classification based on dual-tree complex wavelet transform ［J］. Remote Sensing Technology and Application ， 2022 ， 37 （ 2 ）： 354 - 356， 358 . （in Chinese） Study on boosting ensemble learning land cover classification based on dual-tree complex wavelet transform CHEN T ， GUESTRIN C . XGBoost ： a scalable tree boosting system ［EB/OL］. 2016 ： arXiv ： 1603 . 02754 . https：//arxiv.org/abs/1603.02754 https://arxiv.org/abs/1603.02754 . doi: 10.1145/2939672.2939785 http://dx.doi.org/10.1145/2939672.2939785 XGBoost： a scalable tree boosting system DU W ， CHEN H ， LIAO P ， et al . Visual attention network for low dose CT ［EB/OL］. 2018 ： arXiv ： 1810 . 13059 . https：//arxiv.org/abs/1810.13059 https://arxiv.org/abs/1810.13059 . doi: 10.1109/lsp.2019.2922851 http://dx.doi.org/10.1109/lsp.2019.2922851 Visual attention network for low dose CT CAO J M ， LI Y Y ， SUN M C ， et al . DO-conv： depthwise over-parameterized convolutional layer ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2022 ， 31 ： 3726 - 3736 . doi: 10.1109/tip.2022.3175432 http://dx.doi.org/10.1109/tip.2022.3175432 DO-conv： depthwise over-parameterized convolutional layer PLAZA A ， BENEDIKTSSON J A ， BOARDMAN J W ， et al . Recent advances in techniques for hyperspectral image processing ［J］. Remote Sensing of Environment ， 2009 ， 113 ： S110 - S122 . doi: 10.1016/j.rse.2007.07.028 http://dx.doi.org/10.1016/j.rse.2007.07.028 Recent advances in techniques for hyperspectral image processing LI P ， HU H ， CHENG T ， et al . High-resolution multispectral image classification over urban areas by image segmentation and extended morphological profile ［C］. 2006 IEEE International Symposium on Geoscience and Remote Sensing. July 31 - August 4 ， 2006 ， Denver， CO， USA. IEEE ， 2007 ： 3252 - 3254 . doi: 10.1109/igarss.2006.835 http://dx.doi.org/10.1109/igarss.2006.835 High-resolution multispectral image classification over urban areas by image segmentation and extended morphological profile CHEN Y S ， WANG Y ， GU Y F ， et al . Deep learning ensemble for hyperspectral image classification ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2019 ， 12 （ 6 ）： 1882 - 1897 . doi: 10.1109/jstars.2019.2915259 http://dx.doi.org/10.1109/jstars.2019.2915259 Deep learning ensemble for hyperspectral image classification WANG A L ， LIU C Y ， XUE D ， et al . Hyperspectral image classification based on cross-scene adaptive learning ［J］. Symmetry ， 2021 ， 13 （ 10 ）： 1878 - 1894 . doi: 10.3390/sym13101878 http://dx.doi.org/10.3390/sym13101878 Hyperspectral image classification based on cross-scene adaptive learning 10.37188/OPE.20233113.1950 TP391 A 1004-924X（2023）13-1950-12 王爱丽,丁姗姗,刘和等.空谱域适应与XGBoost结合的跨场景高光谱图像分类[J].光学精密工程,2023,31(13):1950-1961. 王爱丽,丁姗姗,刘和等.空谱域适应与XGBoost结合的跨场景高光谱图像分类[J].光学精密工程,2023,31(13):1950-1961. WANG Aili,DING Shanshan,LIU He,et al.Cross-scene hyperspectral image classification combined spatial-spectral domain adaptation with XGBoost[J].Optics and Precision Engineering,2023,31(13):1950-1961. WANG Aili,DING Shanshan,LIU He,et al.Cross-scene hyperspectral image classification combined spatial-spectral domain adaptation with XGBoost[J].Optics and Precision Engineering,2023,31(13):1950-1961. 国家自然科学基金资助项目（No.61671190）；“一带一路”创新人才交流外国专家项目（No.G2022012010L）；黑龙江省级领军人才梯队后备带头人资助项目 2022-09-27 2022-11-08 2023-07-10 2023-07-17 39565388 光学精密工程 13 31