面向高光谱影像分类的深度流形重构置信网络

面向高光谱影像分类的深度流形重构置信网络 Deep manifold reconstruction belief network for hyperspectral remote sensing image classification corresp first-author E-mail： hhuang@cqu.edu.cn E-mail： hhuang@cqu.edu.cn 黄　鸿（1980-），男，湖南新宁人，教授，博士生导师，2003，2005，2008年于重庆大学分别获得学士、硕士、博士学位，主要从事流形学习、模式识别、遥感影像智能化处理等方面的研究。E-mail： hhuang@cqu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19367944&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19367954&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19367949&type= 22.01333237 32.00399399 黄　鸿 （1980-），男，湖南新宁人，教授，博士生导师，2003，2005，2008年于重庆大学分别获得学士、硕士、博士学位，主要从事流形学习、模式识别、遥感影像智能化处理等方面的研究。E-mail： hhuang@cqu.edu.cn hhuang@cqu.edu.cn 张　臻（1997-），男，山西太原人，硕士研究生，2019年于中北大学获得学士学位，主要研究方向为图像处理和机器学习。E-mail： zhen_zhang@cqu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19367959&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19367967&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19367964&type= 22.01332855 32.00398254 张　臻 （1997-），男，山西太原人，硕士研究生，2019年于中北大学获得学士学位，主要研究方向为图像处理和机器学习。E-mail： zhen_zhang@cqu.edu.cn zhen_zhang@cqu.edu.cn 重庆大学 光电技术与系统教育部重点实验室，重庆 400044 重庆大学 光电技术与系统教育部重点实验室，重庆 400044 Key Laboratory of Optoelectronic Technology and System， Ministry of Education， Chongqing University， Chongqing 400044， China Key Laboratory of Optoelectronic Technology and System， Ministry of Education， Chongqing University， Chongqing 400044， China 鉴于传统深度学习方法只提取了高光谱图像中的深度抽象信息，而未能充分揭示样本之间的局部几何结构关系，限制了分类性能的提升，本文提出了一种新的特征提取网络——深度流形重构置信网络。该网络首先通过深度置信网络提取深度抽象特征，为进一步增强抽象特征的鉴别能力，在图嵌入框架下通过样本数据的邻域点和各邻域的同类近邻重构点来构建类内图和类间图，并在低维空间中分离类间近邻点与其重构点的同时压缩类内近邻点和相应的重构点，实现提取深度鉴别特征，以改善不同类数据的可分性，进而提升地物分类精度。在KSC和MUUFL Gulfport高光谱数据集上的实验结果表明，本文算法的总体分类精度分别达到了94.71%和86.38%。相比较其他算法，本文算法有效提升了地物分类能力，更有利于实际应用。 Traditional deep learning methods extract only deep abstract information from hyperspectral images while failing to fully reveal the local geometric structure relationship between samples. This limits the improvement of classification performance. To address this problem， the present study proposes a new feature extraction network called a deep manifold reconstruction belief network. First， deep abstract features are extracted based on the deep belief network to enhance the identification ability of abstract features. Then， intraclass and interclass graphs are constructed based on the neighborhood points of sample data and reconstruction points of similar neighbors in each neighborhood under the graph embedding framework. Under this framework， intraclass neighbors and their reconstruction points are compressed. By contrast， interclass neighbors and their reconstruction points are separated in low-dimensional space to improve the separability of different types of data and the accuracy of feature classification. Deep discriminant feature extraction is then realized based on the reconstructed points. Experimental results on the KSC and MUUFL Gulfport hyperspectral datasets showed that the overall classification accuracy of the proposed algorithm was 94.71% and 86.38%， respectively. Compared with other algorithms， the proposed algorithm effectively improves the ability of land cover classification and is more conducive to practical applications. 高光谱遥感 地物分类 特征提取 深度置信网络 流形学习 hyperspectral remote sensing land cover classification feature extraction deep belief network manifold learning 1 引　言 1 高光谱遥感影像能够获取地表物体上百个连续波段的光谱信息，并将其与反映地物目标纹理、形态学等特性的空间信息结合起来，具有“图谱合一”特性 ［ 1 1 - 3 3 1-3 ］ ，在精细农业、资源勘查及环境监测方面具有广泛的应用前景 ［ 4 4 - 5 5 4-5 ］ 。但是高光谱影像在具有丰富光谱信息的同时，其波段数多、数据量大、高冗余度等特点易导致“维数灾难”问题 ［ 6 6 - 7 7 6-7 ］ 。 特征提取是解决上述问题的有效途径，即通过减小数据冗余度来提取有效的鉴别信息，进而有效地提升地物分类性能 ［ 8 8 - 9 9 8-9 ］ 。主成分分析（PCA） ［ 10 10 ］ 和线性判别分析（LDA） ［ 11 11 ］ 均为基于统计学原理的特征提取方法，但它们不能有效揭示高光谱数据内在高维非线性结构。为此，学者们提出了局部保持投影（LPP） ［ 12 12 ］ 、邻域保持嵌入（NPE） ［ 13 13 ］ 等非监督流形学习方法，以揭示高维数据中的低维本征结构。而后，学者们在图嵌入框架下提出了许多监督学习方法，包括边界Fisher分析（MFA） ［ 14 14 ］ 和局部几何结构Fisher分析（LGSFA） ［ 15 15 ］ 。尽管这些方法在HSI分类中取得了较好的分类结果，但它们依赖浅层特征描述子，无法提取数据的深层抽象信息，导致特征表征能力受限。 自2006年Hinton ［ 16 16 ］ 提出深度置信网络以来，深度学习技术飞速发展，为高光谱图像分类带来了新的机遇 ［ 17 17 ］ 。深度学习能够有效提取高光谱数据中的深层抽象特征，进而提高分类精度 ［ 18 18 ］ ，代表方法有人工神经网络（ANN） ［ 19 19 ］ 、栈式自编码网络（SAE） ［ 20 20 ］ 和深度置信网络（DBN） ［ 16 16 ］ 。 然而上述深度学习方法通常使用均方误差（MSE）或交叉熵（Cross Entropy）作为网络损失函数，二者均侧重于预测值和实际值之间的差值度量，而忽略了利用高光谱数据之间的局部几何结构 ［ 15 15 ］ 。针对此问题，最大流形边界判别网络（M 3 DNet） ［ 21 21 ］ 、局部保持卷积网络（LPCN） ［ 22 22 ］ 和深度局部保持神经网络（DLPNet） ［ 17 17 ］ 在揭示数据流形结构的同时提取了深层特征。然而它们只考虑了相邻点之间的结构关系，忽略了利用高光谱遥感图像中存在的大量同质区域的局部几何结构来提高分类性能。 针对上述问题，本文提出了一种深度流形重构置信网络（DMRBN）以提取高光谱影像的深度鉴别特征。首先通过深度置信网络提取高层抽象特征，为进一步增强抽象特征鉴别能力，在图嵌入框架下通过数据的邻域点和各邻域的同类近邻重构点来构建类内图和类间图，之后将流形重构和差值度量一同引入到联合损失函数的设计中，并使用随机梯度下降法更新网络参数，实现提取高层抽象特征的同时将类间近邻点与其重构点分离、类内近邻点和相应的重构点聚集。在KSC和MUUFL Gulfport高光谱数据集上实验结果表明，该网络可有效提升地物分类精度。 2 相关算法 1 深度置信网络（Deep Belief Network， DBN）是由多个受限玻尔兹曼机（Restricted Boltzmann Machine， RBM）堆叠生成的概率模型 ［ 23 23 ］ 。每个RBM均由可见层（Visible Layer）、隐藏层（Hidden Layer）组成。RBM各节点之间的激活概率是相互独立的。因此，第 <math id="M1"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368677&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368674&type= 1.18533325 2.79399991 层中第 <math id="M2"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368323&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368319&type= 1.10066664 2.79399991 个隐藏层的特征 <math id="M3"><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19367999&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19367994&type= 2.62466669 4.57200003 、第 <math id="M4"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368003&type= 1.10066664 3.64066648 个可见层输出的特征 <math id="M5"><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368019&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368013&type= 2.53999996 4.57200003 可分别为： <math display="block" id="M6"><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo stretchy="false">|</mo><mi>v</mi><mo>,</mo><mi>θ</mi></mrow></mfenced><mo>=</mo><mi>σ</mi><mfenced separators="|"><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>+</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>j</mi></mrow></munder><mrow><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><msub><mrow><mi>v</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368025&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368023&type= 60.28266144 10.41399956 ， <math display="block" id="M7"><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>=</mo><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>v</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo stretchy="false">|</mo><mi>h</mi><mo>,</mo><mi>θ</mi></mrow></mfenced><mo>=</mo><mi>σ</mi><mfenced separators="|"><mrow><msub><mrow><mi>a</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>+</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi></mrow></munder><mrow><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368037&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368032&type= 60.19800186 9.48266602 ， 其中， <math id="M8"><mi>σ</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mo>-</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368045&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368041&type= 28.95599937 8.46666718 为sigmoid激活函数， <math id="M9"><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368050&type= 5.16466665 3.72533321 为隐藏层节点 <math id="M10"><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368115&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368109&type= 2.70933342 3.72533321 和可见层节点 <math id="M11"><msub><mrow><mi>v</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368104&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368099&type= 2.53999996 3.72533321 连接的权重值， <math id="M12"><msub><mrow><mi>a</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368083&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368078&type= 2.62466669 3.72533321 、 <math id="M13"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368094&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368089&type= 2.62466669 3.72533321 分别为 <math id="M14"><msub><mrow><mi>v</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368104&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368099&type= 2.53999996 3.72533321 和 <math id="M15"><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368115&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368109&type= 2.70933342 3.72533321 的偏置项。网络通过不断的训练来调整模型参数 <math id="M16"><mi>θ</mi><mo>=</mo><mo stretchy="false">(</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368122&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368117&type= 22.69066620 4.48733330 。 训练过程分为预训练和微调两个阶段。 在预训练阶段，从输入层开始以无监督的对比散度算法（Contrast Divergence Algorithm）逐层学习输入数据。首先，可见层 <math id="M17"><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368132&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368127&type= 3.04800010 3.72533321 接收输入数据，根据 式（1） 式（1） 得到隐含层输出特征 <math id="M18"><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>h</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">|</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368141&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368137&type= 12.61533356 4.82600021 ，并将其二值化为 <math id="M19"><msub><mrow><mi>h</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368160&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368155&type= 3.04800010 3.72533321 。之后根据 式（2） 式（2） 计算 <math id="M20"><msub><mrow><mi>h</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368160&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368155&type= 3.04800010 3.72533321 经反向传播后得到可见层输出特征 <math id="M21"><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">|</mo><msub><mrow><mi>h</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368169&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368164&type= 12.61533356 4.82600021 ，同样将其二值化为 <math id="M22"><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368187&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368183&type= 3.04800010 3.72533321 。将 <math id="M23"><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368187&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368183&type= 3.04800010 3.72533321 代入 式（1） 式（1） 再次得到隐含层输出特征 <math id="M24"><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>h</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">|</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368195&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368191&type= 12.61533356 4.82600021 ，最后按 公式（3） 公式（3） 更新权重。 <math display="block" id="M25"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mi>A</mi><mo>=</mo><mi>A</mi><mo>+</mo><mi>ε</mi><mfenced separators="|"><mrow><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>h</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">|</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>h</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">|</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></mtd></mtr><mtr><mtd><mi>a</mi><mo>=</mo><mi>a</mi><mo>+</mo><mi>ε</mi><mfenced separators="|"><mrow><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></mtd></mtr><mtr><mtd><mi>b</mi><mo>=</mo><mi>b</mi><mo>+</mo><mi>ε</mi><mfenced separators="|"><mrow><msub><mrow><mi>b</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>b</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368208&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368200&type= 58.75866318 19.72733307 ， 其中， <math id="M26"><mi>ε</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368219&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368213&type= 1.43933344 2.79399991 表示预训练阶段的学习率。 在微调阶段直接采用预训练得到的参数，在网络最后一层增加神经网络（Neural Network，NN）分类器，利用反向传播算法（Backpropagation，BP）算法以监督的方式计算误差，并让误差自上而下传输，利用梯度下降算法反向微调网络权重和偏差等参数，使网络更接近于全局最优。深度置信网络训练过程如 图1 图1 所示。 图1 图1 中，灰色、无色节点分别表示当前状态值为1，0。 深度置信网络采用均方误差损失函数计算网络预测值和实际值的差值得到损失值，然后采用随机梯度下降法迭代更新每层权重。然而其未能揭示高光谱数据中内在的流形结构信息，并且忽略了利用高光谱遥感影像中的大量同质区域。 3 本文算法 1 为了解决上述问题，本文提出了一种新的特征提取方法——深度流形重构置信网络（Deep Manifold Reconstruction Belief Network， DMRBN）。网络总体框图如 图2 图2 所示。 假设高光谱数据为 <math id="M27"><mi mathvariant="bold-italic">X</mi><mo>=</mo><mo stretchy="false">[</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>N</mi></mrow></msub><mo stretchy="false">]</mo><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>D</mi><mo>×</mo><mi>N</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368258&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368255&type= 40.89400101 4.65666676 ，其中 <math id="M28"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368264&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368262&type= 2.79399991 2.79399991 为波段数， <math id="M29"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368272&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368269&type= 2.87866688 2.87866688 为样本个数， <math id="M30"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368664&type= 2.79399991 3.72533321 对应的类别标签为 <math id="M31"><mi>L</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>c</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368289&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368284&type= 31.24200058 4.48733330 ， <math id="M32"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368751&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368748&type= 1.52400005 2.79399991 为类别数。 DMRBN主要思路是将均方误差和流形重构误差一同引入到联合损失函数的设计中。因此它可以同时将差值度量和局部几何结构的探索考虑在内，并通过一个图模型增强不同类型样本之间的差异。 3.1　深度特征提取 2 深度特征提取的目的是从原始高光谱数据 <math id="M33"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368570&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368569&type= 2.70933342 2.79399991 中学习得到深层次、鉴别性强的特征，以便于后续分类。 DMRBN经深度置信网络逐层训练，选择均方误差损失函数度量估计量与被估计量之间的差异程度，并通过迭代策略最小化损失值以提取深度特征。 假设网络共有 <math id="M34"><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368310&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368306&type= 2.45533323 2.79399991 层，对于第 <math id="M35"><mi>l</mi><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>≤</mo><mi>l</mi><mo>≤</mo><mi>L</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368315&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368311&type= 19.55800056 4.48733330 层的第 <math id="M36"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368323&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368319&type= 1.10066664 2.79399991 个训练标记样本，输出对输入的响应可以表示为： <math display="block" id="M37"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>l</mi></mrow></msubsup><mo>=</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>l</mi></mrow></msub><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>l</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368329&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368327&type= 34.03599930 4.99533367 ， 其中， <math id="M38"><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368335&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368332&type= 4.31799984 3.64066648 是一个非线性激活函数， <math id="M39"><msub><mrow><mi>A</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368342&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368338&type= 3.64066648 3.72533321 和 <math id="M40"><msub><mrow><mi>b</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368349&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368345&type= 2.70933342 3.72533321 是第 <math id="M41"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368677&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368674&type= 1.18533325 2.79399991 层的网络参数。均方误差损失函数的具体计算公式为： <math display="block" id="M42"><msub><mrow><mi>J</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi>l</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>-</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo stretchy="false">|</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368367&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368360&type= 43.77266693 8.46666718 ， 其中， <math id="M43"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368373&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368370&type= 3.47133350 4.82600021 表示数据 <math id="M44"><msub><mrow><mi>x</mi></mrow><mrow><msup><mrow/><mrow><mi>i</mi></mrow></msup></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368377&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368375&type= 2.70933342 3.72533321 从网络中提取的深度特征。 <math id="M45"><mi>l</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368662&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368660&type= 7.53533268 4.48733330 为 <math id="M46"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368664&type= 2.79399991 3.72533321 类别标签的one-hot编码向量。 3.2　深度流形重构 2 在通过深度置信网络提取深度抽象特征的基础上，DMRBN构建了一个图模型来增强提取到的深层特征的可分性。 对于每个样本点 <math id="M47"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368664&type= 2.79399991 3.72533321 ，从其同类的样本点中选取 <math id="M48"><msub><mrow><mi>k</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368403&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368400&type= 3.38666677 3.72533321 个近邻点进行重构，通过重构样本的邻域点，可以更好地保持同类数据的局部结构关系。 重构权重可经由最小化重构误差获得，所以目标函数定义如下： <math display="block" id="M49"><msub><mrow><mi>J</mi></mrow><mrow><mi>r</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mo>-</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow><mo stretchy="false">|</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368409&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368406&type= 49.02199936 8.89000034 ， 其中， <math id="M50"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368571&type= 2.79399991 3.72533321 是 <math id="M51"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368664&type= 2.79399991 3.72533321 的类内近邻点。 <math id="M52"><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368424&type= 2.53999996 3.72533321 是 <math id="M53"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368571&type= 2.79399991 3.72533321 和 <math id="M54"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368664&type= 2.79399991 3.72533321 之间的重构权值，且 <math id="M55"><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368445&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368441&type= 14.56266594 8.89000034 。 <math id="M56"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368664&type= 2.79399991 3.72533321 的重构点可以被表示为 <math id="M57"><msub><mrow><mi>x</mi></mrow><mrow><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368614&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368612&type= 3.38666677 4.06400013 ，其中 <math id="M58"><msub><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi mathvariant="bold-italic">i</mi></mrow></msub><mo>=</mo><mo stretchy="false">[</mo><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi><mn mathvariant="normal">3</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi><mi>N</mi></mrow></msub><msup><mrow><mo stretchy="false">]</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368461&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368458&type= 35.81399918 4.65666676 。 利用图模型构建类内图 <math id="M59"><msup><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><msup><mrow/><mrow><msub><mrow/><mrow><mi>w</mi></mrow></msub></mrow></msup></mrow></msup><mo>=</mo><mo stretchy="false">{</mo><mi mathvariant="bold-italic">X</mi><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>w</mi></mrow></msup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368467&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368464&type= 22.77533340 4.65666676 ，其中 <math id="M60"><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>w</mi></mrow></msup><mo>=</mo><mo stretchy="false">[</mo><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup><msub><mrow><mo stretchy="false">]</mo></mrow><mrow><mi>N</mi><mo>×</mo><mi>N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368473&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368470&type= 25.31533241 4.65666676 表示相似度权重矩阵， <math id="M61"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368570&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368569&type= 2.70933342 2.79399991 表示图的顶点，若图中两顶点 <math id="M62"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368542&type= 2.79399991 3.72533321 和 <math id="M63"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368545&type= 2.79399991 3.72533321 属于同类数据的 <math id="M64"><msub><mrow><mi>K</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368499&type= 4.48733330 3.72533321 近邻（ <math id="M65"><msub><mrow><mi>K</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368499&type= 4.48733330 3.72533321 近邻表示光谱类内近邻），则在 <math id="M66"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368542&type= 2.79399991 3.72533321 和 <math id="M67"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368545&type= 2.79399991 3.72533321 之间构建一条连接边，边的权值为 <math id="M68"><msubsup><mrow><mi>w</mi></mrow><mrow><msub><mrow/><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow><mrow><mi>w</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368522&type= 4.82600021 4.31799984 ， <math id="M69"><msubsup><mrow><mi>w</mi></mrow><mrow><msub><mrow/><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow><mrow><mi>w</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368522&type= 4.82600021 4.31799984 的计算公式见 式（7） 式（7） ，其揭示了 <math id="M70"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368542&type= 2.79399991 3.72533321 与 <math id="M71"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368545&type= 2.79399991 3.72533321 之间的相似关系。若 <math id="M72"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368542&type= 2.79399991 3.72533321 和 <math id="M73"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368545&type= 2.79399991 3.72533321 来自不同类数据的近邻点，则 <math id="M74"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368542&type= 2.79399991 3.72533321 和 <math id="M75"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368545&type= 2.79399991 3.72533321 之间无边。类内图使得同类数据尽可能的聚集。 <math display="block" id="M76"><mtable><mtr><mtd><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo>=</mo></mtd></mtr><mtr><mtd><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mo>-</mo><mfrac><mrow><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">|</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mn mathvariant="normal">2</mn><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msub><mrow><mi>N</mi></mrow><mrow><msub><mrow><mi>K</mi></mrow><mrow><mi>w</mi></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>&</mo><mi>l</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi>l</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext>        </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mtd></mtr></mtable></mrow></mfenced></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368548&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368547&type= 74.08333588 19.55800056 ， 其中， <math id="M77"><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">|</mo><mo stretchy="false">|</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368552&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368550&type= 29.71800041 8.89000034 为热核参数， <math id="M78"><msub><mrow><mi>N</mi></mrow><mrow><msub><mrow><mi>K</mi></mrow><mrow><mi>w</mi></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368555&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368554&type= 12.19200039 5.07999992 为 <math id="M79"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368571&type= 2.79399991 3.72533321 的类内 <math id="M80"><msub><mrow><mi>K</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368563&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368561&type= 4.48733330 3.72533321 近邻。 与此同时，构建类间图 <math id="M81"><msup><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mi>b</mi></mrow></msup><mo>=</mo><mo stretchy="false">{</mo><mi mathvariant="bold-italic">X</mi><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>b</mi></mrow></msup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368566&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368565&type= 21.92866707 3.80999994 ，其中 <math id="M82"><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>b</mi></mrow></msup><mo>=</mo><mo stretchy="false">[</mo><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>b</mi></mrow></msubsup><msub><mrow><mo stretchy="false">]</mo></mrow><mrow><mi>N</mi><mo>×</mo><mi>N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368568&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368567&type= 24.21466637 4.65666676 表示类间图中各顶点之间的连接权重， <math id="M83"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368570&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368569&type= 2.70933342 2.79399991 表示图的顶点，若 <math id="M84"><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368571&type= 2.79399991 3.72533321 与 <math id="M85"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368664&type= 2.79399991 3.72533321 为来自非同类数据的 <math id="M86"><msub><mrow><mi>K</mi></mrow><mrow><mi>b</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368597&type= 3.97933316 3.72533321 近邻（ <math id="M87"><msub><mrow><mi>K</mi></mrow><mrow><mi>b</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368597&type= 3.97933316 3.72533321 近邻表示 <math id="M88"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368664&type= 2.79399991 3.72533321 与其他所有样本之间的距离，按从小到大的方式排列，取前 <math id="M89"><msub><mrow><mi>K</mi></mrow><mrow><mi>b</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368597&type= 3.97933316 3.72533321 个值），则在两点之间用一条边连接，边的权值 <math id="M90"><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi mathvariant="normal">b</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368587&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368586&type= 4.31799984 3.97933316 可按 式（8） 式（8） 表示。类间图使得非同类数据尽可能的远离。 <math display="block" id="M91"><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi mathvariant="normal">b</mi></mrow></msubsup><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mo>-</mo><mfrac><mrow><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">|</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mn mathvariant="normal">2</mn><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msub><mrow><mi>N</mi></mrow><mrow><msub><mrow><mi>K</mi></mrow><mrow><mi>b</mi></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>&</mo><mi>l</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>≠</mo><mi>l</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext>     </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368589&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368588&type= 83.48133087 14.73200035 ，， 其中， <math id="M92"><msub><mrow><mi>N</mi></mrow><mrow><msub><mrow><mi>K</mi></mrow><mrow><mi>b</mi></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368590&type= 11.76866722 5.07999992 表示 <math id="M93"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368664&type= 2.79399991 3.72533321 的类间 <math id="M94"><msub><mrow><mi>K</mi></mrow><mrow><mi>b</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368597&type= 3.97933316 3.72533321 近邻。 DMRBN算法分离从类间近邻和其重构点提取的深层特征，并压缩从类内近邻与其相应的重构点学习到的特征。 其中，在低维空间中不改变类内图的相似关系，使同类数据尽可能聚集在一起。因此目标函数及其代数简化如 式（9） 式（9） 所示： <math display="block" id="M95"><mtable><mtr><mtd><msub><mrow><mi>J</mi></mrow><mrow><mi>w</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mfenced separators="|"><mrow><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo stretchy="false">|</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>r</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo stretchy="false">|</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfenced></mrow><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup></mrow><mo>=</mo></mtd></mtr><mtr><mtd><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mfenced open="{" close="}" separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>-</mo><mn mathvariant="normal">2</mn><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>+</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></mrow></mfenced></mrow></mrow></mrow></mfenced><mo>+</mo></mtd></mtr><mtr><mtd><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mfenced open="{" close="}" separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>-</mo><mn mathvariant="normal">2</mn><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>r</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi>T</mi></mrow></msup><mo>+</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>r</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>r</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></mrow></mfenced></mrow></mrow></mrow></mfenced><mtext> </mtext><mo>=</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mfenced separators="|"><mrow><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><msub><mrow><mi>T</mi></mrow><mrow><mi>w</mi></mrow></msub><msup><mrow><mfenced separators="|"><mrow><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></mrow></mfenced></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368603&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368601&type= 115.40067291 33.27399826 . 本文方法在低维空间中尽可能分离非同类数据，即尽可能增大非同类数据间的差异，则目标函数及其化简如下： <math display="block" id="M96"><mtable><mtr><mtd><msub><mrow><mi>J</mi></mrow><mrow><mi>b</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mfenced separators="|"><mrow><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo stretchy="false">|</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>r</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo stretchy="false">|</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfenced></mrow><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>b</mi></mrow></msubsup></mrow><mo>=</mo></mtd></mtr><mtr><mtd><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mfenced open="{" close="}" separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>b</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>-</mo><mn mathvariant="normal">2</mn><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>b</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>+</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>b</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi>T</mi></mrow></msup></mrow></mfenced></mrow></mrow></mrow></mfenced><mo>+</mo></mtd></mtr><mtr><mtd><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mfenced open="{" close="}" separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>b</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>-</mo><mn mathvariant="normal">2</mn><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>b</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>r</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>+</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>r</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>b</mi></mrow></msubsup><msup><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>r</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></mrow></mfenced></mrow></mrow></mrow></mfenced><mo>=</mo><mi>t</mi><mi>r</mi><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><msub><mrow><mi>T</mi></mrow><mrow><mi>b</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368607&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368605&type= 113.28399658 33.27399826 ， 其中， <math id="M97"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>r</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>L</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368610&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368608&type= 4.31799984 4.82600021 定义了重构样本 <math id="M98"><msub><mrow><mi>x</mi></mrow><mrow><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368614&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368612&type= 3.38666677 4.06400013 经由DBN提取到的特征向量。式（ 9 9 ）、（ 10 10 ）中 <math id="M99"><msub><mrow><mi>T</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368618&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368616&type= 4.31799984 3.72533321 和 <math id="M100"><msub><mrow><mi>T</mi></mrow><mrow><mi>b</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368621&type= 3.72533321 3.72533321 分别定义如下： <math display="block" id="M101"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>T</mi></mrow><mrow><mi>w</mi></mrow></msub><mo>=</mo><msup><mrow><mi>D</mi></mrow><mrow><mi>w</mi></mrow></msup><mo>-</mo><msup><mrow><mi>S</mi></mrow><mrow><mi>w</mi></mrow></msup><mo>+</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mo stretchy="false">(</mo><msup><mrow><mi>D</mi></mrow><mrow><mi>w</mi></mrow></msup><mo>-</mo><msup><mrow><mi>S</mi></mrow><mrow><mi>w</mi></mrow></msup><msup><mrow><mi>W</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>+</mo><mi>W</mi><msup><mrow><mi>S</mi></mrow><mrow><mi>w</mi></mrow></msup><msup><mrow><mi>W</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>-</mo><mi>W</mi><msup><mrow><mi>S</mi></mrow><mrow><mi>w</mi></mrow></msup><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>T</mi></mrow><mrow><mi>b</mi></mrow></msub><mo>=</mo><msup><mrow><mi>D</mi></mrow><mrow><mi>b</mi></mrow></msup><mo>-</mo><msup><mrow><mi>S</mi></mrow><mrow><mi>b</mi></mrow></msup><mo>+</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mo stretchy="false">(</mo><msup><mrow><mi>D</mi></mrow><mrow><mi>b</mi></mrow></msup><mo>-</mo><msup><mrow><mi>S</mi></mrow><mrow><mi>b</mi></mrow></msup><msup><mrow><mi>W</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>+</mo><mi>W</mi><msup><mrow><mi>S</mi></mrow><mrow><mi>b</mi></mrow></msup><msup><mrow><mi>W</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>-</mo><mi>W</mi><msup><mrow><mi>S</mi></mrow><mrow><mi>b</mi></mrow></msup><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368626&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368625&type= 74.08333588 17.52599907 ， 其中： <math display="block" id="M102"><msup><mrow><mi>D</mi></mrow><mrow><mi>w</mi></mrow></msup><mo>=</mo><mi mathvariant="normal">d</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><msubsup><mrow><mfenced open="[" close="]" separators="|"><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup></mrow></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></mrow></mfenced><mo>,</mo><msup><mrow><mi>D</mi></mrow><mrow><mi>b</mi></mrow></msup><mo>=</mo><mi mathvariant="normal">d</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><msubsup><mrow><mfenced open="[" close="]" separators="|"><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi>b</mi></mrow></msubsup></mrow></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368630&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368628&type= 73.06733704 12.53066730 . DMRBN将流形学习和深度学习相结合，构造了一个基于深度流形重构的联合损失函数，其不仅可以度量预测值和实际值之间的差异，而且可以通过设计一个图模型增强提取的深层特征的可分性。因此联合损失函数 <math id="M103"><mi>J</mi><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368645&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368644&type= 8.72066593 4.06400013 可以按下式表示： <math display="block" id="M104"><mtable><mtr><mtd><mi>J</mi><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>J</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo><mo>+</mo><mi>α</mi><mo>⋅</mo><mfenced separators="|"><mrow><msub><mrow><mi>J</mi></mrow><mrow><mi>w</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mi>J</mi></mrow><mrow><mi>b</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo></mrow></mfenced><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi>l</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mo>-</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup><mo stretchy="false">|</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mi>α</mi><mo>⋅</mo><mfenced separators="|"><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mfenced separators="|"><mrow><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mfenced separators="|"><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>w</mi></mrow></msub><mo>-</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>b</mi></mrow></msub></mrow></mfenced><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi>T</mi></mrow></msup></mrow></mfenced></mrow></mfenced></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368638&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368636&type= 75.26866913 15.15533447 ， 其中， <math id="M105"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368796&type= 1.94733346 2.79399991 为平衡参数。 为了通过迭代过程优化网络性能，DMRBN在 式（12） 式（12） 的基础上设计了迭代策略，该策略结合了反向传播方法和随机梯度下降方法，首先通过 式（13） 式（13） 计算联合损失函数 <math id="M106"><mi>J</mi><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368645&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368644&type= 8.72066593 4.06400013 相对于第 <math id="M107"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368677&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368674&type= 1.18533325 2.79399991 层网络参数矩阵的梯度： <math display="block" id="M108"><mtable columnalign="left"><mtr><mtd><mfrac><mrow><mo>∂</mo><mi>J</mi></mrow><mrow><mo>∂</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfrac><mo>=</mo><mfrac><mrow><mo>∂</mo><mfenced separators="|"><mrow><msub><mrow><mi>J</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo><mo>+</mo><mi>α</mi><mo>⋅</mo><mfenced separators="|"><mrow><msub><mrow><mi>J</mi></mrow><mrow><mi>w</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mi>J</mi></mrow><mrow><mi mathvariant="normal">b</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo></mrow></mfenced></mrow></mfenced></mrow><mrow><mo>∂</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfrac><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mo>∂</mo><mfenced separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi mathvariant="normal">i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi>l</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>-</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow><mo stretchy="false">|</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfenced></mrow><mrow><mo>∂</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup></mrow></mfrac><mo>⋅</mo><mfrac><mrow><mo>∂</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup></mrow><mrow><mo>∂</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfrac><mo>+</mo></mtd></mtr><mtr><mtd><mi>α</mi><mo>⋅</mo><mfrac><mrow><mo>∂</mo><mfenced separators="|"><mrow><mi>t</mi><mi>r</mi><mfenced separators="|"><mrow><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mfenced separators="|"><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>w</mi></mrow></msub><mo>-</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>b</mi></mrow></msub></mrow></mfenced><msup><mrow><mfenced separators="|"><mrow><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup></mrow></mfenced></mrow><mrow><mi>T</mi></mrow></msup></mrow></mfenced></mrow></mfenced></mrow><mrow><mo>∂</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup></mrow></mfrac><mo>⋅</mo><mfrac><mrow><mo>∂</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup></mrow><mrow><mo>∂</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfrac><mo>=</mo></mtd></mtr><mtr><mtd><mfenced separators="|"><mrow><mo>-</mo><mo stretchy="false">(</mo><mi>l</mi><mo>-</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo><mo>+</mo><mn mathvariant="normal">2</mn><mo>⋅</mo><mi>α</mi><mo>⋅</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo>⋅</mo><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>w</mi></mrow></msub><mo>-</mo><msub><mrow><mi>T</mi></mrow><mrow><msub><mrow/><mrow><mi>b</mi></mrow></msub></mrow></msub><mo stretchy="false">)</mo></mrow></mfenced><mo>⋅</mo><mfrac><mrow><mo>∂</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup></mrow><mrow><mo>∂</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfrac></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368655&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368651&type= 68.91867065 51.81600189 ， 其中， <math id="M109"><mfrac><mrow><mo>∂</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup></mrow><mrow><mo>∂</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfrac><mo>=</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo>⋅</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>L</mi></mrow></msup><mo stretchy="false">)</mo><mo>⋅</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>L</mi></mrow></msub><mo>⋅</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>⋅</mo><msup><mrow><mi>y</mi></mrow><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></msup><mo>⋅</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>l</mi></mrow></msup><mo stretchy="false">)</mo><mo>⋅</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368658&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368656&type= 64.17733002 8.72066593 ， <math id="M110"><mi>l</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368662&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368660&type= 7.53533268 4.48733330 为样本 <math id="M111"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368664&type= 2.79399991 3.72533321 类别标签的one-hot编码向量。 迭代策略根据计算得到的导数更新各层的网络参数。假设 <math id="M112"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368671&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368669&type= 1.77800000 2.79399991 代表学习率，则第 <math id="M113"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368677&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368674&type= 1.18533325 2.79399991 层的参数可以经由下式得到 <math display="block" id="M114"><mi mathvariant="normal">Δ</mi><mi>A</mi><mo>=</mo><mo>-</mo><mi>λ</mi><mfrac><mrow><mo>∂</mo><mi>J</mi></mrow><mrow><mo>∂</mo><msub><mrow><mi>A</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368683&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368680&type= 21.92866707 8.46666718 . DMRBN算法步骤如 表1 表1 所示。 算法： 深度流形重构置信网络 输入： 高光谱数据集 X ，类别标签 l （ x i ），平衡参数 <math id="M115"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368762&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368759&type= 1.69333339 2.37066650 ，迭代次数 T ，学习率 <math id="M116"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368696&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368693&type= 1.52400005 2.37066650 流形重构过程： 1.选取各数据点的同类近邻，根据优化函数 式（6） 式（6） 计算 x i 的重构权值 s i ，得到重构权值矩阵 <math id="M117"><mi mathvariant="bold-italic">s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368699&type= 1.18533325 2.37066650 2.构建类内图、类间图，分别根据式（ 7 7 ）、（ 8 8 ）计算权值 3.根据 式（11） 式（11） 计算类内相关矩阵 T w ，类间相关矩阵 T b 4. 根据 式（9） 式（9） 和（10）计算流形重构损失函数 J w （ y L ）- J b （ y L ） 迭代过程： 5.对于第 t （ t = 1 to T ）次迭代过程： 6.对于网络第 l （ l = 1 to L ）层： 7.经DBN计算得到 y l ，由等 式（5） 式（5） 计算得到 J m 8.结束； 9.由等 式（12） 式（12） 得到基于深度流形重构的联合损失函数 J 10.对于网络第 l （ l = 1 to L ）层： 11.分别根据等 式（13） 式（13） 更新梯度值 12.根据等 式（14） 式（14） 更新网络权重 A l 13.结束； 14.结束； 输出： y i <math id="M118"><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368707&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368705&type= 2.37066650 2.70933342 R d 4 实验结果与分析 1 4.1　实验数据 2 为验证本文提出算法的有效性，采用公开的高光谱数据集MUUFL Gulfport和KSC进行测试。 MUUFL Gulfport数据集（简写为MGP）由ITRES CASI-1500传感器于2010年11月在位于密西西比州长滩的南密西西比大学海湾公园校区上空收集 ［ 24 24 ］ ，图像大小为325×220 pixel，空间分辨率为1m，包含64个波段，包括诸如树木、道路、水等11类地物类型。对MUUFL Gulfport数据的11种地物分别标记不同的彩色，所得的彩色地物分类标记图如 图3 图3 所示。 KSC数据集由AVIRIS传感器于1996年3月23日在肯尼迪航天中心上空获得 ［ 25 25 ］ ，图像的大小为512×614 pixel，共包含176个波段。该数据集中共有314 368个空间位置点，标注样本点仅有5 521个，其中包含诸如灌木丛、柳、沼泽、水等13种地物。对KSC数据的13种地物分别标记不同的彩色，所得的彩色地物分类标记图如 图4 图4 所示。 4.2　实验设置 2 每次实验从高光谱数据集中随机抽取一定数量样本作为训练集，其余样本作为测试集。利用训练样本构建特征提取模型，然后将测试集映射到这个模型中，之后用最近邻分类器（1-NN）进行分类。每个实验重复10次，并采用标准差均值（STD）的形式来表示分类结果，最后引入总体精度（OA）、Kappa系数、平均精度（AA）作为评价指标。 为了证明DMRBN分类性能的优越性，选取了RAW、PCA ［ 10 10 ］ 、LDA ［ 11 11 ］ 、NPE ［ 13 13 ］ 、MFA ［ 14 14 ］ 、LGSFA ［ 15 15 ］ 、DBN ［ 16 16 ］ 、ANN ［ 19 19 ］ 、SAE ［ 20 20 ］ 、M 3 DNet ［ 21 21 ］ 和DLPNet ［ 17 17 ］ 特征提取方法进行比较，其中，RAW表示不进行特征提取，直接通过1-NN分类。实验中采用交叉验证方法获取各个算法的最优参数。设置LDA的嵌入维数为 <math id="M119"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368751&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368748&type= 1.52400005 2.79399991 -1， <math id="M120"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368751&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368748&type= 1.52400005 2.79399991 为类别数。MFA和LGSFA类内和类间近邻分别设置为5，100。NPE的近邻数为5，对于所有深度学习方法，学习率均设置为1，网络层数均为3，迭代次数为20 000。 所有实验都在64位Windows操作系统，i7-7800X中央处理器，32G内存进行仿真。 4 . 2 . 1　平衡参数实验 3 为了研究平衡参数 <math id="M121"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368796&type= 1.94733346 2.79399991 对网络性能的影响，本文在KSC数据集上进行了实验。 图5 图5 显示了10次试验OA和Kappa系数的平均值和标准差。 由 图5 图5 可得知，当 <math id="M123"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368796&type= 1.94733346 2.79399991 很小乃至接近于0时，网络仅提取了高光谱图像的深度抽象特征，而忽略了内部流形结构的探索，因此精度不高；随着 <math id="M124"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368796&type= 1.94733346 2.79399991 值的增大，网络在度量实际值和预测值之间差异的同时，揭示了HSI的内在流形结构，学习到了更有价值的信息，因此精度逐渐升高；但当 <math id="M125"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368796&type= 1.94733346 2.79399991 大到一定程度后，比如接近于0.1时，网络会更侧重于利用样本的流形结构信息，而忽略了度量实际值和预测值之间差异的重要性，因此精度会下降。所以，在随后的实验中将 <math id="M126"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368796&type= 1.94733346 2.79399991 设定为0.01。 4 . 2 . 2　收敛性分析实验 3 迭代次数需要通过收敛性分析实验得到。当迭代次数太多时，网络训练已经足够充足，性能已经达到瓶颈，继续训练只会耽误时间，甚至会因为过度训练导致过拟合；而当迭代次数太少时，网络不能充分根据迭代策略学习到数据本征特征，网络训练不充足导致分类精度低。 因此，为了研究DMRBN在不同迭代次数下的收敛性，本文在KSC数据集上进行了10次实验。每次实验中，计算损失值的均值和标准差以及DMRBN的分类精度。 图6 图6 显示了相应的实验结果。 由 图6 图6 可知，随着迭代次数的增加，分类精度在前10 000次迭代过程中提升极快，在15 000次后逐渐趋于稳定。损失值在前10 000次下降迅速，在15 000次后逐渐收敛。 4.3　MGP数据集实验 2 为分析各个算法在数量不同训练样本下的分类性能，从每类地物中随机选取 n i （ n i =20，40，60，80，100）个样本进行训练，剩余作为测试样本，在不同情况下各算法进行10次随机实验的结果如 表2 表2 所示。 Algorithm n i =20 n i =40 n i =60 n i =80 n i =100 RAW 68.34%±3.27 72.29%±0.83 73.89%±1.35 73.99%±1.11 75.02%±1.03 PCA 68.34%±3.27 72.29%±0.83 73.89%±1.35 73.99%±1.11 75.02%±1.03 LDA 59.27%±2.80 64.87%±2.22 67.28%±1.18 68.69%±1.22 69.54%±0.94 MFA 71.36%±2.83 74.58%±1.25 74.81%±1.15 75.45%±1.24 76.79%±0.66 LGSFA 57.86%±2.57 67.73%±1.63 72.08%±0.79 74.40%±0.64 75.54%±0.68 NPE 64.75%±3.30 70.38%±1.14 71.79%±1.56 71.89%±0.90 73.21%±1.27 ANN 74.57%±1.76 76.28%±1.75 79.08%±1.01 79.32%±1.07 79.96%±0.87 SAE 75.63%±2.03 77.92%±1.83 79.19%±1.19 79.50%±0.97 80.12%±1.43 DBN 74.39%±2.32 77.26%±1.44 79.25%±1.57 79.39%±1.40 80.14%±0.77 M 3 DNet 74.54%±2.05 76.59%±2.18 79.08%±1.00 79.72%±1.24 80.03%±0.90 DLPNet 75.88%±2.04 78.85%±2.04 79.45%±0.86 80.91%±1.11 82.04%±0.83 DMRBN 76.80 % ± 3.01 80.38 % ± 1.11 81.59% ± 0.85 82.08% ± 0.44 86.38% ± 0.78 % 由 表2 表2 可知，各个算法的分类精度都随着训练样本数的增加而增加，这是因为训练样本数越多，训练过程中可以利用的鉴别信息更为丰富。RAW表示未经过任何特征提取算法处理后的分类结果，由于高光谱图像的高维特性导致其分类效果很不理想。PCA ［ 10 10 ］ ，LDA ［ 11 11 ］ 以及NPE ［ 13 13 ］ 等子空间特征提取方法不能有效揭示高光谱数据内在高维非线性结构，因此分类性能受限。DMRBN与MFA ［ 14 14 ］ ，LGSFA ［ 15 15 ］ 等传统流形学习相比，其在揭示高维数据中的低维本征结构的同时，提取了高层抽象特征；与ANN ［ 19 19 ］ ，SAE ［ 20 20 ］ 以及DBN ［ 16 16 ］ 等传统深度学习方法相比，其不仅提取到了高光谱图像中的深度抽象信息，同时探索了内部流形结构；与M 3 DNet ［ 21 21 ］ ，DLPNet ［ 17 17 ］ 算法相比，其充分利用了重构样本的邻域点信息，更有利于提取鉴别特征，从而提高分类精度，因此DMRBN在大多数情况下分类性能均优于其它算法。 为进一步分析各算法对图像中每类地物的分类效果，从MGP数据集中每类随机选取2%的样本进行训练，其余用作测试。 表3 表3 为各个算法对MGP数据集中每类地物的总体分类精度OA，平均分类精度AA及Kappa系数的实验结果， 图7 图7 为对应分类结果图。 续表3　不同算法在MGP数据集上各类地物的分类结果 2 Class 12 Different methods Raw PCA LDA MFA LGSFA NPE ANN SAE DBN M 3 DNet DLPNet DMRBN Tree 90.33±0.61 90.33±0.608 90.79±0.42 90.35±0.63 92.32±0.63 90.39±0.94 94.26±0.62 92.39±0.92 93.63±1.14 92.85±0.87 94.47 ± 1.76 93.45±0.99 Mostly grass 62.82±3.03 62.71±3.00 62.41±2.88 63.06±2.29 64.07±2.86 61.99±3.44 63.50±3.28 67.15±4.60 69.77±5.34 65.53±4.09 73.66 ± 2.76 66.13±4.74 Mixed ground surface 69.45±2.47 69.48±2.45 69.16±1.06 68.45±2.30 72.50±2.00 69.38±2.40 73.29±4.95 73.26±2.84 75.23±3.84 74.28±5.14 79.22 ± 2.60 76.74±2.95 Dirt/Sand 68.27±5.83 68.26±5.78 71.93±5.33 76.30±5.54 81.91 ± 3.55 65.91±4.92 78.03±6.80 79.15±4.12 80.30±4.79 79.16±7.16 78.13±4.27 80.21±6.23 Road 86.51±0.70 86.51±1.68 75.06±2.19 85.39±2.04 85.05±2.33 85.95±1.71 86.90±3.21 87.96±2.19 87.27±1.98 86.11±±2.78 88.66 ± 1.28 87.43±2.32 Water 74.25±3.64 74.09±3.64 22.32±5.61 61.79±6.04 49.69±9.81 72.60±3.32 13.59±28.66 73.89±3.70 73.19±8.99 11.09±24.52 7.05±14.92 79.69 ± 24.42 Building shadow 59.08±5.43 59.13±5.34 45.62±4.93 52.19±4.69 53.16±6.18 56.51±5.93 64.01±7.22 63.24±5.74 57.94±3.26 69.85 ± 6.61 68.54±4.79 61.15±8.30 2 Class 12 Different methods Raw PCA LDA MFA LGSFA NPE ANN SAE DBN M 3 DNet DLPNet DMRBN Buildings 78.89±1.77 78.89±1.79 71.31±3.04 77.64±1.86 77.08±1.77 77.00±2.48 80.48±3.29 83.14±1.78 81.79±5.38 81.10±3.61 85.81±1.60 87.32 ± 2.32 Sidewalk 40.72±5.67 40.73±5.68 42.39±4.15 43.08±5.28 44.77 ± 3.21 39.73±5.39 33.87±22.08 46.78±6.84 36.26±10.78 35.09±22.98 41.32±10.48 37.81±7.36 Yellow curb 17.10±3.22 16.98±3.25 38.21±8.25 48.38±9.40 49.05±6.58 15.75±2.84 7.62±24.09 8.71±19.34 4.41±13.95 7.50±23.72 5.14±15.45 54.75 ± 24.04 Cloth path 64.47±14.24 64.47±14.24 63.60±19.85 67.61±17.95 63.56±16.59 63.22±14.96 68.11±23.73 36.36±32.13 5.46±25.53 68.45 ± 23.73 0.04±0.12 60.00±14.78 OA 79.81±0.59 79.81±0.59 76.96±0.80 79.89±0.63 81.05±0.58 79.24±0.72 82.13±0.48 83.64±0.63 81.62±0.95 82.08±0.52 82.65±0.65 84.71 ± 0.85 AA 64.72±1.23 64.69±1.27 59.35±1.81 66.74±1.98 66.65±1.69 63.49±1.79 60.33±3.91 64.91±2.57 60.47±3.53 61.00±3.71 56.55±5.06 71.33 ± 3.14 Kappa 0.734±0.008 0.734±0.008 0.695±0.011 0.735±0.008 0.748±0.008 0.726±0.009 0.763±0.007 0.781±0.008 0.756%±0.012 0.763±0.007 0.766±0.008 0.798 ± 0.011 特征提取时间/s - 0.054 0.073 0.200 1.378 0.182 170.182 154.678 150.92 210.451 138.68 1563.200 分类时间/s 2.483 1.961 2.275 2.380 2.317 1.951 0.206 0.096 0.104 0.171 0.102 0.532 % 由 表3 表3 可知，DMRBN在MGP数据集大多数地物类别上都取得了较好的分类效果，尤其是在“Water”，“Buildings”，“Yellow Curb”类别中优势更为明显。在 图7 图7 的分类图中，其它方法出现严重的“椒盐”现象，而DMRBN错分点较少，更好地保持了同质区域的局部结构关系，分类图更为平滑。 4.4　KSC数据集实验 2 采用KSC数据集进一步验证本文算法的有效性，同样从KSC数据集每类地物中随机选取 n i 个样本进行训练，剩余作为测试样本。不同算法进行10次随机试验的结果如 表4 表4 所示。 Algorithm n i =20 n i =40 n i =60 n i =80 n i =100 RAW 78.10%±1.73 81.71%±0.48 84.26%±0.61 85.84%±0.67 86.62%±0.43 PCA 78.10%±1.72 81.74%±0.48 84.25%±0.60 85.82%±0.71 86.61%±0.44 LDA 79.30%±1.30 88.66%±0.80 91.04%±0.68 92.33%±0.64 92.92%±0.48 MFA 87.23%±1.04 89.62%±1.00 91.09%±0.68 91.95%±0.93 92.43%±0.63 LGSFA 78.78%±1.24 89.25%±0.71 92.18%±0.74 93.84%±0.56 94.23%±0.37 NPE 69.57%±3.10 75.46%±1.20 79.53%±1.05 82.90%±1.08 83.78%±0.62 ANN 85.31%±1.91 85.77%±2.28 87.98%±0.99 89.69%±1.10 90.62%±1.12 SAE 86.04%±1.69 88.11%±1.42 89.14%±0.88 90.56%±1.05 90.91%±0.83 DBN 78.95%±2.37 87.11%±1.09 88.45%±0.67 90.68%±0.47 91.61%±1.17 M 3 DNet 86.39%±1.61 87.17%±1.61 88.81%±0.95 90.17%±0.81 91.08%±1.16 DLPNet 87.79%±1.16 91.40%±0.82 92.51%±0.43 93.26%±0.62 93.74%±0.54 DMRBN 88.83 % ± 0.60 92.46% ± 0.54 93.40% ± 0.47 94.42% ± 0.58 94.71 % ± 0.44 分析 表4 表4 可知，各算法的分类精度均随训练样本数增多呈上升趋势，因为训练样本越充足，更多的先验知识就可以被利用。因为RAW未经过任何特征提取算法处理，因此其分类效果很不理想。由于PCA ［ 10 10 ］ ，NPE ［ 13 13 ］ 为非监督方法，未充分利用样本的标记信息，导致其分类性能不理想。LDA ［ 11 11 ］ 尽管为监督方法，但不能有效揭示HSI数据中的鉴别流形结构，分类性能仍然有限。所有算法中DMRBN分类精度是最高的，这是因为与传统流形学习方法（MFA ［ 14 14 ］ ，LGSFA ［ 15 15 ］ ）相比，其提取了深层次抽象特征；与传统深度学习方法（ANN ［ 19 19 ］ ，SAE ［ 20 20 ］ ，DBN ［ 16 16 ］ ）相比，其揭示了内在流形结构；与M 3 DNet ［ 21 21 ］ ，DLPNet ［ 17 17 ］ 算法相比，其充分利用了HSI中同质区域的局部几何结构信息。 为对比不同算法下每类地物的分类效果，从KSC数据集中每类随机选取2%样本作为训练集，其余样本作为测试集。实验结果如 表5 表5 所示， 图8 图8 为各算法相应的分类图。 续表5　不同算法在KSC数据集上各类地物的分类结果 2 Class 12 Different methods Raw PCA LDA MFA LGSFA NPE ANN SAE DBN M 3 DNet DLPNet DMRBN Scrub 80.59±4.50 80.56±4.49 82.82±5.49 82.25±6.04 75.03±9.62 68.94±12.31 81.73±6.29 84.82±4.10 78.59±8.52 79.65±8.01 74.93±6.85 87.08 ± 6.52 Willow swamp 59.15±13.10 58.70±13.34 76.09±12.64 62.02±7.89 64.50±9.27 36.14±20.25 84.91 ± 4.68 77.19±10.09 82.89±8.98 82.28±3.75 79.39±3.81 83.77±4.68 Cabbage palm 58.49±8.02 57.49±8.15 50.28±8.14 62.23±7.59 55.06±12.25 30.12±12.36 76.18±7.95 78.01±10.01 79.67±7.17 75.52±8.05 86.72±5.09 88.76 ± 4.87 Cabbage Oak 36.44±4.46 36.28±4.39 34.41±7.83 40.04±8.71 44.49±6.68 26.03±8.21 62.19±23.05 24.47±12.90 67.08±16.68 68.40 ± 14.65 64.55±7.77 67.09±6.79 Slash pine 38.48±9.45 38.54±9.32 23.99±10.94 36.46±12.11 34.56±9.63 14.68±9.56 67.06±18.28 68.61 ± 16.95 58.90±33.94 63.29±10.67 65.07±5.45 57.48±6.10 Oak hammock 36.56±9.31 36.38±9.47 25.36±10.49 27.68±6.43 22.77±3.83 16.07±7.24 51.82±8.01 49.53±15.15 61.22±23.74 63.51±8.49 81.31 ± 6.43 64.49±6.23 Hardwood swamp 50.87±14.85 50.29±14.54 31.36±16.10 44.17±17.18 47.86±20.64 16.21±9.18 82.22±6.95 96.67±25.84 75.56±5.83 88.33±7.39 97.78 ± 2.78 87.78±5.02 Graminoid marsh 59.10±8.93 58.67±8.84 76.09±6.06 61.04±8.29 68.94±12.12 41.47±10.98 80.82±6.12 85.09±5.89 75.00±23.86 78.73±6.93 83.89±4.54 87.98 ± 7.18 Spartina marsh 79.18±6.18 78.65±6.24 65.27±8.92 80.10±7.69 83.20±5.20 62.80±15.49 93.58±4.19 86.91±5.07 87.10±7.99 92.24±5.88 94.64 ± 5.12 89.68±8.90 % 2 Class 12 Different methods Raw PCA LDA MFA LGSFA NPE ANN SAE DBN M 3 DNet DLPNet DMRBN Cattail marsh 64.98±7.02 64.97±6.85 86.64±5.16 65.99±11.06 77.15±7.62 60.88±9.26 84.42±6.07 84.06±5.36 82.26±22.95 83.29±4.72 87.91±2.88 91.75 ± 3.22 Salt marsh 89.76±2.75 89.78±2.79 82.21±4.35 89.61±3.05 90.12±3.81 85.91±5.67 91.73±4.02 86.35±8.08 94.31±2.24 95.37 ± 3.47 85.64±1.92 94.80±1.70 Mud flats 65.86±7.27 65.36±7.45 70.77±8.81 67.67±6.90 70.69±6.76 57.67±11.97 85.23±6.23 80.87±3.78 87.09±5.49 85.08±5.58 92.21±4.00 93.95 ± 3.60 Water 98.21±0.58 98.21±0.58 97.27±1.14 98.30±0.66 99.52±0.84 85.30±16.59 98.34±0.61 98.79±4.10 99.33±0.66 98.48±0.76 98.99±0.56 99.67 ± 0.74 OA 71.86±1.21 71.62±1.22 72.53±2.38 72.52±1.87 73.61±1.79 58.05±4.83 84.47±1.38 82.36±1.20 83.60±2.95 84.71±1.58 86.24±1.15 87.33 ± 1.73 AA 62.90±1.49 62.61±1.48 61.74±2.57 62.89±3.02 64.14±2.68 46.33±3.28 80.02±1.53 77.02±1.92 79.16±4.33 81.09±1.37 84.08±0.89 84.14 ± 1.72 Kappa 0.686±0.014 0.684±0.014 0.693±0.026 0.694±0.021 0.706±0.020 0.533±0.052 0.827±0.015 0.803±0.013 0.818±0.0.033 0.830±0.017 0.847±0.013 0.859% ± 0.019 特征提取时间/s - 0.022 0.055 0.066 0.319 0.045 53.202 65.38 38.644 47.25 36.64 335.48 分类时间/s 0.041 0.021 0.035 0.035 0.034 0.032 0.025 0.03 0.002 0.030 0.045 0.14 % 由 表5 表5 可知，DMRBN在KSC数据集上绝大多数地物类别都取得了较好的分类效果，尤其在“Cattail Marsh”，“Water”等提升较为明显。在 图8 图8 分类图中，DMRBN分类结果更为平滑，产生了大量同质区域，更利于实际应用。 5 结　论 1 以DBN为代表的传统深度学习方法只提取了高光谱图像中的深层次抽象特征，但未能将图像中内部流形结构考虑在内。因此本文提出了一种深度流形重构置信网络（DMRBN），其将深度学习与流形学习相结合，实现提取深度抽象特征的同时，探索高光谱图像的内部流形结构，并且通过重构样本的邻域点，更好地保持同质区域的局部结构关系。在KSC和MUUFL Gulfport数据集上的实验结果表明，本文算法的总体分类精度分别可达到94.71%和86.38%，较其它算法都有明显提高。在下一步研究工作中，将融合空间信息提取空-谱联合深度特征，进一步提升分类精度。 参考文献 张兵 . 高光谱图像处理与信息提取前沿 ［J］. 遥感学报 ， 2016 ， 20 （ 5 ）： 1062 - 1090 . 高光谱图像处理与信息提取前沿 ZHANG B . Advancement of hyperspectral image processing and information extraction ［J］. Journal of Remote Sensing ， 2016 ， 20 （ 5 ）： 1062 - 1090 . （in Chinese） Advancement of hyperspectral image processing and information extraction 丁国绅 ， 乔延利 ， 易维宁 ， 等 . 基于高光谱图像的改进SIFT特征提取与匹配 ［J］. 光学 精密工程 ， 2020 ， 28 （ 4 ）： 954 - 962 . 基于高光谱图像的改进SIFT特征提取与匹配 DING G SH ， QIAO Y L ， YI W N ， et al . Improved SIFT feature extraction and matching technology based on hyperspectral image ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 4 ）： 954 - 962 . （in Chinese） Improved SIFT feature extraction and matching technology based on hyperspectral image DING G S ， QIAO Y L ， YI W N ， et al .. Improved SIFT feature extraction and matching technology based on hyperspectral image ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 04 ）： 954 - 962 . Improved SIFT feature extraction and matching technology based on hyperspectral image 陈静 ， 张静 . 改进高斯过程回归的高光谱空谱联合分类算法 ［J］. 光学 精密工程 ， 2019 ， 27 （ 7 ）： 1649 - 1660 . 改进高斯过程回归的高光谱空谱联合分类算法 CHEN J ， ZHANG J . Spectral-spatial joint classification of hyperspectral image algorithm based on improved Gaussian process regression ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 7 ）： 1649 - 1660 . （in Chinese） Spectral-spatial joint classification of hyperspectral image algorithm based on improved Gaussian process regression 武复宇 ， 王雪 ， 丁建伟 ， 等 . 高光谱遥感影像多级联森林深度网络分类算法 ［J］. 遥感学报 ， 2020 ， 24 （ 4 ）： 439 - 453 . 高光谱遥感影像多级联森林深度网络分类算法 WU F Y ， WANG X ， DING J W ， et al . Improved cascade forest deep learning model for hyperspectral imagery classification ［J］. Journal of Remote Sensing ， 2020 ， 24 （ 4 ）： 439 - 453 . （in Chinese） Improved cascade forest deep learning model for hyperspectral imagery classification 闫敬文 ， 陈宏达 ， 刘蕾 . 高光谱图像分类的研究进展 ［J］. 光学 精密工程 ， 2019 ， 27 （ 3 ）： 680 - 693 . 高光谱图像分类的研究进展 YAN J W ， CHEN H D ， LIU L . Overview of hyperspectral image classification ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 680 - 693 . （in Chinese） Overview of hyperspectral image classification CAI Y M ， LIU X B ， CAI Z H . BS-nets： an end-to-end framework for band selection of hyperspectral image ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 ， 58 （ 3 ）： 1969 - 1984 . BS-nets： an end-to-end framework for band selection of hyperspectral image HABERMANN M ， FREMONT V ， SHIGUEMORI E H . Supervised band selection in hyperspectral images using single-layer neural networks ［J］. International Journal of Remote Sensing ， 2019 ， 40 （ 10 ）： 3900 - 3926 . Supervised band selection in hyperspectral images using single-layer neural networks LUO F L ， DU B ， ZHANG L P ， et al . Feature learning using spatial-spectral hypergraph discriminant analysis for hyperspectral image ［J］. IEEE Transactions on Cybernetics ， 2019 ， 49 （ 7 ）： 2406 - 2419 . Feature learning using spatial-spectral hypergraph discriminant analysis for hyperspectral image BONIFAZI G ， CAPOBIANCO G ， SERRANTI S . Asbestos containing materials detection and classification by the use of hyperspectral imaging ［J］. Journal of Hazardous Materials ， 2018 ， 344 ： 981 - 993 . Asbestos containing materials detection and classification by the use of hyperspectral imaging WANG H ， FAN Y Y ， FANG B F ， et al . Generalized linear discriminant analysis based on euclidean norm for gait recognition ［J］. International Journal of Machine Learning and Cybernetics ， 2018 ， 9 （ 4 ）： 569 - 576 . Generalized linear discriminant analysis based on euclidean norm for gait recognition DENG Y J ， LI H C ， PAN L ， et al . Modified tensor locality preserving projection for dimensionality reduction of hyperspectral images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2018 ， 15 （ 2 ）： 277 - 281 . Modified tensor locality preserving projection for dimensionality reduction of hyperspectral images LU G F ， JIN Z ， ZOU J . Face recognition using discriminant sparsity neighborhood preserving embedding ［J］. Knowledge-Based Systems ， 2012 ， 31 ： 119 - 127 . Face recognition using discriminant sparsity neighborhood preserving embedding XU D ， YAN S C ， TAO D C ， et al . Marginal fisher analysis and its variants for human gait recognition and content- based image retrieval ［J］. IEEE Transactions on Image Processing ， 2007 ， 16 （ 11 ）： 2811 - 2821 . Marginal fisher analysis and its variants for human gait recognition and content- based image retrieval LUO F L ， HUANG H ， DUAN Y L ， et al . Local geometric structure feature for dimensionality reduction of hyperspectral imagery ［J］. Remote Sensing ， 2017 ， 9 （ 8 ）： 790 . Local geometric structure feature for dimensionality reduction of hyperspectral imagery DAI X A ， CHENG J Y ， GAO Y ， et al . Deep belief network for feature extraction of urban artificial targets ［J］. Mathematical Problems in Engineering ， 2020 ， 2020 ： 1 - 13 . Deep belief network for feature extraction of urban artificial targets LI Z Y ， HUANG H ， DUAN Y L ， et al . DLPNet： a deep manifold network for feature extraction of hyperspectral imagery ［J］. Neural Networks ， 2020 ， 129 ： 7 - 18 . DLPNet： a deep manifold network for feature extraction of hyperspectral imagery 张号逵 ， 李映 ， 姜晔楠 . 深度学习在高光谱图像分类领域的研究现状与展望 ［J］. 自动化学报 ， 2018 ， 44 （ 6 ）： 961 - 977 . 深度学习在高光谱图像分类领域的研究现状与展望 ZHANG H K ， LI Y ， JIANG Y N . Deep learning for hyperspectral imagery classification： the state of the art and prospects ［J］. Acta Automatica Sinica ， 2018 ， 44 （ 6 ）： 961 - 977 . （in Chinese） Deep learning for hyperspectral imagery classification： the state of the art and prospects RATLE F ， CAMPS-VALLS G ， WESTON J . Semisupervised neural networks for efficient hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2010 ， 48 （ 5 ）： 2271 - 2282 . Semisupervised neural networks for efficient hyperspectral image classification CHEN Y S ， LIN Z H ， ZHAO X ， et al . Deep learning-based classification of hyperspectral data ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2014 ， 7 （ 6 ）： 2094 - 2107 . Deep learning-based classification of hyperspectral data LI Z Y ， HUANG H ， LI Y ， et al . M3DNet： a manifold-based discriminant feature learning network for hyperspectral imagery ［J］. Expert Systems With Applications ， 2020 ， 144 ： 113089 . M3DNet： a manifold-based discriminant feature learning network for hyperspectral imagery ZHOU X C ， LIU N ， TANG F ， et al . A deep manifold learning approach for spatial-spectral classification with limited labeled training samples ［J］. Neurocomputing ， 2019 ， 331 ： 138 - 149 . A deep manifold learning approach for spatial-spectral classification with limited labeled training samples 张绪冰 ， 王贤敏 ， 王凯 ， 等 . 基于深度置信网络的CRISM影像火星表面矿物识别方法 ［J］. 地质科技通报 ， 2020 ， 39 （ 4 ）： 189 - 200 . 基于深度置信网络的CRISM影像火星表面矿物识别方法 ZHANG X B ， WANG X M ， WANG K ， et al . Recognition of the Martian minerals based on the deep belief networks method： Application in the CRISM images ［J］. Bulletin of Geological Science and Technology ， 2020 ， 39 （ 4 ）： 189 - 200 . （in Chinese） Recognition of the Martian minerals based on the deep belief networks method： Application in the CRISM images GADER P ， ZARE A ， CLOSE R ， et al . “ MUUFL Gulfport Hyperspectral and LiDAR Airborne Data Set ，” University of Florida ， Gainesville， FL， Tech. Rep. REP- 2013 -570， Oct. 2013. MUUFL Gulfport Hyperspectral and LiDAR Airborne Data Set DIAKITE A ， GUI J S ， FU X P . Hyperspectral image classification using 3D 2D CNN ［J］. IET Image Processing ， 2021 ， 15 （ 5 ）： 1083 - 1092 . Hyperspectral image classification using 3D 2D CNN 10.37188/OPE.20212908.1985 TP394.1 TH691.9 A 1004-924X（2021）08-1985-14 黄鸿,张臻,李政英.面向高光谱影像分类的深度流形重构置信网络[J].光学精密工程,2021,29(08):1985-1998. 黄鸿,张臻,李政英.面向高光谱影像分类的深度流形重构置信网络[J].光学精密工程,2021,29(08):1985-1998. HUANG Hong,ZHANG Zhen,LI Zheng-ying.Deep manifold reconstruction belief network for hyperspectral remote sensing image classification[J].Optics and Precision Engineering,2021,29(08):1985-1998. HUANG Hong,ZHANG Zhen,LI Zheng-ying.Deep manifold reconstruction belief network for hyperspectral remote sensing image classification[J].Optics and Precision Engineering,2021,29(08):1985-1998. 国家自然科学基金（No.42071302）；重庆市留学人员回国创业创新支持计划（No.cx2019144）；中央高校基本科研业务费（No.2020CDCGTM002） 2021-03-26 2021-04-16 2021-08-15 2021-09-01 光学精密工程 8 29