Semi-supervised dual path network for hyperspectral image classification

HUANG Hong; ZHANG Zhen; JI Ling; LI Zhengying

doi:10.37188/OPE.20223015.1889

您当前的位置：

首页 >

文章列表页 >

Semi-supervised dual path network for hyperspectral image classification

Information Sciences | 更新时间：2026-09-11

- Semi-supervised dual path network for hyperspectral image classification
- Optics and Precision Engineering Vol. 30, Issue 15, Pages: 1889-1904(2022)
- 作者机构：
  
  1.重庆大学光电技术与系统教育部重点实验室，重庆 400044
  2.中国电子科技集团公司第三十四研究所，广西桂林 541004
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223015.1889
  CLC： TP394.1;TH691.9
- Received：07 May 2022，
  
  Revised：2022-06-02，
  
  Published：10 August 2022
- 稿件说明：
移动端阅览
黄鸿,张臻,嵇凌等.面向高光谱图像分类的半监督双流网络[J].光学精密工程,2022,30(15):1889-1904.

HUANG Hong,ZHANG Zhen,JI Ling,et al.Semi-supervised dual path network for hyperspectral image classification[J].Optics and Precision Engineering,2022,30(15):1889-1904.
黄鸿,张臻,嵇凌等.面向高光谱图像分类的半监督双流网络[J].光学精密工程,2022,30(15):1889-1904. DOI： 10.37188/OPE.20223015.1889.

HUANG Hong,ZHANG Zhen,JI Ling,et al.Semi-supervised dual path network for hyperspectral image classification[J].Optics and Precision Engineering,2022,30(15):1889-1904. DOI： 10.37188/OPE.20223015.1889.

摘要

为了提取高光谱图像中的深度鉴别特征，往往需要大量标记样本，但是高光谱图像样本标定困难，基于高光谱图像的“图谱合一”特性提出一种基于深度-流形学习的半监督双流网络。该网络用卷积网络和神经网络分别提取少量标记样本以及大量无标记样本中的空-谱联合特征，然后分别构建基于监督图和非监督图的流形重构图模型，以挖掘其中的本征流形结构。在此基础上设计了基于均方误差和流形学习的联合损失函数，以协同度量流形边界和空-谱概率残差，实现双流网络的一体化反馈和优化，进而实现地物分类。在WHU-Hi龙口和黑河高光谱数据集上实验的总体分类精度分别达到97.53%和96.79%，有效提升了地物分类能力。

Abstract

To extract the deep discrimination features from hyperspectral images， many labeled samples are often required； however， it is difficult to label samples in hyperspectral image. By using the characteristic of combining image with hyperspectral information， a semi-supervised dual path network （SSDPNet） based on deep-manifold learning was proposed. In this network， convolution and neural networks were used to extract the spatial-spectrum joint features from few labeled samples and many unlabeled samples， respectively. Then， the manifold reconstruction graph models based on supervised and unsupervised graphs were constructed to explore the manifold structure in hyperspectral images. In addition， a joint loss function based on mean square error and manifold learning was developed to jointly measure manifold boundary and spatial-spectral probability residuals to realize integrated feedback and optimize the dual path network； this results in land cover classification. The overall classification accuracies of experiments on WHU-Hi-Longkou and Heihe hyperspectral data sets reach 97.53% and 96.79% respectively， which effectively improves the ability to classify land covers.

关键词

Keywords

references

DING Y ， ZHAO X F ， ZHANG Z L ， et al . Multiscale graph sample and aggregate network with context-aware learning for hyperspectral image classification ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2021 ， 14 ： 4561 - 4572 . doi: 10.1109/jstars.2021.3074469 http://dx.doi.org/10.1109/jstars.2021.3074469

郑铁，薛长斌，宋金伟 . 利用格型递归最小二乘滤波器组的高光谱图像压缩［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 896 - 905 . doi: 10.37188/OPE.20212904.0896 http://dx.doi.org/10.37188/OPE.20212904.0896

ZHENG T ， XUE C B ， SONG J W . Lossless compression of hyperspectral images using recursive least square lattice filter group ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 4 ）： 896 - 905 . （in Chinese） . doi: 10.37188/OPE.20212904.0896 http://dx.doi.org/10.37188/OPE.20212904.0896

叶珍，白璘，何明一 . 高光谱图像空谱特征提取综述［J］. 中国图象图形学报， 2021 ， 26 （ 8 ）： 1737 - 1763 . doi: 10.11834/jig.210198 http://dx.doi.org/10.11834/jig.210198

YE ZH ， BAI L ， HE M Y . Review of spatial-spectral feature extraction for hyperspectral image ［J］. Journal of Image and Graphics ， 2021 ， 26 （ 8 ）： 1737 - 1763 . （in Chinese） . doi: 10.11834/jig.210198 http://dx.doi.org/10.11834/jig.210198

MU C H ， ZENG Q Z ， LIU Y ， et al . A two-branch network combined with robust principal component analysis for hyperspectral image classification ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 18 （ 12 ）： 2147 - 2151 . doi: 10.1109/lgrs.2020.3013707 http://dx.doi.org/10.1109/lgrs.2020.3013707

SAMAT A ， GAMBA P ， LIU S C ， et al . Jointly informative and manifold structure representative sampling based active learning for remote sensing image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2016 ， 54 （ 11 ）： 6803 - 6817 . doi: 10.1109/tgrs.2016.2591066 http://dx.doi.org/10.1109/tgrs.2016.2591066

WANG H ， FAN Y Y ， FANG B F ， et al . Generalized linear discriminant analysis based on euclidean norm for gait recognition ［J］. International Journal of Machine Learning and Cybernetics ， 2018 ， 9 （ 4 ）： 569 - 576 . doi: 10.1007/s13042-016-0540-0 http://dx.doi.org/10.1007/s13042-016-0540-0

XU D ， YAN S C ， TAO D C ， et al . Marginal Fisher analysis and its variants for human gait recognition and content- based image retrieval ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2007 ， 16 （ 11 ）： 2811 - 2821 . doi: 10.1109/tip.2007.906769 http://dx.doi.org/10.1109/tip.2007.906769

LUO F L ， HUANG H ， DUAN Y L ， et al . Local geometric structure feature for dimensionality reduction of hyperspectral imagery ［J］. Remote Sensing ， 2017 ， 9 （ 8 ）： 6197 - 6211 . doi: 10.3390/rs9080790 http://dx.doi.org/10.3390/rs9080790

谭琨，王雪，杜培军 . 结合深度学习和半监督学习的遥感影像分类进展［J］. 中国图象图形学报， 2019 ， 24 （ 11 ）： 1823 - 1841 . doi: 10.11834/jig.190348 http://dx.doi.org/10.11834/jig.190348

TAN K ， WANG X ， DU P J . Research progress of the remote sensing classification combining deep learning and semi-supervised learning ［J］. Journal of Image and Graphics ， 2019 ， 24 （ 11 ）： 1823 - 1841 . （in Chinese） . doi: 10.11834/jig.190348 http://dx.doi.org/10.11834/jig.190348

CAI D ， HE X F ， HAN J W . Semi-supervised discriminant analysis ［C］. 2007 IEEE 11th International Conference on Computer Vision. October 14 - 21 ， 2007 . Rio de Janeiro， Brazil. IEEE ， 2007 ： 222 - 228 . doi: 10.1109/iccv.2007.4408856 http://dx.doi.org/10.1109/iccv.2007.4408856

LIAO W Z ， PIŽURICA A ， SCHEUNDERS P ， et al . Semisupervised local discriminant analysis for feature extraction in hyperspectral images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2013 ， 51 （ 1 ）： 184 - 198 . doi: 10.1109/tgrs.2012.2200106 http://dx.doi.org/10.1109/tgrs.2012.2200106

YANG S Y ， JIN P L ， LI B ， et al . Semisupervised dual-geometric subspace projection for dimensionality reduction of hyperspectral image data ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2014 ， 52 （ 6 ）： 3587 - 3593 . doi: 10.1109/tgrs.2013.2273798 http://dx.doi.org/10.1109/tgrs.2013.2273798

LUO F L ， HUANG H ， MA Z Z ， et al . Semisupervised sparse manifold discriminative analysis for feature extraction of hyperspectral images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2016 ， 54 （ 10 ）： 6197 - 6211 . doi: 10.1109/tgrs.2016.2583219 http://dx.doi.org/10.1109/tgrs.2016.2583219

XUE Z H ， DU P J ， LI J ， et al . Simultaneous sparse graph embedding for hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2015 ， 53 （ 11 ）： 6114 - 6133 . doi: 10.1109/tgrs.2015.2432059 http://dx.doi.org/10.1109/tgrs.2015.2432059

闫敬文，陈宏达，刘蕾 . 高光谱图像分类的研究进展［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 680 - 693 . doi: 10.3788/ope.20192703.0680 http://dx.doi.org/10.3788/ope.20192703.0680

YAN J W ， CHEN H D ， LIU L . Overview of hyperspectral image classification ［J］. Optics and Precision Engineering ， 2019 ， 27 （ 3 ）： 680 - 693 . （in Chinese） . doi: 10.3788/ope.20192703.0680 http://dx.doi.org/10.3788/ope.20192703.0680

LI Y ， ZHANG H K ， SHEN Q . Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network ［J］. Remote Sensing ， 2017 ， 9 （ 1 ）： 67 . doi: 10.3390/rs9010067 http://dx.doi.org/10.3390/rs9010067

LI Z Y ， HUANG H ， DUAN Y L ， et al . DLPNet： a deep manifold network for feature extraction of hyperspectral imagery ［J］. Neural Networks ， 2020 ， 129 ： 7 - 18 . doi: 10.1016/j.neunet.2020.05.022 http://dx.doi.org/10.1016/j.neunet.2020.05.022

黄鸿，张臻，李政英 . 面向高光谱影像分类的深度流形重构置信网络［J］. 光学精密工程， 2021 ， 29 （ 8 ）： 1985 - 1998 . doi: 10.37188/OPE.20212908.1985 http://dx.doi.org/10.37188/OPE.20212908.1985

HUANG H ， ZHANG ZH ， LI ZH Y . Deep manifold reconstruction belief network for hyperspectral remote sensing image classification ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 8 ）： 1985 - 1998 . （in Chinese） . doi: 10.37188/OPE.20212908.1985 http://dx.doi.org/10.37188/OPE.20212908.1985

李丹，孔繁锵，朱德燕 . 基于局部高斯混合特征提取的高光谱图像分类［J］. 光学学报， 2021 ， 41 （ 6 ）： 0610001 . doi: 10.3788/aos202141.0610001 http://dx.doi.org/10.3788/aos202141.0610001

LI D ， KONG F Q ， ZHU D Y . Hyperspectral image classification based on local Gaussian mixture feature extraction ［J］. Acta Optica Sinica ， 2021 ， 41 （ 6 ）： 0610001 . （in Chinese） . doi: 10.3788/aos202141.0610001 http://dx.doi.org/10.3788/aos202141.0610001

肖青，闻建光.黑河生态水文遥感试验：热红外高光谱航空遥感（2012年7月4日）［Z］. 黑河计划数据管理中心， 2013 . doi： 10.3972/hiwater.006. 2013. db. doi: 10.1088/1475-7516/2013/10/006 http://dx.doi.org/10.1088/1475-7516/2013/10/006

XIAO Q， WEN J G. HiWATER： Thermal-infrared hyperspectal radiometer（4th，July，2012）［Z］. Heihe Plan Science Data Center， 2013 . doi： 10.3972/hiwater.006. 2013. db. （in Chinese） . doi: 10.1088/1475-7516/2013/10/006 http://dx.doi.org/10.1088/1475-7516/2013/10/006

ZHONG Y F ， HU X ， LUO C ， et al . WHU-Hi： UAV-borne hyperspectral with high spatial resolution （H2） benchmark datasets and classifier for precise crop identification based on deep convolutional neural network with CRF ［J］. Remote Sensing of Environment ， 2020 ， 250 ： 112012 . doi: 10.1016/j.rse.2020.112012 http://dx.doi.org/10.1016/j.rse.2020.112012

Views

1307

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Deep manifold reconstruction belief network for hyperspectral remote sensing image classification

Multi-features manifold discriminant embedding for hyperspectral image classification

Hyper-spectral image classification using spatial-spectral manifold reconstruction

Cascaded refinement network for high-resolution remote sensing image segmentation

Gaussian cross-based feature fusion method for hyperspectral image classification

Related Author

Hong HUANG

Zhen ZHANG

Zheng-ying LI

Hong HUANG

Zheng-ying LI

Guang-yao SHI

Yin-song PAN

Mei-li CHEN

Related Institution

Key Laboratory of Optoelectronic Technique System of the Ministry of Education, Chongqing University

School of Electronic and Information Engineering ， Lanzhou Jiaotong University

College of Computer Science and Engineering， North Minzu University

Ningxia Key Laboratory of Meteorological Disaster Prevention and Reduction （Ningxia Institute of Meteorological Sciences）

School of Electronic Engineering， Xi’an University of Posts and Telecommunications

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰