Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification

LIU Yingxu; PU Chunyu; XU Diankun; YANG Yichuan; HUANG Hong

doi:10.37188/OPE.20233117.2598

您当前的位置：

首页 >

文章列表页 >

Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification

Information Sciences | 更新时间：2023-09-22

- Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification
- Optics and Precision Engineering Vol. 31, Issue 17, Pages: 2598-2610(2023)
- 作者机构：
  
  1.重庆大学光电技术及系统教育部重点实验室，重庆 400044
  2.重庆大学光电工程学院测控技术与仪器专业，重庆 400044
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233117.2598
  CLC： TP751
- Received：03 January 2023，
  
  Revised：09 February 2023，
  
  Published：10 September 2023
- 稿件说明：
移动端阅览
刘英旭,蒲春宇,许典坤等.面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络[J].光学精密工程,2023,31(17):2598-2610.

LIU Yingxu,PU Chunyu,XU Diankun,et al.Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification[J].Optics and Precision Engineering,2023,31(17):2598-2610.
刘英旭,蒲春宇,许典坤等.面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络[J].光学精密工程,2023,31(17):2598-2610. DOI： 10.37188/OPE.20233117.2598.

LIU Yingxu,PU Chunyu,XU Diankun,et al.Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification[J].Optics and Precision Engineering,2023,31(17):2598-2610. DOI： 10.37188/OPE.20233117.2598.

摘要

针对目标场景复杂的空间布局和高光谱影像固有的空-谱信息冗余等挑战，提出了端到端的轻量化深度全局-局部知识蒸馏（Lightweight Deep Global-Local Knowledge Distillation，LDGLKD）网络。为探索空-谱特征的全局序列属性，教师模型视觉Transformer（Vision Transformer，ViT）被用来指导轻量化学生模型进行高光谱影像场景分类。LDGLKD选择预训练的VGG16作为学生模型来提取局部细节信息，将ViT和VGG16通过知识蒸馏协同训练后，教师模型将所学习到的远程上下文关系向小规模学生模型进行传递。LDGLKD可通过知识蒸馏结合上述两种模型的优点，在欧比特高光谱影像场景分类数据集OHID-SC及公开的高光谱遥感图像数据集HSRS-SC上的最佳分类精度分别达到91.62%和97.96%。实验结果表明：LDGLKD网络具有良好的分类性能。根据欧比特珠海一号卫星提供的遥感数据构建的OHID-SC可以反映详细的地表覆盖情况，并为高光谱场景分类任务提供数据支撑。

Abstract

To address the challenges of the complex spatial layouts of target scenes and inherent spatial-spectral information redundancy of HSIs， an end-to-end lightweight deep global–local knowledge distillation （LDGLKD） method is proposed herein. To explore the global sequence properties of spatial-spectral features， the vision transformer （ViT） is used as the teacher to guide the lightweight student model for HSI scene classification. In LDGLKD， pre-trained VGG16 is selected as the student model to extract local detail information. After collaborative training of ViT and VGG16 through knowledge distillation， the teacher model transmits the learned long-range contextual information to the small-scale student model. By combining the advantages of the two models through knowledge distillation， the optimal classification accuracy of LDGLKD on the Orbita HSI scene classification dataset （OHID-SC） and hyperspectral remote sensing dataset for scene classification （HSRS） reached 91.62% and 97.96%， respectively. The experimental results revealed that the proposed LDGLKD method presented good classification performance. In addition， the OHID-SC based on the remote sensing data obtained by the Orbita Zhuhai-1 satellite could reflect the detailed information of land cover and provide data support for HSI scene classification.

关键词

Keywords

references

闫敬文，陈宏达，刘蕾 . 高光谱图像分类的研究进展［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 680 - 693 . doi: 10.3788/ope.20192703.0680 http://dx.doi.org/10.3788/ope.20192703.0680

YAN J W ， CHEN H D ， LIU L . Overview of hyperspectral image classification ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 680 - 693 . （in Chinese） . doi: 10.3788/ope.20192703.0680 http://dx.doi.org/10.3788/ope.20192703.0680

丁国绅，乔延利，易维宁，等 . 基于高光谱图像的改进SIFT特征提取与匹配［J］. 光学精密工程， 2020 ， 28 （ 4 ）： 954 - 962 . doi: 10.3788/OPE.20202804.0954 http://dx.doi.org/10.3788/OPE.20202804.0954

DING G S ， QIAO Y L ， YI W N ， et al . Improved SIFT feature extraction and matching technology based on hyperspectral image ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 4 ）： 954 - 962 . （in Chinese） . doi: 10.3788/OPE.20202804.0954 http://dx.doi.org/10.3788/OPE.20202804.0954

陈静，张静 . 改进高斯过程回归的高光谱空谱联合分类算法［J］. 光学精密工程， 2019 ， 27 （ 7 ）： 1649 - 1660 . doi: 10.3788/ope.20192707.1649 http://dx.doi.org/10.3788/ope.20192707.1649

CHEN J ， ZHANG J . Spectral-spatial joint classification of hyperspectral image algorithm based on improved Gaussian process regression ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 7 ）： 1649 - 1660 . （in Chinese） . doi: 10.3788/ope.20192707.1649 http://dx.doi.org/10.3788/ope.20192707.1649

CAI Y M ， LIU X B ， CAI Z H . BS-nets： an end-to-end framework for band selection of hyperspectral image ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 ， 58 （ 3 ）： 1969 - 1984 . doi: 10.1109/tgrs.2019.2951433 http://dx.doi.org/10.1109/tgrs.2019.2951433

HU F ， XIA G S ， YANG W ， et al . Mining deep semantic representations for scene classification of high-resolution remote sensing imagery ［J］. IEEE Transactions on Big Data ， 2020 ， 6 （ 3 ）： 522 - 536 . doi: 10.1109/tbdata.2019.2916880 http://dx.doi.org/10.1109/tbdata.2019.2916880

LUO F L ， DU B ， ZHANG L P ， et al . Feature learning using spatial-spectral hypergraph discriminant analysis for hyperspectral image ［J］. IEEE Transactions on Cybernetics ， 2019 ， 49 （ 7 ）： 2406 - 2419 . doi: 10.1109/tcyb.2018.2810806 http://dx.doi.org/10.1109/tcyb.2018.2810806

TONG X Y ， XIA G S ， LU Q ， et al . Land-cover classification with high-resolution remote sensing images using transferable deep models ［J］. Remote Sensing of Environment ， 2020 ， 237 ： 111322 . doi: 10.1016/j.rse.2019.111322 http://dx.doi.org/10.1016/j.rse.2019.111322

YU Y T ， LI Y Y ， WANG J ， et al . C²-CapsViT： cross-context and cross-scale capsule vision transformers for remote sensing image scene classification ［J］. IEEE Geoscience and Remote Sensing Letters ， 2022 ， 19 ： 1 - 5 . doi: 10.1109/lgrs.2022.3185454 http://dx.doi.org/10.1109/lgrs.2022.3185454

ZOU Q ， NI L H ， ZHANG T ， et al . Deep learning based feature selection for remote sensing scene classiﬁcation ［J］. IEEE Geoscience and Remote Sensing Letters ， 2015 ， 12 （ 11 ）： 2321 - 2325 . doi: 10.1109/lgrs.2015.2475299 http://dx.doi.org/10.1109/lgrs.2015.2475299

Bi Q ， QIN K ， LI Z L ， et al . A multiple-instance densely-connected ConvNet for aerial scene classiﬁcation ［J］. IEEE Transactions on Image Processing ， 2020 ， 9 ： 4911 - 4926 . doi: 10.1109/tip.2020.2975718 http://dx.doi.org/10.1109/tip.2020.2975718

CHENG G ， CAI L M ， LANG C B ， et al . SPNet： Siamese-prototype network for few-shot remote sensing image scene classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2022 ， 60 ： 1 - 11 . doi: 10.1109/tgrs.2021.3099033 http://dx.doi.org/10.1109/tgrs.2021.3099033

LI E Z ， XIA J S ， Du P J ， et al . Integrating multilayer features of convolutional neural networks for remote sensing scene classiﬁcation ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2017 ， 55 （ 10 ）： 5653 - 5665 . doi: 10.1109/tgrs.2017.2711275 http://dx.doi.org/10.1109/tgrs.2017.2711275

CHAIB S ， LIU H ， GU Y F ， et al . Deep feature fusion for VHR remote sensing scene classiﬁcation ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2017 ， 55 （ 8 ）： 4775 - 4784 . doi: 10.1109/tgrs.2017.2700322 http://dx.doi.org/10.1109/tgrs.2017.2700322

XU K J ， HUANG H ， DENG P F ， et al . Two-stream feature aggregation deep neural network for scene classification of remote sensing images ［J］. Information Sciences ， 2020 ， 539 ： 250 - 268 . doi: 10.1016/j.ins.2020.06.011 http://dx.doi.org/10.1016/j.ins.2020.06.011

FANG J ， YUAN Y ， LU X Q ， et al . Robust space–frequency joint representation for remote sensing image scene classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 10 ）： 7492 - 7502 . doi: 10.1109/tgrs.2019.2913816 http://dx.doi.org/10.1109/tgrs.2019.2913816

HE X ， CHEN Y S ， LIN Z H . Spatial-spectral transformer for hyperspectral image classification ［J］. Remote Sensing ， 2021 ， 13 （ 3 ）： 498 . doi: 10.3390/rs13030498 http://dx.doi.org/10.3390/rs13030498

BAZI Y ， BASHMAL L ， AL RAHHAL M M ， et al . Vision transformers for remote sensing image classification ［J］. Remote Sensing ， 2021 ， 13 （ 3 ）： 516 . doi: 10.3390/rs13030516 http://dx.doi.org/10.3390/rs13030516

ZHANG J R ， ZHAO H W ， LI J . TRS： Transformers for remote sensing scene classiﬁcation ［J］. Remote Sensing ， 2021 ， 13 （ 20 ）： 4143 . doi: 10.3390/rs13204143 http://dx.doi.org/10.3390/rs13204143

SHI C ， FANG L ， LV Z Y ， et al . Explainable scale distillation for hyperspectral image classification ［J］. Pattern Recognition ， 2022 ， 122 ： 108316 . doi: 10.1016/j.patcog.2021.108316 http://dx.doi.org/10.1016/j.patcog.2021.108316

HU Y T ， HUANG X ， LUO X Y ， et al . Variational Self-Distillation for Remote Sensing Scene Classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2022 ， 60 ： 1 - 13 . doi: 10.1109/tgrs.2022.3194549 http://dx.doi.org/10.1109/tgrs.2022.3194549

刘康，周壮，李盛阳，等 . 天宫一号高光谱遥感场景分类数据集及应用［J］. 遥感学报， 2020 ， 24 （ 9 ）： 1077 - 1087 . doi: 10.11834/jrs.20209323 http://dx.doi.org/10.11834/jrs.20209323

LIU K ， ZHOU Z ， LI S Y ， et al . Scene classification dataset using the Tiangong-1 hyperspectral remote sensing imagery and its applications ［J］. Journal of Remote Sensing ， 2020 ， 24 （ 9 ）： 1077 - 1087 . （in Chinese） . doi: 10.11834/jrs.20209323 http://dx.doi.org/10.11834/jrs.20209323

徐科杰，邓培芳，黄鸿 . HSRS-SC：面向遥感场景分类的高光谱图像数据集［J］. 中国图象图形学报， 2021 ， 26 （ 8 ）： 1809 - 1822 . doi: 10.11834/jig.200835 http://dx.doi.org/10.11834/jig.200835

XU K J ， DENG P F ， HUANG H . HSRS-SC： a hyperspectral image dataset for remote sensing scene classification ［J］. Journal of Image and Graphics ， 2021 ， 26 （ 8 ）： 1809 - 1822 . （in Chinese） . doi: 10.11834/jig.200835 http://dx.doi.org/10.11834/jig.200835

WANG Q ， HUANG W ， XIONG Z T ， et al . Looking closer at the scene： multiscale representation learning for remote sensing image scene classification ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2022 ， 33 （ 4 ）： 1414 - 1428 . doi: 10.1109/tnnls.2020.3042276 http://dx.doi.org/10.1109/tnnls.2020.3042276

WANG Q ， LIU S T ， CHANUSSOT J ， et al . Scene classification with recurrent attention of VHR remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 2 ）： 1155 - 1167 . doi: 10.1109/tgrs.2018.2864987 http://dx.doi.org/10.1109/tgrs.2018.2864987

Views

1015

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Audio object detection network with multimodal cross level feature knowledge transfer

Photovoltaic hot spot detection method incorporating knowledge distillation and attention mechanisms

Hyperspectral images feature extraction and classification based on fractional differentiation

Defect detection of low-resolution ceramic substrate image based on knowledge distillation

Weather recognition combining improved ConvNeXt models with knowledge distillation

Related Author

LIU Shibei

CHEN Ying

HAO Shuai

WU Yingqi

MA Xu

LI Tong

WANG Haiying

LIU Jing

Related Institution

Key Laboratory of Advanced Process Control for Light Industry （Ministry of Education）， Jiangnan University

College of Electrical and Control Engineering， Xi'an University of Science and Technology

School of Electronic Engineering， Xi’an University of Posts and Telecommunications

School of Electronic Engineering， Xidian University

Key Laboratory of Advanced Process Control for Light Industry， Ministry of Education， Jiangnan University

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰