面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络

刘英旭; 蒲春宇; 许典坤; 杨沂川; 黄鸿

doi:10.37188/OPE.20233117.2598

您当前的位置：

首页 >

文章列表页 >

面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络

信息科学 | 更新时间：2023-09-22

- 面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络
- Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification
- 光学精密工程 2023年31卷第17期页码：2598-2610
- 作者机构：
  
  1.重庆大学光电技术及系统教育部重点实验室，重庆 400044
  2.重庆大学光电工程学院测控技术与仪器专业，重庆 400044
- 作者简介：
  
  [ "刘英旭（2000-），男，吉林长春人，硕士研究生，2022年于重庆大学获得学士学位，主要研究方向为遥感图像处理和机器学习。E-mail：liuyingxu@stu.cqu.edu.cn" ]
  [ "黄鸿（1980-），男，湖南新宁人，教授，博士生导师，2003，2005，2008年于重庆大学分别获得学士、硕士和博士学位，主要从事流形学习、模式识别、遥感影像智能化处理等方面的研究。E-mail：hhuang@cqu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金项目(42071302);重庆市留学人员回国创业创新支持计划项目(cx2019144)
- DOI：10.37188/OPE.20233117.2598
  中图分类号： TP751
- 收稿日期：2023-01-03，
  
  修回日期：2023-02-09，
  
  纸质出版日期：2023-09-10
- 稿件说明：
移动端阅览
刘英旭,蒲春宇,许典坤等.面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络[J].光学精密工程,2023,31(17):2598-2610.

LIU Yingxu,PU Chunyu,XU Diankun,et al.Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification[J].Optics and Precision Engineering,2023,31(17):2598-2610.
刘英旭,蒲春宇,许典坤等.面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络[J].光学精密工程,2023,31(17):2598-2610. DOI： 10.37188/OPE.20233117.2598.

LIU Yingxu,PU Chunyu,XU Diankun,et al.Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification[J].Optics and Precision Engineering,2023,31(17):2598-2610. DOI： 10.37188/OPE.20233117.2598.

摘要

针对目标场景复杂的空间布局和高光谱影像固有的空-谱信息冗余等挑战，提出了端到端的轻量化深度全局-局部知识蒸馏（Lightweight Deep Global-Local Knowledge Distillation，LDGLKD）网络。为探索空-谱特征的全局序列属性，教师模型视觉Transformer（Vision Transformer，ViT）被用来指导轻量化学生模型进行高光谱影像场景分类。LDGLKD选择预训练的VGG16作为学生模型来提取局部细节信息，将ViT和VGG16通过知识蒸馏协同训练后，教师模型将所学习到的远程上下文关系向小规模学生模型进行传递。LDGLKD可通过知识蒸馏结合上述两种模型的优点，在欧比特高光谱影像场景分类数据集OHID-SC及公开的高光谱遥感图像数据集HSRS-SC上的最佳分类精度分别达到91.62%和97.96%。实验结果表明：LDGLKD网络具有良好的分类性能。根据欧比特珠海一号卫星提供的遥感数据构建的OHID-SC可以反映详细的地表覆盖情况，并为高光谱场景分类任务提供数据支撑。

Abstract

To address the challenges of the complex spatial layouts of target scenes and inherent spatial-spectral information redundancy of HSIs， an end-to-end lightweight deep global–local knowledge distillation （LDGLKD） method is proposed herein. To explore the global sequence properties of spatial-spectral features， the vision transformer （ViT） is used as the teacher to guide the lightweight student model for HSI scene classification. In LDGLKD， pre-trained VGG16 is selected as the student model to extract local detail information. After collaborative training of ViT and VGG16 through knowledge distillation， the teacher model transmits the learned long-range contextual information to the small-scale student model. By combining the advantages of the two models through knowledge distillation， the optimal classification accuracy of LDGLKD on the Orbita HSI scene classification dataset （OHID-SC） and hyperspectral remote sensing dataset for scene classification （HSRS） reached 91.62% and 97.96%， respectively. The experimental results revealed that the proposed LDGLKD method presented good classification performance. In addition， the OHID-SC based on the remote sensing data obtained by the Orbita Zhuhai-1 satellite could reflect the detailed information of land cover and provide data support for HSI scene classification.

关键词

Keywords

references

闫敬文，陈宏达，刘蕾 . 高光谱图像分类的研究进展［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 680 - 693 . doi: 10.3788/ope.20192703.0680 http://dx.doi.org/10.3788/ope.20192703.0680

YAN J W ， CHEN H D ， LIU L . Overview of hyperspectral image classification ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 680 - 693 . （in Chinese） . doi: 10.3788/ope.20192703.0680 http://dx.doi.org/10.3788/ope.20192703.0680

丁国绅，乔延利，易维宁，等 . 基于高光谱图像的改进SIFT特征提取与匹配［J］. 光学精密工程， 2020 ， 28 （ 4 ）： 954 - 962 . doi: 10.3788/OPE.20202804.0954 http://dx.doi.org/10.3788/OPE.20202804.0954

DING G S ， QIAO Y L ， YI W N ， et al . Improved SIFT feature extraction and matching technology based on hyperspectral image ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 4 ）： 954 - 962 . （in Chinese） . doi: 10.3788/OPE.20202804.0954 http://dx.doi.org/10.3788/OPE.20202804.0954

陈静，张静 . 改进高斯过程回归的高光谱空谱联合分类算法［J］. 光学精密工程， 2019 ， 27 （ 7 ）： 1649 - 1660 . doi: 10.3788/ope.20192707.1649 http://dx.doi.org/10.3788/ope.20192707.1649

CHEN J ， ZHANG J . Spectral-spatial joint classification of hyperspectral image algorithm based on improved Gaussian process regression ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 7 ）： 1649 - 1660 . （in Chinese） . doi: 10.3788/ope.20192707.1649 http://dx.doi.org/10.3788/ope.20192707.1649

CAI Y M ， LIU X B ， CAI Z H . BS-nets： an end-to-end framework for band selection of hyperspectral image ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 ， 58 （ 3 ）： 1969 - 1984 . doi: 10.1109/tgrs.2019.2951433 http://dx.doi.org/10.1109/tgrs.2019.2951433

HU F ， XIA G S ， YANG W ， et al . Mining deep semantic representations for scene classification of high-resolution remote sensing imagery ［J］. IEEE Transactions on Big Data ， 2020 ， 6 （ 3 ）： 522 - 536 . doi: 10.1109/tbdata.2019.2916880 http://dx.doi.org/10.1109/tbdata.2019.2916880

LUO F L ， DU B ， ZHANG L P ， et al . Feature learning using spatial-spectral hypergraph discriminant analysis for hyperspectral image ［J］. IEEE Transactions on Cybernetics ， 2019 ， 49 （ 7 ）： 2406 - 2419 . doi: 10.1109/tcyb.2018.2810806 http://dx.doi.org/10.1109/tcyb.2018.2810806

TONG X Y ， XIA G S ， LU Q ， et al . Land-cover classification with high-resolution remote sensing images using transferable deep models ［J］. Remote Sensing of Environment ， 2020 ， 237 ： 111322 . doi: 10.1016/j.rse.2019.111322 http://dx.doi.org/10.1016/j.rse.2019.111322

YU Y T ， LI Y Y ， WANG J ， et al . C²-CapsViT： cross-context and cross-scale capsule vision transformers for remote sensing image scene classification ［J］. IEEE Geoscience and Remote Sensing Letters ， 2022 ， 19 ： 1 - 5 . doi: 10.1109/lgrs.2022.3185454 http://dx.doi.org/10.1109/lgrs.2022.3185454

ZOU Q ， NI L H ， ZHANG T ， et al . Deep learning based feature selection for remote sensing scene classiﬁcation ［J］. IEEE Geoscience and Remote Sensing Letters ， 2015 ， 12 （ 11 ）： 2321 - 2325 . doi: 10.1109/lgrs.2015.2475299 http://dx.doi.org/10.1109/lgrs.2015.2475299

Bi Q ， QIN K ， LI Z L ， et al . A multiple-instance densely-connected ConvNet for aerial scene classiﬁcation ［J］. IEEE Transactions on Image Processing ， 2020 ， 9 ： 4911 - 4926 . doi: 10.1109/tip.2020.2975718 http://dx.doi.org/10.1109/tip.2020.2975718

CHENG G ， CAI L M ， LANG C B ， et al . SPNet： Siamese-prototype network for few-shot remote sensing image scene classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2022 ， 60 ： 1 - 11 . doi: 10.1109/tgrs.2021.3099033 http://dx.doi.org/10.1109/tgrs.2021.3099033

LI E Z ， XIA J S ， Du P J ， et al . Integrating multilayer features of convolutional neural networks for remote sensing scene classiﬁcation ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2017 ， 55 （ 10 ）： 5653 - 5665 . doi: 10.1109/tgrs.2017.2711275 http://dx.doi.org/10.1109/tgrs.2017.2711275

CHAIB S ， LIU H ， GU Y F ， et al . Deep feature fusion for VHR remote sensing scene classiﬁcation ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2017 ， 55 （ 8 ）： 4775 - 4784 . doi: 10.1109/tgrs.2017.2700322 http://dx.doi.org/10.1109/tgrs.2017.2700322

XU K J ， HUANG H ， DENG P F ， et al . Two-stream feature aggregation deep neural network for scene classification of remote sensing images ［J］. Information Sciences ， 2020 ， 539 ： 250 - 268 . doi: 10.1016/j.ins.2020.06.011 http://dx.doi.org/10.1016/j.ins.2020.06.011

FANG J ， YUAN Y ， LU X Q ， et al . Robust space–frequency joint representation for remote sensing image scene classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 10 ）： 7492 - 7502 . doi: 10.1109/tgrs.2019.2913816 http://dx.doi.org/10.1109/tgrs.2019.2913816

HE X ， CHEN Y S ， LIN Z H . Spatial-spectral transformer for hyperspectral image classification ［J］. Remote Sensing ， 2021 ， 13 （ 3 ）： 498 . doi: 10.3390/rs13030498 http://dx.doi.org/10.3390/rs13030498

BAZI Y ， BASHMAL L ， AL RAHHAL M M ， et al . Vision transformers for remote sensing image classification ［J］. Remote Sensing ， 2021 ， 13 （ 3 ）： 516 . doi: 10.3390/rs13030516 http://dx.doi.org/10.3390/rs13030516

ZHANG J R ， ZHAO H W ， LI J . TRS： Transformers for remote sensing scene classiﬁcation ［J］. Remote Sensing ， 2021 ， 13 （ 20 ）： 4143 . doi: 10.3390/rs13204143 http://dx.doi.org/10.3390/rs13204143

SHI C ， FANG L ， LV Z Y ， et al . Explainable scale distillation for hyperspectral image classification ［J］. Pattern Recognition ， 2022 ， 122 ： 108316 . doi: 10.1016/j.patcog.2021.108316 http://dx.doi.org/10.1016/j.patcog.2021.108316

HU Y T ， HUANG X ， LUO X Y ， et al . Variational Self-Distillation for Remote Sensing Scene Classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2022 ， 60 ： 1 - 13 . doi: 10.1109/tgrs.2022.3194549 http://dx.doi.org/10.1109/tgrs.2022.3194549

刘康，周壮，李盛阳，等 . 天宫一号高光谱遥感场景分类数据集及应用［J］. 遥感学报， 2020 ， 24 （ 9 ）： 1077 - 1087 . doi: 10.11834/jrs.20209323 http://dx.doi.org/10.11834/jrs.20209323

LIU K ， ZHOU Z ， LI S Y ， et al . Scene classification dataset using the Tiangong-1 hyperspectral remote sensing imagery and its applications ［J］. Journal of Remote Sensing ， 2020 ， 24 （ 9 ）： 1077 - 1087 . （in Chinese） . doi: 10.11834/jrs.20209323 http://dx.doi.org/10.11834/jrs.20209323

徐科杰，邓培芳，黄鸿 . HSRS-SC：面向遥感场景分类的高光谱图像数据集［J］. 中国图象图形学报， 2021 ， 26 （ 8 ）： 1809 - 1822 . doi: 10.11834/jig.200835 http://dx.doi.org/10.11834/jig.200835

XU K J ， DENG P F ， HUANG H . HSRS-SC： a hyperspectral image dataset for remote sensing scene classification ［J］. Journal of Image and Graphics ， 2021 ， 26 （ 8 ）： 1809 - 1822 . （in Chinese） . doi: 10.11834/jig.200835 http://dx.doi.org/10.11834/jig.200835

WANG Q ， HUANG W ， XIONG Z T ， et al . Looking closer at the scene： multiscale representation learning for remote sensing image scene classification ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2022 ， 33 （ 4 ）： 1414 - 1428 . doi: 10.1109/tnnls.2020.3042276 http://dx.doi.org/10.1109/tnnls.2020.3042276

WANG Q ， LIU S T ， CHANUSSOT J ， et al . Scene classification with recurrent attention of VHR remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 2 ）： 1155 - 1167 . doi: 10.1109/tgrs.2018.2864987 http://dx.doi.org/10.1109/tgrs.2018.2864987

浏览量

1432

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

多光谱融合的红外舰船目标轻量化检测

基于知识蒸馏的Transformer视觉跟踪器

多模态跨级特征知识转移下音频目标检测网络

融合知识蒸馏和注意力机制的光伏热斑检测

基于分数阶微分的高光谱图像特征提取与分类