面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络

刘英旭; 蒲春宇; 许典坤; 杨沂川; 黄鸿

doi:10.37188/OPE.20233117.2598

您当前的位置：

首页 >

文章列表页 >

面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络

信息科学 | 更新时间：2023-09-22

- 面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络
- Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification
- 光学精密工程 2023年31卷第17期页码：2598-2610
- 作者机构：
  
  1.重庆大学光电技术及系统教育部重点实验室，重庆 400044
  2.重庆大学光电工程学院测控技术与仪器专业，重庆 400044
- 作者简介：
  
  [ "刘英旭（2000-），男，吉林长春人，硕士研究生，2022年于重庆大学获得学士学位，主要研究方向为遥感图像处理和机器学习。E-mail：liuyingxu@stu.cqu.edu.cn" ]
  [ "黄鸿（1980-），男，湖南新宁人，教授，博士生导师，2003，2005，2008年于重庆大学分别获得学士、硕士和博士学位，主要从事流形学习、模式识别、遥感影像智能化处理等方面的研究。E-mail：hhuang@cqu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金项目(42071302);重庆市留学人员回国创业创新支持计划项目(cx2019144)
- DOI：10.37188/OPE.20233117.2598
  中图分类号：
扫描看全文
刘英旭, 蒲春宇, 许典坤, 等. 面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络[J]. 光学精密工程, 2023,31(17):2598-2610.

LIU Yingxu, PU Chunyu, XU Diankun, et al. Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification[J]. Optics and Precision Engineering, 2023,31(17):2598-2610.
刘英旭, 蒲春宇, 许典坤, 等. 面向高光谱影像场景分类的轻量化深度全局-局部知识蒸馏网络[J]. 光学精密工程, 2023,31(17):2598-2610. DOI： 10.37188/OPE.20233117.2598.

LIU Yingxu, PU Chunyu, XU Diankun, et al. Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification[J]. Optics and Precision Engineering, 2023,31(17):2598-2610. DOI： 10.37188/OPE.20233117.2598.

摘要

针对目标场景复杂的空间布局和高光谱影像固有的空-谱信息冗余等挑战，提出了端到端的轻量化深度全局-局部知识蒸馏（Lightweight Deep Global-Local Knowledge Distillation，LDGLKD）网络。为探索空-谱特征的全局序列属性，教师模型视觉Transformer（Vision Transformer，ViT）被用来指导轻量化学生模型进行高光谱影像场景分类。LDGLKD选择预训练的VGG16作为学生模型来提取局部细节信息，将ViT和VGG16通过知识蒸馏协同训练后，教师模型将所学习到的远程上下文关系向小规模学生模型进行传递。LDGLKD可通过知识蒸馏结合上述两种模型的优点，在欧比特高光谱影像场景分类数据集OHID-SC及公开的高光谱遥感图像数据集HSRS-SC上的最佳分类精度分别达到91.62%和97.96%。实验结果表明：LDGLKD网络具有良好的分类性能。根据欧比特珠海一号卫星提供的遥感数据构建的OHID-SC可以反映详细的地表覆盖情况，并为高光谱场景分类任务提供数据支撑。

Abstract

To address the challenges of the complex spatial layouts of target scenes and inherent spatial-spectral information redundancy of HSIs， an end-to-end lightweight deep global–local knowledge distillation （LDGLKD） method is proposed herein. To explore the global sequence properties of spatial-spectral features， the vision transformer （ViT） is used as the teacher to guide the lightweight student model for HSI scene classification. In LDGLKD， pre-trained VGG16 is selected as the student model to extract local detail information. After collaborative training of ViT and VGG16 through knowledge distillation， the teacher model transmits the learned long-range contextual information to the small-scale student model. By combining the advantages of the two models through knowledge distillation， the optimal classification accuracy of LDGLKD on the Orbita HSI scene classification dataset （OHID-SC） and hyperspectral remote sensing dataset for scene classification （HSRS） reached 91.62% and 97.96%， respectively. The experimental results revealed that the proposed LDGLKD method presented good classification performance. In addition， the OHID-SC based on the remote sensing data obtained by the Orbita Zhuhai-1 satellite could reflect the detailed information of land cover and provide data support for HSI scene classification.

关键词

高光谱场景分类特征提取视觉Transformer知识蒸馏基准数据集

Keywords

hyperspectral scene classificationfeature extractionvision transformerknowledge distillationbenchmark dataset

references

闫敬文，陈宏达，刘蕾. 高光谱图像分类的研究进展［J］. 光学精密工程， 2019， 27（3）： 680-693. doi: 10.3788/ope.20192703.0680http://dx.doi.org/10.3788/ope.20192703.0680

YAN J W，CHEN H D，LIU L. Overview of hyperspectral image classification ［J］. Opt. Precision Eng.， 2019， 27（3）： 680-693. （in Chinese）. doi: 10.3788/ope.20192703.0680http://dx.doi.org/10.3788/ope.20192703.0680

丁国绅，乔延利，易维宁，等. 基于高光谱图像的改进SIFT特征提取与匹配［J］. 光学精密工程， 2020， 28（4）： 954-962. doi: 10.3788/OPE.20202804.0954http://dx.doi.org/10.3788/OPE.20202804.0954

DING G S，QIAO Y L，YI W N，et al. Improved SIFT feature extraction and matching technology based on hyperspectral image ［J］. Opt. Precision Eng.， 2020， 28（4）： 954-962. （in Chinese）. doi: 10.3788/OPE.20202804.0954http://dx.doi.org/10.3788/OPE.20202804.0954

陈静，张静. 改进高斯过程回归的高光谱空谱联合分类算法［J］. 光学精密工程， 2019， 27（7）： 1649-1660. doi: 10.3788/ope.20192707.1649http://dx.doi.org/10.3788/ope.20192707.1649

CHEN J， ZHANG J. Spectral-spatial joint classification of hyperspectral image algorithm based on improved Gaussian process regression ［J］. Opt. Precision Eng.， 2019， 27（7）： 1649-1660. （in Chinese）. doi: 10.3788/ope.20192707.1649http://dx.doi.org/10.3788/ope.20192707.1649

CAI Y M， LIU X B， CAI Z H. BS-nets： an end-to-end framework for band selection of hyperspectral image ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2020， 58（3）： 1969-1984. doi: 10.1109/tgrs.2019.2951433http://dx.doi.org/10.1109/tgrs.2019.2951433

HU F， XIA G S， YANG W， et al. Mining deep semantic representations for scene classification of high-resolution remote sensing imagery ［J］. IEEE Transactions on Big Data， 2020， 6（3）： 522-536. doi: 10.1109/tbdata.2019.2916880http://dx.doi.org/10.1109/tbdata.2019.2916880

LUO F L， DU B， ZHANG L P， et al. Feature learning using spatial-spectral hypergraph discriminant analysis for hyperspectral image ［J］. IEEE Transactions on Cybernetics， 2019， 49（7）： 2406-2419. doi: 10.1109/tcyb.2018.2810806http://dx.doi.org/10.1109/tcyb.2018.2810806

TONG X Y， XIA G S， LU Q， et al. Land-cover classification with high-resolution remote sensing images using transferable deep models ［J］. Remote Sensing of Environment， 2020， 237： 111322. doi: 10.1016/j.rse.2019.111322http://dx.doi.org/10.1016/j.rse.2019.111322

YU Y T， LI Y Y， WANG J， et al. C²-CapsViT： cross-context and cross-scale capsule vision transformers for remote sensing image scene classification ［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 1-5. doi: 10.1109/lgrs.2022.3185454http://dx.doi.org/10.1109/lgrs.2022.3185454

ZOU Q， NI L H， ZHANG T， et al. Deep learning based feature selection for remote sensing scene classiﬁcation ［J］. IEEE Geoscience and Remote Sensing Letters， 2015， 12（11）： 2321-2325. doi: 10.1109/lgrs.2015.2475299http://dx.doi.org/10.1109/lgrs.2015.2475299

Bi Q， QIN K， LI Z L， et al. A multiple-instance densely-connected ConvNet for aerial scene classiﬁcation ［J］. IEEE Transactions on Image Processing， 2020， 9： 4911-4926. doi: 10.1109/tip.2020.2975718http://dx.doi.org/10.1109/tip.2020.2975718

CHENG G， CAI L M， LANG C B， et al. SPNet： Siamese-prototype network for few-shot remote sensing image scene classification ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-11. doi: 10.1109/tgrs.2021.3099033http://dx.doi.org/10.1109/tgrs.2021.3099033

LI E Z， XIA J S， Du P J， et al. Integrating multilayer features of convolutional neural networks for remote sensing scene classiﬁcation ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2017， 55（10）： 5653-5665. doi: 10.1109/tgrs.2017.2711275http://dx.doi.org/10.1109/tgrs.2017.2711275

CHAIB S， LIU H， GU Y F， et al. Deep feature fusion for VHR remote sensing scene classiﬁcation ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2017， 55（8）： 4775-4784. doi: 10.1109/tgrs.2017.2700322http://dx.doi.org/10.1109/tgrs.2017.2700322

XU K J， HUANG H， DENG P F， et al. Two-stream feature aggregation deep neural network for scene classification of remote sensing images ［J］. Information Sciences， 2020， 539： 250-268. doi: 10.1016/j.ins.2020.06.011http://dx.doi.org/10.1016/j.ins.2020.06.011

FANG J， YUAN Y， LU X Q， et al. Robust space–frequency joint representation for remote sensing image scene classification ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（10）： 7492-7502. doi: 10.1109/tgrs.2019.2913816http://dx.doi.org/10.1109/tgrs.2019.2913816

HE X， CHEN Y S， LIN Z H. Spatial-spectral transformer for hyperspectral image classification ［J］. Remote Sensing， 2021， 13（3）： 498. doi: 10.3390/rs13030498http://dx.doi.org/10.3390/rs13030498

BAZI Y， BASHMAL L， AL RAHHAL M M ， et al. Vision transformers for remote sensing image classification ［J］. Remote Sensing， 2021， 13（3）： 516. doi: 10.3390/rs13030516http://dx.doi.org/10.3390/rs13030516

ZHANG J R， ZHAO H W， LI J. TRS： Transformers for remote sensing scene classiﬁcation ［J］. Remote Sensing， 2021， 13（20）： 4143. doi: 10.3390/rs13204143http://dx.doi.org/10.3390/rs13204143

SHI C， FANG L， LV Z Y， et al. Explainable scale distillation for hyperspectral image classification ［J］. Pattern Recognition， 2022， 122： 108316. doi: 10.1016/j.patcog.2021.108316http://dx.doi.org/10.1016/j.patcog.2021.108316

HU Y T， HUANG X， LUO X Y， et al. Variational Self-Distillation for Remote Sensing Scene Classification ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-13. doi: 10.1109/tgrs.2022.3194549http://dx.doi.org/10.1109/tgrs.2022.3194549

刘康，周壮，李盛阳，等. 天宫一号高光谱遥感场景分类数据集及应用［J］. 遥感学报， 2020， 24（9）： 1077-1087. doi: 10.11834/jrs.20209323http://dx.doi.org/10.11834/jrs.20209323

LIU K， ZHOU Z， LI S Y， et al. Scene classification dataset using the Tiangong-1 hyperspectral remote sensing imagery and its applications ［J］. Journal of Remote Sensing， 2020， 24（9）： 1077-1087. （in Chinese）. doi: 10.11834/jrs.20209323http://dx.doi.org/10.11834/jrs.20209323

徐科杰，邓培芳，黄鸿.HSRS-SC：面向遥感场景分类的高光谱图像数据集［J］. 中国图象图形学报，2021，26（8）：1809-1822. doi: 10.11834/jig.200835http://dx.doi.org/10.11834/jig.200835

XU K J， DENG P F， HUANG H. HSRS-SC： a hyperspectral image dataset for remote sensing scene classification ［J］. Journal of Image and Graphics， 2021， 26（8）： 1809-1822. （in Chinese）. doi: 10.11834/jig.200835http://dx.doi.org/10.11834/jig.200835

WANG Q， HUANG W， XIONG Z T， et al. Looking closer at the scene： multiscale representation learning for remote sensing image scene classification ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022， 33（4）： 1414-1428. doi: 10.1109/tnnls.2020.3042276http://dx.doi.org/10.1109/tnnls.2020.3042276

WANG Q， LIU S T， CHANUSSOT J， et al. Scene classification with recurrent attention of VHR remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（2）： 1155-1167. doi: 10.1109/tgrs.2018.2864987http://dx.doi.org/10.1109/tgrs.2018.2864987

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

结合改进ConvNeXt网络与知识蒸馏的天气识别

多分支无锚框网络密集行人检测算法

SENet生成对抗网络在图像语义描述中的应用

面向高光谱图像分类的半监督双流网络

相位敏感光时域反射仪的信号处理方法综述