细粒度遥感舰船开集识别

柳长源; 李婷; 兰朝凤

doi:10.37188/OPE.20233124.3618

您当前的位置：

首页 >

文章列表页 >

细粒度遥感舰船开集识别

信息科学 | 更新时间：2023-12-28

- 细粒度遥感舰船开集识别
- Fine-grained remote sensing ship open set recognition
- 光学精密工程 2023年31卷第24期页码：3618-3629
- 作者机构：
  
  哈尔滨理工大学测控技术与通信工程学院，黑龙江哈尔滨 150080
- 作者简介：
  
  [ "柳长源（1970-），男，黑龙江哈尔滨人，博士，副教授，硕士生导师，1993年于吉林大学获得理学学士学位，2004年于哈尔滨理工大学获得硕士学位，2013年于哈尔滨工程大学获得博士学位，2016-2017年在美国普渡大学做访问学者，自动化学会会员。研究方向为图像处理、人工智能、模式识别等。E-mail： liuchangyuan@hrbust.edu.cn" ]
- 基金信息：
  
  黑龙江省自然科学基金资助项目(F2016022);国家自然科学基金资助项目(11804068)
- DOI：10.37188/OPE.20233124.3618
  中图分类号： TP391.41
- 收稿日期：2023-05-16，
  
  修回日期：2023-07-05，
  
  纸质出版日期：2023-12-25
- 稿件说明：
移动端阅览
柳长源,李婷,兰朝凤.细粒度遥感舰船开集识别[J].光学精密工程,2023,31(24):3618-3629.

LIU Changyuan,LI Ting,LAN Chaofeng.Fine-grained remote sensing ship open set recognition[J].Optics and Precision Engineering,2023,31(24):3618-3629.
柳长源,李婷,兰朝凤.细粒度遥感舰船开集识别[J].光学精密工程,2023,31(24):3618-3629. DOI： 10.37188/OPE.20233124.3618.

LIU Changyuan,LI Ting,LAN Chaofeng.Fine-grained remote sensing ship open set recognition[J].Optics and Precision Engineering,2023,31(24):3618-3629. DOI： 10.37188/OPE.20233124.3618.

摘要

为了解决传统深度卷积神经网络在舰船图像细粒度分类中的局限性，本文设计了细粒度遥感舰船开集识别模型。首先，引入了基于注意力机制的STN模块，加在特征提取网络前用来过滤背景信息；然后在STN模块后接一个多尺度的并行的卷积结构，强化网络对不同尺度的局部区域的特征提取能力；接着将提取到的特征分别输入基分支和元嵌入分支，用来增大类间方差和减小类内方差，同时强化模型对尾类小样本的学习；最后对两个分支的分类结果进行决策融合，根据设定的阈值判别已知类和未知类进一步对已知类进行细分。在平衡与不平衡分布的FGSCR-42数据集上进行了4种开放度实验，结果表明：在平衡分布的数据集上4种开放度的平均准确率为90.5%，86.3%，85.7%，85.1%，不平衡分布数据集的平均准确率为90.0%，85.1%，84.3%，84.1%。与当前主流的舰船识别方法相比，本文方法分类具有更高的识别准确率和更好的泛化能力。

Abstract

In this study， a fine-grained remote sensing ship open-set recognition model is designed to address the limitations of traditional deep convolutional neural networks in fine-grained classification of ship images. First， a STN module based on attention mechanism is introduced before the feature extraction network to filter background information. In addition， a multi-scale parallel convolution structure is added after the STN module to enhance the feature extraction ability of the network for local regions of different scales. The extracted features are input into the base and meta-embedded branches， to increase inter-class variance and reduce intra-class variance， strengthening the model's learning of the tail class small samples concomitantly. Finally， the classification results of the two branches are fused； known and unknown classes are distinguished according to the set threshold； and known classes are subdivided. Four types of openness experiments were conducted on the FGSCR-42 datasets with balanced and unbalanced distributions. The results show that the average accuracies of the four types of openness in the balanced distribution dataset are 90.5%， 86.3%， 85.7%， and 85.1%； the corresponding average accuracies of the unbalanced distribution dataset are 90.0%， 85.1%， 84.3%， and 84.1%. Compared with the current mainstream ship recognition methods， the proposed method has higher recognition accuracy and better generalization ability.

关键词

Keywords

references

杜梅，李景景 . 复杂背景遥感影像中小目标船舶细粒度智能识别［J］. 舰船科学技术， 2021 ， 43 （ 20 ）： 205 - 207 . doi: 10.3404/j.issn.1672-7649.2021.10A.069 http://dx.doi.org/10.3404/j.issn.1672-7649.2021.10A.069

DU M ， LI J J . Fine-grained intelligent recognition of small target ships in remote sensing images with complex background ［J］. Ship Science and Technology ， 2021 ， 43 （ 20 ）： 205 - 207 . （in Chinese） . doi: 10.3404/j.issn.1672-7649.2021.10A.069 http://dx.doi.org/10.3404/j.issn.1672-7649.2021.10A.069

刘忻伟，朴永杰，郑亮亮，等 . 面向航天光学遥感复杂场景图像的舰船检测［J］. 光学精密工程， 2023 ， 31 （ 6 ）： 892 - 904 . doi: 10.37188/OPE.20233106.0892 http://dx.doi.org/10.37188/OPE.20233106.0892

LIU X W ， PIAO Y J ， ZHENG L L ， et al . Ship detection for complex scene images of space optical remote sensing ［J］. Opt. Precision Eng. ， 2023 ， 31 （ 6 ）： 892 - 904 . （in Chinese） . doi: 10.37188/OPE.20233106.0892 http://dx.doi.org/10.37188/OPE.20233106.0892

肖术明，张叶，常旭岭，等 . 面向航天光学遥感场景压缩感知测量值的舰船检测［J］. 光学精密工程， 2023 ， 31 （ 4 ）： 517 - 532 . doi: 10.37188/OPE.20233104.0517 http://dx.doi.org/10.37188/OPE.20233104.0517

XIAO S M ， ZHANG Y ， CHANG X L ， et al . Ship detection oriented to compressive sensing measurements of space optical remote sensing scenes ［J］. Opt. Precision Eng. ， 2023 ， 31 （ 4 ）： 517 - 532 . （in Chinese） . doi: 10.37188/OPE.20233104.0517 http://dx.doi.org/10.37188/OPE.20233104.0517

LIN T Y ， ROYCHOWDHURY A ， MAJI S . Bilinear CNN Models for Fine-Grained Visual Recognition ［C］. 2015 IEEE International Conference on Computer Vision （ICCV） . 7 - 13 ， 2015， Santiago， Chile. IEEE ， 2016： 1449 - 1457 . doi: 10.1109/iccv.2015.170 http://dx.doi.org/10.1109/iccv.2015.170

FU J L ， ZHENG H L ， MEI T . Look closer to see better： recurrent attention convolutional neural network for fine-grained image recognition ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 4476 - 4484 . doi: 10.1109/cvpr.2017.476 http://dx.doi.org/10.1109/cvpr.2017.476

CHEN Y ， BAI Y L ， ZHANG W ， et al . Destruction and construction learning for fine-grained image recognition ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 5152 - 5161 . doi: 10.1109/cvpr.2019.00530 http://dx.doi.org/10.1109/cvpr.2019.00530

KODAMA Y ， WANG Y N ， KAWAKAMI R ， et al . Open-set recognition with supervised contrastive learning ［C］. 2021 17th International Conference on Machine Vision and Applications （MVA） . 25 - 27 ， 2021， Aichi， Japan. IEEE ， 2021： 1 - 5 . doi: 10.23919/mva51890.2021.9511382 http://dx.doi.org/10.23919/mva51890.2021.9511382

DAI W ， DIAO W H ， SUN X ， et al . CAMV： class activation mapping value towards open set fine-grained recognition ［J］. IEEE Access ， 2021 ， 9 ： 8167 - 8177 . doi: 10.1109/access.2021.3049577 http://dx.doi.org/10.1109/access.2021.3049577

CAI Z W ， VASCONCELOS N . Cascade R-CNN： high quality object detection and instance segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 5 ）： 1483 - 1498 . doi: 10.1109/tpami.2019.2956516 http://dx.doi.org/10.1109/tpami.2019.2956516

VENDRAMINI M ， OLIVEIRA H ， MACHADO A ， et al . Opening deep neural networks with generative models ［C］. 2021 IEEE International Conference on Image Processing （ICIP） . 19 - 22 ， 2021， Anchorage， AK， USA. IEEE ， 2021： 1314 - 1318 . doi: 10.1109/icip42928.2021.9506672 http://dx.doi.org/10.1109/icip42928.2021.9506672

YANG Y ， HOU C ， LANG Y ， et al . Open-set human activity recognition based on micro-Doppler signatures ［J］. Pattern Recognition ， 2019 ， 85 ： 60 - 69 . doi: 10.1016/j.patcog.2018.07.030 http://dx.doi.org/10.1016/j.patcog.2018.07.030

张婷 . 基于注意力机制的图像内容理解与视觉推理算法研究［D］. 成都：电子科技大学， 2021 .

ZHANG T . Research on Image Content Understanding and Visual Reasoning Algorithm Based on Attention Mechanism ［D］. Chengdu ： University of Electronic Science and Technology of China ， 2021 . （in Chinese）

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18-23，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

WANG Q L ， WU B G ， ZHU P F ， et al . ECA-Net： efficient channel attention for deep convolutional neural networks ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 11531 - 11539 . doi: 10.1109/cvpr42600.2020.01155 http://dx.doi.org/10.1109/cvpr42600.2020.01155

WOO S ， PARK J ， LEE J Y ， et al . CBAM ： Convolutional Block Attention Module ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

JADERBERG M ， SIMONYAN K ， ZISSERMAN A ， et al . Spatial Transformer Networks ［EB/OL］. 2015 ： arXiv ： 1506 . 02025 . https：//arxiv.org/abs/1506.02025.pdf https://arxiv.org/abs/1506.02025.pdf . doi: 10.1007/s11263-015-0823-z http://dx.doi.org/10.1007/s11263-015-0823-z

ZHANG H L ， XU H ， LIN T E . Deep open intent classification with adaptive decision boundary ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2021 ， 35 （ 16 ）： 14374 - 14382 . doi: 10.1609/aaai.v35i16.17690 http://dx.doi.org/10.1609/aaai.v35i16.17690

WEN Y D ， ZHANG K P ， LI Z F ， et al . A Discriminative Feature Learning Approach for Deep Face Recognition ［M］. Computer Vision - ECCV 2016 . Cham ： Springer International Publishing ， 2016 ： 499 - 515 . doi: 10.1007/978-3-319-46478-7_31 http://dx.doi.org/10.1007/978-3-319-46478-7_31

XU X W ， ZHANG X L ， ZHANG T W . Multi-Scale SAR Ship Classification with Convolutional Neural Network ［C］. 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS . 11 - 16 ， 2021， Brussels， Belgium. IEEE ， 2021： 4284 - 4287 . doi: 10.1109/igarss47720.2021.9553116 http://dx.doi.org/10.1109/igarss47720.2021.9553116

LIU Z W ， MIAO Z Q ， ZHAN X H ， et al . Large-scale long-tailed recognition in an open world ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 2532 - 2541 . doi: 10.1109/cvpr.2019.00264 http://dx.doi.org/10.1109/cvpr.2019.00264

LUO X ， YU Z J ， ZHAO Z G ， et al . Effective short text classification via the fusion of hybrid features for IoT social data ［J］. Digital Communications and Networks ， 2022 （ 6 ）： 942 - 954 . doi: 10.1016/j.dcan.2022.09.015 http://dx.doi.org/10.1016/j.dcan.2022.09.015

DI Y H ， JIANG Z G ， ZHANG H P . A public dataset for fine-grained ship classification in optical remote sensing images ［J］. Remote Sensing ， 2021 ， 13 （ 4 ）： 747 . doi: 10.3390/rs13040747 http://dx.doi.org/10.3390/rs13040747

GENG C X ， HUANG S J ， CHEN S C . Recent advances in open set recognition： a survey ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 10 ）： 3614 - 3631 . doi: 10.1109/tpami.2020.2981604 http://dx.doi.org/10.1109/tpami.2020.2981604

浏览量

1023

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多分支残差注意力网络的水下图像增强

半监督式野生动物夜间目标端到端检测

基于注意力机制的宽波段小目标实时去模糊

融合全局信息与双域注意力机制的光学遥感飞机目标检测

基于MA-DETR的SAR图像飞机目标检测