面向航天光学遥感复杂场景图像的舰船检测

刘忻伟; 朴永杰; 郑亮亮; 徐伟; 籍浩林

doi:10.37188/OPE.20233106.0892

您当前的位置：

首页 >

文章列表页 >

面向航天光学遥感复杂场景图像的舰船检测

信息科学 | 更新时间：2023-03-25

- 面向航天光学遥感复杂场景图像的舰船检测
- Ship detection for complex scene images of space optical remote sensing
- 光学精密工程 2023年31卷第6期页码：892-904
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100039
  3.中国科学院天基动态快速光学成像技术重点实验室，吉林长春 130033
- 作者简介：
  
  [ "刘忻伟（1996-），男，山西忻州人，硕士研究生，2019年于内蒙古大学获得学士学位,主要从事图像处理、计算机视觉和机器学习方面的研究。E-mail: 984281928@qq.com" ]
  [ "朴永杰（1984-），男，吉林梅河口人，博士，研究员，2006年于吉林大学获得学士学位，2011年于中科院长春光机所获博士学位，目前主要从事星上电子学系统及图像传输处理方面的研究。E-mail: pyj0314@163.com" ]
- 基金信息：
  
  钱学森空间技术实验室创新工作站开放基金(GZZKFJJ2020003)
- DOI：10.37188/OPE.20233106.0892
  中图分类号： TP394.1;TH691.9
- 收稿日期：2022-06-08，
  
  修回日期：2022-07-08，
  
  纸质出版日期：2023-03-25
- 稿件说明：
移动端阅览
刘忻伟,朴永杰,郑亮亮等.面向航天光学遥感复杂场景图像的舰船检测[J].光学精密工程,2023,31(06):892-904.

LIU Xinwei,PIAO Yongjie,ZHENG Liangliang,et al.Ship detection for complex scene images of space optical remote sensing[J].Optics and Precision Engineering,2023,31(06):892-904.
刘忻伟,朴永杰,郑亮亮等.面向航天光学遥感复杂场景图像的舰船检测[J].光学精密工程,2023,31(06):892-904. DOI： 10.37188/OPE.20233106.0892.

LIU Xinwei,PIAO Yongjie,ZHENG Liangliang,et al.Ship detection for complex scene images of space optical remote sensing[J].Optics and Precision Engineering,2023,31(06):892-904. DOI： 10.37188/OPE.20233106.0892.

摘要

基于深度学习的目标检测算法直接应用于航天光学遥感（Space Optical Remote Sensing，SORS）复杂场景图像中会出现舰船目标检测效果不佳的问题。针对该问题，本文以近海复杂背景的密集排布舰船和远海多干扰中小目标舰船为检测对象，提出一种改进的YOLOX-s（Improved You Only Look Once-s，IM-YOLO-s）算法。在特征提取阶段，引入CA位置注意力模块，分别从高度与宽度两个方向对目标信息的位置进行权重分配，提高了模型的检测精度；在特征融合阶段，将BiFPN加权特征融合算法应用到IM-YOLO-s的颈部结构，进一步提升了小目标船只检测精度；在模型优化训练阶段，以CIoU损失替代IoU损失、以变焦损失替代置信度损失、调整类别损失权重，增大了正样本分布密集区域的训练权重，减少了密集分布船只的漏检率。另外，在HRSC2016数据集的基础上增加额外的离岸中小舰船图像，自建了HRSC2016-Gg数据集，HRSC2016-Gg数据集增强了海上船只及中小像素船只检测时的鲁棒性。通过数据集HRSC2016-Gg评测算法性能，实验结果表明：IM-YOLO-s对于SORS场景舰船检测的召回率为97.18%，AP@0.5为96.77%，F1值为0.95，较原YOLOX-s算法分别提高了2.23%，2.40%和0.01。这充分表明该算法可以对SORS复杂背景图像进行高质量舰船检测。

Abstract

When deep-learning-based target detection algorithms are directly applied to the complex scene images generated by space optical remote sensing （SORS）， the ship target detection effect is often poor. To address this problem， this paper proposes an improved YOLOX-S （IM-YOLO-s） algorithm， which uses densely arranged offshore ships with complex backgrounds and ships with multi-interference and small targets in the open sea as detection objects. In the feature extraction stage， the CA location attention module is introduced to distribute the weight of the target information along the height and width directions， and this improves the detection accuracy of the model. In the feature fusion stage， the BiFPN weighted feature fusion algorithm is applied to the neck structure of IM-YOLO-s， which further improves the detection accuracy of small target ships. In the training stage of model optimization， the CIoU loss is used to replace the IoU loss， zoom loss is used to replace the confidence loss， and weight of the category loss is adjusted， which increases the training weight in the densely distributed areas of positive samples and reduces the missed detection rate of densely distributed ships. In addition， based on the HRSC2016 dataset， additional images of small and medium-sized offshore ships are added， and the HRSC2016-Gg dataset is constructed. The HRSC2016-Gg dataset enhances the robustness of marine ship and small and medium-sized pixel ship detection. The performance of the algorithm is evaluated based on the dataset HRSC2016-Gg. The experimental results indicate that the recall rate of IM-YOLO-s for ship detection in the SORS scene is 97.18%， AP@0.5 is 96.77%， and the F1 value is 0.95. These values are 2.23%， 2.40%， and 0.01 higher than those of the original YOLOX-s algorithm， respectively. This indicates that the algorithm can achieve high quality ship detection from SORS complex background images.

关键词

Keywords

references

姜鑫，陈武雄，聂海涛，等 . 航空遥感影像的实时舰船目标检测［J］. 光学精密工程， 2020 ， 28 （ 10 ）： 2360 - 2369 . doi: 10.37188/ope.20202810.2360 http://dx.doi.org/10.37188/ope.20202810.2360

JIANG X ， CHEN W X ， NIE H T ， et al . Real-time ship target detection based on aerial remote sensing images ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 10 ）： 2360 - 2369 . （in Chinese） . doi: 10.37188/ope.20202810.2360 http://dx.doi.org/10.37188/ope.20202810.2360

王慧利，朱明，蔺春波，等 . 光学遥感图像中复杂海背景下的舰船检测［J］. 光学精密工程， 2018 ， 26 （ 3 ）： 723 - 732 . doi: 10.3788/ope.20182603.0723 http://dx.doi.org/10.3788/ope.20182603.0723

WANG H L ， ZHU M ， LIN CH B ， et al . Ship detection of complex sea background in optical remote sensing images ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 3 ）： 723 - 732 . （in Chinese） . doi: 10.3788/ope.20182603.0723 http://dx.doi.org/10.3788/ope.20182603.0723

丁鹏，张叶，贾平，等 . 基于多尺度多特征视觉显著性的海面舰船检测［J］. 光学精密工程， 2017 ， 25 （ 9 ）： 2461 - 2468 . doi: 10.3788/ope.20172509.2461 http://dx.doi.org/10.3788/ope.20172509.2461

DING P ， ZHANG Y ， JIA P ， et al . Ship detection on sea surface based on multi-feature and multi-scale visual attention ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 9 ）： 2461 - 2468 . （in Chinese） . doi: 10.3788/ope.20172509.2461 http://dx.doi.org/10.3788/ope.20172509.2461

兰旭婷，郭中华，李昌昊 . 基于注意力与特征融合的光学遥感图像飞机目标检测［J］. 液晶与显示， 2021 ， 36 （ 11 ）： 1506 - 1515 . doi: 10.37188/CJLCD.2021-0088 http://dx.doi.org/10.37188/CJLCD.2021-0088

LAN X T ， GUO ZH H ， LI CH H . Attention and feature fusion for aircraft target detection in optical remote sensing images ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 11 ）： 1506 - 1515 . （in Chinese） . doi: 10.37188/CJLCD.2021-0088 http://dx.doi.org/10.37188/CJLCD.2021-0088

王浩桐，郭中华 . 改进SSD的飞机遥感图像目标检测［J］. 液晶与显示， 2022 ， 37 （ 1 ）： 116 - 127 . doi: 10.37188/CJLCD.2021-0203 http://dx.doi.org/10.37188/CJLCD.2021-0203

WANG H T ， GUO ZH H . Improved SSD based aircraft remote sensing image target detection ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 1 ）： 116 - 127 . （in Chinese） . doi: 10.37188/CJLCD.2021-0203 http://dx.doi.org/10.37188/CJLCD.2021-0203

高彦宇，尹怡欣 . 一种基于支持向量机和半监督期望最大化算法的分级图像标识方法［J］. 自动化学报， 2010 ， 36 （ 7 ）： 960 - 967 . doi: 10.3724/sp.j.1004.2010.00960 http://dx.doi.org/10.3724/sp.j.1004.2010.00960

GAO Y Y ， YIN Y X . A hierarchical image annotation method based on SVM and semi-supervised EM ［J］. Acta Automatica Sinica ， 2010 ， 36 （ 7 ）： 960 - 967 . （in Chinese） . doi: 10.3724/sp.j.1004.2010.00960 http://dx.doi.org/10.3724/sp.j.1004.2010.00960

DONG C ， LIU J H ， XU F . Ship detection in optical remote sensing images based on saliency and a rotation-invariant descriptor ［J］. Remote Sensing ， 2018 ， 10 （ 3 ）： 400 . doi: 10.3390/rs10030400 http://dx.doi.org/10.3390/rs10030400

JIANG H Z ， LEARNED-MILLER E . Face Detection with the Faster R-CNN ［C］. 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition （FG 2017 ）. May 30 - June 3 ， 2017， Washington， DC， USA. IEEE ， 2017： 650 - 657 . doi: 10.1109/fg.2017.82 http://dx.doi.org/10.1109/fg.2017.82

GIRSHICK R . Fast R-CNN ［C］. 2015 IEEE International Conference on Computer Vision （ICCV）. 713，2015 ， Santiago， Chile. IEEE ， 2016 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322

REDMON J ， FARHADI A . Yolov3： An incremental improvement ［J］. arXiv preprint arXiv ： 1804.02767 ， 2018 .

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. 2020 ： arXiv ： 2004 . 10934 . https：//arxiv.org/abs/2004.10934 https://arxiv.org/abs/2004.10934

LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD： single shot MultiBox detector ［J］. Computer Vision ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2

WANG Y Y ， WANG C ， ZHANG H ， et al . Automatic ship detection based on RetinaNet using multi-resolution Gaofen-3 imagery ［J］. Remote Sensing ， 2019 ， 11 （ 5 ）： 531 . doi: 10.3390/rs11050531 http://dx.doi.org/10.3390/rs11050531

LAW H ， DENG J . CornerNet： detecting objects as paired keypoints ［J］. Computer Vision ， 2018 ： 765 - 781 . doi: 10.1007/978-3-030-01264-9_45 http://dx.doi.org/10.1007/978-3-030-01264-9_45

DUAN K W ， BAI S ， XIE L X ， et al . CenterNet： Keypoint Triplets for Object Detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 6568 - 6577 . doi: 10.1109/iccv.2019.00667 http://dx.doi.org/10.1109/iccv.2019.00667

TIAN Z ， SHEN C H ， CHEN H ， et al . FCOS： Fully Convolutional One-Stage Object Detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 9626 - 9635 . doi: 10.1109/iccv.2019.00972 http://dx.doi.org/10.1109/iccv.2019.00972

KONG T ， SUN F C ， LIU H P ， et al . FoveaBox： beyound anchor-based object detection ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 7389 - 7398 . doi: 10.1109/tip.2020.3002345 http://dx.doi.org/10.1109/tip.2020.3002345

王玺坤，姜宏旭，林珂玉 . 基于改进型YOLO算法的遥感图像舰船检测［J］. 北京航空航天大学学报， 2020 ， 46 （ 6 ）： 1184 - 1191 .

WANG X K ， JIANG H X ， LIN K Y . Remote sensing image ship detection based on modified YOLO algorithm ［J］. Journal of Beijing University of Aeronautics and Astronautics ， 2020 ， 46 （ 6 ）： 1184 - 1191 . （in Chinese）

史文旭，鲍佳慧，姚宇 . 基于深度学习的遥感图像目标检测与识别［J］. 计算机应用， 2020 ， 40 （ 12 ）： 3558 - 3562 . doi: 10.11772/j.issn.1001-9081.2020040579 http://dx.doi.org/10.11772/j.issn.1001-9081.2020040579

SHI W X ， BAO J H ， YAO Y . Remote sensing image target detection and identification based on deep learning ［J］. Journal of Computer Applications ， 2020 ， 40 （ 12 ）： 3558 - 3562 . （in Chinese） . doi: 10.11772/j.issn.1001-9081.2020040579 http://dx.doi.org/10.11772/j.issn.1001-9081.2020040579

焦军峰，靳国旺，熊新，等 . 旋转矩形框与CBAM改进RetinaNet的SAR图像近岸舰船检测［J］. 测绘科学技术学报， 2020 ， 37 （ 6 ）： 603 - 609 .

JIAO J F ， JIN G W ， XIONG X ， et al . SAR images nearshore ship detection based on RetinaNet algorithm with rotated rectangular box ［J］. Journal of Geomatics Science and Technology ， 2020 ， 37 （ 6 ）： 603 - 609 . （in Chinese）

GE Z ， LIU S ， WANG F ， et al . YOLOX： exceeding YOLO series in 2021 ［EB/OL］. 2021 ： arXiv ： 2107 . 08430 . https：//arxiv.org/abs/2107.08430 https://arxiv.org/abs/2107.08430

HOU Q B ， ZHOU D Q ， FENG J S . Coordinate Attention for Efficient Mobile Network Design ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 13708 - 13717 . doi: 10.1109/cvpr46437.2021.01350 http://dx.doi.org/10.1109/cvpr46437.2021.01350

ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 . doi: 10.1609/aaai.v34i07.6999 http://dx.doi.org/10.1609/aaai.v34i07.6999

GE Z ， LIU S T ， LI Z M ， et al . OTA： Optimal Transport Assignment for Object Detection ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 303 - 312 . doi: 10.1109/cvpr46437.2021.00037 http://dx.doi.org/10.1109/cvpr46437.2021.00037

HU J ， SHEN L ， SUN G . Squeeze and Excitation Networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［J］. Computer Vision ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

邱晓华，李敏，邓光芒，等 . 多层卷积特征融合的双波段决策级船舶识别［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 183 - 190 . doi: 10.37188/OPE.20212901.0183 http://dx.doi.org/10.37188/OPE.20212901.0183

QIU X H ， LI M ， DENG G M ， et al . Multi-layer convolutional features fusion for dual-band decision-level ship recognition ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 183 - 190 . （in Chinese） . doi: 10.37188/OPE.20212901.0183 http://dx.doi.org/10.37188/OPE.20212901.0183

TAN M X ， PANG R M ， LE Q V . EfficientDet： Scalable and Efficient Object Detection ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 10778 - 10787 . doi: 10.1109/cvpr42600.2020.01079 http://dx.doi.org/10.1109/cvpr42600.2020.01079

ZHANG H Y ， WANG Y ， DAYOUB F ， et al . VarifocalNet： an IoU-aware Dense Object Detector ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 8510 - 8519 . doi: 10.1109/cvpr46437.2021.00841 http://dx.doi.org/10.1109/cvpr46437.2021.00841

LIU Z K ， YUAN L ， WENG L B ， et al . A High Resolution Optical Satellite Image Dataset for Ship Recognition and Some New Baselines ［C］. Proceedings of the 6th International Conference on Pattern Recognition Applications and Methods. February 24 - 26 ， 2017 . Porto， Portugal. SCITEPRESS-Science and Technology Publications ， 2017 ： 324 - 331 .

浏览量

604

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多分支残差注意力网络的水下图像增强

基于策略梯度和伪孪生网络的异源图像匹配

面向点云分类和分割的形状自适应特征聚合网络

基于机载的红外动态目标视频实时超分辨率重建

数据驱动的多模复合制导信息融合及其试验验证