多元特征提取与表征优化的遥感多尺度目标检测

孟月波; 王菲; 刘光辉; 徐胜军

doi:10.37188/OPE.20233116.2465

您当前的位置：

首页 >

文章列表页 >

多元特征提取与表征优化的遥感多尺度目标检测

信息科学 | 更新时间：2023-08-25

- 多元特征提取与表征优化的遥感多尺度目标检测
- Remote sensing multi-scale object detection based on multivariate feature extraction and characterization optimization
- 光学精密工程 2023年31卷第16期页码：2465-2482
- 作者机构：
  
  西安建筑科技大学信息与控制工程学院，陕西西安 710055
- 作者简介：
  
  [ "孟月波（1979-），女，陕西西安人，教授，西安建筑科技大学信息与控制工程学院博士生导师，2014年于西安交通大学获得工学博士学位，主要从事计算机视觉理解、建筑环境智能感知与调控、建筑智能化技术方面的研究。E-mail： mengyuebo@163.com" ]
  [ "刘光辉（1976-），男，陕西西安人，副教授，西安建筑科技大学信息与控制工程学院硕士生导师，2016 年于西安建筑科技大学获得工学博士学位，主要从事计算机视觉理解、建筑环境智能感知与调控、建筑智能化技术方面的研究。E-mail：guanghuil@163.com" ]
- 基金信息：
  
  陕西省重点研发计划项目(2021SF-429);国家自然科学基金面上项目资助(52278125)
- DOI：10.37188/OPE.20233116.2465
  中图分类号： TP751
- 收稿日期：2022-11-10，
  
  修回日期：2022-11-28，
  
  纸质出版日期：2023-08-25
- 稿件说明：
移动端阅览
孟月波,王菲,刘光辉等.多元特征提取与表征优化的遥感多尺度目标检测[J].光学精密工程,2023,31(16):2465-2482.

MENG Yuebo,WANG Fei,LIU Guanghui,et al.Remote sensing multi-scale object detection based on multivariate feature extraction and characterization optimization[J].Optics and Precision Engineering,2023,31(16):2465-2482.
孟月波,王菲,刘光辉等.多元特征提取与表征优化的遥感多尺度目标检测[J].光学精密工程,2023,31(16):2465-2482. DOI： 10.37188/OPE.20233116.2465.

MENG Yuebo,WANG Fei,LIU Guanghui,et al.Remote sensing multi-scale object detection based on multivariate feature extraction and characterization optimization[J].Optics and Precision Engineering,2023,31(16):2465-2482. DOI： 10.37188/OPE.20233116.2465.

摘要

遥感目标具有较大的尺度差异性，针对其在复杂背景干扰下易导致细粒度级别多尺度特征提取困难、预测部分有效表征较弱的问题，本文基于无锚框思想，提出一种多元特征提取与表征优化的遥感多尺度目标检测方法（Multivariate Feature extraction and Characterization optimization，MFC）。在特征提取部分，设计多元特征提取模块（Multivariate Feature Extraction，MFE）挖掘细粒度级别的多尺度特征，通过分组操作及跨组连接的方式扩大感受野、增强多个特征尺度的组合效应，并联合上下文信息进一步加强对小目标的关注；采用深层聚合结构对深浅层特征进行充分融合，以获得更全面的特征表达。在预测部分，提出一种表征优化策略（Characterization Optimization Strategy，COS），利用椭圆型映射进行标签优化以适应具有较大纵横比的遥感目标，设计坐标像素注意力组合关注多尺度目标通道、位置及像素信息，减少复杂背景干扰，使有效信息得以突出表征。在DIOR，HRRSD，RSOD数据集上进行消融及对比实验，实验结果表明：MFC模型的mAP分别达到了70.9%，90.2%和96.9%，优于大多现有方法，有效改善了误检、漏检问题，适应性和鲁棒性较强。

Abstract

Remote sensing objects have large scale differences. In order to solve the problems that they are prone to lead to difficulties in fine granularity multi-scale feature extraction and weak prediction part of effective representation under complex background interference， a multi-scale remote sensing object detection method （MFC） for multivariate feature extraction and characterization optimization based on the idea of anchor-free is proposed. In the feature extraction part， a multivariate feature extraction module （MFE） is designed to mine multi-scale features at the fine granularity level， expand the receptive field through grouping operation and cross group connection， enhance the combination effect of multiple feature scales， and further strengthen the focus on small objects by combining context information； The deep and shallow features are fully integrated by the deep layer aggregation structure to obtain a more comprehensive feature expression. In the prediction part， a characterization optimization strategy （COS） is proposed， which uses elliptical mapping to optimize tags to adapt to remote sensing targets with large aspect ratio. And a Coordinate-Pixel attention is designed to focus on multi-scale object channels， positions and pixel information， reduce complex background interference， and make effective information prominent. Ablation and contrast experiments were conducted on DIOR， HRRSD and RSOD datasets. The experimental results showed that the mAP of MFC model reached 70.9%， 90.2% and 96.9% respectively， which was superior to most existing methods. It effectively improved the problems of false detection and missing detection， and had strong adaptability and robustness.

关键词

Keywords

references

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature Pyramid Networks for Object Detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322

GE Z ， LIU S ， WANG F ， et al . YOLOX： Exceeding YOLO Series in 2021 ［EB/OL］. 2021 ： arXiv ： 2107 . 08430 . https：//arxiv.org/abs/2107.08430 https://arxiv.org/abs/2107.08430

LIN T Y ， GOYAL P ， GIRSHICK R ， et al . Focal Loss for Dense Object Detection ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 2999 - 3007 . doi: 10.1109/iccv.2017.324 http://dx.doi.org/10.1109/iccv.2017.324

HOU J Y ， MA H B ， WANG S J . Parallel Cascade R-CNN for object detection in remote sensing imagery ［J］. Journal of Physics： Conference Series ， 2020 ， 1544 （ 1 ）： 012124 . doi: 10.1088/1742-6596/1544/1/012124 http://dx.doi.org/10.1088/1742-6596/1544/1/012124

沙苗苗，李宇，李安 . 改进Faster R-CNN的遥感图像多尺度飞机目标检测［J］. 遥感学报， 2022 ， 26 （ 8 ）： 1624 - 1635 . doi: 10.11834/j.issn.1007-4619.2022.8.ygxb202208011 http://dx.doi.org/10.11834/j.issn.1007-4619.2022.8.ygxb202208011

SHA M M ， LI Y ， LI A . Multiscale aircraft detection in optical remote sensing imagery based on advanced Faster R-CNN ［J］. Journal of Remote Sensing ， 2022 ， 26 （ 8 ）： 1624 - 1635 . （in Chinese） . doi: 10.11834/j.issn.1007-4619.2022.8.ygxb202208011 http://dx.doi.org/10.11834/j.issn.1007-4619.2022.8.ygxb202208011

CHENG G ， SI Y J ， HONG H L ， et al . Cross-scale feature fusion for object detection in optical remote sensing images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 18 （ 3 ）： 431 - 435 . doi: 10.1109/lgrs.2020.2975541 http://dx.doi.org/10.1109/lgrs.2020.2975541

程德强，赵佳敏，寇旗旗，等 . 多尺度密集特征融合的图像超分辨率重建［J］. 光学精密工程， 2022 ， 30 （ 20 ）： 2489 - 2500 . doi: 10.37188/OPE.20223020.2489 http://dx.doi.org/10.37188/OPE.20223020.2489

CHENG D Q ， ZHAO J M ， KOU Q Q ， et al . Multi-scale dense feature fusion network for image super-resolution ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 20 ）： 2489 - 2500 . （in Chinese） . doi: 10.37188/OPE.20223020.2489 http://dx.doi.org/10.37188/OPE.20223020.2489

薛俊达，朱家佳，张静，等 . 基于FFC-SSD模型的光学遥感图像目标检测［J］. 光学学报， 2022 ， 42 （ 12 ）： 130 - 140 . doi: 10.3788/AOS202242.1210002 http://dx.doi.org/10.3788/AOS202242.1210002

XUE J D ， ZHU J J ， ZHANG J ， et al . Object detection in optical remote sensing images based on FFC-SSD model ［J］. Acta Optica Sinica ， 2022 ， 42 （ 12 ）： 130 - 140 . （in Chinese） . doi: 10.3788/AOS202242.1210002 http://dx.doi.org/10.3788/AOS202242.1210002

XU D Q ， WU Y Q . FE-YOLO： a feature enhancement network for remote sensing target detection ［J］. Remote Sensing ， 2021 ， 13 （ 7 ）： 1311 . doi: 10.3390/rs13071311 http://dx.doi.org/10.3390/rs13071311

陈欣，万敏杰，马超，等 . 采用多尺度特征融合SSD的遥感图像小目标检测［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA C ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

朱威，王立凯，靳作宝，等 . 引入注意力机制的轻量级小目标检测网络［J］. 光学精密工程， 2022 ， 30 （ 8 ）： 998 - 1010 . doi: 10.37188/OPE.20223008.0998 http://dx.doi.org/10.37188/OPE.20223008.0998

ZHU W ， WANG L K ， JIN Z B ， et al . Lightweight small object detection network with attention mechanism ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 8 ）： 998 - 1010 . （in Chinese） . doi: 10.37188/OPE.20223008.0998 http://dx.doi.org/10.37188/OPE.20223008.0998

赵浩光，王平，董超，等 . 结合多尺度视觉显著性的舰船目标检测［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1395 - 1403 . doi: 10.3788/ope.20202806.1395 http://dx.doi.org/10.3788/ope.20202806.1395

ZHAO H G ， WANG P ， DONG C ， et al . Ship detection based on the multi-scale visual saliency model ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1395 - 1403 . （in Chinese） . doi: 10.3788/ope.20202806.1395 http://dx.doi.org/10.3788/ope.20202806.1395

LAW H ， DENG J . CornerNet： detecting objects as paired keypoints ［J］. International Journal of Computer Vision ， 2020 ， 128 （ 3 ）： 642 - 656 . doi: 10.1007/s11263-019-01204-1 http://dx.doi.org/10.1007/s11263-019-01204-1

LAW H ， TENG Y ， RUSSAKOVSKY O ， et al . CornerNet-lite： Efficient Keypoint Based Object Detection ［EB/OL］. 2019 ： arXiv ： 1904 . 08900 . https：//arxiv.org/abs/1904.08900 https://arxiv.org/abs/1904.08900

ZHOU X Y ， ZHUO J C ， KRÄHENBÜHL P . Bottom-Up Object Detection by Grouping Extreme and Center Points ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 850 - 859 . doi: 10.1109/cvpr.2019.00094 http://dx.doi.org/10.1109/cvpr.2019.00094

DUAN K W ， BAI S ， XIE L X ， et al . CenterNet： Keypoint Triplets for Object Detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 6568 - 6577 . doi: 10.1109/iccv.2019.00667 http://dx.doi.org/10.1109/iccv.2019.00667

TIAN Z ， SHEN C H ， CHEN H ， et al . FCOS： fully convolutional one-stage object detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 9626 - 9635 . doi: 10.1109/iccv.2019.00972 http://dx.doi.org/10.1109/iccv.2019.00972

ZHOU X ， WANG D ， KRÄHENBÜHL P . Objects as Points ［EB/OL］. 2019 ： arXiv ： 1904 . 07850 . https：//arxiv.org/abs/1904.07850 https://arxiv.org/abs/1904.07850 . doi: 10.1090/mbk/121/79 http://dx.doi.org/10.1090/mbk/121/79

LIU Y J ， YANG J L ， CUI W Q . Simple， Fast， Accurate Object Detection Based on Anchor-Free Method for High Resolution Remote Sensing Images ［C］. IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium. September 26 - October 2 ， 2020 ， Waikoloa， HI， USA. IEEE ， 2021 ： 2443 - 2446 . doi: 10.1109/igarss39084.2020.9324301 http://dx.doi.org/10.1109/igarss39084.2020.9324301

ZHANG T ， WANG G Q ， ZHUANG Y ， et al . Feature Enhanced Centernet for Object Detection in Remote Sensing Images ［C］. IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium. September 26 - October 2 ， 2020 ， Waikoloa， HI， USA. IEEE ， 2021 ： 1639 - 1642 . doi: 10.1109/igarss39084.2020.9323116 http://dx.doi.org/10.1109/igarss39084.2020.9323116

PAN X J ， REN Y Q ， SHENG K K ， et al . Dynamic Refinement Network for Oriented and Densely Packed Object Detection ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 11204 - 11213 . doi: 10.1109/cvpr42600.2020.01122 http://dx.doi.org/10.1109/cvpr42600.2020.01122

YU F ， WANG D Q ， SHELHAMER E ， et al . Deep Layer Aggregation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 2403 - 2412 . doi: 10.1109/cvpr.2018.00255 http://dx.doi.org/10.1109/cvpr.2018.00255

GAO S H ， CHENG M M ， ZHAO K ， et al . Res2Net： a new multi-scale backbone architecture ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 2 ）： 652 - 662 . doi: 10.1109/tpami.2019.2938758 http://dx.doi.org/10.1109/tpami.2019.2938758

NAJIBI M ， SAMANGOUEI P ， CHELLAPPA R ， et al . SSH： Single Stage Headless Face Detector ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 4885 - 4894 . doi: 10.1109/iccv.2017.522 http://dx.doi.org/10.1109/iccv.2017.522

HOU Q B ， ZHOU D Q ， FENG J S . Coordinate Attention for Efficient Mobile Network Design ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 20 - 25 ， 2021， Nashville， TN， USA. IEEE ， 2021： 13708 - 13717 . doi: 10.1109/cvpr46437.2021.01350 http://dx.doi.org/10.1109/cvpr46437.2021.01350

QIN X ， WANG Z L ， BAI Y C ， et al . FFA-net： feature fusion attention network for single image dehazing ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 11908 - 11915 . doi: 10.1609/aaai.v34i07.6865 http://dx.doi.org/10.1609/aaai.v34i07.6865

LI K ， WAN G ， CHENG G ， et al . Object detection in optical remote sensing images： a survey and a new benchmark ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2020 ， 159 ： 296 - 307 . doi: 10.1016/j.isprsjprs.2019.11.023 http://dx.doi.org/10.1016/j.isprsjprs.2019.11.023

LU X Q ， ZHANG Y L ， YUAN Y ， et al . Gated and axis-concentrated localization network for remote sensing object detection ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 ， 58 （ 1 ）： 179 - 192 . doi: 10.1109/tgrs.2019.2935177 http://dx.doi.org/10.1109/tgrs.2019.2935177

LONG Y ， GONG Y P ， XIAO Z F ， et al . Accurate object localization in remote sensing images based on convolutional neural networks ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2017 ， 55 （ 5 ）： 2486 - 2498 . doi: 10.1109/tgrs.2016.2645610 http://dx.doi.org/10.1109/tgrs.2016.2645610

YANG J F ， FU X Y ， HU Y W ， et al . PanNet： A Deep Network Architecture for Pan-Sharpening ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 1753 - 1761 . doi: 10.1109/iccv.2017.193 http://dx.doi.org/10.1109/iccv.2017.193

ZHANG J ， XIE C M ， XU X ， et al . A contextual bidirectional enhancement method for remote sensing image object detection ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2020 ， 13 ： 4518 - 4531 . doi: 10.1109/jstars.2020.3015049 http://dx.doi.org/10.1109/jstars.2020.3015049

WOO S ， PARK J ， LEE J Y ， et al . CBAM： Convolutional Block Attention Module ［M］. Computer Vision - ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

浏览量

202

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

联合多尺度和注意力-残差的深度监督乳腺癌分割