Remote sensing multi-scale object detection based on multivariate feature extraction and characterization optimization

MENG Yuebo; WANG Fei; LIU Guanghui; XU Shengjun

doi:10.37188/OPE.20233116.2465

您当前的位置：

首页 >

文章列表页 >

Remote sensing multi-scale object detection based on multivariate feature extraction and characterization optimization

Information Sciences | 更新时间：2023-08-25

- Remote sensing multi-scale object detection based on multivariate feature extraction and characterization optimization
- Optics and Precision Engineering Vol. 31, Issue 16, Pages: 2465-2482(2023)
- 作者机构：
  
  西安建筑科技大学信息与控制工程学院，陕西西安 710055
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233116.2465
  CLC： TP751
- Received：10 November 2022，
  
  Revised：28 November 2022，
  
  Published：25 August 2023
- 稿件说明：
移动端阅览
孟月波,王菲,刘光辉等.多元特征提取与表征优化的遥感多尺度目标检测[J].光学精密工程,2023,31(16):2465-2482.

MENG Yuebo,WANG Fei,LIU Guanghui,et al.Remote sensing multi-scale object detection based on multivariate feature extraction and characterization optimization[J].Optics and Precision Engineering,2023,31(16):2465-2482.
孟月波,王菲,刘光辉等.多元特征提取与表征优化的遥感多尺度目标检测[J].光学精密工程,2023,31(16):2465-2482. DOI： 10.37188/OPE.20233116.2465.

MENG Yuebo,WANG Fei,LIU Guanghui,et al.Remote sensing multi-scale object detection based on multivariate feature extraction and characterization optimization[J].Optics and Precision Engineering,2023,31(16):2465-2482. DOI： 10.37188/OPE.20233116.2465.

摘要

遥感目标具有较大的尺度差异性，针对其在复杂背景干扰下易导致细粒度级别多尺度特征提取困难、预测部分有效表征较弱的问题，本文基于无锚框思想，提出一种多元特征提取与表征优化的遥感多尺度目标检测方法（Multivariate Feature extraction and Characterization optimization，MFC）。在特征提取部分，设计多元特征提取模块（Multivariate Feature Extraction，MFE）挖掘细粒度级别的多尺度特征，通过分组操作及跨组连接的方式扩大感受野、增强多个特征尺度的组合效应，并联合上下文信息进一步加强对小目标的关注；采用深层聚合结构对深浅层特征进行充分融合，以获得更全面的特征表达。在预测部分，提出一种表征优化策略（Characterization Optimization Strategy，COS），利用椭圆型映射进行标签优化以适应具有较大纵横比的遥感目标，设计坐标像素注意力组合关注多尺度目标通道、位置及像素信息，减少复杂背景干扰，使有效信息得以突出表征。在DIOR，HRRSD，RSOD数据集上进行消融及对比实验，实验结果表明：MFC模型的mAP分别达到了70.9%，90.2%和96.9%，优于大多现有方法，有效改善了误检、漏检问题，适应性和鲁棒性较强。

Abstract

Remote sensing objects have large scale differences. In order to solve the problems that they are prone to lead to difficulties in fine granularity multi-scale feature extraction and weak prediction part of effective representation under complex background interference， a multi-scale remote sensing object detection method （MFC） for multivariate feature extraction and characterization optimization based on the idea of anchor-free is proposed. In the feature extraction part， a multivariate feature extraction module （MFE） is designed to mine multi-scale features at the fine granularity level， expand the receptive field through grouping operation and cross group connection， enhance the combination effect of multiple feature scales， and further strengthen the focus on small objects by combining context information； The deep and shallow features are fully integrated by the deep layer aggregation structure to obtain a more comprehensive feature expression. In the prediction part， a characterization optimization strategy （COS） is proposed， which uses elliptical mapping to optimize tags to adapt to remote sensing targets with large aspect ratio. And a Coordinate-Pixel attention is designed to focus on multi-scale object channels， positions and pixel information， reduce complex background interference， and make effective information prominent. Ablation and contrast experiments were conducted on DIOR， HRRSD and RSOD datasets. The experimental results showed that the mAP of MFC model reached 70.9%， 90.2% and 96.9% respectively， which was superior to most existing methods. It effectively improved the problems of false detection and missing detection， and had strong adaptability and robustness.

关键词

Keywords

references

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature Pyramid Networks for Object Detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322

GE Z ， LIU S ， WANG F ， et al . YOLOX： Exceeding YOLO Series in 2021 ［EB/OL］. 2021 ： arXiv ： 2107 . 08430 . https：//arxiv.org/abs/2107.08430 https://arxiv.org/abs/2107.08430

LIN T Y ， GOYAL P ， GIRSHICK R ， et al . Focal Loss for Dense Object Detection ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 2999 - 3007 . doi: 10.1109/iccv.2017.324 http://dx.doi.org/10.1109/iccv.2017.324

HOU J Y ， MA H B ， WANG S J . Parallel Cascade R-CNN for object detection in remote sensing imagery ［J］. Journal of Physics： Conference Series ， 2020 ， 1544 （ 1 ）： 012124 . doi: 10.1088/1742-6596/1544/1/012124 http://dx.doi.org/10.1088/1742-6596/1544/1/012124

沙苗苗，李宇，李安 . 改进Faster R-CNN的遥感图像多尺度飞机目标检测［J］. 遥感学报， 2022 ， 26 （ 8 ）： 1624 - 1635 . doi: 10.11834/j.issn.1007-4619.2022.8.ygxb202208011 http://dx.doi.org/10.11834/j.issn.1007-4619.2022.8.ygxb202208011

SHA M M ， LI Y ， LI A . Multiscale aircraft detection in optical remote sensing imagery based on advanced Faster R-CNN ［J］. Journal of Remote Sensing ， 2022 ， 26 （ 8 ）： 1624 - 1635 . （in Chinese） . doi: 10.11834/j.issn.1007-4619.2022.8.ygxb202208011 http://dx.doi.org/10.11834/j.issn.1007-4619.2022.8.ygxb202208011

CHENG G ， SI Y J ， HONG H L ， et al . Cross-scale feature fusion for object detection in optical remote sensing images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 18 （ 3 ）： 431 - 435 . doi: 10.1109/lgrs.2020.2975541 http://dx.doi.org/10.1109/lgrs.2020.2975541

程德强，赵佳敏，寇旗旗，等 . 多尺度密集特征融合的图像超分辨率重建［J］. 光学精密工程， 2022 ， 30 （ 20 ）： 2489 - 2500 . doi: 10.37188/OPE.20223020.2489 http://dx.doi.org/10.37188/OPE.20223020.2489

CHENG D Q ， ZHAO J M ， KOU Q Q ， et al . Multi-scale dense feature fusion network for image super-resolution ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 20 ）： 2489 - 2500 . （in Chinese） . doi: 10.37188/OPE.20223020.2489 http://dx.doi.org/10.37188/OPE.20223020.2489

薛俊达，朱家佳，张静，等 . 基于FFC-SSD模型的光学遥感图像目标检测［J］. 光学学报， 2022 ， 42 （ 12 ）： 130 - 140 . doi: 10.3788/AOS202242.1210002 http://dx.doi.org/10.3788/AOS202242.1210002

XUE J D ， ZHU J J ， ZHANG J ， et al . Object detection in optical remote sensing images based on FFC-SSD model ［J］. Acta Optica Sinica ， 2022 ， 42 （ 12 ）： 130 - 140 . （in Chinese） . doi: 10.3788/AOS202242.1210002 http://dx.doi.org/10.3788/AOS202242.1210002

XU D Q ， WU Y Q . FE-YOLO： a feature enhancement network for remote sensing target detection ［J］. Remote Sensing ， 2021 ， 13 （ 7 ）： 1311 . doi: 10.3390/rs13071311 http://dx.doi.org/10.3390/rs13071311

陈欣，万敏杰，马超，等 . 采用多尺度特征融合SSD的遥感图像小目标检测［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA C ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

朱威，王立凯，靳作宝，等 . 引入注意力机制的轻量级小目标检测网络［J］. 光学精密工程， 2022 ， 30 （ 8 ）： 998 - 1010 . doi: 10.37188/OPE.20223008.0998 http://dx.doi.org/10.37188/OPE.20223008.0998

ZHU W ， WANG L K ， JIN Z B ， et al . Lightweight small object detection network with attention mechanism ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 8 ）： 998 - 1010 . （in Chinese） . doi: 10.37188/OPE.20223008.0998 http://dx.doi.org/10.37188/OPE.20223008.0998

赵浩光，王平，董超，等 . 结合多尺度视觉显著性的舰船目标检测［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1395 - 1403 . doi: 10.3788/ope.20202806.1395 http://dx.doi.org/10.3788/ope.20202806.1395

ZHAO H G ， WANG P ， DONG C ， et al . Ship detection based on the multi-scale visual saliency model ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1395 - 1403 . （in Chinese） . doi: 10.3788/ope.20202806.1395 http://dx.doi.org/10.3788/ope.20202806.1395

LAW H ， DENG J . CornerNet： detecting objects as paired keypoints ［J］. International Journal of Computer Vision ， 2020 ， 128 （ 3 ）： 642 - 656 . doi: 10.1007/s11263-019-01204-1 http://dx.doi.org/10.1007/s11263-019-01204-1

LAW H ， TENG Y ， RUSSAKOVSKY O ， et al . CornerNet-lite： Efficient Keypoint Based Object Detection ［EB/OL］. 2019 ： arXiv ： 1904 . 08900 . https：//arxiv.org/abs/1904.08900 https://arxiv.org/abs/1904.08900

ZHOU X Y ， ZHUO J C ， KRÄHENBÜHL P . Bottom-Up Object Detection by Grouping Extreme and Center Points ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 850 - 859 . doi: 10.1109/cvpr.2019.00094 http://dx.doi.org/10.1109/cvpr.2019.00094

DUAN K W ， BAI S ， XIE L X ， et al . CenterNet： Keypoint Triplets for Object Detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 6568 - 6577 . doi: 10.1109/iccv.2019.00667 http://dx.doi.org/10.1109/iccv.2019.00667

TIAN Z ， SHEN C H ， CHEN H ， et al . FCOS： fully convolutional one-stage object detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 9626 - 9635 . doi: 10.1109/iccv.2019.00972 http://dx.doi.org/10.1109/iccv.2019.00972

ZHOU X ， WANG D ， KRÄHENBÜHL P . Objects as Points ［EB/OL］. 2019 ： arXiv ： 1904 . 07850 . https：//arxiv.org/abs/1904.07850 https://arxiv.org/abs/1904.07850 . doi: 10.1090/mbk/121/79 http://dx.doi.org/10.1090/mbk/121/79

LIU Y J ， YANG J L ， CUI W Q . Simple， Fast， Accurate Object Detection Based on Anchor-Free Method for High Resolution Remote Sensing Images ［C］. IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium. September 26 - October 2 ， 2020 ， Waikoloa， HI， USA. IEEE ， 2021 ： 2443 - 2446 . doi: 10.1109/igarss39084.2020.9324301 http://dx.doi.org/10.1109/igarss39084.2020.9324301

ZHANG T ， WANG G Q ， ZHUANG Y ， et al . Feature Enhanced Centernet for Object Detection in Remote Sensing Images ［C］. IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium. September 26 - October 2 ， 2020 ， Waikoloa， HI， USA. IEEE ， 2021 ： 1639 - 1642 . doi: 10.1109/igarss39084.2020.9323116 http://dx.doi.org/10.1109/igarss39084.2020.9323116

PAN X J ， REN Y Q ， SHENG K K ， et al . Dynamic Refinement Network for Oriented and Densely Packed Object Detection ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 11204 - 11213 . doi: 10.1109/cvpr42600.2020.01122 http://dx.doi.org/10.1109/cvpr42600.2020.01122

YU F ， WANG D Q ， SHELHAMER E ， et al . Deep Layer Aggregation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 2403 - 2412 . doi: 10.1109/cvpr.2018.00255 http://dx.doi.org/10.1109/cvpr.2018.00255

GAO S H ， CHENG M M ， ZHAO K ， et al . Res2Net： a new multi-scale backbone architecture ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 2 ）： 652 - 662 . doi: 10.1109/tpami.2019.2938758 http://dx.doi.org/10.1109/tpami.2019.2938758

NAJIBI M ， SAMANGOUEI P ， CHELLAPPA R ， et al . SSH： Single Stage Headless Face Detector ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 4885 - 4894 . doi: 10.1109/iccv.2017.522 http://dx.doi.org/10.1109/iccv.2017.522

HOU Q B ， ZHOU D Q ， FENG J S . Coordinate Attention for Efficient Mobile Network Design ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 20 - 25 ， 2021， Nashville， TN， USA. IEEE ， 2021： 13708 - 13717 . doi: 10.1109/cvpr46437.2021.01350 http://dx.doi.org/10.1109/cvpr46437.2021.01350

QIN X ， WANG Z L ， BAI Y C ， et al . FFA-net： feature fusion attention network for single image dehazing ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 11908 - 11915 . doi: 10.1609/aaai.v34i07.6865 http://dx.doi.org/10.1609/aaai.v34i07.6865

LI K ， WAN G ， CHENG G ， et al . Object detection in optical remote sensing images： a survey and a new benchmark ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2020 ， 159 ： 296 - 307 . doi: 10.1016/j.isprsjprs.2019.11.023 http://dx.doi.org/10.1016/j.isprsjprs.2019.11.023

LU X Q ， ZHANG Y L ， YUAN Y ， et al . Gated and axis-concentrated localization network for remote sensing object detection ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 ， 58 （ 1 ）： 179 - 192 . doi: 10.1109/tgrs.2019.2935177 http://dx.doi.org/10.1109/tgrs.2019.2935177

LONG Y ， GONG Y P ， XIAO Z F ， et al . Accurate object localization in remote sensing images based on convolutional neural networks ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2017 ， 55 （ 5 ）： 2486 - 2498 . doi: 10.1109/tgrs.2016.2645610 http://dx.doi.org/10.1109/tgrs.2016.2645610

YANG J F ， FU X Y ， HU Y W ， et al . PanNet： A Deep Network Architecture for Pan-Sharpening ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 1753 - 1761 . doi: 10.1109/iccv.2017.193 http://dx.doi.org/10.1109/iccv.2017.193

ZHANG J ， XIE C M ， XU X ， et al . A contextual bidirectional enhancement method for remote sensing image object detection ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2020 ， 13 ： 4518 - 4531 . doi: 10.1109/jstars.2020.3015049 http://dx.doi.org/10.1109/jstars.2020.3015049

WOO S ， PARK J ， LEE J Y ， et al . CBAM： Convolutional Block Attention Module ［M］. Computer Vision - ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

Views

202

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals

Related Author

Chuan-bo QIN

Zi-yu SONG

Jun-ying ZENG

Lian-fang TIAN

Fang LI

Related Institution

Faculty of Intelligent Manufacturing， Wuyi University

School of Automation Science and Engineering， South China University of Technology

Jiangmen Maternal and Child Healthcare Hospital

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰