联合自注意力和分支采样的无人机图像目标检测

张云佐; 武存宇; 刘亚猛; 张天; 郑宇鑫

doi:10.37188/OPE.20233118.2723

您当前的位置：

首页 >

文章列表页 >

联合自注意力和分支采样的无人机图像目标检测

信息科学 | 更新时间：2023-09-25

- 联合自注意力和分支采样的无人机图像目标检测
- Joint self-attention and branch sampling for object detection on drone imagery
- 光学精密工程 2023年31卷第18期页码：2723-2735
- 作者机构：
  
  1.石家庄铁道大学信息科学与技术学院，河北石家庄 050043
  2.河北省电磁环境效应与信息处理重点实验室，河北石家庄 050043
- 作者简介：
  
  [ "张云佐（1984-），男，河北石家庄人，博士，副教授，博士生导师，2016年于北京理工大学获博士学位，主要从事计算机视觉、人工智能、大数据方面的研究。E-mail： zhangyunzuo888@sina.com" ]
  [ "武存宇（1998-），男，山西太原人，硕士研究生，2021年于陕西理工大学获得学士学位，主要从事图像处理，目标检测方面的研究。E-mail： wucunyu1410@sina.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(61702347;62027801);河北省自然科学基金资助项目(F2022210007;F2017210161);河北省高等学校科学技术研究项目资助(ZD2022100;QN2017132);中央引导地方科技发展资金项目资助(226Z0501G)
- DOI：10.37188/OPE.20233118.2723
  中图分类号： V249;TP391
- 收稿日期：2022-12-29，
  
  修回日期：2023-02-09，
  
  纸质出版日期：2023-09-25
- 稿件说明：
移动端阅览
张云佐,武存宇,刘亚猛等.联合自注意力和分支采样的无人机图像目标检测[J].光学精密工程,2023,31(18):2723-2735.

ZHANG Yunzuo,WU Cunyu,LIU Yameng,et al.Joint self-attention and branch sampling for object detection on drone imagery[J].Optics and Precision Engineering,2023,31(18):2723-2735.
张云佐,武存宇,刘亚猛等.联合自注意力和分支采样的无人机图像目标检测[J].光学精密工程,2023,31(18):2723-2735. DOI： 10.37188/OPE.20233118.2723.

ZHANG Yunzuo,WU Cunyu,LIU Yameng,et al.Joint self-attention and branch sampling for object detection on drone imagery[J].Optics and Precision Engineering,2023,31(18):2723-2735. DOI： 10.37188/OPE.20233118.2723.

摘要

无人机图像目标检测在诸多领域被广泛应用，但受制于图像背景复杂、目标密集，目标尺度变化剧烈，现有的无人机图像目标检测算法检测效果不够精准。为解决此类问题，提出了一种联合自注意力和分支采样的无人机图像目标检测方法。首先，设计了自注意力和卷积相融合的嵌套残差结构以实现全局信息和局部信息的有效结合，让模型聚焦于待测目标，从而淡化复杂背景的影响。其次，设计了一种基于分支采样的特征融合模块以弥补目标信息丢失。最后，引入浅层细粒度特征图，新增了针对微小目标的改进检测头以缓解尺度剧烈变化，并基于此提出一种特征增强模块，用于捕获更多具有鉴别性的小目标特征。经实验验证，本文所提算法在多种场景中性能良好。其中s模型在VisDrone2019数据集上的mAP

和mAP分别达到59.3%和37.1%，相较于基线模型增长了5.6%和5.4%，在UAVDT数据集上的mAP

和mAP分别达到44.1%和24.9%，相较于基线模型提高了5.8%和3.2%。

Abstract

Object detection on drone imagery is widely used in many fields. However， due to the complexity of the image background， the dense small objects and the dramatic scale changes， the existing object detection on drone imagery methods are not accurate enough. In order to solve this problem， we propose an accurate object detection method for drone imagery joint self attention and branch sampling. Firstly， a nested residual structure integrating self attention and convolution is designed to achieve the effective combination of global and local information， which makes the model to focus on the object area and ignore invalid features. Secondly， we design a feature fusion module based on branch sampling to mitigate the loss of object information. Finally， an improved detector for small objects is added to alleviate the problem of sharp scale changes. Furthermore， we propose a feature enhancement module to obtain more discriminative small object features. The experimental results show that the proposed algorithm performs well in various scenarios. Specifically， the mAP

and mAP of the s model on the VisDrone2019 reached 59.3% and 37.1% respectively， an increase of 5.6% and 5.4% compared with the baseline. The mAP

and mAP on the UAVDT reached 44.1% and 24.9% respectively， an increase of 5.8% and 3.2% compared with the baseline.

关键词

Keywords

references

曲优，李文辉 . 基于锚框变换的单阶段旋转目标检测方法［J］. 吉林大学学报（工学版）， 2022 ， 52 （ 01 ）： 162 - 173 .

QU Y ， LI W H . Single-stage rotated object detection network based on anchor transformation ［J］. Journal of Jilin University （Engineering and Technology Edition）， 2022 ， 52 （ 1 ）： 162 - 173 . （in Chinese）

李超，黄新宇，王凯 . 基于特征融合和自学习锚框的高分辨率图像小目标检测算法［J］. 电子学报， 2022 ， 50 （ 7 ）： 1684 - 1695 . doi: 10.12263/DZXB.20200917 http://dx.doi.org/10.12263/DZXB.20200917

LI C ， HUANG X Y ， WANG K . Small object detection of high-resolution images based on feature fusion and learnable anchor ［J］. Acta Electronica Sinica ， 2022 ， 50 （ 7 ）： 1684 - 1695 . （in Chinese） . doi: 10.12263/DZXB.20200917 http://dx.doi.org/10.12263/DZXB.20200917

刘芳，韩笑 . 基于多尺度深度学习的自适应航拍目标检测［J］. 航空学报， 2022 ， 43 （ 5 ）： 463 - 474 . doi: 10.7527/S1000-6893.2021.25270 http://dx.doi.org/10.7527/S1000-6893.2021.25270

LIU F ， HAN X . Adaptive aerial object detection based on multi-scale deep learning ［J］. Acta Aeronautica et Astronautica Sinica ， 2022 ， 43 （ 5 ）： 463 - 474 . （in Chinese） . doi: 10.7527/S1000-6893.2021.25270 http://dx.doi.org/10.7527/S1000-6893.2021.25270

DALAL N ， TRIGGS B . Histograms of Oriented Gradients for Human Detection ［C］. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05） . 20-25， 2005 ， San Diego， CA， USA . IEEE ， 2005 ： 886 - 893 . doi: 10.1109/cvpr.2005.4 http://dx.doi.org/10.1109/cvpr.2005.4

LIENHART R ， MAYDT J . An Extended Set of Haar-Like Features for Rapid Object Detection ［C］. Proceedings of International Conference on Image Processing . 22-25， 2002 ， Rochester ， NY， USA . IEEE ， 2002 ： I .

VIOLA P ， JONES M . Rapid object detection using a boosted cascade of simple features ［C］. Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR . 8-14， 2001 ， Kauai ， HI， USA . IEEE ， 2003 ： I .

林浩，李雷孝，王慧 . 支持向量机在智能交通系统中的研究应用综述［J］. 计算机科学与探索， 2020 ， 14（ 6 ） 901 - 917 .

XU D G ， WANG L ， LI F . Review of typical object detection algorithms for deep learning ［J］. Computer Engineering and Applications ， 2021 ， 57 （ 8 ）： 10 - 25 . （in Chinese）

张财广，熊博莅，匡纲要 . 光学卫星遥感图像舰船目标检测综述［J］. 电波科学学报， 2020 ， 35 （ 5 ）： 637 - 647 . doi: 10.13443/j.cjors.2020040603 http://dx.doi.org/10.13443/j.cjors.2020040603

ZHANG C G ， XIONG B L ， KUANG G Y . A survey of ship detection in optical satellite remote sensing images ［J］. Chinese Journal of Radio Science ， 2020 ， 35 （ 5 ）： 637 - 647 . （in Chinese） . doi: 10.13443/j.cjors.2020040603 http://dx.doi.org/10.13443/j.cjors.2020040603

YANG F ， FAN H ， CHU P ， et al . Clustered object detection in aerial images ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . 27-2， 2019 ， Seoul ， Korea （South） . IEEE ， 2020 ： 8310 - 8319 . doi: 10.1109/iccv.2019.00840 http://dx.doi.org/10.1109/iccv.2019.00840

YU W P ， YANG T ， CHEN C . Towards resolving the challenge of long-tail distribution in uav images for object detection ［C］. 2021 IEEE Winter Conference on Applications of Computer Vision （WACV） . 3-8， 2021 ， Waikoloa ， HI， USA . IEEE ， 2021 ： 3257 - 3266 . doi: 10.1109/wacv48630.2021.00330 http://dx.doi.org/10.1109/wacv48630.2021.00330

LIU Z M ， GAO G Y ， SUN L ， et al . HRDNet： high-resolution detection network for small objects ［C］. 2021 IEEE International Conference on Multimedia and Expo （ICME） . 5-9， 2021 ， Shenzhen ， China . IEEE ， 2021 ： 1 - 6 . doi: 10.1109/icme51207.2021.9428241 http://dx.doi.org/10.1109/icme51207.2021.9428241

WU Z Y ， SURESH K ， NARAYANAN P ， et al . Delving into robust object detection from unmanned aerial vehicles： a deep nuisance disentanglement approach ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . 27- 2， 2019 ， Seoul ， Korea （South） . IEEE ， 2020 ： 1201 - 1210 . doi: 10.1109/iccv.2019.00129 http://dx.doi.org/10.1109/iccv.2019.00129

YOUSSEF Y ， ELSHENAWY M . Automatic vehicle counting and tracking in aerial video feeds using cascade region-based convolutional neural networks and feature pyramid networks ［J］. Transportation Research Record： Journal of the Transportation Research Board ， 2021 ， 2675 （ 8 ）： 304 - 317 . doi: 10.1177/0361198121997833 http://dx.doi.org/10.1177/0361198121997833

LI J N ， LIANG X D ， WEI Y C ， et al . Perceptual Generative Adversarial Networks for Small Object Detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21-26， 2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 1951 - 1959 . doi: 10.1109/cvpr.2017.211 http://dx.doi.org/10.1109/cvpr.2017.211

TANG Z Y ， LIU X ， YANG B J . PENet： object detection using points estimation in high definition aerial images ［C］. 2020 19th IEEE International Conference on Machine Learning and Applications （ICMLA） . 14-17， 2020 ， Miami ， FL， USA . IEEE ， 2021 ： 392 - 398 . doi: 10.1109/icmla51294.2020.00069 http://dx.doi.org/10.1109/icmla51294.2020.00069

LAMINE MEKHALFI M ， BEJIGA M B ， SORESINA D ， et al . Capsule networks for object detection in UAV imagery ［J］. Remote Sensing ， 2019 ， 11 （ 14 ）： 1694 . doi: 10.3390/rs11141694 http://dx.doi.org/10.3390/rs11141694

CHEN C Y ， GONG W G ， CHEN Y L ， et al . Object detection in remote sensing images based on a scene-contextual feature pyramid network ［J］. Remote Sensing ， 2019 ， 11 （ 3 ）： 339 . doi: 10.3390/rs11030339 http://dx.doi.org/10.3390/rs11030339

GIRSHICK R . Fast R-CNN ［C］. 2015 IEEE International Conference on Computer Vision （ICCV） . 7-13， 2015 ， Santiago， Chile . IEEE ， 2016 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： Optimal Speed and Accuracy of Object Detection ［EB/OL］. 2020 ： arXiv ： 2004 . 10934 . https：//arxiv.org/abs/2004.10934 https://arxiv.org/abs/2004.10934

WANG C Y ， BOCHKOVSKIY A ， LIAO H Y M . YOLOv7： Trainable Bag-of-Freebies Sets New State-Of-The-Art for Real-Time Object Detectors ［EB/OL］. 2022 ： arXiv ： 2207 . 02696 . https：//arxiv.org/abs/2207.02696 https://arxiv.org/abs/2207.02696 . doi: 10.1109/cvpr52729.2023.00721 http://dx.doi.org/10.1109/cvpr52729.2023.00721

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An Image is Worth 16 x 16 Words： Transformers for Image Recognition at Scale［EB/OL］. 2020 ： arXiv ： 2010 . 11929 . https：//arxiv.org/abs/2010.11929 https://arxiv.org/abs/2010.11929

SUN Z Q ， CAO S C ， YANG Y M ， et al . Rethinking transformer-based set prediction for object detection ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . 10-17， 2021 ， Montreal， QC， Canada . IEEE ， 2022 ： 3591 - 3600 . doi: 10.1109/iccv48922.2021.00359 http://dx.doi.org/10.1109/iccv48922.2021.00359

DU D W ， ZHU P F ， WEN L Y ， et al . VisDrone-DET2019： the vision meets drone object detection in image challenge results ［C］. 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW） . 27-28， 2019 ， Seoul ， Korea （South） . IEEE ， 2020 ： 213 - 226 . doi: 10.1109/iccvw48693.2019 http://dx.doi.org/10.1109/iccvw48693.2019

DU D W ， QI Y K ， YU H Y ， et al . The Unmanned Aerial Vehicle Benchmark： Object Detection and Tracking ［M］. Computer Vision - ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 375 - 391 . doi: 10.1007/978-3-030-01249-6_23 http://dx.doi.org/10.1007/978-3-030-01249-6_23

CHALAVADI V ， JERIPOTHULA P ， DATLA R ， et al . mSODANet： a network for multi-scale object detection in aerial images using hierarchical dilated convolutions ［J］. Pattern Recognition ， 2022 ， 126 ： 108548 . doi: 10.1016/j.patcog.2022.108548 http://dx.doi.org/10.1016/j.patcog.2022.108548

LI C L ， YANG T ， ZHU S J ， et al . Density Map Guided Object Detection in Aerial Images ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW） . 14-19， 2020 ， Seattle ， WA ， USA . IEEE ， 2020 ： 737 - 746 . doi: 10.1109/cvprw50498.2020.00103 http://dx.doi.org/10.1109/cvprw50498.2020.00103

DENG S T ， LI S ， XIE K ， et al . A global-local self-adaptive network for drone-view object detection ［J］. IEEE Transactions on Image Processing ， 2021 ， 30 ： 1556 - 1569 . doi: 10.1109/tip.2020.3045636 http://dx.doi.org/10.1109/tip.2020.3045636

DUAN C Z ， WEI Z W ， ZHANG C ， et al . Coarse-grained density map guided object detection in aerial images ［C］. 2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW） . 11-17， 2021 ， Montreal， BC， Canada . IEEE ， 2021 ： 2789 - 2798 . doi: 10.1109/iccvw54120.2021.00313 http://dx.doi.org/10.1109/iccvw54120.2021.00313

LENG J X ， MO M ， ZHOU Y H ， et al . Pareto refocusing for drone-view object detection ［C］. IEEE Transactions on Circuits and Systems for Video Technology . 28， 2022 ， IEEE ， 2022 ： 1320 - 1334 . doi: 10.1109/tcsvt.2022.3210207 http://dx.doi.org/10.1109/tcsvt.2022.3210207

浏览量

543

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

多尺度与三维交互特征优化的皮肤镜图像分类

基于混合时空卷积的轻量级视频超分辨率重建

双路混合注意力的跨层次特征聚合图像增强

基于目标增强与蝴蝶优化的红外与可见光图像融合

面向遥感建筑物提取的轻型多尺度差异网络