面向无人机平台的轻量化目标检测网络

黄丹丹; 高晗; 刘智; 于林韬; 王惠绩

doi:10.37188/OPE.20233120.3021

您当前的位置：

首页 >

文章列表页 >

面向无人机平台的轻量化目标检测网络

信息科学 | 更新时间：2023-11-27

- 面向无人机平台的轻量化目标检测网络
- Lightweight target detection network for UAV platforms
- 光学精密工程 2023年31卷第20期页码：3021-3033
- 作者机构：
  
  1.长春理工大学电子信息工程学院，吉林长春 130022
  2.长春理工大学空间光电技术国家地方联合工程研究中心，吉林长春 130022
- 作者简介：
  
  [ "黄丹丹（1984-），女，吉林长春人，博士，讲师，硕士研究生导师，2007年于长春理工大学获得学士学位，2009年于东北大学获得硕士学位，2016年于大连理工大学获得博士学位，主要从事计算机视觉、模式识别、机器学习等方面的研究。E-mail： hdd@cust.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(62127813);吉林省科技厅重点研发项目资助(20230201071GX)
- DOI：10.37188/OPE.20233120.3021
  中图分类号：
扫描看全文
黄丹丹,高晗,刘智等.面向无人机平台的轻量化目标检测网络[J].光学精密工程,2023,31(20):3021-3033.

HUANG Dandan,GAO Han,LIU Zhi,et al.Lightweight target detection network for UAV platforms[J].Optics and Precision Engineering,2023,31(20):3021-3033.
黄丹丹,高晗,刘智等.面向无人机平台的轻量化目标检测网络[J].光学精密工程,2023,31(20):3021-3033. DOI： 10.37188/OPE.20233120.3021.

HUANG Dandan,GAO Han,LIU Zhi,et al.Lightweight target detection network for UAV platforms[J].Optics and Precision Engineering,2023,31(20):3021-3033. DOI： 10.37188/OPE.20233120.3021.

摘要

针对无人机端目标检测中存在图像尺度变化大、目标尺寸小和无人机机载嵌入式计算资源有限的问题，提出一种应用于无人机平台轻量化的目标检测网络。该网络以YOLOv5作为基准模型，首先增加检测分支以处理尺度变化的问题；然后提出基于归一化Wasserstein距离与传统IOU混合的小目标检测度量方法，用于解决小目标检测精度低的问题；随后提出FasterNet与C3融合的C3_FN轻量化网络结构，降低网络计算量，使其更适合无人机平台使用。最后将算法分别在仿真平台与嵌入式平台上利用无人机目标检测数据集VisDrone进行性能测试。仿真平台上的测试结果表明，本文提出的网络相较于基准网络在mAP,0.5,指标上提升了6.6%，mAP,0.5-0.95,指标上提升了4.8%，推理时间仅需45.9 ms，对比其他主流的无人机目标检测网络具有更好的检测效果。在嵌入式设备NVIDIA Jetson Nano上的测试结果表明，本文算法能够在有限的硬件资源下获得高精度接近实时的检测性能。

Abstract

A lightweight target detection network for application to unmanned aerial vehicle （UAV） platforms was proposed for solving the problems of large image-scale variation， small target size， and limited embedded computing resources on UAVs in UAV-side target detection. The network used YOLOv5 as the benchmark model. First， detection branches were used to solve the problem of scale variation. Then， a small-target detection metric based on a mixture of normalized Wasserstein distance and traditional IOU was used for solving the problem of inaccurate small-target detection. In addition， a C3_FN lightweight network structure combining FasterNet and C3 was employed to reduce the computational burden of the network and make it more suitable for UAV platforms. The performance of the algorithms was tested on a simulation platform and an embedded platform using the UAV target detection dataset VisDrone. The simulation platform test results indicate that the proposed network achieves improvements of 6.6% and 4.8% in the mAP,0.5, and mAP,0.5-0.95, metrics， respectively， compared with a benchmark network， and the inference time is only 45.9 ms. The detection results are superior to those of mainstream UAV target detection networks. The test results for the embedded device （NVIDIA Jetson Nano） indicate that the proposed algorithm can achieve high accuracy and near real-time detection performance with limited hardware resources.

关键词

无人机目标检测归一化Wasserstein距离轻量化网络

Keywords

dronetarget detectionnormalize wasserstein distancelightweight network

references

WU X， LI W， HONG D F， et al. Deep learning for unmanned aerial vehicle-based object detection and tracking： a survey［J］. IEEE Geoscience and Remote Sensing Magazine， 2022， 10（1）： 91-124. doi: 10.1109/mgrs.2021.3115137http://dx.doi.org/10.1109/mgrs.2021.3115137

SRIVASTAVA S， NARAYAN S， MITTAL S. A survey of deep learning techniques for vehicle detection from UAV images［J］. Journal of Systems Architecture， 2021， 117： 102152. doi: 10.1016/j.sysarc.2021.102152http://dx.doi.org/10.1016/j.sysarc.2021.102152

范丽丽，赵宏伟，赵浩宇，等. 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020， 28（5）： 1152-1164.

FAN L L， ZHAO H W， ZHAO H Y， et al. Survey of target detection based on deep convolutional neural networks［J］. Opt. Precision Eng.， 2020， 28（5）： 1152-1164.（in Chinese）

KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90. doi: 10.1145/3065386http://dx.doi.org/10.1145/3065386

杜达宽，孙剑峰，丁源雪，等. 基于GM-APD激光雷达数据融合的小目标检测［J］. 光学精密工程， 2023， 31（3）： 393-403. doi: 10.37188/OPE.20233103.0393http://dx.doi.org/10.37188/OPE.20233103.0393

DU D K， SUN J F， DING Y X， et al. Small object detection based on GM-APD lidar data fusion［J］. Opt. Precision Eng.， 2023， 31（3）： 393-403.（in Chinese）. doi: 10.37188/OPE.20233103.0393http://dx.doi.org/10.37188/OPE.20233103.0393

江波，屈若锟，李彦冬，等. 基于深度学习的无人机航拍目标检测研究综述［J］. 航空学报， 2021， 42（4）： 131-145.

JIANG B， QU R K， LI Y D， et al. Object detection in UAV imagery based on deep learning： review［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 131-145. （in Chinese）

张丽丽，陈真，刘雨轩，等. 基于ZYNQ的Yolo v3-SPP实时目标检测系统［J］. 光学精密工程， 2023， 31（4）： 543-551. doi: 10.37188/ope.20233104.0543http://dx.doi.org/10.37188/ope.20233104.0543

ZHANG L L， CHEN Z， LIU Y X， et al. Yolo v3-SPP real-time target detection system based on ZYNQ［J］. Opt. Precision Eng.， 2023， 31（4）： 543-551.（in Chinese）. doi: 10.37188/ope.20233104.0543http://dx.doi.org/10.37188/ope.20233104.0543

GONG Y Q， YU X H， DING Y， et al. Effective Fusion Factor in FPN for Tiny Object Detection［C］. 2021 IEEE Winter Conference on Applications of Computer Vision （WACV）.3-8， 2021， Waikoloa， HI， USA. IEEE， 2021： 1159-1167. doi: 10.1109/wacv48630.2021.00120http://dx.doi.org/10.1109/wacv48630.2021.00120

LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.21-26， 2017， Honolulu， HI， USA. IEEE， 2017： 936-944. doi: 10.1109/cvpr.2017.106http://dx.doi.org/10.1109/cvpr.2017.106

LI H， XIONG P， AN J， et al. Pyramid attention network for semantic segmentation［J］. arXiv preprint arXiv：1805.10180， 2018.

CHEN C Y， LIU M Y， TUZEL O， et al. R-CNN for Small Object Detection［M］. Computer Vision - ACCV 2016. Cham： Springer International Publishing， 2017： 214-230. doi: 10.1007/978-3-319-54193-8_14http://dx.doi.org/10.1007/978-3-319-54193-8_14

LI J N， LIANG X D， WEI Y C， et al. Perceptual Generative Adversarial Networks for Small Object Detection［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.21-26， 2017， Honolulu， HI， USA. IEEE， 2017： 1951-1959. doi: 10.1109/cvpr.2017.211http://dx.doi.org/10.1109/cvpr.2017.211

DENG L， LI G Q， HAN S， et al. Model compression and hardware acceleration for neural networks： a comprehensive survey［J］. Proceedings of the IEEE， 2020， 108（4）： 485-532. doi: 10.1109/jproc.2020.2976475http://dx.doi.org/10.1109/jproc.2020.2976475

YANG C， HUANG Z H， WANG N Y. QueryDet： cascaded sparse query for accelerating high-resolution small object detection［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.18-24，2022， New Orleans， LA， USA. IEEE， 2022： 13658-13667. doi: 10.1109/cvpr52688.2022.01330http://dx.doi.org/10.1109/cvpr52688.2022.01330

黄海生，饶雪峰. 面向无人机航拍场景的轻量化目标检测［J］. 计算机系统应用， 2022， 31（12）： 159-168.

HUANG H S， RAO X F. Lightweight object detection for drone-captured scenarios［J］. Computer Systems & Applications， 2022， 31（12）： 159-168.（in Chinese）

ZHU X K， LYU S C， WANG X， et al. TPH-YOLOv5： improved yolov5 based on transformer prediction head for object detection on drone-captured scenarios［C］. 2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）.11-17， 2021， Montreal， BC， Canada. IEEE， 2021： 2778-2788. doi: 10.1109/iccvw54120.2021.00312http://dx.doi.org/10.1109/iccvw54120.2021.00312

WANG J， XU C， YANG W， et al. A normalized Gaussian Wasserstein Distance for Tiny Object Detection［EB/OL］. 2021： arXiv： 2110.13389. https：//arxiv.org/abs/2110.13389.pdfhttps://arxiv.org/abs/2110.13389.pdf

REZATOFIGHI H， TSOI N， GWAK J， et al. Generalized intersection over union： a metric and a loss for bounding box regression［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.15-20， 2019， Long Beach， CA， USA. IEEE， 2020： 658-666. doi: 10.1109/cvpr.2019.00075http://dx.doi.org/10.1109/cvpr.2019.00075

ZHENG Z H， WANG P， LIU W， et al. Distance-IoU loss： faster and better learning for bounding box regression［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 12993-13000. doi: 10.1609/aaai.v34i07.6999http://dx.doi.org/10.1609/aaai.v34i07.6999

BAE S H. Object detection based on region decomposition and assembly［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2019， 33： 8094-8101. doi: 10.1609/aaai.v33i01.33018094http://dx.doi.org/10.1609/aaai.v33i01.33018094

CHEN J， KAO S H， HE H， et al. Run， Don’t Walk： Chasing Higher FLOPS For Faster Neural Networks［EB/OL］. 2023： arXiv： 2303.03667. https：//arxiv.org/abs/2303.03667.pdfhttps://arxiv.org/abs/2303.03667.pdf. doi: 10.1109/cvpr52729.2023.01157http://dx.doi.org/10.1109/cvpr52729.2023.01157

REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.27-30， 2016， Las Vegas， NV， USA. IEEE， 2016： 779-788. doi: 10.1109/cvpr.2016.91http://dx.doi.org/10.1109/cvpr.2016.91

REDMON J， FARHADI A. YOLOv3： An Incremental Improvement［EB/OL］. 2018： arXiv： 1804.02767. https：//arxiv.org/abs/1804.02767.pdfhttps://arxiv.org/abs/1804.02767.pdf. doi: 10.1109/cvpr.2017.690http://dx.doi.org/10.1109/cvpr.2017.690

马立，巩笑天，欧阳航空. Tiny YOLOV3目标检测改进［J］. 光学精密工程， 2020， 28（4）988-995

MA L， GONG X T， OUYANG H K. Improvement of Tiny YOLOV3 target detection［J］. Opt. Precision Eng.， 2020， 28（4）988-995. （in Chinese）

BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection［EB/OL］. 2020： arXiv： 2004.10934. https：//arxiv.org/abs/2004.10934.pdfhttps://arxiv.org/abs/2004.10934.pdf

李想，特日根，仪锋，等. 针对全球储油罐检测的TCS-YOLO模型［J］. 光学精密工程， 2023， 31（2）： 246-262. doi: 10.37188/OPE.20233102.0246http://dx.doi.org/10.37188/OPE.20233102.0246

LI X， TE R G， YI F， et al. TCS-YOLO model for global oil storage tank inspection［J］. Opt. Precision Eng.， 2023， 31（2）： 246-262.（in Chinese）. doi: 10.37188/OPE.20233102.0246http://dx.doi.org/10.37188/OPE.20233102.0246

DU D W， ZHU P F， WEN L Y， et al. VisDrone-DET2019： the vision meets drone object detection in image challenge results［C］. 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）.27-28， 2019， Seoul， Korea （South）. IEEE， 2020： 213-226. doi: 10.1109/iccvw48693.2019http://dx.doi.org/10.1109/iccvw48693.2019

HAN K， WANG Y H， TIAN Q， et al. GhostNet： more features from cheap operations［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.13-19， 2020， Seattle， WA， USA. IEEE， 2020： 1577-1586. doi: 10.1109/cvpr42600.2020.00165http://dx.doi.org/10.1109/cvpr42600.2020.00165

LI Z， PENG C， YU G， et al. Light-head R-CNN： In Defense of Two-Stage Object Detector［EB/OL］. 2017： arXiv： 1711.07264. https：//arxiv.org/abs/1711.07264.pdfhttps://arxiv.org/abs/1711.07264.pdf

CAI Z W， VASCONCELOS N. Cascade R-CNN： delving into high quality object detection［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.18-23， 2018， Salt Lake City， UT， USA. IEEE， 2018： 6154-6162. doi: 10.1109/cvpr.2018.00644http://dx.doi.org/10.1109/cvpr.2018.00644

LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］. 2017 IEEE International Conference on Computer Vision （ICCV）.22-29， 2017， Venice， Italy. IEEE， 2017： 2999-3007. doi: 10.1109/iccv.2017.324http://dx.doi.org/10.1109/iccv.2017.324

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

利用光谱解混合的目标检测

强化特征提取能力的下颌骨骨折检测3M-YOLOv5网络

面向精密微装配的视觉复合定位

采用长距离依赖和多尺度表达的轻量化车辆检测

采用三层模板局部差异度量的红外弱小目标检测