Lightweight small object detection network with attention mechanism

Wei ZHU; Likai WANG; Zuobao JIN; Defeng HE

doi:10.37188/OPE.20223008.0998

您当前的位置：

首页 >

文章列表页 >

Lightweight small object detection network with attention mechanism

Information Sciences | 更新时间：2022-04-26

- Lightweight small object detection network with attention mechanism
- Optics and Precision Engineering Vol. 30, Issue 8, Pages: 998-1010(2022)
- 作者机构：
  
  浙江工业大学信息工程学院，浙江杭州 310023
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223008.0998
  CLC： TP391.4
- Received：22 January 2021，
  
  Revised：07 March 2021，
  
  Published：25 April 2022
- 稿件说明：
移动端阅览
朱威,王立凯,靳作宝等.引入注意力机制的轻量级小目标检测网络[J].光学精密工程,2022,30(08):998-1010.

ZHU Wei,WANG Likai,JIN Zuobao,et al.Lightweight small object detection network with attention mechanism[J].Optics and Precision Engineering,2022,30(08):998-1010.
朱威,王立凯,靳作宝等.引入注意力机制的轻量级小目标检测网络[J].光学精密工程,2022,30(08):998-1010. DOI： 10.37188/OPE.20223008.0998.

ZHU Wei,WANG Likai,JIN Zuobao,et al.Lightweight small object detection network with attention mechanism[J].Optics and Precision Engineering,2022,30(08):998-1010. DOI： 10.37188/OPE.20223008.0998.

摘要

为了提高在如无人机航拍图像等背景复杂情况下的小目标检测能力，本文在YOLOv4网络的基础上，提出了一种引入注意力机制的轻量级小目标检测网络。首先，在通道注意力机制中加入多尺度融合模块并构造多方法特征提取器，再将所设计的通道注意力模块嵌入到YOLOv4特征提取网络，增强网络对于图像感兴趣区域的关注能力；接着，改进YOLOv4网络结构，增加浅层特征层与深层特征信息融合机制，以获取丰富的分辨率信息；最后，采用通道剪枝和知识蒸馏策略对改进后的网络进行模型优化，在微小精度损失的前提下大幅度减少了模型参数数量。实验结果表明，在无人机航拍数据中，本文提出的轻量级小目标检测网络较原网络的模型大小减少93.6%，推理速度提高52.6%，mAP提升了2.9%；在布匹疵点数据集中，模型大小减少92.1%，推理速度提高49.5%，mAP提升了2.2%，有效改善了复杂背景下的小目标检测效果，同时实现了网络的轻量化。

Abstract

In order to improve the detection ability of small objects in complex backgrounds， such as drone aerial images， this paper proposes a lightweight small object detection network that introduces an attention mechanism based on the YOLOv4 network. First， a multi-scale fusion module is added to the channel attention mechanism and construct a multi-method feature extractor， and then embed the designed channel attention module into the YOLOv4 feature extraction network to enhance the network's ability to focus on the region of interest in the image； then improve YOLOv4 network structure， increase the fusion of shallow feature layer and deep feature information to obtain rich resolution information； finally adopt channel pruning and knowledge distillation strategy to optimize the model of the improved network， and greatly reduce it under the premise of small accuracy loss the number of model parameters. The experimental results show that in the drone aerial photography data， the lightweight small object detection network proposed in this paper reduces the model size of the original network by 93.6%， the reasoning speed increases by 52.6%， and the mAP increases by 2.9%； in the cloth defect dataset， the model size is reduced by 92.1%， the reasoning speed is increased by 49.5%， and the mAP is increased by 2.2%， effectively improveing the detection of small objects in complex backgrounds and realizeing a lightweight network.

关键词

Keywords

references

范丽丽，赵宏伟，赵浩宇，等 . 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1152 - 1164 .

FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese）

SINGH K K . An artificial intelligence and cloud based collaborative platform for plant disease identification， tracking and forecasting for farmers ［C］. 2018 IEEE International Conference on Cloud Computing in Emerging Markets . 2324，2018 ， Bangalore ， India . IEEE ， 2018 ： 49 - 56 . doi: 10.1109/ccem.2018.00016 http://dx.doi.org/10.1109/ccem.2018.00016

ZHANG W ， CONG M Y ， WANG L P . Algorithms for optical weak small targets detection and tracking： review ［C］. International Conference on Neural Networks and Signal Processing ， 2003 . Proceedings of the 2003. 1417，2003 ， Nanjing， China. IEEE ， 2003： 643 - 647 . doi: 10.1109/icnnsp.2003.1279357 http://dx.doi.org/10.1109/icnnsp.2003.1279357

LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft COCO： common objects in context ［C］. Computer Vision-ECCV 2014 ， 2014 ： arXiv： 1405.0312 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48

赵尚男，王灵杰，张新，等 . 采用视觉特征整合的红外弱小目标检测［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 497 - 506 . doi: 10.1109/cac51589.2020.9327527 http://dx.doi.org/10.1109/cac51589.2020.9327527

ZHAO S N ， WANG L J ， ZHANG X ， et al . Detection of infrared dim small target based on visual feature integration ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 497 - 506 . （in Chinese） . doi: 10.1109/cac51589.2020.9327527 http://dx.doi.org/10.1109/cac51589.2020.9327527

CHEN C ， LIU M Y ， TUZEL O ， et al .. R-CNN for Small Object Detection ［C］. Proceedings of the Asian Conference on Computer Vision. Taipei， China ： Springer ， 2016 ： 214 - 230 . doi: 10.1007/978-3-319-54193-8_14 http://dx.doi.org/10.1007/978-3-319-54193-8_14

LI J N ， LIANG X D ， WEI Y C ， et al . Perceptual generative adversarial networks for small object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 1951 - 1959 . doi: 10.1109/cvpr.2017.211 http://dx.doi.org/10.1109/cvpr.2017.211

ZHOU P ， NI B B ， GENG C ， et al . Scale-transferrable object detection ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 528 - 537 . doi: 10.1109/cvpr.2018.00062 http://dx.doi.org/10.1109/cvpr.2018.00062

谷雨，刘俊，沈宏海，等 . 基于改进多尺度分形特征的红外图像弱小目标检测［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1375 - 1386 . doi: 10.3788/ope.20202806.1375 http://dx.doi.org/10.3788/ope.20202806.1375

GU Y ， LIU J ， SHEN H H ， et al . Infrared dim-small target detection based on an improved multiscale fractal feature ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1375 - 1386 . （in Chinese） . doi: 10.3788/ope.20202806.1375 http://dx.doi.org/10.3788/ope.20202806.1375

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［J］. axXiv preprint arXiv ： 2004.10934 .

WANG C Y ， MARK LIAO H Y ， WU Y H ， et al . CSPNet： a new backbone that can enhance learning capability of CNN ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1571 - 1580 . doi: 10.1109/cvprw50498.2020.00203 http://dx.doi.org/10.1109/cvprw50498.2020.00203

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

WANG W H ， XIE E Z ， SONG X G ， et al . Efficient and accurate arbitrary-shaped text detection with pixel aggregation network ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea. IEEE ， 2019： 8439 - 8448 . doi: 10.1109/iccv.2019.00853 http://dx.doi.org/10.1109/iccv.2019.00853

ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 . doi: 10.1609/aaai.v34i07.6999 http://dx.doi.org/10.1609/aaai.v34i07.6999

LUONG T ， PHAM H ， MANNING C D . Effective approaches to attention-based neural machine translation ［C］. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon， Portugal . 2015 ： 1412 - 1421 . doi: 10.18653/v1/d15-1166 http://dx.doi.org/10.18653/v1/d15-1166

刘媛媛，张硕，于海业，等 . 基于语义分割的复杂场景下的秸秆检测［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 200 - 211 . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

LIU Y Y ， ZHANG S ， YU H Y ， et al . Straw detection algorithm based on semantic segmentation in complex farm scenarios ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 200 - 211 . （in Chinese） . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

SZEGEDY C ， VANHOUCKE V ， IOFFE S ， et al . Rethinking the inception architecture for computer vision ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 2818 - 2826 . doi: 10.1109/cvpr.2016.308 http://dx.doi.org/10.1109/cvpr.2016.308

MISRA D . Mish： a self regularized non-monotonic neural activation function ［EB/OL］. （ 2019-08-23 ）［ 2021-01-22 ］. http：//arxiv.org/abs/1908. 08681.pdf http://arxiv.org/abs/1908.08681.pdf . doi: 10.1142/9789812702685_0043 http://dx.doi.org/10.1142/9789812702685_0043

DENG L ， LI G Q ， HAN S ， et al . Model compression and hardware acceleration for neural networks： a comprehensive survey ［J］. Proceedings of the IEEE ， 2020 ， 108 （ 4 ）： 485 - 532 . doi: 10.1109/jproc.2020.2976475 http://dx.doi.org/10.1109/jproc.2020.2976475

LIU Z ， LI J G ， SHEN Z Q ， et al . Learning efficient convolutional networks through network slimming ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2755 - 2763 . doi: 10.1109/iccv.2017.298 http://dx.doi.org/10.1109/iccv.2017.298

CHEN G ， CHOI W ， YU X ， et al .. Learning efficient object detection models with knowledge distillation ［C］. Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach， USA ： NIPS ， 2017 ： 742 - 75 .

DU D W ， ZHU P F ， WEN L Y ， et al . VisDrone-DET2019： the vision meets drone object detection in image challenge results ［C］. 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. 2728，2019 ， Seoul， Korea. IEEE ， 2019 ： 213 - 226 .

CUBUK E D ， ZOPH B ， MANÉ D ， et al . AutoAugment： learning augmentation strategies from data ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 113 - 123 . doi: 10.1109/cvpr.2019.00020 http://dx.doi.org/10.1109/cvpr.2019.00020

KINGMA D P ， BA J . Adam： a method for stochastic optimization ［J］. Proceedings of the international conference for learning representations. San Diego ， USA： ICLR， 2015 ： 1 - 15 .

WOO S ， PARK J ， LEE J Y ， et al .. Cbam： Convolutional block attention module ［C］. Proceedings of the European conference on computer vision. Munich， Germany ： IEEE ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

Views

1091

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

End-to-end recognition of nighttime wildlife based on semi-supervised learning

Aircraft target detection in SAR images based on MA-DETR

Few-shot warhead fragment group object detection based on feature reassembly and attention

Position-sensitive Transformer aerial image object detection model

Railway few-shot intruding objects detection method with metric meta learning

Related Author

LU Han

CUI Bolun

WAN Huayang

ZHANG Guofeng

SHEN Chen

WANG Chi

ZHOU Wenjun

HUANG Shuo

Related Institution

School of Mechatronic Engineering and Automation，Shanghai University

Beijing Institute of Space Mechanics & Electricity

School of Communication and Information Engineering， Shanghai University

Shanghai Key Laboratory of Space-based Heterogeneous Network Collaborative Computing， Shanghai Aerospace Electronic Communication Equipment Research Institute

Xi’an Modern Control Technology Research Institute

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰