引入注意力机制的轻量级小目标检测网络

朱威; 王立凯; 靳作宝; 何德峰

doi:10.37188/OPE.20223008.0998

您当前的位置：

首页 >

文章列表页 >

引入注意力机制的轻量级小目标检测网络

信息科学 | 更新时间：2022-04-26

- 引入注意力机制的轻量级小目标检测网络
- Lightweight small object detection network with attention mechanism
- 光学精密工程 2022年30卷第8期页码：998-1010
- 作者机构：
  
  浙江工业大学信息工程学院，浙江杭州 310023
- 作者简介：
  
  [ "朱　威（1982-），男，浙江丽水人，博士，副教授，2004年、2010年于浙江大学分别获得学士、博士学位，主要从事模式识别与智能系统研究，E-mail： weizhu@zjut.edu.cn" ]
- 基金信息：
  
  浙江省自然科学基金项目(LY21F010009);国家自然科学基金项目(61773345);汽车仿真与控制国家重点实验室开放基金项目(20171103)
- DOI：10.37188/OPE.20223008.0998
  中图分类号： TP391.4
- 收稿日期：2021-01-22，
  
  修回日期：2021-03-07，
  
  纸质出版日期：2022-04-25
- 稿件说明：
移动端阅览
朱威,王立凯,靳作宝等.引入注意力机制的轻量级小目标检测网络[J].光学精密工程,2022,30(08):998-1010.

ZHU Wei,WANG Likai,JIN Zuobao,et al.Lightweight small object detection network with attention mechanism[J].Optics and Precision Engineering,2022,30(08):998-1010.
朱威,王立凯,靳作宝等.引入注意力机制的轻量级小目标检测网络[J].光学精密工程,2022,30(08):998-1010. DOI： 10.37188/OPE.20223008.0998.

ZHU Wei,WANG Likai,JIN Zuobao,et al.Lightweight small object detection network with attention mechanism[J].Optics and Precision Engineering,2022,30(08):998-1010. DOI： 10.37188/OPE.20223008.0998.

摘要

为了提高在如无人机航拍图像等背景复杂情况下的小目标检测能力，本文在YOLOv4网络的基础上，提出了一种引入注意力机制的轻量级小目标检测网络。首先，在通道注意力机制中加入多尺度融合模块并构造多方法特征提取器，再将所设计的通道注意力模块嵌入到YOLOv4特征提取网络，增强网络对于图像感兴趣区域的关注能力；接着，改进YOLOv4网络结构，增加浅层特征层与深层特征信息融合机制，以获取丰富的分辨率信息；最后，采用通道剪枝和知识蒸馏策略对改进后的网络进行模型优化，在微小精度损失的前提下大幅度减少了模型参数数量。实验结果表明，在无人机航拍数据中，本文提出的轻量级小目标检测网络较原网络的模型大小减少93.6%，推理速度提高52.6%，mAP提升了2.9%；在布匹疵点数据集中，模型大小减少92.1%，推理速度提高49.5%，mAP提升了2.2%，有效改善了复杂背景下的小目标检测效果，同时实现了网络的轻量化。

Abstract

In order to improve the detection ability of small objects in complex backgrounds， such as drone aerial images， this paper proposes a lightweight small object detection network that introduces an attention mechanism based on the YOLOv4 network. First， a multi-scale fusion module is added to the channel attention mechanism and construct a multi-method feature extractor， and then embed the designed channel attention module into the YOLOv4 feature extraction network to enhance the network's ability to focus on the region of interest in the image； then improve YOLOv4 network structure， increase the fusion of shallow feature layer and deep feature information to obtain rich resolution information； finally adopt channel pruning and knowledge distillation strategy to optimize the model of the improved network， and greatly reduce it under the premise of small accuracy loss the number of model parameters. The experimental results show that in the drone aerial photography data， the lightweight small object detection network proposed in this paper reduces the model size of the original network by 93.6%， the reasoning speed increases by 52.6%， and the mAP increases by 2.9%； in the cloth defect dataset， the model size is reduced by 92.1%， the reasoning speed is increased by 49.5%， and the mAP is increased by 2.2%， effectively improveing the detection of small objects in complex backgrounds and realizeing a lightweight network.

关键词

Keywords

references

范丽丽，赵宏伟，赵浩宇，等 . 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1152 - 1164 .

FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese）

SINGH K K . An artificial intelligence and cloud based collaborative platform for plant disease identification， tracking and forecasting for farmers ［C］. 2018 IEEE International Conference on Cloud Computing in Emerging Markets . 2324，2018 ， Bangalore ， India . IEEE ， 2018 ： 49 - 56 . doi: 10.1109/ccem.2018.00016 http://dx.doi.org/10.1109/ccem.2018.00016

ZHANG W ， CONG M Y ， WANG L P . Algorithms for optical weak small targets detection and tracking： review ［C］. International Conference on Neural Networks and Signal Processing ， 2003 . Proceedings of the 2003. 1417，2003 ， Nanjing， China. IEEE ， 2003： 643 - 647 . doi: 10.1109/icnnsp.2003.1279357 http://dx.doi.org/10.1109/icnnsp.2003.1279357

LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft COCO： common objects in context ［C］. Computer Vision-ECCV 2014 ， 2014 ： arXiv： 1405.0312 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48

赵尚男，王灵杰，张新，等 . 采用视觉特征整合的红外弱小目标检测［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 497 - 506 . doi: 10.1109/cac51589.2020.9327527 http://dx.doi.org/10.1109/cac51589.2020.9327527

ZHAO S N ， WANG L J ， ZHANG X ， et al . Detection of infrared dim small target based on visual feature integration ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 497 - 506 . （in Chinese） . doi: 10.1109/cac51589.2020.9327527 http://dx.doi.org/10.1109/cac51589.2020.9327527

CHEN C ， LIU M Y ， TUZEL O ， et al .. R-CNN for Small Object Detection ［C］. Proceedings of the Asian Conference on Computer Vision. Taipei， China ： Springer ， 2016 ： 214 - 230 . doi: 10.1007/978-3-319-54193-8_14 http://dx.doi.org/10.1007/978-3-319-54193-8_14

LI J N ， LIANG X D ， WEI Y C ， et al . Perceptual generative adversarial networks for small object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 1951 - 1959 . doi: 10.1109/cvpr.2017.211 http://dx.doi.org/10.1109/cvpr.2017.211

ZHOU P ， NI B B ， GENG C ， et al . Scale-transferrable object detection ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 528 - 537 . doi: 10.1109/cvpr.2018.00062 http://dx.doi.org/10.1109/cvpr.2018.00062

谷雨，刘俊，沈宏海，等 . 基于改进多尺度分形特征的红外图像弱小目标检测［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1375 - 1386 . doi: 10.3788/ope.20202806.1375 http://dx.doi.org/10.3788/ope.20202806.1375

GU Y ， LIU J ， SHEN H H ， et al . Infrared dim-small target detection based on an improved multiscale fractal feature ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1375 - 1386 . （in Chinese） . doi: 10.3788/ope.20202806.1375 http://dx.doi.org/10.3788/ope.20202806.1375

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［J］. axXiv preprint arXiv ： 2004.10934 .

WANG C Y ， MARK LIAO H Y ， WU Y H ， et al . CSPNet： a new backbone that can enhance learning capability of CNN ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1571 - 1580 . doi: 10.1109/cvprw50498.2020.00203 http://dx.doi.org/10.1109/cvprw50498.2020.00203

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

WANG W H ， XIE E Z ， SONG X G ， et al . Efficient and accurate arbitrary-shaped text detection with pixel aggregation network ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea. IEEE ， 2019： 8439 - 8448 . doi: 10.1109/iccv.2019.00853 http://dx.doi.org/10.1109/iccv.2019.00853

ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 . doi: 10.1609/aaai.v34i07.6999 http://dx.doi.org/10.1609/aaai.v34i07.6999

LUONG T ， PHAM H ， MANNING C D . Effective approaches to attention-based neural machine translation ［C］. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon， Portugal . 2015 ： 1412 - 1421 . doi: 10.18653/v1/d15-1166 http://dx.doi.org/10.18653/v1/d15-1166

刘媛媛，张硕，于海业，等 . 基于语义分割的复杂场景下的秸秆检测［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 200 - 211 . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

LIU Y Y ， ZHANG S ， YU H Y ， et al . Straw detection algorithm based on semantic segmentation in complex farm scenarios ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 200 - 211 . （in Chinese） . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

SZEGEDY C ， VANHOUCKE V ， IOFFE S ， et al . Rethinking the inception architecture for computer vision ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 2818 - 2826 . doi: 10.1109/cvpr.2016.308 http://dx.doi.org/10.1109/cvpr.2016.308

MISRA D . Mish： a self regularized non-monotonic neural activation function ［EB/OL］. （ 2019-08-23 ）［ 2021-01-22 ］. http：//arxiv.org/abs/1908. 08681.pdf http://arxiv.org/abs/1908.08681.pdf . doi: 10.1142/9789812702685_0043 http://dx.doi.org/10.1142/9789812702685_0043

DENG L ， LI G Q ， HAN S ， et al . Model compression and hardware acceleration for neural networks： a comprehensive survey ［J］. Proceedings of the IEEE ， 2020 ， 108 （ 4 ）： 485 - 532 . doi: 10.1109/jproc.2020.2976475 http://dx.doi.org/10.1109/jproc.2020.2976475

LIU Z ， LI J G ， SHEN Z Q ， et al . Learning efficient convolutional networks through network slimming ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2755 - 2763 . doi: 10.1109/iccv.2017.298 http://dx.doi.org/10.1109/iccv.2017.298

CHEN G ， CHOI W ， YU X ， et al .. Learning efficient object detection models with knowledge distillation ［C］. Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach， USA ： NIPS ， 2017 ： 742 - 75 .

DU D W ， ZHU P F ， WEN L Y ， et al . VisDrone-DET2019： the vision meets drone object detection in image challenge results ［C］. 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. 2728，2019 ， Seoul， Korea. IEEE ， 2019 ： 213 - 226 .

CUBUK E D ， ZOPH B ， MANÉ D ， et al . AutoAugment： learning augmentation strategies from data ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 113 - 123 . doi: 10.1109/cvpr.2019.00020 http://dx.doi.org/10.1109/cvpr.2019.00020

KINGMA D P ， BA J . Adam： a method for stochastic optimization ［J］. Proceedings of the international conference for learning representations. San Diego ， USA： ICLR， 2015 ： 1 - 15 .

WOO S ， PARK J ， LEE J Y ， et al .. Cbam： Convolutional block attention module ［C］. Proceedings of the European conference on computer vision. Munich， Germany ： IEEE ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

浏览量

1091

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

半监督式野生动物夜间目标端到端检测

基于MA-DETR的SAR图像飞机目标检测

融合特征重组和注意力的小样本战斗部破片群目标检测

位置敏感Transformer航拍图像目标检测模型

基于度量元学习的铁路小样本入侵目标检测方法