Dense pedestrian detection algorithm in multi-branch non-anchor frame network

LÜ Zhixuan; WEI Xia; HUANG Deqi

doi:10.37188/OPE.20233110.1532

您当前的位置：

首页 >

文章列表页 >

Dense pedestrian detection algorithm in multi-branch non-anchor frame network

Information Sciences | 更新时间：2023-05-25

- Dense pedestrian detection algorithm in multi-branch non-anchor frame network
- Optics and Precision Engineering Vol. 31, Issue 10, Pages: 1532-1547(2023)
- 作者机构：
  
  新疆大学电气工程学院，新疆维吾尔自治区乌鲁木齐 830017
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233110.1532
  CLC： TP391.41;
- Received：30 May 2022，
  
  Revised：08 July 2022，
  
  Published：25 May 2023
- 稿件说明：
移动端阅览
吕志轩,魏霞,黄德启.多分支无锚框网络密集行人检测算法[J].光学精密工程,2023,31(10):1532-1547.

LÜ Zhixuan,WEI Xia,HUANG Deqi.Dense pedestrian detection algorithm in multi-branch non-anchor frame network[J].Optics and Precision Engineering,2023,31(10):1532-1547.
吕志轩,魏霞,黄德启.多分支无锚框网络密集行人检测算法[J].光学精密工程,2023,31(10):1532-1547. DOI： 10.37188/OPE.20233110.1532.

LÜ Zhixuan,WEI Xia,HUANG Deqi.Dense pedestrian detection algorithm in multi-branch non-anchor frame network[J].Optics and Precision Engineering,2023,31(10):1532-1547. DOI： 10.37188/OPE.20233110.1532.

摘要

针对街道等多人流量场景图像中人员密集、姿态变化多、人体遮挡严重造成的行人检测漏检问题，提出一种多分支无锚框网络（MBAN）行人检测方法。首先，在检测模型主干网络后加入多分支网络结构用以检测行人的多个关键区域局部特征；然后，设计了关键区域之间的距离损失函数引导分支网络对行人的局部检测位置进行差异化学习，接下来为了提高分支网络对行人局部特征空间信息的理解能力，在Resnet50网络尾部加入四个上采样块构成沙漏结构（Hourglass）；最后，设计了一种局部特征选择网络自适应抑制多分支输出的非最优值，消除预测时的冗余特征框。实验结果表明MBAN方法对多人流量场景行人检测的mAP值、F1值、Prec和Recall分别达到85.22%，0.87，80.07%和94.39%，证明该方法对密集人群检测能力较强，与其他行人检测算法相比有较高的召回率。

Abstract

Considering the problem of missed pedestrian detection in dense pedestrian images， a multi-branch non-anchor frame network （MBAN） detection method is proposed to detect various posture changes and serious human occlusion in multi-person traffic scenes， such as streets. First， a multi-branch network structure is added after model backbone network detection to detect the local features of multiple key areas with pedestrians. Subsequently， the distance loss function between key areas is designed to guide the branch network to differentially learn the local detection position of pedestrians. Thereafter， four up-sampling blocks are added to the tail of the ResNet50 network to form an hourglass structure， thereby improving the branch network’s ability to understand the spatial information of local features of pedestrians. Finally， a local feature selection network is designed to adaptively suppress the non-optimal values of the multi-branch output and eliminate the redundant feature box in prediction. In the experimental results， the mAP， F1， Prec， and Recall values of the MBAN method for pedestrian detection in multi-person scenes reached 85.22%， 0.87， 80.07%， and 94.39%， respectively. Therefore， this method is effective in detecting pedestrians in dense crowds and has higher recall rate compared with other pedestrian detection algorithms.

关键词

Keywords

references

侯佳伟 . 从七次全国人口普查看我国人口发展新特点及新趋势［J］. 学术论坛， 2021 ， 44 （ 5 ）： 1 - 14 . doi: 10.3969/j.issn.1004-4434.2021.05.001 http://dx.doi.org/10.3969/j.issn.1004-4434.2021.05.001

HOU J W . Looking at the new characteristics and trends of China’s population development from the seven national censuses ［J］. Academic Forum ， 2021 ， 44 （ 5 ）： 1 - 14 . （in Chinese） . doi: 10.3969/j.issn.1004-4434.2021.05.001 http://dx.doi.org/10.3969/j.issn.1004-4434.2021.05.001

LUO C X ， YANG X D ， YUILLE A . Exploring Simple 3D Multi-Object Tracking for Autonomous Driving ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . 10 - 17 ， 2021， Montreal， QC， Canada. IEEE ， 2022： 10468 - 10477 . doi: 10.1109/iccv48922.2021.01032 http://dx.doi.org/10.1109/iccv48922.2021.01032

LIU C ， TANG X ， MA J J ， et al . Remote Sensing Images Feature Learning Based on Multi-Branch Networks ［C］. IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium . 262，2020 ， Waikoloa ， HI， USA . IEEE ， 2021 ： 2057 - 2060 . doi: 10.1109/igarss39084.2020.9323967 http://dx.doi.org/10.1109/igarss39084.2020.9323967

KE W ， ZHANG T L ， HUANG Z Y ， et al . Multiple Anchor Learning for Visual Object Detection ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 10203 - 10212 . doi: 10.1109/cvpr42600.2020.01022 http://dx.doi.org/10.1109/cvpr42600.2020.01022

LI S ， YANG L X ， HUANG J Q ， et al . Dynamic Anchor Feature Selection for Single-Shot Object Detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 6608 - 6617 . doi: 10.1109/iccv.2019.00671 http://dx.doi.org/10.1109/iccv.2019.00671

GIRSHICK R ， DONAHUE J ， DARRELL T ， et al . Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition . 23 - 28 ， 2014， Columbus， OH， USA. IEEE ， 2014： 580 - 587 . doi: 10.1109/cvpr.2014.81 http://dx.doi.org/10.1109/cvpr.2014.81

REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You Only Look Once： Unified， Real-Time Object Detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 27 - 30 ， 2016， Las Vegas， NV， USA. IEEE ， 2016： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91

ROSZYK K ， NOWICKI M R ， SKRZYPCZYŃSKI P . Adopting the YOLOv4 architecture for low-latency multispectral pedestrian detection in autonomous driving ［J］. Sensors ， 2022 ， 22 （ 3 ）： 1082 . doi: 10.3390/s22031082 http://dx.doi.org/10.3390/s22031082

GAWANDE U ， HAJARI K ， GOLHAR Y . SIRA： Scale illumination rotation affine invariant mask R-CNN for pedestrian detection ［J］. Applied Intelligence ， 2022 ， 52 （ 9 ）： 10398 - 10416 . doi: 10.1007/s10489-021-03073-z http://dx.doi.org/10.1007/s10489-021-03073-z

李经宇，杨静，孔斌，等 . 基于注意力机制的多尺度车辆行人检测算法［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1448 - 1458 . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448

LI J Y ， YANG J ， KONG B ， et al . Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1448 - 1458 . （in Chinese） . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448

马立，巩笑天，欧阳航空 . Tiny YOLOV3目标检测改进［J］. 光学精密工程， 2020 ， 28 （ 4 ）： 988 - 995 . doi: 10.3788/OPE.20202804.0988 http://dx.doi.org/10.3788/OPE.20202804.0988

MA L ， GONG X T ， OUYANG H K . Improvement of Tiny YOLOV3 target detection ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 4 ）： 988 - 995 . （in Chinese） . doi: 10.3788/OPE.20202804.0988 http://dx.doi.org/10.3788/OPE.20202804.0988

JIN Z C ， LIU B ， CHU Q ， et al . SAFNet： A Semi-Anchor-Free Network with Enhanced Feature Pyramid for Object Detection ［C］. IEEE Transactions on Image Processing.7 ， 2020 ， IEEE ， 2020： 9445 - 9457 . doi: 10.1109/tip.2020.3028196 http://dx.doi.org/10.1109/tip.2020.3028196

ZHU C C ， HE Y H ， SAVVIDES M . Feature Selective Anchor-Free Module for Single-Shot Object Detection ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 840 - 849 . doi: 10.1109/cvpr.2019.00093 http://dx.doi.org/10.1109/cvpr.2019.00093

ZHANG S F ， CHI C ， YAO Y Q ， et al . Bridging the Gap Between Anchor-Based and Anchor-Free Detection via Adaptive Training Sample Selection ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 9756 - 9765 . doi: 10.1109/cvpr42600.2020.00978 http://dx.doi.org/10.1109/cvpr42600.2020.00978

LAW H ， DENG J . CornerNet： detecting objects as paired keypoints ［J］. International Journal of Computer Vision ， 2020 ， 128 （ 3 ）： 642 - 656 . doi: 10.1007/s11263-019-01204-1 http://dx.doi.org/10.1007/s11263-019-01204-1

ZHOU X ， WANG D ， KRÄHENBÜHL P . Objects as points ［J］. arXiv preprint arXiv： 1904.07850 ， 2019 .

DUAN K W ， BAI S ， XIE L X ， et al . Centernet： keypoint triplets for object detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 6568 - 6577 . doi: 10.1109/iccv.2019.00667 http://dx.doi.org/10.1109/iccv.2019.00667

CAO Z W ， YANG H H ， XU W J ， et al . Multiscale anchor-free region proposal network for pedestrian detection ［J］. Wireless Communications and Mobile Computing ， 2021 ， 2021 ： 1 - 12 . doi: 10.1155/2021/5590895 http://dx.doi.org/10.1155/2021/5590895

DING Z F ， GU Z C ， SUN Y P ， et al . Cascaded cross-layer fusion network for pedestrian detection ［J］. Mathematics ， 2022 ， 10 （ 1 ）： 139 . doi: 10.3390/math10010139 http://dx.doi.org/10.3390/math10010139

邹逸群，肖志红，唐夏菲，等 . Anchor-free的尺度自适应行人检测算法［J］. 控制与决策， 2021 ， 36 （ 2 ）： 295 - 302 . doi: 10.13195/j.kzyjc.2020.0124 http://dx.doi.org/10.13195/j.kzyjc.2020.0124

ZOU Y Q ， XIAO ZH H ， TANG X F ， et al . Anchor-free scale adaptive pedestrian detection algorithm ［J］. Control and Decision ， 2021 ， 36 （ 2 ）： 295 - 302 . （in Chinese） . doi: 10.13195/j.kzyjc.2020.0124 http://dx.doi.org/10.13195/j.kzyjc.2020.0124

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep Residual Learning for Image Recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 27 - 30 ， 2016， Las Vegas， NV， USA. IEEE ， 2016： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

CHU S W ， SONG Y ， ZOUO J J ， et al . Human Pose Estimation Using Deep Convolutional Densenet Hourglass Network with Intermediate Points Voting ［C］. 2019 IEEE International Conference on Image Processing （ICIP） . 22 - 25 ， 2019， Taipei， China. IEEE ， 2019： 594 - 598 . doi: 10.1109/icip.2019.8803789 http://dx.doi.org/10.1109/icip.2019.8803789

WENG X ， YAN Y ， DONG G S ， et al . Deep multi-branch aggregation network for real-time semantic segmentation in street scenes ［C］. IEEE Transactions on Intelligent Transportation Systems.16 ， 2022 ， IEEE ， 2022： 17224 - 17240 . doi: 10.1109/tits.2022.3150350 http://dx.doi.org/10.1109/tits.2022.3150350

CHEN Z F ， QIN X ， YANG C ， et al . Composite localization for human pose estimation ［J］. arXiv preprint arXiv： 2105.07245 ， 2021 .

DU C J ， YU H ， YU L . A scale-sensitive heatmap representation for multi-person pose estimation ［J］. IET Image Processing ， 2022 ， 16 （ 4 ）： 1194 - 1207 . doi: 10.1049/ipr2.12404 http://dx.doi.org/10.1049/ipr2.12404

WU H ， CAO Y ， WEI H P ， et al . Face recognition based on haar like and euclidean distance ［J］. Journal of Physics： Conference Series ， 2021 ， 1813 （ 1 ）： 012036 . doi: 10.1088/1742-6596/1813/1/012036 http://dx.doi.org/10.1088/1742-6596/1813/1/012036

CHOI SBIN ， LEE S S ， PARK J ， et al . Standard greedy non maximum suppression optimization for efficient and high speed inference ［C］. 2021 IEEE International Conference on Consumer Electronics-Asia （ICCE-Asia） . 1 - 3 ， 2021， Gangwon， Korea， Republic of. IEEE ， 2021： 1 - 4 . doi: 10.1109/icce-asia53811.2021.9641977 http://dx.doi.org/10.1109/icce-asia53811.2021.9641977

ZHANG S F ， XIE Y L ， WAN J ， et al . WiderPerson： a diverse dataset for dense pedestrian detection in the wild ［J］. IEEE Transactions on Multimedia ， 2020 ， 22 （ 2 ）： 380 - 393 . doi: 10.1109/tmm.2019.2929005 http://dx.doi.org/10.1109/tmm.2019.2929005

SHAO S ， ZHAO Z ， LI B ， et al . Crowdhuman： A benchmark for detecting human in a crowd ［J］. arXiv preprint arXiv： 1805.00123 ， 2018 .

TIAN Z ， SHEN C H ， CHEN H ， et al . FCOS： A Simple and Strong Anchor-Free Object Detector ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence . 19，2020 ， IEEE ， 2020 ： 1922 - 1933 . doi: 10.1109/tpami.2020.3032166 http://dx.doi.org/10.1109/tpami.2020.3032166

王宸，张秀峰，刘超，等 . 改进YOLOv3的轮毂焊缝缺陷检测［J］. 光学精密工程， 2021 ， 29 （ 8 ）： 1942 - 1954 . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942

WANG CH ， ZHANG X F ， LIU CH ， et al . Detection method of wheel hub weld defects based on the improved YOLOv3 ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 8 ）： 1942 - 1954 . （in Chinese） . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942

KANG H J . Real-time Object Detection on 640x480 Image with VGG16 SSD ［C］. 2019 International Conference on Field-Programmable Technology （ICFPT） . 9 - 13 ， 2019， Tianjin， China. IEEE ， 2020： 419 - 422 . doi: 10.1109/icfpt47387.2019.00082 http://dx.doi.org/10.1109/icfpt47387.2019.00082

WANG Y M ， JIA K B ， LIU P Y . Impolite pedestrian detection by using enhanced YOLOv3-tiny ［J］. Journal on Artificial Intelligence ， 2020 ， 2 （ 3 ）： 113 - 124 . doi: 10.32604/jai.2020.010137 http://dx.doi.org/10.32604/jai.2020.010137

陈一潇，阿里甫·库尔班，林文龙，等 . 面向拥挤行人检测的CA-YOLOv5 ［J］. 计算机工程与应用， 2022 ， 58 （ 9 ）： 238 - 245 . doi: 10.3778/j.issn.1002-8331.2201-0058 http://dx.doi.org/10.3778/j.issn.1002-8331.2201-0058

CHEN Y X ， ALIFU K ， LIN W L ， et al . CA-YOLOv5 for crowded pedestrian detection ［J］. Computer Engineering and Applications ， 2022 ， 58 （ 9 ）： 238 - 245 . （in Chinese） . doi: 10.3778/j.issn.1002-8331.2201-0058 http://dx.doi.org/10.3778/j.issn.1002-8331.2201-0058

REDMON J ， FARHADI A . YOLO9000： Better， Faster， Stronger ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 6517 - 6525 . doi: 10.1109/cvpr.2017.690 http://dx.doi.org/10.1109/cvpr.2017.690

CAO J ， PANG Y ， ANWER R M ， et al . PSTR： End-To-End One-Step Person Search with Transformers ［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . 2022 ： 9458 - 9467 . doi: 10.1109/cvpr52688.2022.00924 http://dx.doi.org/10.1109/cvpr52688.2022.00924

YU R ， DU D ， LALONDE R ， et al . Cascade Transformers for End-to-End Person Search ［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022 ： 7267 - 7276 . doi: 10.1109/cvpr52688.2022.00712 http://dx.doi.org/10.1109/cvpr52688.2022.00712

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Hyperspectral images feature extraction and classification based on fractional differentiation

Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification

Application of SENet generative adversarial network in image semantics description

Semi-supervised dual path network for hyperspectral image classification

Lightweight pedestrian detection for multiple scenes

Related Author

LIU Jing

LI Yang

LIU Yi

LIU Yingxu

PU Chunyu

XU Diankun

YANG Yichuan

HUANG Hong

Related Institution

School of Electronic Engineering， Xidian University

School of Electronic Engineering， Xi’an University of Posts and Telecommunications

Key Laboratory of Optoelectronic Technology and Systems of the Education Ministry of China， Chongqing University

Measurement and Control Technology and Instrument major， College of Optoelectronic Engineering， Chongqing University

Key Laboratory of Gansu Advanced Control for Industrial Processes

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰