Cross-scale infrared pedestrian detection based on dynamic feature optimization mechanism

HAO Shuai; HE Tian; MA Xu; YANG Lei; SUN Siya

doi:10.37188/OPE.20223019.2390

您当前的位置：

首页 >

文章列表页 >

Cross-scale infrared pedestrian detection based on dynamic feature optimization mechanism

Information Sciences | 更新时间：2022-10-24

- Cross-scale infrared pedestrian detection based on dynamic feature optimization mechanism
- Optics and Precision Engineering Vol. 30, Issue 19, Pages: 2390-2403(2022)
- 作者机构：
  
  西安科技大学电气与控制工程学院，陕西西安 710054
- 作者简介：
  
  E-mail：414548542@qq.com
- 基金信息：
- DOI：10.37188/OPE.20223019.2390
  CLC： TP391.41;TN219
- Received：17 June 2022，
  
  Revised：05 July 2022，
  
  Published：10 October 2022
- 稿件说明：
移动端阅览
郝帅,何田,马旭等.动态特征优化机制下的跨尺度红外行人检测[J].光学精密工程,2022,30(19):2390-2403.

HAO Shuai,HE Tian,MA Xu,et al.Cross-scale infrared pedestrian detection based on dynamic feature optimization mechanism[J].Optics and Precision Engineering,2022,30(19):2390-2403.
郝帅,何田,马旭等.动态特征优化机制下的跨尺度红外行人检测[J].光学精密工程,2022,30(19):2390-2403. DOI： 10.37188/OPE.20223019.2390.

HAO Shuai,HE Tian,MA Xu,et al.Cross-scale infrared pedestrian detection based on dynamic feature optimization mechanism[J].Optics and Precision Engineering,2022,30(19):2390-2403. DOI： 10.37188/OPE.20223019.2390.

摘要

针对红外行人图像中待检测目标存在多尺度及部分遮挡导致传统算法难以准确检测的问题，提出一种动态特征优化机制下的跨尺度红外行人检测算法。为解决复杂环境中行人目标特征难以有效表达进而造成目标检测精度低的问题，提出一种动态特征优化机制，通过设计亮度感知模块及EG-Chimp优化模型在增强输入图像局部对比度的同时抑制背景信息；搭建了CSPDarkNet特征提取网络，并在其基础上构建CSFF-BiFPN特征金字塔结构以及跨尺度特征融合模块，以提高检测网络对多尺度及部分遮挡行人目标的检测精度；为进一步精确定位行人目标，引入CIOU损失函数加速网络收敛，从而提升检测性能。选取9种经典检测算法在KAIST数据集上进行对比测试，实验结果表明，本文算法能够对复杂环境中的多尺度及部分遮挡红外行人目标进行准确检测，检测精度可达90.7%，验证了所提出检测网络的优势。

Abstract

Multi-scale and partial occlusions in infrared pedestrian images for target detection make it difficult for traditional algorithms to achieve accurate detection. This study developed a cross-scale infrared pedestrian detection algorithm based on a dynamic feature optimization mechanism. First， to alleviate the limitation that pedestrian target features are difficult to express effectively in complex environments， which results in low target detection accuracy， a dynamic feature optimization mechanism is presented. The luminance perception module and EG-Chimp optimization model are designed to enhance the local contrast of the input image and suppress background information. Second， the CSPdarknet53 structure is utilized as the backbone feature extraction network. Accordingly， a CSFF-BiFPN feature pyramid structure and cross-scale feature fusion module are constructed to improve the detection accuracy of multi-scale and partially occluded pedestrian targets. Finally， the CIOU loss function is introduced to accelerate network convergence rate and improve detection performance to locate pedestrian targets more accurately. To verify the advantages of the proposed detection network， nine classical detection algorithms are selected as baseline methods and tested on KAIST datasets. Experimental results demonstrate that the proposed algorithm can accurately detect multi-scale and partially occluded infrared pedestrian targets in complex environments， with detection accuracies of up to 90.7 %.

关键词

Keywords

references

陈莹，朱宇 . 模态自适应权值学习机制下的多光谱行人检测网络［J］. 光学精密工程， 2020 ， 28 （ 12 ）： 2700 - 2709 . doi: 10.37188/OPE.20202812.2700 http://dx.doi.org/10.37188/OPE.20202812.2700

CHEN Y ， ZHU Y . Multispectral pedestrian detection network under modal adaptive weight learning mechanism ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 12 ）： 2700 - 2709 . （in Chinese） . doi: 10.37188/OPE.20202812.2700 http://dx.doi.org/10.37188/OPE.20202812.2700

杨琦，车进，张良，等 . GAN网络混合编码的行人再识别［J］. 液晶与显示， 2021 ， 36 （ 2 ）： 334 - 342 . doi: 10.37188/CJLCD.2020-0167 http://dx.doi.org/10.37188/CJLCD.2020-0167

YANG Q ， CHE J ， ZHANG L ， et al . Person re-identification of GAN network hybrid coding ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 2 ）： 334 - 342 . （in Chinese） . doi: 10.37188/CJLCD.2020-0167 http://dx.doi.org/10.37188/CJLCD.2020-0167

LI T ， MA Y T ， SHEN H ， et al . FPGA implementation of real-time pedestrian detection using normalization-based validation of adaptive features clustering ［J］. IEEE Transactions on Vehicular Technology ， 2020 ， 69 （ 9 ）： 9330 - 9341 . doi: 10.1109/tvt.2020.2976958 http://dx.doi.org/10.1109/tvt.2020.2976958

KANAZAWA A ， BLACK M J ， JACOBS D W ， et al . End-to-end recovery of human shape and pose ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 7122 - 7131 . doi: 10.1109/cvpr.2018.00744 http://dx.doi.org/10.1109/cvpr.2018.00744

穆靖，李伟华，饶俊民，等 . 采用三层模板局部差异度量的红外弱小目标检测［J］. 光学精密工程， 2022 ， 30 （ 7 ）： 869 - 882 . doi: 10.37188/OPE.20223007.0869 http://dx.doi.org/10.37188/OPE.20223007.0869

MU J ， LI W H ， RAO J M ， et al . Infrared small target detection using tri-layer template local difference measure ［J］. Optics and Precision Engineering ， 2022 ， 30 （ 7 ）： 869 - 882 . （in Chinese） . doi: 10.37188/OPE.20223007.0869 http://dx.doi.org/10.37188/OPE.20223007.0869

BISWAS S K ， MILANFAR P . Linear support tensor machine with LSK channels： pedestrian detection in thermal infrared images ［J］. IEEE Transactions on Image Processing ， 2017 ， 26 （ 9 ）： 4229 - 4242 . doi: 10.1109/tip.2017.2705426 http://dx.doi.org/10.1109/tip.2017.2705426

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

刘琼，罗晴，彭绍武 . 车载热成像行人检测RoI提取方法［J］. 东北大学学报（自然科学版）， 2020 ， 41 （ 8 ）： 1083 - 1090 . doi: 10.12068/j.issn.1005-3026.2020.08.004 http://dx.doi.org/10.12068/j.issn.1005-3026.2020.08.004

LIU Q ， LUO Q ， PENG SH W . RoI extraction for vehicular thermal infrared pedestrian detection ［J］. Journal of Northeastern University （Natural Science）， 2020 ， 41 （ 8 ）： 1083 - 1090 . （in Chinese） . doi: 10.12068/j.issn.1005-3026.2020.08.004 http://dx.doi.org/10.12068/j.issn.1005-3026.2020.08.004

CHEN Y Y ， JHONG S Y ， LI G Y ， et al . Thermal-based pedestrian detection using faster R-CNN and region decomposition branch ［C］. 2019 International Symposium on Intelligent Signal Processing and Communication Systems （ISPACS）. Taipei ， China . IEEE ， 2019 ： 1 - 2 . doi: 10.1109/ispacs48206.2019.8986298 http://dx.doi.org/10.1109/ispacs48206.2019.8986298

XU Z W ， VONG C M ， WONG C C ， et al . Ground plane context aggregation network for day-and-night on vehicular pedestrian detection ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2021 ， 22 （ 10 ）： 6395 - 6406 . doi: 10.1109/tits.2020.2991848 http://dx.doi.org/10.1109/tits.2020.2991848

PEI D S ， JING M X ， LIU H P ， et al . A fast RetinaNet fusion framework for multi-spectral pedestrian detection ［J］. Infrared Physics & Technology ， 2020 ， 105 ： 103178 . doi: 10.1016/j.infrared.2019.103178 http://dx.doi.org/10.1016/j.infrared.2019.103178

WANG D ， LAN J H . PPDet： a novel infrared pedestrian detection network in a per-pixel prediction fashion ［J］. Infrared Physics & Technology ， 2021 ， 119 ： 103965 . doi: 10.1016/j.infrared.2021.103965 http://dx.doi.org/10.1016/j.infrared.2021.103965

李经宇，杨静，孔斌，等 . 基于注意力机制的多尺度车辆行人检测算法［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1448 - 1458 . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448

LI J Y ， YANG J ， KONG B ， et al . Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 6 ）： 1448 - 1458 . （in Chinese） . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448

刘怡帆，王旭飞，周鹏，等 . 基于YOLOv4神经网络的红外图像道路行人检测［J］. 数字技术与应用， 2021 ， 39 （ 10 ）： 19 - 22 . doi: 10.19695/j.cnki.cn12-1369.2021.10.07 http://dx.doi.org/10.19695/j.cnki.cn12-1369.2021.10.07

LIU Y F ， WANG X F ， ZHOU P ， et al . Road pedestrian detection based on YOLOv4 neural network in infrared image ［J］. Digital Technology ＆ Application ， 2021 ， 39 （ 10 ）： 19 - 22 . （in Chinese） . doi: 10.19695/j.cnki.cn12-1369.2021.10.07 http://dx.doi.org/10.19695/j.cnki.cn12-1369.2021.10.07

LIU Y ， SU H L ， ZENG C ， et al . A robust thermal infrared vehicle and pedestrian detection method in complex scenes ［J］. Sensors （Basel， Switzerland）， 2021 ， 21 （ 4 ）： 1240 . doi: 10.3390/s21041240 http://dx.doi.org/10.3390/s21041240

ZHENG Z H ， WANG P ， REN D W ， et al . Enhancing geometric factors in model learning and inference for object detection and instance segmentation ［J］. IEEE Transactions on Cybernetics ， 2022 ， 52 （ 8 ）： 8574 - 8586 . doi: 10.1109/tcyb.2021.3095305 http://dx.doi.org/10.1109/tcyb.2021.3095305

贺愉婷，车进，吴金蔓 . 基于YOLOv5和重识别的行人多目标跟踪方法［J］. 液晶与显示， 2022 ， 37 （ 7 ）： 880 - 890 . doi: 10.37188/CJLCD.2022-0025 http://dx.doi.org/10.37188/CJLCD.2022-0025

HE Y T ， CHE J ， WU J M . Pedestrian multi-target tracking method based on YOLOv5 and person re-identification ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 7 ）： 880 - 890 . （in Chinese） . doi: 10.37188/CJLCD.2022-0025 http://dx.doi.org/10.37188/CJLCD.2022-0025

FAN H Y ， MA J S ， FAN H H ， et al . Iterative quadtree decomposition based automatic selection of the seed point for ultrasound breast tumor images ［J］. Multimedia Tools and Applications ， 2017 ， 76 （ 3 ）： 3505 - 3517 . doi: 10.1007/s11042-016-3761-z http://dx.doi.org/10.1007/s11042-016-3761-z

MUN J ， JANG Y ， NAM Y ， et al . Edge-enhancing bi-histogram equalisation using guided image filter ［J］. Journal of Visual Communication and Image Representation ， 2019 ， 58 ： 688 - 700 . doi: 10.1016/j.jvcir.2018.12.037 http://dx.doi.org/10.1016/j.jvcir.2018.12.037

MA J Y ， MA Y ， LI C . Infrared and visible image fusion methods and applications： a survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 . doi: 10.1016/j.inffus.2018.02.004 http://dx.doi.org/10.1016/j.inffus.2018.02.004

EMARY E ， ZAWBAA H M ， GROSAN C . Experienced gray wolf optimization through reinforcement learning and neural networks ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2018 ， 29 （ 3 ）： 681 - 694 . doi: 10.1109/tnnls.2016.2634548 http://dx.doi.org/10.1109/tnnls.2016.2634548

BASHI-AZGHADI S N ， AFSHAR A ， AFSHAR M H . Multi-period response management to contaminated water distribution networks： dynamic programming versus genetic algorithms ［J］. Engineering Optimization ， 2018 ， 50 （ 3 ）： 415 - 429 . doi: 10.1080/0305215x.2017.1318871 http://dx.doi.org/10.1080/0305215x.2017.1318871

KHISHE M ， MOSAVI M R . Chimp optimization algorithm ［J］. Expert Systems With Applications ， 2020 ， 149 ： 113338 . doi: 10.1016/j.eswa.2020.113338 http://dx.doi.org/10.1016/j.eswa.2020.113338

HWANG S ， PARK J ， KIM N ， et al . Multispectral pedestrian detection： Benchmark dataset and baseline ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA， USA . IEEE ， 2015 ： 1037 - 1045 . doi: 10.1109/cvpr.2015.7298706 http://dx.doi.org/10.1109/cvpr.2015.7298706

王灿芳，崔良玉，阎兵 . 基于Variance-Brenner函数的显微图像清晰度评价算法研究［J］. 装备制造技术， 2020 （ 10 ）： 78 - 82 . doi: 10.3969/j.issn.1672-545X.2020.10.020 http://dx.doi.org/10.3969/j.issn.1672-545X.2020.10.020

WANG C F ， CUI L Y ， YAN B . Study on the microscopic image sharpness evaluation algorithm based on variance-Brenner function ［J］. Equipment Manufacturing Technology ， 2020 （ 10 ）： 78 - 82 . （in Chinese） . doi: 10.3969/j.issn.1672-545X.2020.10.020 http://dx.doi.org/10.3969/j.issn.1672-545X.2020.10.020

孙红利，冯旗，董峰 . 图像清晰度评价算法研究［J］. 传感器与微系统， 2017 ， 36 （ 2 ）： 67 - 70 . doi: 10.13873/J.1000-9787(2017)02-0067-04 http://dx.doi.org/10.13873/J.1000-9787(2017)02-0067-04

SUN H L ， FENG Q ， DONG F . Research on algorithm for image clarity evaluation ［J］. Transducer and Microsystem Technologies ， 2017 ， 36 （ 2 ）： 67 - 70 . （in Chinese） . doi: 10.13873/J.1000-9787(2017)02-0067-04 http://dx.doi.org/10.13873/J.1000-9787(2017)02-0067-04

LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD ： Single Shot MultiBox Detector ［M］. Computer Vision - ECCV 2016 . Cham ： Springer International Publishing ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2

LIN T Y ， GOYAL P ， GIRSHICK R ， et al . Focal loss for dense object detection ［C］. 2017 IEEE International Conference on Computer Vision . Venice， Italy . IEEE ， 2017 ： 2999 - 3007 . doi: 10.1109/iccv.2017.324 http://dx.doi.org/10.1109/iccv.2017.324

SUN P Z ， ZHANG R F ， JIANG Y ， et al . Sparse R-CNN： end-to-end object detection with learnable proposals ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 14449 - 14458 . doi: 10.1109/cvpr46437.2021.01422 http://dx.doi.org/10.1109/cvpr46437.2021.01422

ZHANG H Y ， WANG Y ， DAYOUB F ， et al . VarifocalNet： an IoU-aware dense object detector ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 8510 - 8519 . doi: 10.1109/cvpr46437.2021.00841 http://dx.doi.org/10.1109/cvpr46437.2021.00841

FENG C J ， ZHONG Y J ， GAO Y ， et al . TOOD： task-aligned one-stage object detection ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal ， QC， Canada . IEEE ， 2021 ： 3490 - 3499 . doi: 10.1109/iccv48922.2021.00349 http://dx.doi.org/10.1109/iccv48922.2021.00349

SUN M Y ， ZHANG H C ， HUANG Z L ， et al . Road infrared target detection with I‐YOLO ［J］. IET Image Processing ， 2022 ， 16 （ 1 ）： 92 - 101 . doi: 10.1049/ipr2.12331 http://dx.doi.org/10.1049/ipr2.12331

Kieu M ， Bagdanov A D ， Bertini M ， et al . Task-conditioned domain adaptation for pedestrian detection in thermal imagery ［C］. European conference on computer vision. Springer， Cham ： ECCV ， 2020 ： 546 - 562 . doi: 10.1007/978-3-030-58542-6_33 http://dx.doi.org/10.1007/978-3-030-58542-6_33

Views

1557

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Enhanced edge feature extraction dual branch fusion network for real image dehazing

Lightweight video super-resolution based on hybrid spatio-temporal convolution

Joint self-attention and branch sampling for object detection on drone imagery

Multidimensional attention mechanism and selective feature fusion for image super-resolution reconstruction

Fusion of fractal geometric features Resnet remote sensing image building segmentation

Related Author

XIE Tao

WANG Hongliang

ZHANG Kaomin

XIA Fengling

LI Xiongxin

CHEN Hao

XIA Zhenping

ZHANG Yuning

Related Institution

Faculty of Civil Aviation and Aeronautics，Kunming University of Science and Technology

Cheng Laboratory for Information Display and Visualization

Jiangsu Industrial Intelligent and Low-carbon Technology Engineering Center

Display R&D Centre， School of Electronic Science & Engineering， Southeast University

School of Electronic & Information Engineering， Suzhou University of Science and Technology

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰