Small object detection based on GM-APD lidar data fusion

DU Dakuan; SUN Jianfeng; DING Yuanxue; JIANG Peng; ZHANG Hailong

doi:10.37188/OPE.20233103.0393

您当前的位置：

首页 >

文章列表页 >

Small object detection based on GM-APD lidar data fusion

Information Sciences | 更新时间：2023-02-15

- Small object detection based on GM-APD lidar data fusion
- Optics and Precision Engineering Vol. 31, Issue 3, Pages: 393-403(2023)
- 作者机构：
  
  1.哈尔滨工业大学光电子技术研究所可调谐（气体）激光技术重点实验室，黑龙江哈尔滨150001
  2.复杂系统控制与智能协同技术重点实验室，北京 100074
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233103.0393
  CLC： TN958.98
- Received：02 June 2022，
  
  Revised：03 August 2022，
  
  Published：10 February 2023
- 稿件说明：
移动端阅览
杜达宽,孙剑峰,丁源雪等.基于GM-APD激光雷达数据融合的小目标检测[J].光学精密工程,2023,31(03):393-403.

DU Dakuan,SUN Jianfeng,DING Yuanxue,et al.Small object detection based on GM-APD lidar data fusion[J].Optics and Precision Engineering,2023,31(03):393-403.
杜达宽,孙剑峰,丁源雪等.基于GM-APD激光雷达数据融合的小目标检测[J].光学精密工程,2023,31(03):393-403. DOI： 10.37188/OPE.20233103.0393.

DU Dakuan,SUN Jianfeng,DING Yuanxue,et al.Small object detection based on GM-APD lidar data fusion[J].Optics and Precision Engineering,2023,31(03):393-403. DOI： 10.37188/OPE.20233103.0393.

摘要

GM-APD激光雷达具有单光子探测灵敏度，大幅降低了系统体积和功耗，但受像元数限制，难以获得远距离小目标清晰轮廓，目标检测率不高。针对该问题，提出了基于强度像和距离像多级处理的小目标深度学习检测算法，充分挖掘强度图像和点云特征信息及相互关联性，提高小目标检测概率。通过改进特征金字塔网络，将感受野模块和注意力机制模块与特征提取网络相结合，增强强度像初筛目标准确性，在候选区域内将强度像与距离像融合成带有强度信息的四维点云。然后，使用动态图卷积网络对候选区内目标进行二次检测，利用点云信息进一步筛选候选框内的目标。经GM-APD激光雷达远距离车辆数据集测试，网络的检测准确率达到98.8%，对于车辆结构不完整，车辆回波弱，背景存在强反射光斑等复杂场景有很好的鲁棒性。相较于SSD，YOLOv5等较为先进的目标检测网络，检测准确率分别提升了3.1%与2.5%，该算法为激光雷达弱小目标检测识别提供了一种可行性解决方案。

Abstract

Geiger mode avanlanche photon diode （GM-APD） lidar has single photon detection sensitivity， which greatly reduces the system volume and power consumption. It makes the system feasible for practical application， and has become a hot topic in recent studies. However， owing to the limitation of the pixel number， the spatial resolution is low， which makes it difficult to obtain the clear contour of the remote target， and the object detection rate is not high. To solve this problem， a detection algorithm based on multi-level processing of the intensity and range images was proposed to find the correlation between the intensity images and point clouds’ features to improve the probability of small object detection. First， the improved feature pyramid network （FPN） combines the receptive field block （RFB） and convolutional block attention module （CBAM） with the feature extraction network to enhance the selection accuracy of intensity images. Second， the intensity and range images are combined into point clouds with intensity information in the candidate regions. Finally， a dynamic graph convolution network （DGCNN） is used to perform secondary detection on the target in the candidate regions. Moreover， point cloud information is used to further select the object in the candidate regions. In the GM-APD lidar long-range vehicle dataset， the AP of the network achieves 98.8%， and it has good robustness for complex scenes， such as incomplete vehicle structure， weak echo， and strongly reflected light spot. Compared with the SSD and YOLOv5， the detection accuracy of the network improved by 3.1% and 2.5%， respectively， which is feasible for lidar dim object detection.

关键词

Keywords

references

BUI M ， FRÉMONT V ， BOUKERROUI D ， et al . Multi-sensors people detection system for heavy machines ［C］. 17th International IEEE Conference on Intelligent Transportation Systems （ITSC）. 811，2014 ， Qingdao， China. IEEE ， 2014 ： 867 - 872 . doi: 10.1109/itsc.2014.6957798 http://dx.doi.org/10.1109/itsc.2014.6957798

杨文秀，付文兴，周志伟，等 . 基于投影降维的激光雷达快速目标识别［J］. 红外与激光工程， 2014 ， 43 （ S1 ）： 1 - 7 . doi: 10.3969/j.issn.1007-2276.2014.z1.001 http://dx.doi.org/10.3969/j.issn.1007-2276.2014.z1.001

YANG W X ， FU W X ， ZHOU ZH W ， et al . Fast three dimensional lidar target recognition based on projection dimension reduction ［J］. Infrared and Laser Engineering ， 2014 ， 43 （ S1 ）： 1 - 7 . （in Chinese） . doi: 10.3969/j.issn.1007-2276.2014.z1.001 http://dx.doi.org/10.3969/j.issn.1007-2276.2014.z1.001

YAO L ， CHEN Q ， QIN C ， et al . Automatic extraction of road markings from mobile laser-point cloud using intensity data ［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences ， 2018 ， XLII-3： 2113- 2119 . doi: 10.5194/isprs-archives-xlii-3-2113-2018 http://dx.doi.org/10.5194/isprs-archives-xlii-3-2113-2018

陈欣，万敏杰，马超，等 . 采用多尺度特征融合SSD的遥感图像小目标检测［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA CH ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

李经宇，杨静，孔斌，等 . 基于注意力机制的多尺度车辆行人检测算法［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1448 - 1458 . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448

LI J Y ， YANG J ， KONG B ， et al . Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1448 - 1458 . （in Chinese） . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448

刘杨帆，曹立华，李宁，等 . 基于YOLOv4的空间红外弱目标检测［J］. 液晶与显示， 2021 ， 36 （ 4 ）： 615 - 623 . doi: 10.37188/CJLCD.2020-0227 http://dx.doi.org/10.37188/CJLCD.2020-0227

LIU Y F ， CAO L H ， LI N ， et al . Detection of space infrared weak target based on YOLOv4 ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 4 ）： 615 - 623 . （in Chinese） . doi: 10.37188/CJLCD.2020-0227 http://dx.doi.org/10.37188/CJLCD.2020-0227

白创，王英杰，闫昱，等 . 基于多向特征金字塔的轻量级目标检测算法［J］. 液晶与显示， 2021 ， 36 （ 11 ）： 1516 - 1524 . doi: 10.37188/CJLCD.2021-0018 http://dx.doi.org/10.37188/CJLCD.2021-0018

BAI CH ， WANG Y J ， YAN Y ， et al . Lightweight object detection algorithm based on multi-directional feature pyramid ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 11 ）： 1516 - 1524 . （in Chinese） . doi: 10.37188/CJLCD.2021-0018 http://dx.doi.org/10.37188/CJLCD.2021-0018

YANG W H ， YU F . Lidar image classification based on convolutional neural networks ［C］. 2017 International Conference on Computer Network， Electronic and Automation （ICCNEA）. 2325，2017 ， Xi'an， China. IEEE ， 2017 ： 221 - 225 . doi: 10.1109/iccnea.2017.37 http://dx.doi.org/10.1109/iccnea.2017.37

NASH G ， DEVRELIS V . Flash LiDAR imaging and classification of vehicles ［C］. 2020 IEEE SENSORS . 2528，2020 ， Rotterdam ， Netherlands . IEEE ， 2020 ： 1 - 4 . doi: 10.1109/sensors47125.2020.9278655 http://dx.doi.org/10.1109/sensors47125.2020.9278655

MA L ， SUN J F ， JIANG P ， et al . Signal extraction algorithm of Gm-APD lidar with low SNR return ［J］. Optik ， 2020 ， 206 ： 164340 . doi: 10.1016/j.ijleo.2020.164340 http://dx.doi.org/10.1016/j.ijleo.2020.164340

CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 77 - 85 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16

WANG Y ， SUN Y B ， LIU Z W ， et al . Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 5 ）： 1 - 12 . doi: 10.1145/3326362 http://dx.doi.org/10.1145/3326362

ZHANG K G ， HAO M ， WANG J ， et al . Linked Dynamic Graph CNN ： Learning on Point Cloud via Linking Hierarchical Features ［EB/OL］. 2019 ： arXiv ： 1904 . 10014 . https：//arxiv.org/abs/1904.10014 https://arxiv.org/abs/1904.10014

伍锡如，薛其威 . 基于激光雷达的无人驾驶系统三维车辆检测［J］. 光学精密工程， 2022 ， 30 （ 4 ）： 489 - 497 . doi: 10.37188/OPE.20223004.0489 http://dx.doi.org/10.37188/OPE.20223004.0489

WU X R ， XUE Q W . 3D vehicle detection for unmanned driving systerm based on lidar ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 4 ）： 489 - 497 . （in Chinese） . doi: 10.37188/OPE.20223004.0489 http://dx.doi.org/10.37188/OPE.20223004.0489

郭保青，谢光非 . 基于N3D＿DIOU的图像与点云融合目标检测算法［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2703 - 2713 . doi: 10.37188/OPE.20212911.2703 http://dx.doi.org/10.37188/OPE.20212911.2703

GUO B Q ， XIE G F . Object detection algorithm based on image and point cloud fusion with N3D_DIOU ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2703 - 2713 . （in Chinese） . doi: 10.37188/OPE.20212911.2703 http://dx.doi.org/10.37188/OPE.20212911.2703

WOO S ， PARK J ， LEE J Y ， et al . CBAM ： Convolutional Block Attention Module ［M］. Computer Vision-ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

LIU S T ， HUANG D ， WANG Y H . Receptive field block net for accurate and fast object detection ［C］. Computer Vision - ECCV 2018 ： 15th European Conference， Munich， Germany ， 814，2018 ， Proceedings ， Part XI. New York： ACM， 2018 ： 404 - 419 . doi: 10.1007/978-3-030-01252-6_24 http://dx.doi.org/10.1007/978-3-030-01252-6_24

ZHANG W ， CONG M Y ， WANG L P . Algorithms for optical weak small targets detection and tracking： review ［C］. International Conference on Neural Networks and Signal Processing ， 2003 . Proceedings of the. 1417，2003 ， Nanjing. IEEE ， 2004： 643 - 647 . doi: 10.1109/icnnsp.2003.1279357 http://dx.doi.org/10.1109/icnnsp.2003.1279357

Views

1123

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Polarized image feature fusion in power inspection

Remote sensing object detection algorithm based on ultra fusion residual marching geometric perception

End-to-end recognition of nighttime wildlife based on semi-supervised learning

A self correcting low-light object detection method based on pyramid edge enhancement

Integrated 2D-3D LiDAR-vision fusion vehicle speed estimation based on image frustum

Related Author

NI Mengyao

PENG Yuanlong

HU Shang

YAN Longchuan

ZHENG Jinkun

CAO Danhua

BAI Chenshuai

BAI Xiaofeng

Related Institution

School of Optical and Electronic Information， Huazhong University of Science and Technology

State Grid Information & Telecommunication Branch

State Grid JiangXi Electric Power Supply Co

School of Electronic and Information Engineering， Lanzhou Jiaotong University

School of Mechatronic Engineering and Automation，Shanghai University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰