Improved PointPillar point cloud object detection based on feature fusion

ZHANG Yong; SHI Zhiguang; SHEN Qi; ZHANG Yan; ZHANG Yu

doi:10.37188/OPE.20233119.2910

您当前的位置：

首页 >

文章列表页 >

Improved PointPillar point cloud object detection based on feature fusion

Information Sciences | 更新时间：2023-10-12

- Improved PointPillar point cloud object detection based on feature fusion
- Optics and Precision Engineering Vol. 31, Issue 19, Pages: 2910-2920(2023)
- 作者机构：
  
  国防科技大学电子科学学院 ATR重点实验室，湖南长沙 410073
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233119.2910
  CLC： TP391.1
- Received：30 March 2023，
  
  Revised：04 May 2023，
  
  Published：10 October 2023
- 稿件说明：
移动端阅览
张勇,石志广,沈奇等.基于特征融合的改进型PointPillar点云目标检测[J].光学精密工程,2023,31(19):2910-2920.

ZHANG Yong,SHI Zhiguang,SHEN Qi,et al.Improved PointPillar point cloud object detection based on feature fusion[J].Optics and Precision Engineering,2023,31(19):2910-2920.
张勇,石志广,沈奇等.基于特征融合的改进型PointPillar点云目标检测[J].光学精密工程,2023,31(19):2910-2920. DOI： 10.37188/OPE.20233119.2910.

ZHANG Yong,SHI Zhiguang,SHEN Qi,et al.Improved PointPillar point cloud object detection based on feature fusion[J].Optics and Precision Engineering,2023,31(19):2910-2920. DOI： 10.37188/OPE.20233119.2910.

摘要

针对PointPillar在自动驾驶道路场景下对点云稀疏小目标检测效果差的问题，通过引入一种多尺度特征融合策略和注意力机制，提出一种点云目标检测网络Pillar-FFNet。针对网络中的特征提取问题，设计了一种基于残差结构的主干网络；针对馈入检测头的特征图没有充分利用高层特征的语义信息和低层特征的空间信息的问题，设计了一种简单有效的多尺度特征融合策略；针对主干网络提取的特征图中信息冗余的问题，提出了一种卷积注意力机制。为验证所提算法的性能，在KITTI和DAIR-V2X-I数据集上进行实验。实验结果表明，所提出的算法在KITTI数据集上与PointPillar相比，汽车、行人和骑行者的平均精度最大提高分别为0.84%，2.13%和4.02%；在DAIR-V2X-I数据集上与PointPillar相比，汽车、行人和骑行者的平均精度最大提高分别为0.33%，2.09%和4.71%，由此证明了所提方法对点云稀疏小目标检测的有效性。

Abstract

A point cloud object detection network， Pillar-FFNet， is proposed by introducing a multiscale feature fusion strategy and an attention mechanism to address the ineffectiveness of PointPillar in detecting small sparse objects in point clouds in autonomous driving road scenarios. First， a backbone network based on a residual structure is designed for feature extraction in the network. Second， a simple and effective multiscale feature fusion strategy is designed to address the problem that the feature maps fed into the detection head do not make full use of the semantic information of high-level features and the spatial information of low-level features. Finally， a convolutional attention mechanism is proposed to treat information redundancy in the feature maps extracted using the backbone network. To validate the performance of the proposed algorithm， experiments are conducted on the KITTI and DAIR-V2X-I datasets. The results show that the proposed algorithm achieves maximum average accuracy improvements of 0.84%， 2.13%， and 4.02% for cars， pedestrians， and cyclists， respectively， on the KITTI dataset and maximum average accuracy improvements of 0.33%， 2.09%， and 4.71% for cars， pedestrians， and cyclists， respectively， on the DAIR-V2X-I dataset compared with the PointPillar results. Experimental results demonstrate the effectiveness of the proposed method for the detection of sparse small objects in point clouds.

关键词

Keywords

references

BELLO S A ， YU S S ， WANG C ， et al . Review： deep learning on 3D point clouds ［J］. Remote Sensing ， 2020 ， 12 （ 11 ）： 1729 . doi: 10.3390/rs12111729 http://dx.doi.org/10.3390/rs12111729

邓家俊 . 面向视频和点云数据的目标检测方法研究［D］. 合肥：中国科学技术大学， 2021 .

DENG J J . Object Detection for Video Sequence and Point Clouds ［D］. Hefei ： University of Science and Technology of China ， 2021 . （in Chinese）

SHI S S ， WANG X G ， LI H S . PointRCNN： 3D object proposal generation and detection from point cloud ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2020 ： 770 - 779 . doi: 10.1109/cvpr.2019.00086 http://dx.doi.org/10.1109/cvpr.2019.00086

YANG Z T ， SUN Y N ， LIU S ， et al . 3DSSD： point-based 3D single stage object detector ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 11037 - 11045 . doi: 10.1109/cvpr42600.2020.01105 http://dx.doi.org/10.1109/cvpr42600.2020.01105

ZHANG Y F ， HU Q Y ， XU G Q ， et al . Not all points are equal： learning highly efficient point-based detectors for 3D LiDAR point clouds ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1824，2022 ， New Orleans， LA， USA. IEEE ， 2022 ： 18931 - 18940 . doi: 10.1109/cvpr52688.2022.01838 http://dx.doi.org/10.1109/cvpr52688.2022.01838

ZHOU Y ， TUZEL O . VoxelNet： end-to-end learning for point cloud based 3D object detection ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 4490 - 4499 . doi: 10.1109/cvpr.2018.00472 http://dx.doi.org/10.1109/cvpr.2018.00472

YAN Y ， MAO Y X ， LI B . SECOND： sparsely embedded convolutional detection ［J］. Sensors ， 2018 ， 18 （ 10 ）： 3337 . doi: 10.3390/s18103337 http://dx.doi.org/10.3390/s18103337

LANG A H ， VORA S ， CAESAR H ， et al . PointPillars： fast encoders for object detection from point clouds ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2020 ： 12689 - 12697 . doi: 10.1109/cvpr.2019.01298 http://dx.doi.org/10.1109/cvpr.2019.01298

BELTRÁN J ， GUINDEL C ， MORENO F M ， et al . BirdNet： a 3D object detection framework from LiDAR information ［C］. 2018 21st International Conference on Intelligent Transportation Systems （ITSC）. 47，2018 ， Maui， HI， USA. IEEE ， 2018 ： 3517 - 3523 . doi: 10.1109/itsc.2018.8569311 http://dx.doi.org/10.1109/itsc.2018.8569311

SHI G S ， LI R F ， MA C . PillarNet ： Real-time and High-performance Pillar-based 3 D Object Detection ［M］. Lecture Notes in Computer Science . Cham ： Springer Nature Switzerland ， 2022 ： 35 - 52 . doi: 10.1007/978-3-031-20080-9_3 http://dx.doi.org/10.1007/978-3-031-20080-9_3

NOH J ， LEE S ， HAM B . HVPR： hybrid voxel-point representation for single-stage 3D object detection ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 14600 - 14609 . doi: 10.48550/arXiv.2104.00902 http://dx.doi.org/10.48550/arXiv.2104.00902

田枫，姜文文，刘芳，等 . 混合体素与原始点云的三维目标检测方法［J］. 重庆理工大学学报（自然科学）， 2022 （ 11 ）： 108 - 117 .

TIAN F ， JIANG W W ， LIU F ， et al . 3D object detection method based on mixed voxels and original point clouds ［J］. Journal of Chongqing University of Technology （Natural Science）， 2022 （ 11 ）： 108 - 117 . （in Chinese）

LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD ： Single Shot MultiBox Detector ［M］. Computer Vision - ECCV 2016 . Cham ： Springer International Publishing ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

申利华，李波 . 基于特征金字塔网络和密集网络的肺部CT图像超分辨率重建［J］. 计算机应用， 2023 ， 43 （ 5 ）： 1612 - 1619 . doi: 10.11772/j.issn.1001-9081.2022040620 http://dx.doi.org/10.11772/j.issn.1001-9081.2022040620

SHEN L H ， LI B . Super-resolution reconstruction of lung CT images based on feature pyramid network and dense network ［J］. Journal of Computer Applications ， 2023 ， 43 （ 5 ）： 1612 - 1619 . （in Chinese） . doi: 10.11772/j.issn.1001-9081.2022040620 http://dx.doi.org/10.11772/j.issn.1001-9081.2022040620

GEIGER A . Are we ready for autonomous driving？ The KITTI vision benchmark suite ［C］. Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . New York ： ACM ， 2012 ： 3354 - 3361 . doi: 10.1109/cvpr.2012.6248074 http://dx.doi.org/10.1109/cvpr.2012.6248074

YU H B ， LUO Y Z ， SHU M ， et al . DAIR-V2X： a large-scale dataset for vehicle-infrastructure cooperative 3D object detection ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1824，2022 ， New Orleans， LA， USA. IEEE ， 2022 ： 21329 - 21338 . doi: 10.1109/cvpr52688.2022.02067 http://dx.doi.org/10.1109/cvpr52688.2022.02067

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

WOO S ， PARK J ， LEE J Y ， et al . CBAM ： Convolutional Block Attention Module ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

WANG Q L ， WU B G ， ZHU P F ， et al . ECA-net： efficient channel attention for deep convolutional neural networks ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 11531 - 11539 . doi: 10.1109/cvpr42600.2020.01155 http://dx.doi.org/10.1109/cvpr42600.2020.01155

Views

524

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Position-sensitive Transformer aerial image object detection model

Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet

Straw detection algorithm based on semantic segmentation in complex farm scenarios

Related Author

LI Daxiang

XIN Jiani

LIU Ying

Sheng-jun XU

Pu-yan OUYANG

Xue-yuan GUO

Zhong-xing DUAN

Muthar Khan Taha

Related Institution

College of communication and information engineering， Xi'an University of Posts and Telecommunication

College of Information and Control Engineering, Xi'an University of Architecture and Technology

Architectural Design and Research Institute of Tsinghua University Company, Limited

College of Information Technology, Jilin Agriculture University

Key Laboratory of Bionic Engineering, Ministry of Education, Jilin University

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰