Vehicle detection based on FVOIRGAN-Detection

Hao ZHANG; Jianhua YANG; Haiyang HUA

doi:10.37188/OPE.20223012.1478

您当前的位置：

首页 >

文章列表页 >

Vehicle detection based on FVOIRGAN-Detection

Information Sciences | 更新时间：2022-06-25

- Vehicle detection based on FVOIRGAN-Detection
- Optics and Precision Engineering Vol. 30, Issue 12, Pages: 1478-1486(2022)
- 作者机构：
  
  1.中国科学院光电信息处理重点实验室，辽宁沈阳 110016
  2.中国科学院沈阳自动化研究所，辽宁沈阳 110016
  3.中国科学院机器人与智能制造创新研究院，辽宁沈阳 110169
  4.中国科学院大学，北京 100049
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223012.1478
  CLC： TP391.4
- Received：14 December 2021，
  
  Revised：26 January 2022，
  
  Published：25 June 2022
- 稿件说明：
移动端阅览
张浩,杨坚华,花海洋.基于FVOIRGAN-Detection的车辆检测[J].光学精密工程,2022,30(12):1478-1486.

ZHANG Hao,YANG Jianhua,HUA Haiyang.Vehicle detection based on FVOIRGAN-Detection[J].Optics and Precision Engineering,2022,30(12):1478-1486.
张浩,杨坚华,花海洋.基于FVOIRGAN-Detection的车辆检测[J].光学精密工程,2022,30(12):1478-1486. DOI： 10.37188/OPE.20223012.1478.

ZHANG Hao,YANG Jianhua,HUA Haiyang.Vehicle detection based on FVOIRGAN-Detection[J].Optics and Precision Engineering,2022,30(12):1478-1486. DOI： 10.37188/OPE.20223012.1478.

摘要

为了解决点云处理过程中空间信息损失的问题，同时在融合过程中最大程度地提取可见光图像的纹理信息，本文提出了一种基于特征切片的激光点云与可见光图像融合车辆检测方法（FVOIRGAN-Detection）。在CrossGAN-Detection方法中加入了FVOI（Front View Based on Original Information）的点云处理思路，将点云投影到前视角度并把原始点云信息的各个维度切片为特征通道，在不降低网络性能的情况下显著提高点云信息利用效率。并且引入了相对概率的思想，采用鉴别器鉴别图像的相对真实概率替代绝对真实概率，使得融合图像提取的纹理信息更加接近真实的纹理信息。在KITTI数据集上进行检测性能实验验证结果表明，本文方法在容易、中等和困难三个类别中的AP指标分别达到97.67%、87.86%和79.03%。在光线受限的场景下，AP指标达到了88.49%，与CrossGAN-Detection方法相比提高了2.37%，提高了目标检测的性能。

Abstract

To solve the problem of spatial information loss in point cloud processing， and extract the texture information of visible images to the maximum extent during the fusion， a vehicle detection method based on laser point cloud and visible image fusion is proposed. The point cloud processing idea of front views based on the original information is incorporated into the CrossGAN-Detection method. The point cloud is projected to the front view angle， and each dimension of the original point cloud information is sliced into feature channels， significantly improving the utilization efficiency of the point cloud information without reducing network performance. The idea of relative probability is introduced， and the relative real probability， instead of the absolute real probability， of the discriminator is used to identify the image such that the texture information extracted is fused. The experimental results show that the AP indexes of this method in the three categories of easy， medium， and difficult of KITTI dataset are 97.67%， 87.86%， and 79.03% respectively. In a scene with limited light， the AP index reaches 88.49%， which is 2.37% higher than that of the CrossGAN-Detection method. Hence， target detection performance is improved.

关键词

Keywords

references

BEHL A ， JAFARI O H ， MUSTIKOVELA S K ， et al . Bounding boxes， segmentations and object coordinates： how important is recognition for 3D scene flow estimation in autonomous driving scenarios？［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2593 - 2602 . doi: 10.1109/iccv.2017.281 http://dx.doi.org/10.1109/iccv.2017.281

CHEN Y P ， WANG J K ， LI J ， et al . LiDAR-video driving dataset： learning driving policies effectively ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 5870 - 5878 . doi: 10.1109/cvpr.2018.00615 http://dx.doi.org/10.1109/cvpr.2018.00615

GEIGER A ， LENZ P ， URTASUN R . Are we ready for autonomous driving？ The KITTI vision benchmark suite ［J］. 2012 IEEE Conference on Computer Vision and Pattern Recognition ， 2012 ： 3354 - 3361 . doi: 10.1109/cvpr.2012.6248074 http://dx.doi.org/10.1109/cvpr.2012.6248074

KWON S K ， HYUN E ， LEE J H ， et al . Detection scheme for a partially occluded pedestrian based on occluded depth in lidar-radar sensor fusion ［J］. Optical Engineering ， 2017 ， 56 ： 113112 . doi: 10.1117/1.oe.56.11.113112 http://dx.doi.org/10.1117/1.oe.56.11.113112

ZHANG S ， ZHAO X ， LEI W B ， et al . Front vehicle detection based on multi-sensor fusion for autonomous vehicle ［J］. Journal of Intelligent & Fuzzy Systems ， 2020 ， 38 （ 1 ）： 365 - 377 . doi: 10.3233/jifs-179412 http://dx.doi.org/10.3233/jifs-179412

王中宇，倪显扬，尚振东 . 利用卷积神经网络的自动驾驶场景语义分割［J］. 光学精密工程， 2019 ， 27 （ 11 ）： 2429 - 2438 . doi: 10.3788/ope.20192711.2429 http://dx.doi.org/10.3788/ope.20192711.2429

WANG Z Y ， NI X Y ， SHANG Z D . Autonomous driving semantic segmentation with convolution neural networks ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 11 ）： 2429 - 2438 . （in Chinese） . doi: 10.3788/ope.20192711.2429 http://dx.doi.org/10.3788/ope.20192711.2429

杨军，党吉圣 . 采用深度级联卷积神经网络的三维点云识别与分割［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1187 - 1199 . doi: 10.3788/OPE.20202805.1187 http://dx.doi.org/10.3788/OPE.20202805.1187

YANG J ， DANG J S . Recognition and segmentation of three-dimensional point cloud based on deep cascade convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1187 - 1199 . （in Chinese） . doi: 10.3788/OPE.20202805.1187 http://dx.doi.org/10.3788/OPE.20202805.1187

CALTAGIRONE L ， BELLONE M ， SVENSSON L ， et al . LIDAR-camera fusion for road detection using fully convolutional neural networks ［J］. Robotics and Autonomous Systems ， 2019 ， 111 ： 125 - 131 . doi: 10.1016/j.robot.2018.11.002 http://dx.doi.org/10.1016/j.robot.2018.11.002

ASVADI A ， GARROTE L ， PREMEBIDA C ， et al . Multimodal vehicle detection： fusing 3D-LIDAR and color camera data ［J］. Pattern Recognition Letters ， 2018 ， 115 ： 20 - 29 . doi: 10.1016/j.patrec.2017.09.038 http://dx.doi.org/10.1016/j.patrec.2017.09.038

CHEN X Z ， MA H M ， WAN J ， et al . Multi-view 3D object detection network for autonomous driving ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 6526 - 6534 . doi: 10.1109/cvpr.2017.691 http://dx.doi.org/10.1109/cvpr.2017.691

LIANG M ， YANG B ， CHEN Y ， et al . Multi-task multi-sensor fusion for 3D object detection ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 7337 - 7345 . doi: 10.1109/cvpr.2019.00752 http://dx.doi.org/10.1109/cvpr.2019.00752

FANG L J ， ZHAO X ， ZHANG S Q . Small-objectness sensitive detection based on shifted single shot detector ［J］. Multimedia Tools and Applications ， 2019 ， 78 （ 10 ）： 13227 - 13245 . doi: 10.1007/s11042-018-6227-7 http://dx.doi.org/10.1007/s11042-018-6227-7

KU J ， MOZIFIAN M ， LEE J ， et al . Joint 3D proposal generation and object detection from view aggregation ［C］. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. 15，2018 ， Madrid， Spain. IEEE ， 2018 ： 1 - 8 . doi: 10.1109/iros.2018.8594049 http://dx.doi.org/10.1109/iros.2018.8594049

LIANG M ， YANG B ， WANG S ， et al . Deep continuous fusion for multi-sensor 3d object detection ［C］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018 ： 641 - 656 . doi: 10.1007/978-3-030-01270-0_39 http://dx.doi.org/10.1007/978-3-030-01270-0_39

陈俊英，白童垚，赵亮 . 互注意力融合图像和点云数据的3D目标检测［J］. 光学精密工程， 2021 ， 29 （ 9 ）： 2247 - 2254 . doi: 10.37188/OPE.20212909.2247 http://dx.doi.org/10.37188/OPE.20212909.2247

CHEN J Y ， BAI T Y ， ZHAO L . 3D object detection based on fusion of point cloud and image by mutual attention ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 9 ）： 2247 - 2254 . （in Chinese） . doi: 10.37188/OPE.20212909.2247 http://dx.doi.org/10.37188/OPE.20212909.2247

SCHLOSSER J ， CHOW C K ， KIRA Z . Fusing LIDAR and images for pedestrian detection using convolutional neural networks ［C］. 2016 IEEE International Conference on Robotics and Automation . 1621，2016 ， Stockholm， Sweden . IEEE ， 2016 ： 2198 - 2205 . doi: 10.1109/icra.2016.7487370 http://dx.doi.org/10.1109/icra.2016.7487370

GUPTA S ， GIRSHICK R ， ARBELÁEZ P ， et al . Learning rich features from RGB-D images for object detection and segmentation ［C］. Computer Vision-ECCV 2014 ， 2014 ： 345 - 360 . doi: 10.1007/978-3-319-10584-0_23 http://dx.doi.org/10.1007/978-3-319-10584-0_23

JOLICOEUR-MARTINEAU A . The relativistic discriminator： a key element missing from standard GAN ［J］. arXiv preprint arXiv ： 1807.00734.2018 .

GEIRHOSET R ， RUBISCH P ， MICHAELISC ， et al . ImageNet-trained CNNs are biased towards texture； increasing shape bias improves accuracy and robustness ［J］. arXiv preprint arXiv ： 1811.12231.2018 . doi: 10.1167/19.10.209c http://dx.doi.org/10.1167/19.10.209c

RADFORD A ， METZ L ， CHINTALA S . Unsupervised representation learning with deep convolutional generative adversarial networks ［J］. arXiv preprint arXiv： 1511.06434.2015 . doi: 10.48550/arXiv.1511.06434 http://dx.doi.org/10.48550/arXiv.1511.06434

MA J Y ， YU W ， LIANG P W ， et al . FusionGAN： a generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 . doi: 10.1016/j.inffus.2018.09.004 http://dx.doi.org/10.1016/j.inffus.2018.09.004

FAWCETT T . An introduction to ROC analysis ［J］. Pattern Recognition Letters ， 2006 ， 27 （ 8 ）： 861 - 874 . doi: 10.1016/j.patrec.2005.10.010 http://dx.doi.org/10.1016/j.patrec.2005.10.010

GEIGER A ， LENZ P ， STILLER C ， et al . Vision meets robotics： the KITTI dataset ［J］. The International Journal of Robotics Research ， 2013 ， 32 （ 11 ）： 1231 - 1237 . doi: 10.1177/0278364913491297 http://dx.doi.org/10.1177/0278364913491297

CHEN X Z ， KUNDU K ， ZHANG Z Y ， et al . Monocular 3D object detection for autonomous driving ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 2147 - 2156 . doi: 10.1109/cvpr.2016.236 http://dx.doi.org/10.1109/cvpr.2016.236

CHEN X ， KUNDU K ， ZHU Y ， et al . 3d object proposals for accurate object class detection ［J］. Advances in Neural Information Processing Systems ， 2015 ， 424 - 432 .

BRAZIL G ， LIU X M . M3D-RPN： monocular 3D region proposal network for object detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2019： 9286 - 9295 . doi: 10.1109/iccv.2019.00938 http://dx.doi.org/10.1109/iccv.2019.00938

Views

938

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Vehicle localization and navigation method based on LiDAR point cloud map

Lightweight vehicle detection using long-distance dependence and multi-scale representation

GaN based metalens for micro imaging

Feature Extraction of Hyperspectral Images of Weighted Spatial and Spectral Locality Preserving Projection (WSSLPP)

Related Author

MA Qinglu

BAI Feng

ZHANG Jie

ZOU Zheng

JING Xiuping

TIAN Ying

Xin JIN

Miao WANG

Related Institution

School of Traffic & Transportation， Chongqing Jiaotong University

School of Civil Engineering， Chongqing Jiaotong University

The Key Laboratory of Road and Traffic Engineering， Ministry of Education， Tongji University

College of Computer Science and Software Engineering，University of Science and Technology Liaoning

School of Optoelectronic Information Science and Engineering, Suchoo University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰