基于FVOIRGAN-Detection的车辆检测

张浩; 杨坚华; 花海洋

doi:10.37188/OPE.20223012.1478

您当前的位置：

首页 >

文章列表页 >

基于FVOIRGAN-Detection的车辆检测

信息科学 | 更新时间：2022-06-25

- 基于FVOIRGAN-Detection的车辆检测
- Vehicle detection based on FVOIRGAN-Detection
- 光学精密工程 2022年30卷第12期页码：1478-1486
- 作者机构：
  
  1.中国科学院光电信息处理重点实验室，辽宁沈阳 110016
  2.中国科学院沈阳自动化研究所，辽宁沈阳 110016
  3.中国科学院机器人与智能制造创新研究院，辽宁沈阳 110169
  4.中国科学院大学，北京 100049
- 作者简介：
  
  [ "张　浩（1999-），男，河南郑州人，中国科学院大学沈阳自动化研究所光电信息重点实验室2020级硕士研究生在读，本科毕业于四川大学自动化专业，现主要从事与图像融合与目标检测方面的研究。Email：zhanghao3@sia.cn" ]
  [ "花海洋（1978-），男，辽宁抚顺人，工学硕士，项目研究员，2001年于东北大学获工学学士学位，2006年于中国科学院沈阳自动化研究所获工学硕士学位。多年从事光电系统性能评估理论与方法、光电仿真、目标光学特性分析与建模等领域的研究。E-mail： c3i11@sia.cn" ]
- 基金信息：
  
  中科院创新基金项目(E01Z040101)
- DOI：10.37188/OPE.20223012.1478
  中图分类号： TP391.4
- 收稿日期：2021-12-14，
  
  修回日期：2022-01-26，
  
  纸质出版日期：2022-06-25
- 稿件说明：
移动端阅览
张浩,杨坚华,花海洋.基于FVOIRGAN-Detection的车辆检测[J].光学精密工程,2022,30(12):1478-1486.

ZHANG Hao,YANG Jianhua,HUA Haiyang.Vehicle detection based on FVOIRGAN-Detection[J].Optics and Precision Engineering,2022,30(12):1478-1486.
张浩,杨坚华,花海洋.基于FVOIRGAN-Detection的车辆检测[J].光学精密工程,2022,30(12):1478-1486. DOI： 10.37188/OPE.20223012.1478.

ZHANG Hao,YANG Jianhua,HUA Haiyang.Vehicle detection based on FVOIRGAN-Detection[J].Optics and Precision Engineering,2022,30(12):1478-1486. DOI： 10.37188/OPE.20223012.1478.

摘要

为了解决点云处理过程中空间信息损失的问题，同时在融合过程中最大程度地提取可见光图像的纹理信息，本文提出了一种基于特征切片的激光点云与可见光图像融合车辆检测方法（FVOIRGAN-Detection）。在CrossGAN-Detection方法中加入了FVOI（Front View Based on Original Information）的点云处理思路，将点云投影到前视角度并把原始点云信息的各个维度切片为特征通道，在不降低网络性能的情况下显著提高点云信息利用效率。并且引入了相对概率的思想，采用鉴别器鉴别图像的相对真实概率替代绝对真实概率，使得融合图像提取的纹理信息更加接近真实的纹理信息。在KITTI数据集上进行检测性能实验验证结果表明，本文方法在容易、中等和困难三个类别中的AP指标分别达到97.67%、87.86%和79.03%。在光线受限的场景下，AP指标达到了88.49%，与CrossGAN-Detection方法相比提高了2.37%，提高了目标检测的性能。

Abstract

To solve the problem of spatial information loss in point cloud processing， and extract the texture information of visible images to the maximum extent during the fusion， a vehicle detection method based on laser point cloud and visible image fusion is proposed. The point cloud processing idea of front views based on the original information is incorporated into the CrossGAN-Detection method. The point cloud is projected to the front view angle， and each dimension of the original point cloud information is sliced into feature channels， significantly improving the utilization efficiency of the point cloud information without reducing network performance. The idea of relative probability is introduced， and the relative real probability， instead of the absolute real probability， of the discriminator is used to identify the image such that the texture information extracted is fused. The experimental results show that the AP indexes of this method in the three categories of easy， medium， and difficult of KITTI dataset are 97.67%， 87.86%， and 79.03% respectively. In a scene with limited light， the AP index reaches 88.49%， which is 2.37% higher than that of the CrossGAN-Detection method. Hence， target detection performance is improved.

关键词

Keywords

references

BEHL A ， JAFARI O H ， MUSTIKOVELA S K ， et al . Bounding boxes， segmentations and object coordinates： how important is recognition for 3D scene flow estimation in autonomous driving scenarios？［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2593 - 2602 . doi: 10.1109/iccv.2017.281 http://dx.doi.org/10.1109/iccv.2017.281

CHEN Y P ， WANG J K ， LI J ， et al . LiDAR-video driving dataset： learning driving policies effectively ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 5870 - 5878 . doi: 10.1109/cvpr.2018.00615 http://dx.doi.org/10.1109/cvpr.2018.00615

GEIGER A ， LENZ P ， URTASUN R . Are we ready for autonomous driving？ The KITTI vision benchmark suite ［J］. 2012 IEEE Conference on Computer Vision and Pattern Recognition ， 2012 ： 3354 - 3361 . doi: 10.1109/cvpr.2012.6248074 http://dx.doi.org/10.1109/cvpr.2012.6248074

KWON S K ， HYUN E ， LEE J H ， et al . Detection scheme for a partially occluded pedestrian based on occluded depth in lidar-radar sensor fusion ［J］. Optical Engineering ， 2017 ， 56 ： 113112 . doi: 10.1117/1.oe.56.11.113112 http://dx.doi.org/10.1117/1.oe.56.11.113112

ZHANG S ， ZHAO X ， LEI W B ， et al . Front vehicle detection based on multi-sensor fusion for autonomous vehicle ［J］. Journal of Intelligent & Fuzzy Systems ， 2020 ， 38 （ 1 ）： 365 - 377 . doi: 10.3233/jifs-179412 http://dx.doi.org/10.3233/jifs-179412

王中宇，倪显扬，尚振东 . 利用卷积神经网络的自动驾驶场景语义分割［J］. 光学精密工程， 2019 ， 27 （ 11 ）： 2429 - 2438 . doi: 10.3788/ope.20192711.2429 http://dx.doi.org/10.3788/ope.20192711.2429

WANG Z Y ， NI X Y ， SHANG Z D . Autonomous driving semantic segmentation with convolution neural networks ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 11 ）： 2429 - 2438 . （in Chinese） . doi: 10.3788/ope.20192711.2429 http://dx.doi.org/10.3788/ope.20192711.2429

杨军，党吉圣 . 采用深度级联卷积神经网络的三维点云识别与分割［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1187 - 1199 . doi: 10.3788/OPE.20202805.1187 http://dx.doi.org/10.3788/OPE.20202805.1187

YANG J ， DANG J S . Recognition and segmentation of three-dimensional point cloud based on deep cascade convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1187 - 1199 . （in Chinese） . doi: 10.3788/OPE.20202805.1187 http://dx.doi.org/10.3788/OPE.20202805.1187

CALTAGIRONE L ， BELLONE M ， SVENSSON L ， et al . LIDAR-camera fusion for road detection using fully convolutional neural networks ［J］. Robotics and Autonomous Systems ， 2019 ， 111 ： 125 - 131 . doi: 10.1016/j.robot.2018.11.002 http://dx.doi.org/10.1016/j.robot.2018.11.002

ASVADI A ， GARROTE L ， PREMEBIDA C ， et al . Multimodal vehicle detection： fusing 3D-LIDAR and color camera data ［J］. Pattern Recognition Letters ， 2018 ， 115 ： 20 - 29 . doi: 10.1016/j.patrec.2017.09.038 http://dx.doi.org/10.1016/j.patrec.2017.09.038

CHEN X Z ， MA H M ， WAN J ， et al . Multi-view 3D object detection network for autonomous driving ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 6526 - 6534 . doi: 10.1109/cvpr.2017.691 http://dx.doi.org/10.1109/cvpr.2017.691

LIANG M ， YANG B ， CHEN Y ， et al . Multi-task multi-sensor fusion for 3D object detection ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 7337 - 7345 . doi: 10.1109/cvpr.2019.00752 http://dx.doi.org/10.1109/cvpr.2019.00752

FANG L J ， ZHAO X ， ZHANG S Q . Small-objectness sensitive detection based on shifted single shot detector ［J］. Multimedia Tools and Applications ， 2019 ， 78 （ 10 ）： 13227 - 13245 . doi: 10.1007/s11042-018-6227-7 http://dx.doi.org/10.1007/s11042-018-6227-7

KU J ， MOZIFIAN M ， LEE J ， et al . Joint 3D proposal generation and object detection from view aggregation ［C］. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. 15，2018 ， Madrid， Spain. IEEE ， 2018 ： 1 - 8 . doi: 10.1109/iros.2018.8594049 http://dx.doi.org/10.1109/iros.2018.8594049

LIANG M ， YANG B ， WANG S ， et al . Deep continuous fusion for multi-sensor 3d object detection ［C］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018 ： 641 - 656 . doi: 10.1007/978-3-030-01270-0_39 http://dx.doi.org/10.1007/978-3-030-01270-0_39

陈俊英，白童垚，赵亮 . 互注意力融合图像和点云数据的3D目标检测［J］. 光学精密工程， 2021 ， 29 （ 9 ）： 2247 - 2254 . doi: 10.37188/OPE.20212909.2247 http://dx.doi.org/10.37188/OPE.20212909.2247

CHEN J Y ， BAI T Y ， ZHAO L . 3D object detection based on fusion of point cloud and image by mutual attention ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 9 ）： 2247 - 2254 . （in Chinese） . doi: 10.37188/OPE.20212909.2247 http://dx.doi.org/10.37188/OPE.20212909.2247

SCHLOSSER J ， CHOW C K ， KIRA Z . Fusing LIDAR and images for pedestrian detection using convolutional neural networks ［C］. 2016 IEEE International Conference on Robotics and Automation . 1621，2016 ， Stockholm， Sweden . IEEE ， 2016 ： 2198 - 2205 . doi: 10.1109/icra.2016.7487370 http://dx.doi.org/10.1109/icra.2016.7487370

GUPTA S ， GIRSHICK R ， ARBELÁEZ P ， et al . Learning rich features from RGB-D images for object detection and segmentation ［C］. Computer Vision-ECCV 2014 ， 2014 ： 345 - 360 . doi: 10.1007/978-3-319-10584-0_23 http://dx.doi.org/10.1007/978-3-319-10584-0_23

JOLICOEUR-MARTINEAU A . The relativistic discriminator： a key element missing from standard GAN ［J］. arXiv preprint arXiv ： 1807.00734.2018 .

GEIRHOSET R ， RUBISCH P ， MICHAELISC ， et al . ImageNet-trained CNNs are biased towards texture； increasing shape bias improves accuracy and robustness ［J］. arXiv preprint arXiv ： 1811.12231.2018 . doi: 10.1167/19.10.209c http://dx.doi.org/10.1167/19.10.209c

RADFORD A ， METZ L ， CHINTALA S . Unsupervised representation learning with deep convolutional generative adversarial networks ［J］. arXiv preprint arXiv： 1511.06434.2015 . doi: 10.48550/arXiv.1511.06434 http://dx.doi.org/10.48550/arXiv.1511.06434

MA J Y ， YU W ， LIANG P W ， et al . FusionGAN： a generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 . doi: 10.1016/j.inffus.2018.09.004 http://dx.doi.org/10.1016/j.inffus.2018.09.004

FAWCETT T . An introduction to ROC analysis ［J］. Pattern Recognition Letters ， 2006 ， 27 （ 8 ）： 861 - 874 . doi: 10.1016/j.patrec.2005.10.010 http://dx.doi.org/10.1016/j.patrec.2005.10.010

GEIGER A ， LENZ P ， STILLER C ， et al . Vision meets robotics： the KITTI dataset ［J］. The International Journal of Robotics Research ， 2013 ， 32 （ 11 ）： 1231 - 1237 . doi: 10.1177/0278364913491297 http://dx.doi.org/10.1177/0278364913491297

CHEN X Z ， KUNDU K ， ZHANG Z Y ， et al . Monocular 3D object detection for autonomous driving ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 2147 - 2156 . doi: 10.1109/cvpr.2016.236 http://dx.doi.org/10.1109/cvpr.2016.236

CHEN X ， KUNDU K ， ZHU Y ， et al . 3d object proposals for accurate object class detection ［J］. Advances in Neural Information Processing Systems ， 2015 ， 424 - 432 .

BRAZIL G ， LIU X M . M3D-RPN： monocular 3D region proposal network for object detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2019： 9286 - 9295 . doi: 10.1109/iccv.2019.00938 http://dx.doi.org/10.1109/iccv.2019.00938

浏览量

938

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于激光雷达点云地图的车辆定位与导航

采用长距离依赖和多尺度表达的轻量化车辆检测

应用于微型成像的氮化镓超透镜设计

加权空谱局部保持投影的高光谱图像特征提取