Object detection algorithm based on image and point cloud fusion with N3D_DIOU

基于N3D_DIOU的图像与点云融合目标检测算法 Object detection algorithm based on image and point cloud fusion with N3D_DIOU 1 2 corresp first-author E-mail： bqguo@bjtu.edu.cn E-mail： bqguo@bjtu.edu.cn 郭保青（1978-），男，河北涞水人，副教授，博士，2004，2009年于北京交通大学分别获硕士和博士学位，主要从事铁路基础设施检测，机器视觉检测技术方面的研究工作。 Email：bqguo@bjtu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009042&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009047&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009045&type= 22.01332855 32.00401306 郭保青 （1978-），男，河北涞水人，副教授，博士，2004，2009年于北京交通大学分别获硕士和博士学位，主要从事铁路基础设施检测，机器视觉检测技术方面的研究工作。 Email： bqguo@bjtu.edu.cn bqguo@bjtu.edu.cn 1 谢光非（1995-），男，四川内江人，研究生在读，2014年于北京交通大学获得学士学位，现于北京交通大学攻读硕士学位，主要研究方向为三维激光雷达目标检测算法研究。E-mail：18121290@bjtu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009049&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009053&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009051&type= 22.01333618 32.00402832 谢光非 （1995-），男，四川内江人，研究生在读，2014年于北京交通大学获得学士学位，现于北京交通大学攻读硕士学位，主要研究方向为三维激光雷达目标检测算法研究。E-mail： 18121290@bjtu.edu.cn 18121290@bjtu.edu.cn 北京交通大学 机械与电子控制工程学院，北京 100044 北京交通大学 机械与电子控制工程学院，北京 100044 School of Mechanical， Electronic and Control Engineering， Beijing Jiaotong University， Beijing 100044， China School of Mechanical， Electronic and Control Engineering， Beijing Jiaotong University， Beijing 100044， China 北京交通大学 智慧高铁系统前沿科学中心，北京 100044 北京交通大学 智慧高铁系统前沿科学中心，北京 100044 Frontiers Science Center for Smart High-speed Railway System， Beijing Jiaotong University， Beijing 100044， China Frontiers Science Center for Smart High-speed Railway System， Beijing Jiaotong University， Beijing 100044， China 目标检测是自主驾驶和机器人导航的基础，针对二维图像信息量不足，三维点云数据量大、密度不均匀和检测精度低等问题，本文基于深度学习提出了一种融合二维图像与三维点云的目标检测网络进行三维目标检测。为减少运算量，论文首先用二维图像检测器生成的检测框对应的平截头体对原始点云进行滤波；为解决点云密度不均匀问题，提出了一种基于广义霍夫变换的改进投票模型网络用于多尺度特征提取；最后将二维DIOU（Distance Intersection over Union）损失函数扩展为三维空间的N3D_DIOU（Normal 3 Dimensional DIOU）损失函数，提高了生成框和目标框的一致性，进一步提高了点云检测精度。在KITTI数据集上进行的大量实验表明：与经典方法相比，本文算法在汽车三维检测精度上提升了0.71%，在鸟瞰图检测精度上提升了7.28%，取得了较好效果。 Object detection is the basis of autonomous driving and robot navigation. To solve the problems of insufficient information in 2D images and the large data volume， uneven density， and low detection accuracy of 3D point clouds， a new 3D object-detection network is proposed through an image and point-cloud fusion with deep learning. To reduce the calculation load， the original point cloud is first filtered with the flat interceptor corresponding to the object's frame detected in the 2D image. To address the uneven density， an improved voting model network， based on a generalized Hough transform， is proposed for multiscale feature extraction. Finally， Normal Three-Dimensional Distance Intersection over Union （N3D_DIOU）， a novel loss function， is extended from the Two-Dimensional Distance Intersection over Union （2D DIOU） loss function， which improves the consistency between the generated and target frames， and also improves the object-detection accuracy of the point cloud. Experiments on the KITTI dataset show that our algorithm improves the accuracy of three-dimensional detection by 0.71%， and the aerial-view detection accuracy by 7.28%， over outstanding classical methods. 目标检测 二维图像 三维点云 三维DIOU 特征融合 object detection 2D image 3D point cloud 3D_DIOU feature fusion 1 引　言 1 基于目标检测的环境感知是自动驾驶和机器人导航 ［ 1 1 - 2 2 1-2 ］ 的基础，常见的目标检测方法包括二维图像目标识别和三维点云目标精确定位。基于二维图像的SPPnet ［ 3 3 ］ ，R-CNN ［ 4 4 ］ ，Fast R-CNN ［ 5 5 ］ ，Faster R-CNN ［ 6 6 ］ 和YOLO ［ 7 7 ］ 系列算法被广泛应用于目标识别，这类算法效率较高，但对目标大小及位置的估计不够准确。 与二维目标检测 ［ 8 8 - 9 9 8-9 ］ 相比，基于三维点云的目标识别与定位 ［ 10 10 ］ 可以精准估计目标的三维尺寸及位置，对车辆自主驾驶和机器人导航具有更重要的意义。然而，三维目标检测面临着数据量大、点云分布不均匀和处理复杂等诸多挑战，许多相关研究致力于提高三维点云检测的时效性和准确性。Complex-YOLO ［ 11 11 ］ 和YOLO3D ［ 12 12 ］ 算法对YOLO的检测框架进行了三维扩展，PIXOR ［ 13 13 ］ 将三维点云投影到BEV视图中进行二维检测，SqueezeSeg算法 ［ 14 14 ］ 则将三维点云投影到了球形网格。上述这类算法均是利用成熟的二维探测框架将点云投影到平面上，然而投影过程中的空间信息丢失会导致空间遮挡和精度下降的问题。第二类算法通过对点云体素化进行三维卷积操作提取点云特征并生成检测框。ZHOU等人提出的VoxelNet ［ 15 15 ］ 首先将点云划分为体素，然后使用RPN网络进行对象检测；Second网络 ［ 16 16 ］ 同样对点云进行体素划分，使用Pointnet对非空体素进行特征提取。由于点云的稀疏性，这类算法进行点云体素化大大增加了数据量，大量的空白体素会导致计算的浪费。 激光点云与图像融合算法也可以分为两类。Liang 等人 ［ 17 17 ］ 提出了多任务多传感器检测模型分别对激光点云和图像进行特征提取，然后输入到同一神经网络进行目标分类和预测，属于前融合方案。现有大部分前融合方案网络本身较为复杂，难以实现实时性。Wu等人 ［ 18 18 ］ 分别利用点云和图像进行行人检测，再对检测结果进行匹配后输出最终融合的结果，属于后融合方案。但目前后融合方法应用较为局限，极少能够用于交通环境目标检测。 特征提取是目标检测的重要环节，卷积作为一种特征提取方法已经广泛应用于二维图像目标识别，但由于点云的无序性，卷积无法直接应用于点云特征提取。Pointnet ［ 19 19 ］ 首次提出了一种针对三维点云直接提取特征的网络结构，但采用最大池化解决点云无序性问题，由于本地连接被忽略，仅能提取全局特征。为了解决这一问题，通常采用最远点采样方法生成种子点对原始点云进行分组，但这种方法只能保证覆盖面广，不能代表最优选择。为了优化点云分组策略，本文提出了一种改进的投票模型网络，利用神经网络优化种子点的选择并用于后续多尺度局部特征提取。 目标检测精度通常采用检测框与实际目标框的交并比（IOU）作为评价指标。目标检测中一般使用L1或L2损失函数进行检测框的优化，但是不同的L1和L2损失值可能具有相同的IOU值，此时利用IOU作为二维检测损失函数会存在很大的不收敛风险 ［ 20 20 - 21 21 20-21 ］ 。为了提升收敛性，文献 ［ 22 22 - 23 23 22-23 ］ 通过IOU进行优化提出了GIOU和DIOU损失函数，但只适用于二维情况。为了解决三维目标检测问题，本文提出了一种适用于三维点云检测的N3D_DIOU_loss损失函数来统一损失函数和评估准则，达到了较好的检测效果。 本文充分利用经过事先联合标定的二维图像及三维点云信息，提出了融合二维图像与三维点云的目标检测框架，利用二维图像中检测到的目标提取三维点云中的截头体来滤除多余的背景点，降低了三维计算成本；提出基于广义霍夫变换的改进投票模型用于多尺度特征提取，同时提出N3D_DIOU_loss将DIOU损失函数从二维拓展到三维，代替传统的L1损失函数优化回归目标框，使得目标框的生成更精确。KITTI数据集的消融实验表明：与经典方法相比，本文算法在三维目标检测精度和俯瞰图检测精度上均有较大提升，达到了较好的检测效果。 2 基于投票模型的目标检测网络 1 本节主要介绍融合二维图像及三维点云的目标检测网络整体结构。如 图1 图1 所示，目标检测网络分为三个主要部分：（1）数据预处理；（2）投票模型网络；（3） RPN网络。目标检测网络以三维原始点云和二维图像作为输入，用二维图像检测框对应的平截头体进行点云过滤；过滤后的点云被初步聚类，并由改进的投票模型网络层进行特征提取，然后使用FCN网络进行多尺度特征融合，融合后的特征被输入到检测头，包括分类头（CLS）和回归头（REG），以预测检测结果。 2.1　三维点云预过滤处理 2 为了综合利用二维图像及三维点云提供的特征信息提升点云处理效率，假设激光雷达和摄像机已经联合校准，可以执行坐标转换。由于二维图像目标检测算法相对成熟且高效，本文首先使用二维检测器在图像中提取目标框，然后用二维框所对应的平截头体过滤三维目标点云，过滤后的点云围绕二维图像中对应目标中心点的空间点进行旋转直到中心线与坐标轴 Y 对齐，以便于后续的点云聚合。其中，中心线是由二维被测物体中心反投影到三维空间生成的。 2.2　投票模型网络 2 学习点云的语义特征，首先需要提取相邻点的低层几何特征。 过滤后的点云仍具有离散性和无序性的特点。为了对点云进行分类和分割，一些算法使用最近邻采样来聚集点云，使用最远点采样（FPS）生成原始种子点，FPS虽然覆盖的点云范围很广，但无法确定目标的具体位置。另一类算法采用体素分割用于在同一体素内聚集点云，然而这种体素分割方法无法获得边界的位置。 为了解决这些问题，我们提出了一个如 图2 图2 所示的改进的投票模型网络来生成原始种子点，该网络主要由投票模块、分组模块和Pointnet模块组成。其中采用结合基于广义霍夫变换的vote投票模块与基于最远点采样的分组模块进行点云的聚类，采用Pointnet进行多尺度特征提取。 首先将包含点云位置和激光反射强度特征的过滤点云输入到由conv层、BN层和relu层组成的投票模块中，这些模块共享权重模拟了广义霍夫变换对中心点的投票过程寻找点云的聚类中心生成目标中心。在此基础上，本文进一步基于目标中心的深度和角度生成采样中心以此改进了投票模型，使得网络可以获得更精细的局部特征。目标中心的位移偏移Δ x i 和特征偏移Δ f i 由投票模块生成，并由L1损失函数监督。投票模块生成目标中心 y i ，再由分组模块基于最远点采样原理对过滤后的点云进行聚合得到分组点。由于目标的大小和点云的密度未知，所以使用四组不同的欧式距离划定球形区域进行粗略聚类，在球形区域中使用最远点采样法对点云进行降采样获得四组不同尺度的降采样点云，最后将不同尺度的降采样点云分别输入到四个Pointnet模块就可以获得四组不同尺度的点云特征图。 2.3　基于FCN的RPN网络 2 利用上述投票模型网络完成了点云聚类和不同尺度的特征提取，四种特征的尺度大小分别为 f 1 =L·d /4 ，f 2 =L·d /4 ，f 3 =L·d /2 ，f 4 =L·d ，其中， L 是采样点数， d 是特征大小。为了进一步对不同尺寸物体进行目标框预测，本文设计了如 图3 图3 所示的对四种不同尺度特征进行融合的FCN网络结构。FCN网络由conv层、deconv层和merge层组成；merge层也是conv层，用于特征图融合；deconv层用于调整特征图大小，以保证需要融合的各特征图具有相同的尺寸。 经过FCN融合后的特征图输入分类头和回归头，分类头用于识别目标的类别，采用softmax结构输出感兴趣目标的分类概率；回归头用于目标的定位，输出包含实例的最小包围立方体参数（包围框中心、长、宽和高）。回归框与分类概率也一一进行对应，因此可以用一个统一的多任务损失函数对分类与回归进行统一的优化训练。 2.4　参数微调 2 为降低二维检测精度对算法的影响，本文提出的方法参考F-Convnet ［ 24 24 ］ 进行参数微调，过程如下： （1）根据坐标对检测出的三维框进行归一化，每个检测框的中心作为它们各自坐标系的原点，坐标轴的方向统一到第一检测框； （2）在预处理过程中，将点云的过滤范围扩大并乘一个膨胀系数，在本文中，这个膨胀系数被设为1.5；过滤范围扩大有助于降低检测框定位不够精确造成的点云过多的过滤，从而提高算法稳定性； （3）将（2）中过滤后的点云再次送入后续网络重新训练，调整网络参数。消融实验表明，参数微调过程对提高探测精度具有显著作用。 3 3D_DIOU多任务损失函数 1 深度神经网络的训练实际上是基于梯度下降的一种优化过程，设计合理的损失函数可以加快训练过程并获得最优解。为了完成多任务分类，本文设计了一种基于三维DIOU的多任务损失函数，包含分类损失函数 L cls 与三维扩展的DIOU损失函数N3D_DIOU_loss两部分。为了在训练期间将每个部分的损失函数保持在相似的范围内，两个部分分别乘以权重 ω 1 和 ω 2 ，如 公式（1） 公式（1） 所示。 <math display="block" id="M1"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">3</mn><mi mathvariant="normal">D</mi><mo>_</mo><mi mathvariant="normal">D</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi></mrow></msub><mo>=</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>·</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi></mrow></msub><mo>+</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>·</mo><mi mathvariant="normal">N</mi><mn mathvariant="normal">3</mn><mi mathvariant="normal">D</mi><mo>_</mo><mi mathvariant="normal">D</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mo>_</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009082&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009079&type= 62.06066895 4.23333359 ， 其中，权重 ω 1 和 ω 2 要保证训练过程中两部分损失下降的速度相当，根据经验并基于上述原则优化后的权重值为 ω 1 =1和 ω 2 =8。 3.1　分类损失函数 2 由于RPN预测的大多数检测框都是负样本，因此正样本和负样本之间存在很大的不平衡。这种不平衡使得训练过程中的负损失远大于正损失，这对网络训练是有害的。为了解决这个问题，Lin ［ 25 25 ］ 提出了焦点损失函数（ FL ），并表示为 公式（2） 公式（2） ： <math display="block" id="M2"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi></mrow></msub><mo>=</mo><mi>F</mi><mi>L</mi><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mo>-</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>·</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>t</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi>γ</mi></mrow></msup><mo>·</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009089&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009085&type= 57.82733154 5.07999992 . 本文对于类别的预测即使用焦点损失函数，其中： p t 表示对应边框模型的评估概率值，参数 α t =0.25， γ =2。 3.2　N3D_DIOU_loss 2 在二维图像中，经常使用L1损失来优化IOU精度，但它不能完全代表网络训练时IOU的精度。对于具有不同IOU精度的检测框，可能有相同的L1损失值。为了解决这个问题，F-Convnet使用corner_loss正则化三维框回归。而更直观的方法则是用IOU作为损失函数 ［ 26 26 ］ ，但如 图4 图4 （a）所示当目标框和检测框之间没有交集时，IOU损失函数无法进行训练。为解决这一问题，文献 ［ 22 22 ］ 提出了GIOU损失函数，但如 图4 图4 （b）和（c）所示时，GIOU损失函数在水平或垂直情况下退化为IOU损失函数，也存在无法较好收敛的风险。因此，文献 ［ 23 23 ］ 提出DIOU损失函数进一步提高训练过程的稳定性和优化性能，二维图像中DIOU损失函数的原始公式如 公式（3） 公式（3） 所示。 <math display="block" id="M3"><mi mathvariant="normal">D</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mo>_</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo>=</mo><mi mathvariant="normal">I</mi><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mo>_</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo>-</mo><mfrac><mrow><msup><mrow><mi>ρ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><msup><mrow><mi>b</mi></mrow><mrow><mi>g</mi><mi>t</mi></mrow></msup><mo stretchy="false">)</mo></mrow><mrow><msup><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009096&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009093&type= 56.30332947 8.46666718 ， 其中： ρ 是检测框中心点 b 与目标框中心点 <math id="M4"><msup><mrow><mi>b</mi></mrow><mrow><mi>g</mi><mi>t</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009101&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009099&type= 3.47133350 3.04800010 之间的距离， c 是最小边界框的对角线距离。 三维框和二维框的IOU计算并不完全相同，由于三维框存在角度朝向问题，使得三维IOU的计算更加困难。如 图5 图5 所示，在计算三维目标框和检测框的IOU时，重叠区域的计算更加复杂 ［ 27 27 ］ 。为此，本文提出了下面的N3D_DIOU_loss损失函数： （1）将检测框和目标框旋转并与坐标轴对齐，利用max和min函数计算两框的所有交点，并将这个过程定义为检测框的正则化； （2）三维DIOU的计算退化为二维难度； （3）对于角度，首先将其离散化，然后用L1损失函数监督角度偏差，最后与正则化的三维DIOU组合成多任务损失函数。由此简化了三维DIOU的计算，N3D_DIOU_loss的伪代码如算法1所示。 算法1 N3D_DIOU_loss伪代码 算法1： N3D_DIOU_loss 输入： 检测框 B p 、目标框 B g 、预测中心 C p 和目标框中心 C g ： B p =（ <math id="M5"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009410&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009406&type= 2.79399991 3.38666677 ， <math id="M6"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009254&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009251&type= 2.79399991 4.14866638 ， <math id="M7"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009266&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009262&type= 2.45533323 3.38666677 ， <math id="M8"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009650&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009645&type= 2.79399991 3.38666677 ， <math id="M9"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009373&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009369&type= 2.79399991 4.14866638 ， <math id="M10"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009738&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009736&type= 2.45533323 3.38666677 ） B g =（ <math id="M11"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009164&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009161&type= 2.79399991 3.38666677 ， <math id="M12"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009329&type= 2.79399991 4.14866638 ， <math id="M13"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009303&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009299&type= 2.45533323 3.38666677 ， <math id="M14"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009310&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009307&type= 2.79399991 3.38666677 ， <math id="M15"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009325&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009320&type= 2.79399991 4.14866638 ， <math id="M16"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009194&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009191&type= 2.45533323 3.38666677 ） C p =（ <math id="M17"><msubsup><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009750&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009748&type= 2.70933342 3.38666677 ， <math id="M18"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009205&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009203&type= 2.79399991 4.14866638 ， <math id="M19"><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009208&type= 2.45533323 3.38666677 ） C g =（ <math id="M20"><msubsup><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009214&type= 2.79399991 3.38666677 ， <math id="M21"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009224&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009221&type= 2.79399991 4.14866638 ， <math id="M22"><msubsup><mrow><mi>z</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009227&type= 2.45533323 3.38666677 ） 输出： 由于目标框与检测框事先与坐标轴对齐，可以确保： <math id="M23"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009357&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009352&type= 2.79399991 3.38666677 > <math id="M24"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009242&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009239&type= 2.79399991 3.38666677 ， <math id="M25"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009245&type= 2.79399991 4.14866638 > <math id="M26"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009254&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009251&type= 2.79399991 4.14866638 ， <math id="M27"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009388&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009384&type= 2.45533323 3.38666677 > <math id="M28"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009266&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009262&type= 2.45533323 3.38666677 ， <math id="M29"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009661&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009655&type= 2.79399991 3.38666677 > <math id="M30"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009630&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009626&type= 2.79399991 3.38666677 ， <math id="M31"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009325&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009320&type= 2.79399991 4.14866638 > <math id="M32"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009329&type= 2.79399991 4.14866638 ， <math id="M33"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009340&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009336&type= 2.45533323 3.38666677 > <math id="M34"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009303&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009299&type= 2.45533323 3.38666677 1. 计算 B g 的体积： V g =（ <math id="M35"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009310&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009307&type= 2.79399991 3.38666677 - <math id="M36"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009630&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009626&type= 2.79399991 3.38666677 ）·（ <math id="M37"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009325&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009320&type= 2.79399991 4.14866638 - <math id="M38"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009329&type= 2.79399991 4.14866638 ）·（ <math id="M39"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009340&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009336&type= 2.45533323 3.38666677 - <math id="M40"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009725&type= 2.45533323 3.38666677 ）  2. 计算 B p 的体积： V p =（ <math id="M41"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009357&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009352&type= 2.79399991 3.38666677 - <math id="M42"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009365&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009361&type= 2.79399991 3.38666677 ）·（ <math id="M43"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009373&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009369&type= 2.79399991 4.14866638 - <math id="M44"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009678&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009674&type= 2.79399991 4.14866638 ）·（ <math id="M45"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009388&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009384&type= 2.45533323 3.38666677 - <math id="M46"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009394&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009392&type= 2.45533323 3.38666677 ）  3. 计算两框交集的体积（ V i ）：     <math id="M47"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009402&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009398&type= 2.79399991 3.38666677 =max（ <math id="M48"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009410&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009406&type= 2.79399991 3.38666677 ， <math id="M49"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009630&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009626&type= 2.79399991 3.38666677 ）， <math id="M50"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009427&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009422&type= 2.79399991 3.38666677 =min（ <math id="M51"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009650&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009645&type= 2.79399991 3.38666677 ， <math id="M52"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009661&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009655&type= 2.79399991 3.38666677 ）    <math id="M53"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009568&type= 2.62466669 4.14866638 =max（ <math id="M54"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009678&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009674&type= 2.79399991 4.14866638 ， <math id="M55"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009466&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009462&type= 2.79399991 4.14866638 ）， <math id="M56"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009563&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009558&type= 2.62466669 4.14866638 =min（ <math id="M57"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009706&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009702&type= 2.79399991 4.14866638 ， <math id="M58"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009711&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009709&type= 2.79399991 4.14866638 ）    <math id="M59"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009497&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009493&type= 2.45533323 3.38666677 =max（ <math id="M60"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009506&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009501&type= 2.45533323 3.38666677 ， <math id="M61"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009514&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009510&type= 2.45533323 3.38666677 ）， <math id="M62"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009522&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009518&type= 2.45533323 3.38666677 =min（ <math id="M63"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009530&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009526&type= 2.45533323 3.38666677 ， <math id="M64"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009537&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009533&type= 2.45533323 3.38666677 ）   If  <math id="M65"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009541&type= 2.79399991 3.38666677 > <math id="M66"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009548&type= 2.79399991 3.38666677 ， <math id="M67"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009563&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009558&type= 2.62466669 4.14866638 > <math id="M68"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009568&type= 2.62466669 4.14866638 ， <math id="M69"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009583&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009579&type= 2.45533323 3.38666677 > <math id="M70"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009588&type= 2.45533323 3.38666677 ： <math id="M71"><msup><mrow><mi>V</mi></mrow><mrow><mi>i</mi></mrow></msup><mo>=</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>i</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>i</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>·</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>i</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>i</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>·</mo><mtext> </mtext><mo stretchy="false">(</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>i</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>i</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009601&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009597&type= 47.75199890 4.40266657   Otherwise：  V i =0  4. 计算两框最小包围边界框的体积（ V c ）：     <math id="M72"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009787&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009783&type= 2.79399991 3.38666677 =min（ <math id="M73"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009621&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009616&type= 2.79399991 3.38666677 ， <math id="M74"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009630&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009626&type= 2.79399991 3.38666677 ）， <math id="M75"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009635&type= 2.79399991 3.38666677 =max（ <math id="M76"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009650&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009645&type= 2.79399991 3.38666677 ， <math id="M77"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009661&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009655&type= 2.79399991 3.38666677 ）    <math id="M78"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009670&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009665&type= 2.62466669 4.14866638 =min（ <math id="M79"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009678&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009674&type= 2.79399991 4.14866638 ， <math id="M80"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009684&type= 2.79399991 4.14866638 ）， <math id="M81"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009698&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009693&type= 2.62466669 4.14866638 =max（ <math id="M82"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009706&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009702&type= 2.79399991 4.14866638 ， <math id="M83"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009711&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009709&type= 2.79399991 4.14866638 ）    <math id="M84"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009807&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009805&type= 2.45533323 3.38666677 =min（ <math id="M85"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009723&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009721&type= 2.45533323 3.38666677 ， <math id="M86"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009725&type= 2.45533323 3.38666677 ）， <math id="M87"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009734&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009731&type= 2.45533323 3.38666677 =max（ <math id="M88"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009738&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009736&type= 2.45533323 3.38666677 ， <math id="M89"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009742&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009740&type= 2.45533323 3.38666677 ）    <math id="M90"><msup><mrow><mi>V</mi></mrow><mrow><mi>c</mi></mrow></msup><mo>=</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>c</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>c</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>·</mo><mtext> </mtext><mo stretchy="false">(</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>c</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>c</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>·</mo><mtext> </mtext><mo stretchy="false">(</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>c</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>c</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009744&type= 48.17533112 4.40266657  5. 计算目标框和检测框的中心之间的距离 ρ ，以及最小边界框的对角线距离 c ：    ρ²=（ <math id="M91"><msubsup><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009750&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009748&type= 2.70933342 3.38666677 - <math id="M92"><msubsup><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009751&type= 2.79399991 3.38666677 ） ² +（ <math id="M93"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009758&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009754&type= 2.79399991 4.14866638 - <math id="M94"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009768&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009764&type= 2.79399991 4.14866638 ） ² +（ <math id="M95"><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009771&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009769&type= 2.45533323 3.38666677 - <math id="M96"><msubsup><mrow><mi>z</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009777&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009774&type= 2.45533323 3.38666677 ） ²    c²=（ <math id="M97"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009781&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009779&type= 2.79399991 3.38666677 - <math id="M98"><msubsup><mrow><mi>x</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009787&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009783&type= 2.79399991 3.38666677 ） ² +（ <math id="M99"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009793&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009791&type= 2.62466669 4.14866638 - <math id="M100"><msubsup><mrow><mi>y</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009798&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009795&type= 2.62466669 4.14866638 ） ² +（ <math id="M101"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>2</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009803&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009801&type= 2.45533323 3.38666677 - <math id="M102"><msubsup><mrow><mi>z</mi></mrow><mrow><mn>1</mn></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009807&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009805&type= 2.45533323 3.38666677 ） ²  6. IOU_3D = <math id="M103"><mfrac><mrow><msup><mrow><mi>V</mi></mrow><mrow><mi>i</mi></mrow></msup></mrow><mrow><msup><mrow><mi>V</mi></mrow><mrow><mi>u</mi></mrow></msup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009811&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009809&type= 4.40266657 7.45066643 ， 其中 V u =V p +V g -V i  7.  <math id="M104"><mi mathvariant="normal">D</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mo>_</mo><mn>3</mn><mi mathvariant="normal">D</mi><mo>=</mo><mi mathvariant="normal">I</mi><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mo>_</mo><mn>3</mn><mi mathvariant="normal">D</mi><mo>-</mo><mfrac><mrow><msup><mrow><mi>ρ</mi></mrow><mrow><mn>2</mn></mrow></msup><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><msup><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msup><mo stretchy="false">)</mo></mrow><mrow><msup><mrow><mi>c</mi></mrow><mrow><mn>2</mn></mrow></msup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009815&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24009813&type= 46.22800064 7.36600018  8. DIOU_3D_loss=1 - DIOU_3D  9. N3D_DIOU_loss=       ω 3 · DIOU_3D_loss+ ω 4 ·L1_angle_loss （ ω 3 和 ω 4 为权重系数，本文中分别设为0.5与0.03，L1_angle_loss是L1损失函数，用于监督角度偏差。） 4 实验与分析 1 为了验证算法的有效性，在公开的KITTI数据集上进行了实验验证，该数据集包括7 481帧的训练集和7 518帧的测试集。由于测试集的标签没有公开，我们将训练集分为3 712帧的训练集和3 769帧的验证集进行网络训练和验证。主要检测目标分为三类，包括车辆，行人和骑自行车的人，数据分为简单、中等和困难难度级别。根据官方标准，当IOU值达到0.7时，汽车被认为分类正确。对于行人和骑自行车者，由于目标较小，IOU阈值降低为0.5。 4.1　投票模型网络参数设置 2 投票模型生成的特征图大小为 f 1 =L·d /4 ，f 2 =L·d /4 ，f 3 =L·d /2 ，f 4 =L·d ，其中 L 表示采样点数， d 表示特征大小。为便于特征图融合，对于汽车， L 设置为280， d 设置为512；对于行人和骑自行车的人， L 设为700， d 仍是512。投票模型网络生成的中心点数量设置为［32，64，64，128］，汽车的聚类距离设置为［0.25，0.5，1.0，2.0］，行人和骑车人的聚类距离设置为［0.1，0.2，0.4，0.8］。 4.2　网络训练参数设置 2 对于检测网络的训练，初始学习率设定为0.000 1，随着训练epoch的增加逐渐衰减到0.000 001，总epoch设置为80。另外，使用Adam优化器进行训练，优化器的系数为0.000 1。整个训练过程是在两个NVIDIA TITAN X GPU上进行的多GPU训练，批量batch为32。整个训练过程大约需要6个小时。 4.3　基于KITTI数据集的实验对比 2 为了验证本文算法的有效性， 表1 表1 给出了KITTI数据集上本文算法与经典的MV3D ［ 1 1 ］ ，ContFusion ［ 28 28 ］ ，VoxelNet ［ 16 16 ］ ，F-Convnet ［ 24 24 ］ ，IPOD ［ 29 29 ］ 和point columns ［ 30 30 ］ ，F-PointNet ［ 31 31 ］ 先进算法在三维检测精度上的比较。其中，对于汽车的检测，本文算法在各个难度上都优于上述各算法，在典型的简单难度下，本文算法较上述算法中表现最好的提升0.71%。对于行人的检测，检测效果随着难度的增加而下降，在简单难度下较上述算法中表现最好的提升了0.37%。 2 算法 汽车 行人 骑车者 简单 中等 困难 简单 中等 困难 简单 中等 困难 MV3D ［ 1 1 ］ ContFusion ［ 28 28 ］ VoxelNet ［ 15 15 ］ F-PointNet ［ 31 31 ］ F-ConvNet ［ 24 24 ］ IPOD ［ 29 29 ］ PointPillars ［ 30 30 ］ 71.29 62.68 56.56 86.32 73.25 67.81 81.97 65.46 62.85 83.76 70.92 63.65 89.02 78.80 77.09 84.10 76.40 75.30 79.05 74.99 68.30 N/A N/A N/A N/A N/A N/A 57.86 53.42 48.87 70.00 61.32 53.59 N/A N/A N/A 69.60 62.30 54.60 52.08 43.53 41.49 N/A N/A N/A N/A N/A N/A 67.17 47.65 45.11 77.15 56.49 53.37 N/A N/A N/A 81.90 57.10 54.60 75.78 59.07 52.92 本文算法 89.73 79.43 77.79 70.37 58.70 51.75 80.88 60.43 56.93 除了三维检测精度之外， 表2 表2 列出了本文算法与各个算法在俯视图（BEV）检测中的比较。应用N3D_DIOU_loss损失函数，检测框和目标框之间的重合度相对较高，因此BEV检测精度提升较大。其中，汽车在典型的简单难度下较上述算法中表现最好的提升了2.07%，而行人在简单难度下提升了0.19%；对于骑车者，本文算法均达到了最好效果，在简单、中等与困难难度下分别提升了1.91%，3.41%与2.88%。由于行人与骑车者体积小更难于识别，所有算法在检测精度上均低于汽车，但本文算法性能仍与表中最优算法相近并在大部分情况下有所提升。 2 算法 汽车 行人 骑车者 简单 中等 困难 简单 中等 困难 简单 中等 困难 MV3D ［ 1 1 ］ ContFusion ［ 28 28 ］ VoxelNet ［ 15 15 ］ F-PointNet ［ 31 31 ］ F-ConvNet ［ 24 24 ］ IPOD ［ 29 29 ］ PointPillars ［ 30 30 ］ 86.55 78.10 76.67 95.44 87.34 82.43 89.60 84.81 78.57 88.16 84.92 76.44 90.23 88.79 86.84 88.30 86.40 84.60 88.35 86.10 79.83 N/A N/A N/A N/A N/A N/A 65.95 61.05 56.98 72.38 66.39 59.57 N/A N/A N/A 72.40 67.80 59.70 58.66 50.23 47.19 N/A N/A N/A N/A N/A N/A 74.41 52.18 50.49 81.82 60.03 56.32 N/A N/A N/A 84.30 61.80 57.70 79.14 62.25 56.00 本文算法 97.51 89.05 86.99 72.59 63.57 59.21 86.21 65.66 60.58 由于正负样本的不平衡，检测的召回率是算法性能重要的考虑指标。 图6 图6 显示了汽车、行人和骑自行车者的三维检测精度（Precision）随召回率（Recall）的变化曲线。从曲线可以看出，在召回率达到60%的情况下，各监测项均能实现超过60%的监测精度，其中，汽车表现最优，在召回率达到80%的情况下检测精度仍能超过80%，这表明了算法对于目标检测任务的有效性。 图7 图7 和 图8 图8 显示了KITTI数据集上部分目标检测的可视化结果，包括汽车、行人和骑自行车者的检测结果。其中，绿色框代表目标框，红色框代表检测框，包括二维图像中的二维框（左侧）和三维点云中的三维框（右侧）。 图7 图7 中，在密集和稀疏点云中都能成功检测到汽车，表明该网络对点云的不均匀分布有很强的适应性。另外， 图7 图7 （b）中远处遮挡严重、点云较少的车也能成功检测出来。结果表明，该网络对汽车具有良好的检测效果。 图8 图8 中，行人和骑车者的检测性能较汽车差， 图8 图8 （a）中最前面的行人没有被检测出来，这是因为训练集中骑车者和行人相对较少导致网络训练不足。另外，骑车者和行人的特征相似导致的误判也降低了检测精度。 4.4　消融试验 2 为了证明N3_DIOU_loss和投票模型的有效性，以F-ConvNet ［ 24 24 ］ 为基准，增加了两个网络层在汽车目标上进行相关的消融实验，结果如表 3 3 ~ 4 4 所示。 表3 表3 表明N3D_DIOU_loss和改进的投票模型在精度的提高上具有显著的作用。在3D目标检测中，与传统F-ConvNet相比，改进的投票模型可以有效地过滤并聚类点云，提高了0.21%的检测精度；N3D_DIOU_loss可以提高目标框与检测框之间的重合度，进一步提升0.11%的检测精度，两者结合可以提升0.71%的检测精度。 表4 表4 的结果证实网络模型参数的微调可以对消融实验中各种结构的检测网络带来精度的提升。 2 2 算法 检测精度 简单 中等 困难 3D F-ConvNet F-ConvNet+投票模型 F-ConvNet+N3D-DIOU_loss F-ConvNet+投票模型+N3D-DIOU_loss 89.02 78.80 77.09 89.23 79.06 77.42 89.34 79.21 77.63 89.73 79.43 77.79 BEV F-ConvNet F-ConvNet+投票模型 F-ConvNet+N3D-DIOU_loss F-ConvNet+投票模型+N3D-DIOU_loss 90.23 88.79 86.86 90.53 89.13 86.92 90.31 88.98 86.63 97.51 89.05 86.99 2 2 算法 检测精度 简单 中等 困难 无 微调 F-ConvNet F-ConvNet+投票模型 F-ConvNet+N3D-DIOU_loss F-ConvNet+投票模型+N3D-DIOU_loss 86.51 76.57 68.17 87.73 77.00 68.42 88.06 77.49 68.76 88.47 77.83 69.04 参数 微调 F-ConvNet F-ConvNet+投票模型 F-ConvNet+N3D-DIOU_loss F-ConvNet+投票模型+N3D-DIOU_loss 89.02 78.80 77.09 89.23 79.06 77.42 89.34 79.21 77.63 89.73 79.43 77.79 5 结　论 1 针对三维点云识别计算量大、准确率低的特点，本文提出了一种融合二维图像与三维点云特征的目标检测网络用于三维目标检测。论文首先利用二维图像目标检测框对应的平截头体限定点云的处理范围，然后提出改进的投票模型用于多尺度特征提取，并通过构造了包含分类损失函数与三维DIOU损失函数N3D_DIOU_loss的多任务损失函数优化了网络训练过程及检测精度。KITTI数据集上的识别结果及消融实验表明，本文算法提出的投票模型与N3D_DIOU_loss对目标检测网络精度提升起到了重要作用，在三维检测精度上较F-ConvNet算法提高了0.71%，在BEV检测精度上则提高了7.28%。 参考文献 CHEN X Z ， MA H M ， WAN J ， et al . Multi-view 3D object detection network for autonomous driving ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 6526 - 6534 . doi: 10.1109/cvpr.2017.691 http://dx.doi.org/10.1109/cvpr.2017.691 Multi-view 3D object detection network for autonomous driving 郭保青 ， 余祖俊 ， 张楠 ， 等 . 铁路场景三维点云分割与分类识别算法 ［J］. 仪器仪表学报 ， 2017 ， 38 （ 9 ）： 2103 - 2111 . doi: 10.3969/j.issn.0254-3087.2017.09.002 http://dx.doi.org/10.3969/j.issn.0254-3087.2017.09.002 铁路场景三维点云分割与分类识别算法 GUO B Q ， YU Z J ， ZHANG N ， et al . 3D point cloud segmentation， classification and recognition algorithm of railway scene ［J］. Chinese Journal of Scientific Instrument ， 2017 ， 38 （ 9 ）： 2103 - 2111 . （in Chinese） . doi: 10.3969/j.issn.0254-3087.2017.09.002 http://dx.doi.org/10.3969/j.issn.0254-3087.2017.09.002 3D point cloud segmentation， classification and recognition algorithm of railway scene HE K M ， ZHANG X Y ， REN S Q ， et al . Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 9 ）： 1904 - 1916 . doi: 10.1109/tpami.2015.2389824 http://dx.doi.org/10.1109/tpami.2015.2389824 Spatial pyramid pooling in deep convolutional networks for visual recognition GIRSHICK R ， DONAHUE J ， DARRELL T ， et al . Rich feature hierarchies for accurate object detection and semantic segmentation ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition . 2328，2014 ， Columbus ， OH ， USA . IEEE ， 2014 ： 580 - 587 . doi: 10.1109/cvpr.2014.81 http://dx.doi.org/10.1109/cvpr.2014.81 Rich feature hierarchies for accurate object detection and semantic segmentation GIRSHICK R . Fast R-CNN ［C］. 2015 IEEE International Conference on Computer Vision （ICCV）. 713，2015 ， Santiago， Chile. IEEE ， 2015 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169 Fast R-CNN REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031 Faster R-CNN： towards real-time object detection with region proposal networks REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： unified， real-time object detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91 You only look once： unified， real-time object detection GUO B Q ， GENG G ， ZHU L Q ， et al . High-speed railway intruding object image generating with generative adversarial networks ［J］. Sensors ， 2019 ， 19 （ 14 ）： 3075 . doi: 10.3390/s19143075 http://dx.doi.org/10.3390/s19143075 High-speed railway intruding object image generating with generative adversarial networks 王建林 ， 付雪松 ， 黄展超 ， 等 . 改进YOLOv2卷积神经网络的多类型合作目标检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 1 ）： 251 - 260 . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251 改进YOLOv2卷积神经网络的多类型合作目标检测 WANG J L ， FU X S ， HUANG ZH CH ， et al . Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 251 - 260 . （in Chinese） . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251 Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ARNOLD E ， AL-JARRAH O Y ， DIANATI M ， et al . A survey on 3D object detection methods for autonomous driving applications ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2019 ， 20 （ 10 ）： 3782 - 3795 . doi: 10.1109/tits.2019.2892405 http://dx.doi.org/10.1109/tits.2019.2892405 A survey on 3D object detection methods for autonomous driving applications SIMON M ， MILZ S ， AMENDE K ， et al . Complex-YOLO： an Euler-region-proposal for real-time 3D object detection on point clouds ［C］. Computer Vision - ECCV 2018 Workshops ， 2019 ： 197 - 209 . doi: 10.1007/978-3-030-11009-3_11 http://dx.doi.org/10.1007/978-3-030-11009-3_11 Complex-YOLO： an Euler-region-proposal for real-time 3D object detection on point clouds ALI W ， ABDELKARIM S ， ZIDAN M ， et al . YOLO3D： end-to-end real-time 3D oriented object bounding box detection from LiDAR point cloud ［C］. Computer Vision - ECCV 2018 Workshops ， 2019 ： 716 - 728 . doi: 10.1007/978-3-030-11015-4_54 http://dx.doi.org/10.1007/978-3-030-11015-4_54 YOLO3D： end-to-end real-time 3D oriented object bounding box detection from LiDAR point cloud YANG B ， LUO W J ， URTASUN R . PIXOR： real-time 3D object detection from point clouds ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7652 - 7660 . doi: 10.1109/cvpr.2018.00798 http://dx.doi.org/10.1109/cvpr.2018.00798 PIXOR： real-time 3D object detection from point clouds IANDOLA F N ， HAN S ， MOSKEWICZ M W ， et al . SqueezeNet： AlexNet-level accuracy with 50x fewer parameters and < 0 . 5 MB model size［EB/OL］. 2016. https：//www.researchgate.net/publication/301878495_SqueezeNet_AlexNet-level_accuracy_with_50x_fewer_parameters_and_05MB_model_size https://www.researchgate.net/publication/301878495_SqueezeNet_AlexNet-level_accuracy_with_50x_fewer_parameters_and_05MB_model_size SqueezeNet： AlexNet-level accuracy with ZHOU Y ， TUZEL O . VoxelNet： end-to-end learning for point cloud based 3D object detection ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 4490 - 4499 . doi: 10.1109/cvpr.2018.00472 http://dx.doi.org/10.1109/cvpr.2018.00472 VoxelNet： end-to-end learning for point cloud based 3D object detection YAN Y ， MAO Y X ， LI B . SECOND： sparsely embedded convolutional detection ［J］. Sensors ， 2018 ， 18 （ 10 ）： 3337 . doi: 10.3390/s18103337 http://dx.doi.org/10.3390/s18103337 SECOND： sparsely embedded convolutional detection LIANG M ， YANG B ， CHEN Y ， et al . Multi-task multi-sensor fusion for 3D object detection ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 7337 - 7345 . doi: 10.1109/cvpr.2019.00752 http://dx.doi.org/10.1109/cvpr.2019.00752 Multi-task multi-sensor fusion for 3D object detection WU T E ， TSAI C C ， GUO J N . LiDAR/camera sensor fusion technology for pedestrian detection ［C］. 2017 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference （APSIPA ASC）. 1215，2017 ， Kuala Lumpur， Malaysia. IEEE ， 2017 ： 1675 - 1678 . doi: 10.1109/apsipa.2017.8282301 http://dx.doi.org/10.1109/apsipa.2017.8282301 LiDAR/camera sensor fusion technology for pedestrian detection CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 77 - 85 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16 PointNet： deep learning on point sets for 3D classification and segmentation EVERINGHAM M ， GOOL L ， WILLIAMS C K I ， et al . The pascal visual object classes （VOC） challenge ［J］. International Journal of Computer Vision ， 2010 ， 88 （ 2 ）： 303 - 338 . doi: 10.1007/s11263-009-0275-4 http://dx.doi.org/10.1007/s11263-009-0275-4 The pascal visual object classes （VOC） challenge LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106 Feature pyramid networks for object detection REZATOFIGHI H ， TSOI N ， GWAK J ， et al . Generalized intersection over union： a metric and a loss for bounding box regression ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 658 - 666 . doi: 10.1109/cvpr.2019.00075 http://dx.doi.org/10.1109/cvpr.2019.00075 Generalized intersection over union： a metric and a loss for bounding box regression ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 . doi: 10.1609/aaai.v34i07.6999 http://dx.doi.org/10.1609/aaai.v34i07.6999 Distance-IoU loss： faster and better learning for bounding box regression WANG Z X ， JIA K . Frustum ConvNet： sliding Frustums to aggregate local point-wise features for amodal 3D object detection ［C］. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. 38，2019 ， Macao， China. IEEE ， 2019 ： 1742 - 1749 . doi: 10.1109/iros40897.2019.8968513 http://dx.doi.org/10.1109/iros40897.2019.8968513 Frustum ConvNet： sliding Frustums to aggregate local point-wise features for amodal 3D object detection LIN T Y ， GOYAL P ， GIRSHICK R ， et al . Focal loss for dense object detection ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 2999 - 3007 . doi: 10.1109/iccv.2017.324 http://dx.doi.org/10.1109/iccv.2017.324 Focal loss for dense object detection YU J H ， JIANG Y N ， WANG Z Y ， et al . UnitBox： an advanced object detection network ［C］. Proceedings of the 24th ACM international conference on Multimedia. Amsterdam The Netherlands. New York， NY， USA ： ACM ， 2016 ： 516 - 520 . doi: 10.1145/2964284.2967274 http://dx.doi.org/10.1145/2964284.2967274 UnitBox： an advanced object detection network ZHOU D F ， FANG J ， SONG X B ， et al . IoU loss for 2D/3D object detection ［C］. 2019 International Conference on 3D Vision （3DV）. 1619，2019 ， Quebec City， QC， Canada. IEEE ， 2019 ： 85 - 94 . doi: 10.1109/3dv.2019.00019 http://dx.doi.org/10.1109/3dv.2019.00019 IoU loss for 2D/3D object detection LIANG M ， YANG B ， WANG S L ， et al . Deep Continuous Fusion for Multi-sensor 3 D Object Detection ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 663 - 678 . doi: 10.1007/978-3-030-01270-0_39 http://dx.doi.org/10.1007/978-3-030-01270-0_39 Deep Continuous Fusion for Multi-sensor 3D Object Detection YANG Z T ， SUN Y N ， LIU S ， et al . IPOD： intensive point-based object detector for point cloud ［EB/OL］. 2018 . https：//www.researchgate.net/publication/329641724_IPOD_Intensive_Point-based_Object_Detector_for_Point_Cloud https://www.researchgate.net/publication/329641724_IPOD_Intensive_Point-based_Object_Detector_for_Point_Cloud . doi: 10.1109/iccv.2019.00204 http://dx.doi.org/10.1109/iccv.2019.00204 IPOD： intensive point-based object detector for point cloud LANG A H ， VORA S ， CAESAR H ， et al . PointPillars： fast encoders for object detection from point clouds ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 12689 - 12697 . doi: 10.1109/cvpr.2019.01298 http://dx.doi.org/10.1109/cvpr.2019.01298 PointPillars： fast encoders for object detection from point clouds QI C R ， LIU W ， WU C X ， et al . Frustum PointNets for 3D object detection from RGB-D data ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 918 - 927 . doi: 10.1109/cvpr.2018.00102 http://dx.doi.org/10.1109/cvpr.2018.00102 Frustum PointNets for 3D object detection from RGB-D data 10.37188/OPE.20212911.2703 U298 TH89 A 1004-924X（2021）11-2703-11 郭保青,谢光非.基于N3D_DIOU的图像与点云融合目标检测算法[J].光学精密工程,2021,29(11):2703-2713. 郭保青,谢光非.基于N3D_DIOU的图像与点云融合目标检测算法[J].光学精密工程,2021,29(11):2703-2713. GUO Bao-qing,XIE Guang-fei.Object detection algorithm based on image and point cloud fusion with N3D_DIOU[J].Optics and Precision Engineering,2021,29(11):2703-2713. GUO Bao-qing,XIE Guang-fei.Object detection algorithm based on image and point cloud fusion with N3D_DIOU[J].Optics and Precision Engineering,2021,29(11):2703-2713. 国家自然科学基金资助项目（No.52072026） 2021-05-11 2021-07-05 2021-11-15 2022-01-25 光学精密工程 11 29