基于三维模型的单目车辆位姿估计

基于三维模型的单目车辆位姿估计 Monocular vehicle pose estimation based on 3D model first-author 许凌志（1995-），男，辽宁大连人，硕士研究生，2018年于上海交通大学获得学士学位，主要从事机器视觉方面的研究。E-mail：xulingzhi951118@sjtu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425530&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425538&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425534&type= 22.01333618 32.00396729 许凌志 （1995-），男，辽宁大连人，硕士研究生，2018年于上海交通大学获得学士学位，主要从事机器视觉方面的研究。E-mail： xulingzhi951118@sjtu.edu.cn xulingzhi951118@sjtu.edu.cn corresp E-mail： huizhao@sjtu.edu.cn E-mail： huizhao@sjtu.edu.cn huizhao@sjtu.edu.cn 上海交通大学 仪器科学与工程系，上海200240 上海交通大学 仪器科学与工程系，上海200240 Department of Instrument Science and Engineering， Shanghai Jiao Tong University， Shanghai 200240， China Department of Instrument Science and Engineering， Shanghai Jiao Tong University， Shanghai 200240， China 车辆位姿估计是智慧交通系统的重要组成部分，然而复杂的运动场景以及单目相机存在无法获取深度信息等问题。本文提出了一种结合单目相机及车辆三维模型进行车辆位姿估计的方法。首先对多尺度的车辆目标进行尺度归一化，然后以向量场的形式回归车辆关键点的坐标提升在遮挡或者截断状态下的位姿估计精度。在此过程中提出使用基于距离加权的向量场损失函数和关键点误差最小化的投票方法，进一步提高了位姿估计算法的准确性。此外，本文制作了一个含有丰富标注信息的合成车辆位姿估计数据集，在其上的验证结果表明，本文算法的平均定位误差和角度误差分别为0.162 m和4.692°，在实际场景中有着非常大的应用价值。 Vehicle pose estimation is an important component of intelligent transportation systems. However， the complex scenes and loss of depth information are challenging problems in the estimation. This paper proposes a method that combines monocular pose estimation and a 3D vehicle model to estimate vehicle pose. First， a multi-scale vehicle are normalized， and then the coordinates of key points are predicted in the form of a vector field to increase the accuracy of the pose estimation for the truncated and occluded vehicle. Furthermore， a distance-based loss function for the vector field and key point error minimization voting method is established to further improve the accuracy of the pose estimation algorithm. In addition， we propose a synthetic vehicle pose estimation dataset with rich annotation information. The verification results show that the average position and angle errors of our algorithm are 0.162 m and 4.692°， respectively. Our method provides significant improvements over existing methods and has considerable practical application value. 单目视觉 车辆位姿 三维模型 向量场 关键点 monocular vision vehicle pose three-dimensional model vector field key point 1 引　言 1 实时车辆位姿估计旨在对车辆目标进行检测的同时获取位置与姿态信息，在智能汽车以及智慧交通管理等领域中有着重要的应用。例如在自动驾驶车辆上，系统需要获取周围车辆的位姿及运动状态信息以进行稳健的决策。在现有的车辆位姿估计方法中，基于视觉的位姿估计方法有着无接触、应用范围广的特点。特别是基于单目视觉传感器的方法成本低且有着广泛的使用基础，使得基于单目视觉的位姿估计方法成为近年来的研究热点。 但是，基于单目视觉的车辆目标位姿估计呈现出几个特别之处：其一，车辆目标通常出现在城市道路或室内车库中，当通过安装于路口或者角落上的监控相机进行低角度拍摄时，车辆目标之间或车辆目标与其他目标间易出现遮挡严重或者在相机边缘处被截断的情况；其二，车辆目标的运动范围大，造成目标在图像上的尺度变化大，位姿估计的难度更大；其三，与在二维图像上的任务不同，三维位姿估计需要建立二维图像到三维空间的映射关系，然而单目视觉传感器在图像采集的过程中丢失了深度信息，因而无法获得目标的绝对尺度信息。 目前，基于视觉的车辆位姿估计主要有以下三种方法：第一类是基于深度信息的方法，常见于自动驾驶场景。针对单目相机无法获取深度信息的问题，该类方法的主要思路是依靠激光雷达等深度传感器，弥补三维目标投影到二维图像中所损失的深度信息，通过多源信息融合实现对车辆位姿的精确估计 ［ 1 1 - 3 3 1-3 ］ 。基于深度信息的位姿估计方法精度最高，但在实际使用中需要昂贵的硬件设备作为支撑，且庞大的数据量对计算机的性能配置提出更高的要求，不利于推广和使用。第二类方法是基于深度学习的直接法，这一类方法依赖于深度神经网络的拟合能力及大规模人工标注的数据集，将目标车辆的位姿直接作为神经网络的输出，单目图像作为输入进行端到端的训练。相关研究中，6D-VNet ［ 4 4 ］ 在目标检测网络的基础上，增加了两个额外分支来进行目标的平移和旋转四元数的回归，以实现位姿估计；SSD-6D ［ 5 5 ］ 将姿态空间划分为相邻子空间，从而将位姿估计由连续问题转化为离散问题；MonoPair ［ 6 6 ］ 中基于地平面假设对问题进行简化，直接回归了车辆在地平面上的坐标以及偏航角。然而，这类方法缺乏显式的几何约束关系，精度较低。第三类方法利用目标先验模型，通过传统特征算子或者神经网络提取目标特征，并与三维模型进行模板匹配 ［ 7 7 - 8 8 7-8 ］ ，得到目标的位姿信息。Li ［ 9 9 ］ 等人通过预测车辆目标的掩模并与不同姿态对应的模板进行匹配度计算得到结果。Barowski ［ 10 10 ］ 是对目标进行部位级别的精细分割进而建立二维到三维的对应关系。Deep manta ［ 11 11 ］ ，Yolo-6d ［ 12 12 ］ 等方法 ［ 13 13 ］ 则是利用目标关键点特征，建立二维到三维的关键点对应关系，求解PnP问题得到目标位姿。这类方法利用三维模型恢复了尺度信息并获得了较高的精度，然而复杂的实际场景导致的遮挡或者截断等问题，会增加目标特征提取的难度并影响位姿估计的精度。 综合考虑位姿估计应用场景与现有的遮挡和截断以及车辆目标尺度变化较大等问题，本文提出一种单目相机结合车辆先验模型进行位姿估计的改进方法，首先对检测图像中的目标进行尺度归一化。随后在姿态估计模块中使用基于向量场的关键点检测网络得到所有关键点的亚像素级坐标，在此基础上提出基于距离加权的损失函数以优化网络的训练目标，同时改进基于随机抽样一致（Random Sample Consensus，RANSAC）的关键点投票算法，最终通过关键点坐标以及三维目标模型建立二维到三维空间的对应关系，进而求解车辆的位姿信息。 2 基于车辆三维模型的位姿估计 1 2.1　车辆位姿估计原理 2 给定一幅图像，姿态估计的目标是获得图像中目标在三维空间的方向及位置信息。具体来说，假设三维空间建立在相机坐标系中，定义车辆目标的位置为车辆的底面中心点，并以此为原点，车的正前方、左侧方及正上方为坐标轴方向建立车辆坐标系。车辆目标的位姿估计问题转换为计算车辆坐标系到相机坐标系的变换矩阵。该变换矩阵包括表示各个坐标轴旋转角度的旋转矩阵 R 和表示车辆坐标系原点在相机坐标系中的三维坐标的平移变换向量 T 。 本文提出的车辆位姿估计方法利用了已知的车辆三维模型，这些三维模型可以通过摄影测量或者激光扫描技术获得，三维模型无其他特殊要求。原理如 图1 图1 所示，首先在输入图像中检测出目标车辆，然后对所有目标的尺度进行归一化后送入向量场回归网络，根据向量场的预测结果投票得到目标关键点的二维坐标，最终通过关键点的二维以及三维坐标建立二维图像到三维空间的对应关系并求解车辆位姿。 2.2　尺度归一化 2 为了预测目标的关键点坐标，首先需要对目标区域进行精确定位。常见的定位方法多采用语义分割的方式得到目标区域，但是对于车辆位姿估计任务而言，图像中通常含有多个车辆目标，此时基于语义分割的方法无法区分属于同一类别的目标。其次，与普通目标相比，车辆目标在相机视野中的运动范围更大，导致车辆在图像上的尺寸差异较大，造成后续位姿估计网络的感受野波动，进而影响位姿估计精度。 为此本文设计了一个尺度估计模块，如 图2 图2 所示。针对图像中尺寸变化剧烈的车辆目标，在对它进行位姿估计前，将目标尺寸缩放到同一大小以消除尺度变化引起的位姿估计网络训练的不稳定。通过一个尺度估计模块获取目标在图像中的尺度信息，并将提取的目标区域进行尺度归一化。具体地，本文使用一个轻量的目标检测 ［ 14 14 ］ 网络来实现尺度估计的功能，获得每个目标在图像中的矩形框后在原图中进行裁剪，并对目标区域进行尺度缩放，使得所有目标处于相同的尺度空间。这里使用双线性插值对目标区域进行缩放，在保持长宽比的条件下将包含目标的矩形框的较短边缩放到256个像素。 2.3　基于向量场形式的关键点检测网络 2 本文采用回归向量场的形式对关键点进行预测。向量场是一种关键点的中间表达形式，OpenPose ［ 15 15 ］ 中用它来建模关键点之间的对应关系，PoseCNN ［ 16 16 ］ 和PVNet ［ 17 17 ］ 中将它作为中间变量来代替对关键点的回归。使用向量场来回归每个像素点与指定关键点之间的相对角度，并最终通过投票的方式得出关键点的坐标，采用向量场的形式可以更好地预测被截断或者遮挡的关键点。具体地，对每个关键点，网络为属于目标的所有像素点预测一个指向该关键点的单位向量，在输出层中使用两个和原图尺寸一样的单通道图分别表示该单位向量在 x 轴和 y 轴上的分量。 <math display="block" id="M1"><msub><mrow><mi>d</mi></mrow><mrow><mi>k</mi><mo>,</mo><mi>p</mi></mrow></msub><mo>=</mo><mroot><mrow><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>k</mi></mrow><mrow><mi>x</mi></mrow></msub><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>k</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425566&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425562&type= 49.19132996 6.85799980 ， <math display="block" id="M2"><mi>v</mi><mfenced separators="|"><mrow><mi>p</mi></mrow></mfenced><mo>=</mo><mo stretchy="false">(</mo><mfrac><mrow><msub><mrow><mi>k</mi></mrow><mrow><mi>x</mi></mrow></msub><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>k</mi><mo>,</mo><mi>p</mi></mrow></msub></mrow></mfrac><mo>,</mo><mfrac><mrow><msub><mrow><mi>k</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>k</mi><mo>,</mo><mi>p</mi></mrow></msub></mrow></mfrac><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425574&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425570&type= 40.89400101 8.46666718 ， 其中： <math id="M3"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425644&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425641&type= 1.86266661 3.64066648 为当前像素点， <math id="M4"><mo stretchy="false">(</mo><msub><mrow><mi>k</mi></mrow><mrow><mi>x</mi></mrow></msub><mo>,</mo><msub><mrow><mi>k</mi></mrow><mrow><mi>y</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>x</mi></mrow></msub><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>y</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425587&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425584&type= 23.28333473 4.65666676 分别是对应关键点和当前像素点在图像坐标系中的坐标。 向量场的预测通过一个全卷积网络实现，网络输出包含目标的像素级分割掩模及向量场预测结果。本文使用U-net ［ 18 18 ］ 结构，在网络最终结果输出前将来自4个尺度的特征图分别上采样到原图尺寸后叠加在一起，最终通过一个卷积层输出分割以及向量场预测的结果，如 图2 图2 所示。 2.4　基于距离加权的向量场损失函数 2 在关键点检测部分，向量场回归网络有两个预测对象，分别是目标区域的像素级掩模及关键点向量场，因此本文使用多任务损失函数进行监督。损失函数由两部分组成： <math display="block" id="M5"><mi>L</mi><mo>=</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">g</mi></mrow></msub><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425593&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425590&type= 29.12533188 3.80999994 ， 其中 λ 1 ， λ 2 代表不同损失函数的权重。 式（3） 式（3） 中的两项分别对应目标分割以及关键点向量场回归两个任务。 由于在该网络中仅需对目标区域和背景区域进行区分，在本文中使用二分类交叉熵损失函数。在PoseCNN ［ 16 16 ］ 和PVNet ［ 17 17 ］ 中，对于向量场的回归采用Smooth l1损失函数分别对单位向量在 x 轴和 y 轴上的分量进行监督，如 公式（4） 公式（4） 所示： <math display="block" id="M6"><mtable><mtr><mtd><mi>L</mi><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>k</mi><mo>∈</mo><mi>K</mi></mrow></munder><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>p</mi><mo>∈</mo><mi>P</mi></mrow></munder><mrow><mi>s</mi><mi>m</mi><mi>o</mi><mi>o</mi><mi>t</mi><mi>h</mi><mo>_</mo><msub><mrow><mi>l</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>x</mi><mo stretchy="false">|</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo>-</mo><msub><mrow><mi>g</mi></mrow><mrow><mi>x</mi><mo stretchy="false">|</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo></mrow></mrow></mtd></mtr><mtr><mtd><mi>s</mi><mi>m</mi><mi>o</mi><mi>o</mi><mi>t</mi><mi>h</mi><mo>_</mo><msub><mrow><mi>l</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mn mathvariant="normal">1</mn><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>y</mi><mo stretchy="false">|</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo>-</mo><msub><mrow><mi>g</mi></mrow><mrow><mi>y</mi><mo stretchy="false">|</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425596&type= 56.64199829 13.54666710 ， 其中： <math id="M7"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425605&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425602&type= 2.79399991 2.79399991 是所有关键点的集合， <math id="M8"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425613&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425610&type= 2.45533323 2.79399991 是所有属于目标实例的像素集合， <math id="M9"><msub><mrow><mi>v</mi></mrow><mrow><mi>x</mi><mo stretchy="false">|</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo>,</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>y</mi><mo stretchy="false">|</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo>,</mo><msub><mrow><mi>g</mi></mrow><mrow><mi>x</mi><mo stretchy="false">|</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo>,</mo><msub><mrow><mi>g</mi></mrow><mrow><mi>y</mi><mo stretchy="false">|</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425619&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425616&type= 30.47999954 4.57200003 分别表示向量在 x 轴和 y 轴分量的预测值与真值。 经过分析，将该损失函数用于向量场回归会产生两个问题。其一是该损失函数在形式上无法表现训练的最终目标，由于向量场回归网络的最终目标是预测关键点在图像上的坐标，而该损失函数的优化目标却是每个像素点指向向量的角度，没有引入关键点定位误差与每个像素点指向向量的关系。其二，通过对最终结果的损失值进行可视化发现（ 图3 图3 ），关键点周围像素的损失值远大于其余像素；在训练的过程中，关键点周围像素的梯度占据了主导进而导致在训练过程中对该部分像素过于关注；在投票得到关键点的过程中，关键点周围像素在整体中仅仅占据很小的比例，由于像素自身特征与关键点特征过于相似，邻近像素对应的单位向量的学习难度大大提高，从而导致在训练过程中对占据主体的像素的优化不够充分。 针对于这个问题，本文提出基于距离加权的向量场损失函数，根据像素点与关键点的距离为每个像素点的损失值赋予一个与距离成正比的权重，在训练过程中使得网络更加关注距离较远的像素点。损失函数的具体形式如下： <math display="block" id="M10"><mi>L</mi><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>k</mi><mo>∈</mo><mi>K</mi></mrow></munder><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>p</mi><mo>∈</mo><mi>P</mi></mrow></munder><mrow><mfenced separators="|"><mrow><mi>s</mi><mi>m</mi><mi>o</mi><mi>o</mi><mi>t</mi><mi>h</mi><mtext> </mtext><msub><mrow><mi>l</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>x</mi><mo stretchy="false">|</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo>-</mo><msub><mrow><mi>g</mi></mrow><mrow><mi>x</mi><mo>/</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><mi>s</mi><mi>m</mi><mi>o</mi><mi>o</mi><mi>t</mi><mi>h</mi><mtext> </mtext><msub><mrow><mi>l</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>y</mi><mo stretchy="false">|</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo>-</mo><msub><mrow><mi>g</mi></mrow><mrow><mi>y</mi><mo>/</mo><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfenced><mo>×</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>+</mo><mi>s</mi><mi>q</mi><mi>r</mi><mi>t</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425634&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425632&type= 122.17400360 7.36600018 ， 其中 <math id="M11"><msub><mrow><mi>d</mi></mrow><mrow><mi>p</mi><mo>,</mo><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425638&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425636&type= 5.07999992 3.72533321 表示当前像素点 <math id="M12"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425644&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425641&type= 1.86266661 3.64066648 与对应关键点 <math id="M13"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425679&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425677&type= 1.69333339 2.79399991 的像素 L 2 距离。 2.5　关键点误差最小化的投票方法 2 在网络推理阶段，需要根据关键点向量场的预测结果投票得到关键点在图像中的坐标。在原始的投票过程中，首先在目标区域中随机选取两个点，将这两个点对应的向量的交点作为候选关键点，重复 N 次获得多组候选关键点，最终，基于所有像素点为候选关键点打分并选择分数最高的候选关键点作为结果。然而在生成候选关键点的过程中，随机选取的两个点对应的向量的夹角过小或过大，在向量角度误差相同的情况下得到的关键点坐标误差相应地会更大，如 图4 图4 所示。为了简化问题，假设 <math id="M14"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425692&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425690&type= 3.04800010 4.57200003 点对应的向量没有误差， <math id="M15"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425686&type= 3.04800010 4.57200003 点对应的向量的角度误差为 <math id="M16"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425663&type= 1.94733346 2.79399991 ，关键点为 <math id="M17"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425679&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425677&type= 1.69333339 2.79399991 ， <math id="M18"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425686&type= 3.04800010 4.57200003 与关键点 <math id="M19"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425679&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425677&type= 1.69333339 2.79399991 的距离为 <math id="M20"><mi>r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425684&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425682&type= 1.52400005 2.79399991 ， <math id="M21"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425686&type= 3.04800010 4.57200003 和 <math id="M22"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425692&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425690&type= 3.04800010 4.57200003 点对应向量的夹角为 <math id="M23"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425696&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425694&type= 1.94733346 3.80999994 ，则关键点位置的误差为： <math display="block" id="M24"><mi>e</mi><mo>=</mo><mfrac><mrow><mi>r</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><mi>α</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><mo stretchy="false">(</mo><mi>β</mi><mo>-</mo><mi>α</mi><mo stretchy="false">)</mo></mrow></mfrac><mo>+</mo><mfrac><mrow><mi>r</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><mi>α</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><mo stretchy="false">(</mo><mi>β</mi><mo>+</mo><mi>α</mi><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425700&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425698&type= 48.09066391 8.72066593 . 当 β = <math id="M25"><mi mathvariant="normal">π</mi><mo>/</mo><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425723&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425721&type= 5.67266655 3.30200005 时， <math id="M26"><mi>e</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425714&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425712&type= 1.52400005 2.79399991 取得最小值，且误差随着 <math id="M27"><mo stretchy="false">|</mo><mi>β</mi><mo>-</mo><mi mathvariant="normal">π</mi><mo>/</mo><mn mathvariant="normal">2</mn><mo stretchy="false">|</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425720&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425716&type= 13.80066681 4.06400013 的增大而增大，因此用于生成候选关键点的两个向量之间的夹角应尽可能接近 <math id="M28"><mi mathvariant="normal">π</mi><mo>/</mo><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425723&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425721&type= 5.67266655 3.30200005 。 在改进的投票过程中，首先随机选取一个点，在选取第二个点时要求该点与第一个点所在向量的夹角在一定范围内，以获得更精确的关键点坐标。实验选择的夹角为 <math id="M29"><mn mathvariant="normal">60</mn><mo>°</mo><mo>~</mo><mn mathvariant="normal">120</mn><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425727&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425725&type= 14.64733315 2.79399991 。 在获取关键点在目标区域中的相对坐标后，需将它们重新映射到原始图像上。假设关键点在目标区域中的相对坐标为（ <math id="M30"><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425731&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425729&type= 7.87400007 4.57200003 ），对应目标检测框在原始图像的坐标为（ <math id="M31"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425734&type= 30.98800087 4.74133301 ， <math id="M32"><mi>w</mi><mo>,</mo><mi>h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425740&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425737&type= 6.68866634 3.21733332 为尺度归一化后的目标区域尺寸，（ <math id="M33"><mi>x</mi><mo>,</mo><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425744&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425742&type= 5.67266655 3.72533321 ）为映射后关键点在原始图像中的坐标，则有： <math display="block" id="M34"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mi>x</mi><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>+</mo><mfrac><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>w</mi></mrow></mfrac><mo>×</mo><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi>y</mi><mo>=</mo><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>+</mo><mfrac><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow><mi>h</mi></mrow></mfrac><mo>×</mo><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>-</mo><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425749&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=17425747&type= 45.72000122 17.69533348 . 最后建立每个关键点在原始图像中的二维坐标及它在车辆坐标系中的三维坐标的对应关系，并使用EPnP ［ 19 19 ］ 算法求解目标位姿。 3 数据集与实验结果 1 3.1　合成数据集介绍 2 现有的包含有车辆位姿标注的数据集例如Kitti ［ 20 20 ］ ，主要面向自动驾驶场景。它在标注过程中考虑了道路地平面假设，仅仅对车辆在地平面上的位置以及其偏航角进行了标注，降低了车辆位姿估计问题的难度，此外这些数据集中存在由于多传感器标定与同步问题而导致的位姿错误标注问题，如 图5 图5 所示。 为了验证车辆位姿估计算法的有效性，本文提出了新的车辆位姿估计数据集，利用图像渲染技术将真实的车辆三维模型根据指定位姿渲染到图像中，生成训练以及测试图像，并且提供丰富的标注信息。标注信息包括目标二维以及三维的包围矩形框、二维图像上的目标实例分割标注、目标关键点在三维车辆坐标系和所有二维图像上的坐标标注和以及相机内参。 该数据集使用的三维车辆模型来源于ShapeNet ［ 22 22 ］ 数据集。ShapeNet是一个大型的3D形状数据集，包含横跨270个类别的51 000个三维模型。由于ShapeNet中的车辆三维模型缺乏实际尺寸信息，本文在网络上查找三维车辆模型的真实尺寸，并将三维模型缩放到实际尺寸。为了增加背景的复杂性，以衡量算法在复杂场景下的能力并且防止算法对相同背景的过拟合问题，本文选择场景分类数据集MIT places365 ［ 23 23 ］ 作为合成数据集的背景图片，该数据集中包含来自365个复杂场景的180万张图片。在数据合成时从数据集中随机选取背景图片。 在车辆关键点选择方面，本文在车辆三维模型表面手动选择关键点，分别是4个车轮中心以及顶部的4个顶点作为关键点，如 图6 图6 所示。 在对车辆位姿进行采样时，考虑在实际场景中相机一般不会从车辆底部进行观察，因此相机始终在车辆的上半部分，如 图7 图7 所示。同时增大相机与车辆目标的距离，以模拟车辆在实际场景下的多尺度变换特性。最终生成了10 000张图片，包含有目标以及对应的标注。 图8 图8 为部分生成的图片及其标注。 3.2　训练细节 2 尺度估计模块中，本文采用Yolov3 ［ 24 24 ］ 作为目标检测网络。对于向量场回归网络，采用ResNet18 ［ 25 25 ］ 作为特征提取网络，在第4和第5部分不进行降采样，并将后续的卷积更换为空洞卷积，保证网络最小的特征图为原图的1/8。采用Adam优化器，初始学习率是0.001，使用poly学习率调整策略，总共训练50 轮。多任务损失函数之间的权重设置为1，整个训练过程使用一块NVIDIA 2080ti显卡完成。 3.3　评价指标 2 对于3D车辆检测任务而言，3D检测框的IOU是一个常用的评价指标；但是3D IOU的计算同时考虑了目标的位置和姿态，不能全面地衡量网络位姿估计的性能，因此在实验过程中采用平均定位精度 ［ 26 26 ］ 和平均角度精度以及平均定位误差 T 和累积角度误差 R 来对网络的位姿估计性能进行全面的衡量。平均定位误差为相机坐标系下车辆目标中心的真实位置以及预测位置之间的欧式距离， X ， Y ， Z 为它在 x 轴、 y 轴以及 z 轴上的误差分量； α ， β ， λ 分别为车辆自坐标系下目标以 x 轴、 y 轴、 z 轴为旋转中心轴的角度误差。 3.4　实验结果 2 在上文提出的合成车辆位姿数据集上对本文提出的方法进行了测试，随机选择其中的80%作为训练集，20%作为测试集。 表1 表1 为实验得到的平均定位误差以及角度误差。 注： SEM为尺度估计模块，DA loss为基于距离加权的向量场损失函数，Improved voting为改进的关键点误差最小的投票过程 3 Method 2 T /m 2 X /m 2 Y /m 2 Z /m 2 R /（°） 2 α /（°） 2 β /（°） 2 λ /（°） SEM DA loss Improved voting × × × 0.286 0.042 0.042 0.269 8.312 2.602 1.479 4.231 × × √ 0.259 0.039 0.040 0.234 7.191 2.245 1.102 3.844 × √ × 2.183 0.343 0.250 1.972 34.467 17.517 4.253 12.697 √ × × 0.179 0.026 0.032 0.168 5.647 1.420 0.861 3.366 √ √ × 0.167 0.021 0.031 0.157 5.068 1.703 0.756 2.609 √ √ √ 0.162 0.022 0.031 0.149 4.692 1.394 0.761 2.537 表1 表1 中，第一行使用PVNet作为基础对比网络，由于PVNet要求图像中只能存在单个目标，为了对比的公平性，实验中生成的数据集中每幅图像只合成一个目标。分别对本文提出的尺度估计模块和改进的损失函数和投票过程进行测试，可以看出使用尺度估计模块和改进的投票方法均能提升位姿估计的准确性，特别是尺度估计模块的位置和角度误差分别降低了37%和32%。同时，实验发现在基础网络上仅仅使用基于距离加权的损失函数会降低算法性能。经理论分析，这是由于前序分割提取的目标区域尺寸波动较大，导致损失函数中基于像素距离的权值波动较大，进而导致损失函数不稳定影响网络性能。将尺度估计模块和基于距离加权的损失函数结合可以进一步提高精度。定位误差主要分布于相机坐标系的 z 轴方向，说明使用单目相机进行目标位置估计的难点主要在于目标深度的估计。实验结果表明，本文提出的方法相较于基础方法在位置和角度误差方面分别降低了43.3%和43.5%。 图9 图9 为算法在测试集中的平均定位精度以及平均角度精度。同样可以发现，尺度估计模块对于位姿估计精度的提升较大，基于距离加权的损失函数和投票方式可以进一步提升精度。测试集中90%的目标的定位误差在0.4 m以内，累积角度误差在7°以内。 图10 图10 为位姿估计结果，可以看出基于向量场的形式不仅可以检测可见的关键点，对于不可见的关键点同样有着很高的检测精度，可以有效地提升对于遮挡以及截断目标的位姿估计精度。 4 结　论 1 本文提出了一种基于单目相机并结合车辆三维模型进行车辆位姿估计方法，结合尺度估计模块和向量场的中间表达形式能够很好地适应常见的多尺度和被截断和遮挡的车辆目标。同时还提出了基于距离的向量场损失函数，以更加有针对性地优化向量场的训练目标，并且改进了基于RANSAC的投票机制，进一步提高了位姿估计准确性。除此之外，本文贡献了一个含有丰富标注信息的合成数据集，在其上的验证结果表明，所提算法的平均定位误差和角度误差分别为0.162 m和4.692°，相比于目前方法有显著提升，在实际场景中有着巨大的应用价值。 参考文献 ZHOU Y ， SUN P ， ZHANG Y ， et al . End-to-end multi-view fusion for 3D object detection in LiDAR point clouds ［EB/OL］. 2019： arXiv ： 1910 . End-to-end multi-view fusion for 3D object detection in LiDAR point clouds 06528［ cs . CV］ . https：//arxiv.org/abs/1910.06528 https://arxiv.org/abs/1910.06528 CV］ BELTRÁN J ， GUINDEL C ， MORENO F M ， et al . BirdNet： a 3D object detection framework from LiDAR information ［C］. 2018 21st International Conference on Intelligent Transportation Systems （ITSC） . 47，2018 ， Maui ， HI， USA . IEEE ， 2018 ： 3517 - 3523 . BirdNet： a 3D object detection framework from LiDAR information ALI W ， ABDELKARIM S ， ZAHRAN M ， et al . YOLO3D： end-to-end real-time 3D oriented object bounding box detection from LiDAR point cloud ［EB/OL］. 2018： arXiv ： 1808 . YOLO3D： end-to-end real-time 3D oriented object bounding box detection from LiDAR point cloud 02350［ cs . CV］ . https：//arxiv.org/abs/1808.02350 https://arxiv.org/abs/1808.02350 CV］ WU D ， ZHUANG Z ， XIANG C ， et al . 6D-VNet： End-to-end 6DoF Vehicle Pose Estimation from Monocular RGB Images ［C］. Proceedings of the Computer Vision and Pattern Recognition Workshops， Long Beach ， United States： CVPR ， 2019 ： 0 - 0 . 6D-VNet： End-to-end 6DoF Vehicle Pose Estimation from Monocular RGB Images KEHL W ， MANHARDT F ， TOMBARI F ， et al . SSD-6D： making RGB-based 3D detection and 6D pose estimation great again ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 1530 - 1538 . SSD-6D： making RGB-based 3D detection and 6D pose estimation great again CHEN Y J ， TAI L ， SUN K ， et al . MonoPair： monocular 3D object detection using pairwise spatial relationships ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 1319，2020 ， Seattle ， WA ， USA . IEEE ， 2020 ： 12090 - 12099 . MonoPair： monocular 3D object detection using pairwise spatial relationships HINTERSTOISSER S ， HOLZER S ， CAGNIART C ， et al . Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes ［C］. 2011 International Conference on Computer Vision . 613，2011 ， Barcelona， Spain . IEEE ， 2011 ： 858 - 865 . Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes 逯睿琦 ， 马惠敏 . 多尺度显著性区域提取的模板匹配 ［J］. 光学 精密工程 ， 2018 ， 26 （ 11 ）： 2776 - 2784 . 多尺度显著性区域提取的模板匹配 LU R Q ， MA H M . Template matching with multi-scale saliency ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 11 ）： 2776 - 2784 . （in Chinese） Template matching with multi-scale saliency LI Q ， HU R ， CHEN Y ， et al . Vehicle Pose Estimation Using Mask Matching ［C］. 2019 IEEE International Conference on Acoustics， Speech and Signal Processing ， Brighton ， UK： ICASSP ， 2019 ： 1972 - 1976 . Vehicle Pose Estimation Using Mask Matching BAROWSKI T ， SZCZOT M ， HOUBEN S . 6DoF vehicle pose estimation using segmentation-based part correspondences ［C］. 2019 IEEE Intelligent Transportation Systems Conference （ITSC） . 2730，2019 ， Auckland ， New Zealand. IEEE ， 2019 ： 573 - 580 . 6DoF vehicle pose estimation using segmentation-based part correspondences CHABOT F ， CHAOUCH M ， RABARISOA J ， et al . Deep MANTA： a coarse-to-fine many-task network for joint 2D and 3D vehicle analysis from monocular image ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 1827 - 1836 . Deep MANTA： a coarse-to-fine many-task network for joint 2D and 3D vehicle analysis from monocular image TEKIN B ， SINHA S N ， FUA P . Real-time seamless single shot 6D object pose prediction ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 292 - 301 . Real-time seamless single shot 6D object pose prediction 屈也频 ， 侯旺 . 基于误差传播理论的PnP问题姿态精度分析 ［J］. 光学 精密工程 ， 2019 ， 27 （ 2 ）： 479 - 487 . 基于误差传播理论的PnP问题姿态精度分析 QU Y P ， HOU W . Attitude accuracy analysis of PnP based on error propagation theory ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 2 ）： 479 - 487 . （in Chinese） Attitude accuracy analysis of PnP based on error propagation theory 范丽丽 ， 赵宏伟 ， 赵浩宇 ， 等 . 基于深度卷积神经网络的目标检测研究综述 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1152 - 1164 . 基于深度卷积神经网络的目标检测研究综述 FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese） Survey of target detection based on deep convolutional neural networks CAO Z ， SIMON T ， WEI S H ， et al . Realtime multi-person 2D pose estimation using part affinity fields ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 1302 - 1310 . Realtime multi-person 2D pose estimation using part affinity fields XIANG Y ， SCHMIDT T ， NARAYANAN V ， et al . PoseCNN： a convolutional neural network for 6D object pose estimation in cluttered scenes ［C］. Robotics ： Science and Systems XIV. Robotics ： Science and Systems Foundation ， 2018 ： 176 - 185 . PoseCNN： a convolutional neural network for 6D object pose estimation in cluttered scenes PENG S D ， LIU Y ， HUANG Q X ， et al . PVNet： pixel-wise voting network for 6DoF pose estimation ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 1520，2019 ， Long Beach， CA， USA . IEEE ， 2019 ： 4556 - 4565 . PVNet： pixel-wise voting network for 6DoF pose estimation RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI ， 2015 ， 2015 ： 234 - 241 . U-net： convolutional networks for biomedical image segmentation LEPETIT V ， MORENO-NOGUER F ， FUA P . EPnP： an accurate O（n） solution to the PnP problem ［J］. International Journal of Computer Vision ， 2008 ， 81 （ 2 ）： 155 - 166 . EPnP： an accurate O（n） solution to the PnP problem GEIGER A ， LENZ P ， STILLER C ， et al . Vision meets robotics： The KITTI dataset ［J］. The International Journal of Robotics Research ， 2013 ， 32 （ 11 ）： 1231 - 1237 . Vision meets robotics： The KITTI dataset GÄHLERT N ， JOURDAN N ， CORDTS M ， et al . Cityscapes 3 D： dataset and benchmark for 9 DoF vehicle detection［EB/OL］. arXiv preprint arXiv ， 2020 ： 2006 . 07864 . Cityscapes CHANG A X ， FUNKHOUSER T ， GUIBAS L ， et al . ShapeNet： an information-rich 3D model repository ［EB/OL］. 2015： arXiv ： 1512 . ShapeNet： an information-rich 3D model repository 03012［ cs . GR］ . https：//arxiv.org/abs/1512.03012 https://arxiv.org/abs/1512.03012 GR］ ZHOU B L ， LAPEDRIZA A ， KHOSLA A ， et al . Places： a 10 million image database for scene recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 6 ）： 1452 - 1464 . Places： a 10 million image database for scene recognition REDMON J ， FARHADI A . YOLOv3： an incremental improvement ［EB/OL］. arXiv preprint arXiv ， 2018 ： 1804 . 02767 . YOLOv3： an incremental improvement HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . Deep residual learning for image recognition XIANG Y ， CHOI W ， LIN Y Q ， et al . Data-driven 3D Voxel Patterns for object category recognition ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 712，2015 ， Boston， MA， USA . IEEE ， 2015 ： 1903 - 1911 . Data-driven 3D Voxel Patterns for object category recognition 10.37188/OPE.20212906.1346 TP183 TP277 A 1004-924X（2021）06-1346-10 许凌志,符钦伟,陶卫等.基于三维模型的单目车辆位姿估计[J].光学精密工程,2021,29(06):1346-1355. 许凌志,符钦伟,陶卫等.基于三维模型的单目车辆位姿估计[J].光学精密工程,2021,29(06):1346-1355. XU Ling-zhi,FU Qin-wei,TAO Wei,et al.Monocular vehicle pose estimation based on 3D model[J].Optics and Precision Engineering,2021,29(06):1346-1355. XU Ling-zhi,FU Qin-wei,TAO Wei,et al.Monocular vehicle pose estimation based on 3D model[J].Optics and Precision Engineering,2021,29(06):1346-1355. 国家重点研发计划资助项目（No.2018YFB1305005） 2020-08-10 2020-09-01 2021-06-15 2021-07-12 光学精密工程 6 29