Automatic attitude measurement of laser tracker based on deep learning and PnP model

基于深度学习和PnP模型的激光跟踪仪自动姿态测量 Automatic attitude measurement of laser tracker based on deep learning and PnP model 1 2 first-author 周道德（1999-），男，安徽芜湖人，硕士研究生，2019年于天津理工大学获得学士学位，主要从事机器视觉及姿态测量方面的研究。E-mail：zhoudaode@ime.ac.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425175&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425193&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425179&type= 22.01333237 32.00399017 周道德 （1999-），男，安徽芜湖人，硕士研究生，2019年于天津理工大学获得学士学位，主要从事机器视觉及姿态测量方面的研究。E-mail： zhoudaode@ime.ac.cn zhoudaode@ime.ac.cn 1 1 2 corresp E-mail： Dongdengfeng@ime.ac.cn E-mail： Dongdengfeng@ime.ac.cn 董登峰（1981-），男，河南商丘人，博士，研究员，硕士生导师，2004年于郑州大学获得学士学位，2012年于北京航空航天大学获得博士学位，主要从事光学精密测量、智能跟踪控制及视觉伺服控制等方面的研究。E-mail：Dongdengfeng@ime.ac.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425182&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425197&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425183&type= 22.01332855 32.00399780 董登峰 （1981-），男，河南商丘人，博士，研究员，硕士生导师，2004年于郑州大学获得学士学位，2012年于北京航空航天大学获得博士学位，主要从事光学精密测量、智能跟踪控制及视觉伺服控制等方面的研究。E-mail： Dongdengfeng@ime.ac.cn Dongdengfeng@ime.ac.cn 1 2 周维虎（1962-），男，研究员，博士生导师，1983年、2000年于合肥工业大学分别获得学士、博士学位，现为中国科学院微电子研究所光电研发中心主任，主要从事大尺寸测量、微纳测量及精密光学仪器等方面的研究。E-mail：zhouweihu@ime.ac.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425199&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425204&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425189&type= 22.01332474 32.00399780 周维虎 （1962-），男，研究员，博士生导师，1983年、2000年于合肥工业大学分别获得学士、博士学位，现为中国科学院微电子研究所光电研发中心主任，主要从事大尺寸测量、微纳测量及精密光学仪器等方面的研究。E-mail： zhouweihu@ime.ac.cn zhouweihu@ime.ac.cn 1 中国科学院 微电子研究所，北京100029 中国科学院 微电子研究所，北京100029 Institute of Microelectronics of the Chinese Academy of Sciences， Beijing 100029， China Institute of Microelectronics of the Chinese Academy of Sciences， Beijing 100029， China 中国科学院大学，北京 100049 中国科学院大学，北京 100049 University of Chinese Academy of Sciences， Beijing 100049， China University of Chinese Academy of Sciences， Beijing 100049， China 针对航空航天、汽车装配等高端制造领域对姿态测量的迫切需求，提出一种面向激光跟踪仪的快速高精度姿态测量方法，利用深度学习结合视觉PnP模型实现了激光跟踪过程中被测件姿态的自动测量。针对PnP姿态求解模型所需的3D特征点和2D特征点之间的对应关系难以直接确定的问题，设计了一个特征提取网络用于提取特征点对应的高维特征，采用最优传输理论确定特征向量之间的联合概率分布，从而完成3D-2D特征点的自动匹配；使用Ransac-P3P结合EPnP算法对匹配好的3D特征点和2D像素点进行姿态求解，获得高精度的姿态信息；在此基础上，利用隐式微分理论计算PnP求解过程的雅克比矩阵，从而将PnP姿态求解模型集成到网络中并指导网络训练，实现了深度网络匹配能力与PnP模型姿态求解能力的优势互补，提高了解算精度。最后，制作了一个含有丰富标注信息的数据集，用于训练面向激光跟踪仪的姿态测量网络。基于高精度二维转台进行了姿态测量实验，结果表明，该方法在3 m处对俯仰角的测量精度优于0.31°，横滚角精度优于0.03°，单次测量耗时约40 ms，能够实现激光跟踪仪的高精度姿态测量。 In view of the urgent demand for attitude measurement in high-end manufacturing applications， such as aerospace and automobile assembly， a fast and high-precision attitude measurement method for a laser tracker was proposed. The method employed deep learning in conjunction with the visual PnP model to realize automatic attitude measurement of the laser tracker. The correspondence between 3D feature points and 2D feature points required by the traditional PnP model were directly determined through a feature extraction network designed to extract high-dimensional features. The joint probability distribution between feature vectors was determined using optimal transmission theory to complete the matching of 3D-2D feature points. Subsequently， Ransac-P3P combined with EPnP algorithm was used to obtain high-precision attitude information； Based on this， the Jacobian matrix of PnP solution process was calculated using implicit differential theory， and the PnP attitude solution model was integrated into the network to guide the training of the network. The complementary advantages of strong depth network matching ability and high attitude solution accuracy of the PnP model improved the solution accuracy of the network. In addition， a dataset with rich annotation information was used to train the attitude measurement network for the laser tracker. Finally， an attitude measurement test was conducted using a high-precision two-dimensional turntable. The experimental results show that the calculation error of pitch angle is less than 0.31°， the rolling angle error is less than 0.03°， and the single measurement takes approximately 40 ms. The proposed method can potentially be applied to attitude measurement scene of the laser tracker. 激光跟踪仪 姿态测量 单目视觉 深度学习 laser tracker attitude measurement monocular vision deep learning 1 引　言 1 随着制造业的快速发展，在航空航天、汽车装配等领域，大尺寸高精度姿态测量技术越来越重要。六自由度激光跟踪仪是一种能够快速高精度完成姿态测量的精密仪器，具有测量精度高、测量速度快和测量范围广等优势，在高端制造业和科学工程领域有着广泛的应用需求 ［ 1 1 ］ 。目前，商用六自由度激光跟踪仪均为API、Leica、FARO等外国公司的产品。我国对于激光跟踪六自由度测量的研究较少，华中科技大学、上海交通大学、天津大学等基于盾构机的工作场景，对六自由度测量进行了研究 ［ 2 2 ］ ，利用全站仪以及角锥棱镜完成三维位置信息的采集，利用CCD相机以及倾角仪完成姿态测量，但受到倾角传感器的影响，具有测量范围有限、响应速度较低等问题。为了使自主研发的三自由度激光跟踪仪具备六自由度测量能力，本文提出一种面向激光跟踪仪的视觉姿态自动测量方法，其基本思路是在激光跟踪仪上增装单目相机，在跟踪仪测量靶标上增加三维视觉标识，从而在激光跟踪仪测得被测工件三维坐标的基础上，实现对被测件空间姿态的测量。 目前，主流方法使用单目相机来完成视觉位姿（即位置和姿态）的测量 ［ 3 3 ］ 。单目视觉位姿测量主要包括以下两种方法：（1）利用深度网络直接回归出位姿参数，6D-VNet ［ 4 4 ］ 、SSD6D ［ 5 5 ］ 等直接回归法缺乏显式的几何约束关系，精度较低 ［ 6 6 ］ ，这种方法实际是解决图像检索任务，因此回归出的位姿参数精度仍然受限于图像检索精度 ［ 7 7 ］ ；（2）基于3D-2D特征点的PnP （Perspective-n-Point）位姿估计方法，该方法将位姿求解作为一个几何问题进行优化，精度较高，是目前的研究热点 ［ 8 8 ］ 。当3D-2D点之间的对应关系未知时，PnP退化为盲PnP问题 ［ 9 9 ］ （Blind-PnP，BPnP），传统的单目视觉算法通过人工匹配特征点再利用PnP方法完成位姿求解。得益于深度学习的快速发展，一些工作利用深度网络强大的学习能力获得2D-3D特征点的对应关系后再利用PnP模型求解位姿 ［ 9 9 - 11 11 9-11 ］ 。但PnP位姿求解作为一个几何优化过程，其不可微性导致无法集成在深度网络中，即其高精度的位姿求解能力无法指导网络训练。为了在一个端到端网络中同时实现深度网络的学习和几何算法的优化，DSAC ［ 12 12 ］ 方法利用中心差分来计算PnP求解过程的偏导数，对于 n 维输入，需要求解2 n 次完整的PnP过程，才能获得完整的雅克比矩阵；DBPnP ［ 13 13 ］ 网络利用声明层理论实现PnP位姿求解过程对网络训练的指导，但需要耗费较多的资源计算多个二阶偏导数矩阵的逆，且存在运算不稳定的问题。 综合考虑激光跟踪仪对姿态测量精度、速度以及自动化测量的要求，本文提出一种深度学习与经典PnP模型相结合的姿态测量方法，对单目相机采集到的跟踪仪靶标图像进行预处理得到2D特征点坐标，使用靶标上预设特征点的3D坐标以及图像中2D特征点坐标直接实现姿态的自动测量，对国内现阶段激光跟踪仪的姿态测量需求具有重要的参考价值。 2 基于深度学习的姿态测量方法 1 本文结合深度学习以及PnP模型对激光跟踪仪靶标进行姿态测量。整个测量系统主要由激光跟踪仪、相机和靶标组成，目标是求解靶标坐标系 <math id="M1"><msub><mrow><mi>O</mi></mrow><mrow><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425223&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425208&type= 3.72533321 3.72533321 相对于相机坐标系 <math id="M2"><msub><mrow><mi>O</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425211&type= 3.97933316 3.72533321 之间的旋转矩阵（也可以表示为航天航海领域常用的RPY角形式，定义 x 轴对应俯仰角、 y 轴对应偏航角、 z 轴对应横滚角），其示意图如 图1 图1 所示。在对相机拍摄的图像进行预处理得到2D特征点坐标后，可以直接使用姿态测量网络结构进行姿态求解，姿态测量网络的解算流程如 图2 图2 所示。 该姿态测量网络的解算过程主要分为特征提取、特征点匹配和姿态求解3个步骤。首先，通过特征提取以及特征点匹配两部分结合确定PnP模型求解姿态时所需的特征点匹配关系；在姿态求解时，利用已确定的特征点匹配关系以及已知的坐标信息结合PnP模型完成高精度的姿态解算。假设已经对相机图像预处理得到了2D特征点坐标，且3D特征点坐标已知。 2.1　特征提取 2 在激光跟踪仪的工作场景下，特征点之间的对应关系往往是未知的，是一种典型的BPnP问题，无法直接使用PnP模型进行姿态求解，直接对原始特征点进行匹配相当困难。由于深度学习在提取数据隐含的特征时体现了无与伦比的强大潜力，为了实现特征点的自动匹配，本文使用深度学习的方式，首先提取输入特征点有区分性的特征以便完成后续的特征点匹配。网络的原始输入为2D和3D特征点的坐标，输入（2D特征点和3D特征点）首先通过一个预卷积层调整为相同的维度后，使用由8个残差块（ResBlock）跨层连接组成的特征提取网络对2D特征点和3D特征点进行特征提取，特征提取网络如 图3 图3 所示。 激光跟踪仪工作过程中，随着靶标位姿的改变，图像中的2D特征点分布会发生剧烈变化。为了提取到具有强不变性的特征，本文在提取单个输入点的特征时利用上下文归一化 ［ 14 14 ］ （Context Normalization，CN）操作将全局信息加入到特征提取网络中，通过特征向量的分布对特征进行归一化，从而指导每个点的特征提取。具体来说，每个残差块中分别包含两个卷积层以及两次上下文归一化和两次批次归一化操作（Batch Normalization，BN），使用ReLU函数作为残差块中每个神经元的激活函数。将第 <math id="M3"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425486&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425483&type= 1.10066664 2.79399991 个样本在第 <math id="M4"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425290&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425289&type= 1.18533325 2.79399991 层的输出向量记为 <math id="M5"><msubsup><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425303&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425315&type= 2.45533323 3.97933316 ，第 <math id="M6"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425290&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425289&type= 1.18533325 2.79399991 层的均值向量和标准差分别为： <math display="block" id="M7"><msup><mrow><mi>μ</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>l</mi></mrow></msubsup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425298&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425281&type= 18.88066673 8.63599968 ， <math display="block" id="M8"><msup><mrow><mi>σ</mi></mrow><mrow><mi>l</mi></mrow></msup><mo>=</mo><mroot><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>l</mi></mrow></msubsup><mo>-</mo><msup><mrow><mi>μ</mi></mrow><mrow><mi>l</mi></mrow></msup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425313&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425299&type= 34.12067032 9.90600014 . 则对 <math id="M9"><msubsup><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425303&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425315&type= 2.45533323 3.97933316 的CN为： <math display="block" id="M10"><mi>C</mi><mi>N</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>l</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><msubsup><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>l</mi></mrow></msubsup><mo>-</mo><msup><mrow><mi>μ</mi></mrow><mrow><mi>l</mi></mrow></msup></mrow><mrow><msup><mrow><mi>σ</mi></mrow><mrow><mi>l</mi></mrow></msup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425319&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425318&type= 27.17799950 8.46666718 . 本文对特征提取网络进行了改进：（1）采用预激活策略，在每个残差块内部先进行CN、BN操作和ReLU函数激活，卷积层放在激活函数之后，消除了残差块非负输出对特征提取的影响，提升了特征提取网络的性能；（2）针对激光跟踪仪姿态测量时靶标坐标系固定的特点，去掉了3D点特征提取前常用的规范化操作，和改进前的网络相比，网络的参数量下降了约30%，在不影响效果的前提下使模型更适合部署到激光跟踪仪的生产环境中。最后，得到第 <math id="M11"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425486&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425483&type= 1.10066664 2.79399991 个特征点的128维特征向量：记为 <math id="M12"><msup><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow></msup><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mn mathvariant="normal">128</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425328&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425311&type= 11.93799973 3.38666677 。 2.2　特征点匹配 2 基于PnP模型的高精度位姿求解需要确定特征点之间的匹配关系，本文利用具有强不变性的高维特征，将特征点匹配作为一个优化问题，通过优化求解特征向量之间的最优传输问题得到特征向量之间的匹配概率，从而完成特征点匹配。 定义3D，2D特征点的特征向量之间的距离为： <math display="block" id="M13"><msubsup><mrow><mi>D</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>D</mi><mo>-</mo><mn mathvariant="normal">3</mn><mi>D</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi>D</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mi>j</mi></mrow><mrow><mn mathvariant="normal">3</mn><mi>D</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425330&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425346&type= 32.59666443 6.09600019 . 基于定义的向量间距离，对所有2D-3D特征点对应的特征向量形成距离矩阵 <math id="M14"><mi mathvariant="bold-italic">D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425335&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425347&type= 2.87866688 2.79399991 ，熵正则项平滑后的特征点匹配的最优传输问题可以写为： <math display="block" id="M15"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo>=</mo><munder><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>P</mi></mrow></munder><mo><</mo><mi mathvariant="bold-italic">D</mi><mo>,</mo><mi mathvariant="bold-italic">P</mi><mo>></mo><mo>+</mo><mi>ε</mi><mi>H</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">P</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425339&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425338&type= 50.71533585 6.18066692 ， <math display="block" id="M16"><mi>H</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">P</mi><mo stretchy="false">)</mo><mo>=</mo><mo>-</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></munder><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">(</mo><mi>l</mi><mi>o</mi><mi>g</mi><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425359&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425355&type= 45.55066681 7.02733374 ， 其中： <math id="M17"><mo><</mo><mo>,</mo><mo>></mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425374&type= 10.15999985 3.21733332 表示两个矩阵对应元素的乘积和， <math id="M18"><mi>ε</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425382&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425379&type= 1.43933344 2.79399991 为正则化系数， <math id="M19"><mi>H</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">P</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425364&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425385&type= 9.65200043 3.55599999 表示匹配概率矩阵 <math id="M20"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425367&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425388&type= 2.37066650 2.79399991 的熵。通过Sinkhorn算法 ［ 15 15 ］ 求解 式（5） 式（5） ，最终该优化过程得到的最优联合概率矩阵 <math id="M21"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425371&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425392&type= 3.64066648 3.04800010 即为3D-2D特征点之间的匹配概率矩阵。从 <math id="M22"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425396&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425405&type= 3.64066648 3.04800010 中选取概率最高的 N 个元素，可以获得 N 组3D-2D点的匹配关系，利用该 N 组点即可进行后续的姿态求解。 2.3　基于隐式微分的可微姿态解算 2 利用2D-3D特征点的匹配关系，在求解姿态时，首先使用基于随机一致性抽样（Random Sample Consensus， RANSAC）的P3P算法滤除异常匹配点，然后使用EPnP ［ 16 16 ］ 算法解算目标的姿态信息。但该求解过程是一个不可微的几何优化过程，无法显式解析计算每一步梯度，这会导致PnP模型高精度位姿求解能力无法指导网络训练。为了将PnP位姿求解过程纳入整个网络的学习过程，提高网络对姿态的解算精度，本文采用隐式微分理论 ［ 17 17 ］ 完成位姿求解过程的梯度计算。对于整个位姿求解过程，将目标函数定义为重投影误差函数，即： <math display="block" id="M23"><msub><mrow><mi>o</mi></mrow><mrow><mi mathvariant="normal">b</mi><mi mathvariant="normal">j</mi></mrow></msub><mo>=</mo><msubsup><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>q</mi></mrow><mrow><mi>i</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi mathvariant="normal">d</mi></mrow></msubsup><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">j</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mn mathvariant="normal">3</mn><mi mathvariant="normal">d</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></mfenced></mrow></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425411&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425408&type= 39.20066452 9.82133293 ， 其中： <math id="M24"><msubsup><mrow><mi>q</mi></mrow><mrow><mi>i</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi mathvariant="normal">d</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425416&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425402&type= 3.97933316 4.82600021 ， <math id="M25"><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">j</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mn mathvariant="normal">3</mn><mi mathvariant="normal">d</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425440&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425435&type= 12.44600010 5.07999992 分别表示第 <math id="M26"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425486&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425483&type= 1.10066664 2.79399991 个2D特征点以及3D特征点的投影点。使用的位姿求解算法保证输出位姿 <math id="M27"><mo stretchy="false">(</mo><mi mathvariant="bold-italic">R</mi><mo stretchy="false">|</mo><mi mathvariant="bold-italic">t</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425590&type= 7.95866632 3.72533321 为目标函数的局部最优解，因此利用局部最优值的性质，有： <math display="block" id="M28"><mi>F</mi><mo>=</mo><msub><mrow><mfrac><mrow><mo>∂</mo><msub><mrow><mi>o</mi></mrow><mrow><mi mathvariant="normal">b</mi><mi mathvariant="normal">j</mi></mrow></msub></mrow><mrow><mo>∂</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">R</mi><mo stretchy="false">|</mo><mi mathvariant="bold-italic">t</mi><mo stretchy="false">)</mo></mrow></mfrac></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425450&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425428&type= 28.02466965 9.90600014 . 将重投影误差函数 <math id="M29"><msub><mrow><mi>o</mi></mrow><mrow><mi>b</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425453&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425432&type= 3.64066648 3.72533321 对输出 <math id="M30"><mo stretchy="false">(</mo><mi mathvariant="bold-italic">R</mi><mo stretchy="false">|</mo><mi mathvariant="bold-italic">t</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425590&type= 7.95866632 3.72533321 的一阶偏导作为约束 <math id="M31"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425469&type= 2.53999996 2.79399991 ，则位姿求解过程 <math id="M32"><mi>s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425480&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425479&type= 1.26999998 2.79399991 对输入 <math id="M33"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425486&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425483&type= 1.10066664 2.79399991 的雅可比矩阵可以写为： <math display="block" id="M34"><mfrac><mrow><mo>∂</mo><mi>s</mi></mrow><mrow><mo>∂</mo><mi>i</mi></mrow></mfrac><mo>=</mo><mo>-</mo><msup><mrow><mfenced open="[" close="]" separators="|"><mrow><mfrac><mrow><mo>∂</mo><mi>F</mi></mrow><mrow><mo>∂</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">R</mi><mo stretchy="false">|</mo><mi mathvariant="bold-italic">t</mi><mo stretchy="false">)</mo></mrow></mfrac></mrow></mfenced></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mfenced open="[" close="]" separators="|"><mrow><mfrac><mrow><mo>∂</mo><mi>F</mi></mrow><mrow><mo>∂</mo><mi>i</mi></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425508&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425490&type= 37.59199905 10.66800022 . 式（9） 式（9） 中，不涉及任何位姿求解的中间过程，直接得到了整个过程的雅克比矩阵。对于位姿求解的任何一个输入量，其梯度都可以通过位姿求解层继续反向传播，梯度计算与求解过程中任意的不可微过程无关，从而将该求解过程和之前的特征提取、匹配过程集合在一个深度网络中，实现优势互补。 2.4　损失函数 2 位置和姿态在PnP模型求解过程中是同时解出的两个耦合量，因此在整个姿态求解过程中，网络有两个预测对象：特征点之间的匹配以及最终位姿。本文综合考虑了两个预测对象对网络训练的影响，采用双损失函数对网络训练进行监督。即： <math display="block" id="M35"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425500&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425499&type= 22.52133369 3.80999994 ， 式中 <math id="M36"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425516&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425501&type= 3.47133350 3.72533321 ， <math id="M37"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425506&type= 6.26533365 3.72533321 分别对应特征点匹配以及位姿求解任务的损失。衡量匹配结果的损失项 <math id="M38"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425538&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425525&type= 3.47133350 3.72533321 表示为： <math display="block" id="M39"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><mo>-</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi></mrow></munder><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>j</mi></mrow></munder><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><msub><mrow><mi>P</mi></mrow><mrow><mi>g</mi><mi>t</mi><mi>i</mi><mi>j</mi></mrow></msub></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425531&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425540&type= 30.47999954 7.02733374 . 对于位姿损失项，本文对比了多种不同形式的损失函数，包括重投影误差、加权重投影误差和旋转矩阵角度差等。其中，旋转矩阵角度差作为损失函数的结果稍好于其他函数，因此本文采用的位姿损失函数为： <math display="block" id="M40"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mfenced separators="|"><mrow><mfrac><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mi mathvariant="bold-italic">R</mi><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow></mfenced><mo>+</mo><mfenced open="‖" close="" separators="|"><mrow><mi mathvariant="bold-italic">t</mi><mfenced open="" close="‖" separators="|"><mrow><mo>-</mo><msub><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425532&type= 72.38999939 9.22866726 ， 其中 <math id="M41"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425550&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425548&type= 2.37066650 2.79399991 ， <math id="M42"><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425554&type= 4.14866638 3.72533321 ， <math id="M43"><mi mathvariant="bold-italic">R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425560&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425571&type= 2.70933342 2.79399991 ， <math id="M44"><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425563&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425562&type= 4.40266657 3.72533321 ， <math id="M45"><mi mathvariant="bold-italic">t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425581&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425564&type= 1.18533325 2.79399991 ， <math id="M46"><msub><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425583&type= 2.96333337 3.72533321 分别表示概率矩阵、旋转矩阵、平移矢量的解算值和真值。 由于使用了可微姿态求解模块，该损失项可以直接用来指导网络训练，该损失项训练模型直接验证了可微姿态求解层的有效性。 3 数据集建立与网络训练 1 数据集对深度学习起到至关重要的作用，带有位姿信息的大型公开数据集例如Kitti、YCB-Video等基本利用人工标注的方法提供真实场景下的位姿标签，数据量较小，且容易受传感器标定精度等问题导致错误标注，不适用于激光跟踪仪的高精度测量领域。因此，本文根据激光跟踪仪大范围高精度姿态测量的要求，基于激光跟踪仪靶标上的特征点坐标，制作了一个具有丰富标注信息的数据集。 3.1　数据集制作 2 对于激光跟踪仪的姿态测量问题，数据集中应该包括相对位姿 <math id="M47"><mo stretchy="false">(</mo><mi mathvariant="bold-italic">R</mi><mo stretchy="false">|</mo><mi mathvariant="bold-italic">t</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425590&type= 7.95866632 3.72533321 ，相机内参 <math id="M48"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425597&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425595&type= 2.79399991 2.79399991 ，2D-3D特征点坐标及点之间的对应关系。由于实采数据并进行标注制作数据集的成本过高且无法保证标注信息的精度，数据集制作采用了更高效的方法，基于相机成像数学模型，利用靶标特征点的空间3D坐标，通过改变外参获得大量3D-2D点对以及它们所对应的位姿以及2D特征点坐标，此处2D点坐标为消除内参影响的归一化坐标（即假设内参固定）。这一设定可以使模型对任意输入求解时内参固定为单位阵，只需对实际数据输入的像素坐标进行简单的预处理。 该方法降低了数据集制作的难度且保证了标注的精度，和实际拍摄图像制作数据集的方法相比，虽然没有考虑真实场景中可能存在的噪声干扰，但由于模型本身具有一定的泛化能力，在实际场景硬件误差得到较好控制的情况下，通过该数据集训练的网络可以获得准确的姿态解算结果。数据集中样本外参取值为激光跟踪仪的工作范围，即偏航角和俯仰角为±30°，横滚角为±180°，距离为0~30 m考虑到相机在跟踪仪工作范围内拍摄图像时特征点不会相互遮挡以及后续姿态解算的稳定性等因素，激光跟踪仪的测量靶标上采用非对称非共面布局的14个红外LED作为特征点，LED特征点的分布情况如 图4 图4 所示。 针对待测靶标，在测量范围内随机取值，生成了训练集以及测试集。为了模拟真实情况，分别生成了与训练集分布不同的理想测试集，以及在理想测试集中每一个2D像素特征点上附加一个服从正态分布的随机量的噪声测试集，两测试集中均包含5 324组测试样本且保证与训练集分布不同。 3.2　网络训练 2 训练过程基于Pytorch框架，使用Adam优化器，Adam的两个指数衰减超参数设置为0.9，0.999，学习率动态衰减，初始值为0.001 25，batch-size设置为256。训练过程在Linux系统下，使用单块RTX3090GPU，训练完成后，在两组测试样本上验证网络性能，测试集中所有样本均为在测量范围内生成的随机样本且保证其分布与训练集不同。 4 测试集结果分析 1 根据激光跟踪仪的测量需要，本文使用RPY角的形式对姿态解算结果进行展示，并利用姿态角的测量值 <math id="M49"><mover accent="true"><mi>θ</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425622&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425610&type= 1.77800000 3.72533321 与真实角度值 <math id="M50"><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425626&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425630&type= 3.55599999 3.72533321 的差作为对网络解算值的评价指标，即： <math display="block" id="M51"><mi>e</mi><mo>=</mo><mover accent="true"><mi>θ</mi><mo>̂</mo></mover><mo>-</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425635&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425633&type= 16.51000023 4.65666676 . 选择RANSAC和SoftPosit算法在测试集上与网络进行对比。SoftPosit算法是BPnP问题的一种迭代求解方法，可以根据给定的初始值同时完成特征点的匹配以及姿态求解。考虑到实际应用中初始值获取困难，本文选择与真实值相差5°以及相差22.5°的两种初值进行迭代求解。RACSAC算法作为一种鲁棒的位姿估计算法，在特征点存在误匹配时可以有效地滤除异常点，测试中设置输入RANSAC算法进行求解的数据中50%的点存在错误的匹配关系。 为了反映测试集上的整体情况，定义姿态误差小于 e 的样本数占所有样本的比例为 r ，并绘制了测试集的 e - r 曲线，如 图5 图5 所示。其中，Sp5和Sp22.5分别表示不同初值的Softposit算法，RANSAC表示用RANSAC算法直接求解。在数据集上进行消融实验， 图5 图5 中Loss t 表示完整网络结构的测试集结果，Loss c 代表不使用2.3节介绍的可微PnP求解模块的测试集结果。需要说明的是，如果在特征提取网络中，不使用上下文归一化操作（CN），会使网络难以训练（loss不收敛），该情况下的 e - r 曲线基本和 x 轴重合，因此在 图6 图6 中没有画出该条曲线进行对比。但基于上下文信息对特征提取网络进行改进后，网络会提取到更有效的特征，大大提高特征点匹配的准确性以及最终解算出的姿态精度。 4.1　理想测试集 2 理想测试集的结果如 表1 表1 所示。在提供较好的先验信息的情况下，直接使用RANSAC算法处理BPnP问题耗时15 ms，但结果很差；SoftPosit算法平均耗时220 ms，运行收敛到全局最优时，姿态角误差较小，但该算法的平均误差以及均方根误差均大于本方法，且该迭代算法对初始值很敏感；本文方法单次求解耗时约40 ms，解算精度最高，性能最优，能够满足激光跟踪仪的要求。 2 方　法 4 Pitch/（°） 4 Yaw/（°） 4 Roll/（°） 2 Times/ms Max Min Avg RMSE Max Min Avg RMSE Max Min Avg RMSE RANSAC 179.54 5 × 10 -9 27.32 46.38 130.52 2 × 10 -9 20.28 33.07 178.25 2 × 10 -9 12.01 25.66 15 Softposit（5°） 46.56 1.6×10 -8 0.95 4.83 58.28 4.5×10 -8 0.86 5.14 45.62 1.1×10 -8 0.89 4.41 220 Softposit（22.5°） 69.45 1.6×10 -8 5.34 12.76 50.91 4.5×10 -7 2.72 8.37 52.74 1.3×10 -8 4.01 10.40 220 本文方法 15.77 2.9×10 -7 0.06 0.54 12.72 1.3×10 -7 0.05 0.46 22.59 3.1×10 -7 0.05 0.48 40 图6 图6 利用网络的位姿解算值对理想测试集中随机两个样本的重投影误差进行可视化，3D特征点的投影点与2D特征点基本重合，证明解算出的位姿参数精度较高。 4.2　噪声测试集 2 在实际应用场景中，相机标定以及特征点坐标的获取都会因外界条件干扰而产生误差。为了模拟真实情况，在噪声测试集上额外进行了一组对比，该测试集仿照真实情景，对每一个2D特征点坐标附加一个符合正态分布的噪声，结果如 表1 表1 所示。由 表1 表1 可知，姿态解算精度受特征点坐标提取的影响较大；俯仰角和偏航角比横滚角更容易受误差的影响；俯仰角和偏航角的求解精度相当且小于横滚角精度。结合4.1节的分析可知，当存在噪声时，本方法的精度和速度仍然优于对比算法。 5 实　验 1 本文搭建的姿态测量实验平台如 图7 图7 所示。首先，将相机架设在自主开发的三自由度激光跟踪仪上，对跟踪仪配套的测量靶标进行姿态测量。由于激光跟踪仪实际应用的场景通常比较复杂，为了使相机具有较好的图像稳定性以及强抗干扰能力，以高分辨率和高采样速率为前提，选用DELSA公司生产的高速工业相机，其分辨率为2 432×2 048，像元尺寸为3.45 μm。 将靶标安装在高精度转台上，该二轴转台的俯仰角定位误差小于2.8″，横滚角定位误差小于7.9″，跟踪仪和转台之间的距离为3 m。跟踪仪保证靶标保持在相机视场的中心，高速相机可以在转台转动时采集到清晰的图像用于姿态解算。通过电脑控制转台转动带动靶标运动，使用转台的转动值为标准值，与测量值进行对比，确定测量精度。测量过程中，首先对相机采集图像进行腐蚀、膨胀、滤波、二值化和质心提取等预处理得到2D特征点坐标，如 图8 图8 所示。 由于高速相机图像的采集速度大于姿态解算速度，因此制约系统测量速度的主要因素是姿态的解算时间（约40 ms）。在该用时下，系统基本能够对靶标的不同转动速度进行实时响应，满足跟踪仪的动态测量要求。 对图像预处理得到的2D特征点坐标使用相机内参矩阵进行处理后，配合靶标上3D特征点坐标即可求解姿态。在姿态测量实验中，由于转台只能绕两轴旋转（俯仰角、横滚角），无法进行偏航角的测量实验。为了保证高精度二轴转台转动时姿态解算值不受偏航角分量的干扰，测量之前使两坐标系之间的3个姿态角尽可能为0°。具体来说，手动完成特征点匹配并利用EPnP算法确定两坐标系之间较准确的位姿初始值，然后将该初始值放入SoftPosit算法中运行至收敛，从而确定两坐标系之间的3个姿态角。根据解算结果对转台以及跟踪仪进行精密调节，从而将初始的3个姿态角控制在10 - 4 °左右，基本消除了偏航角分量的影响。 转台实际转动的角度与网络解算出的角度如 表2 表2 和 表3 表3 所示。由于转台只能绕两轴旋转，因此表中数据是俯仰角以及横滚角的实验结果，缺少偏航角的相关数据。由表可知，在3 m处，±30°内本方法最终解算出的俯仰角误差优于0.31°，横滚角误差优于0.03°。 转台标准值 测量值 误差 -30 -29.69 -0.31 -20 -20.07 -0.07 -10 -10.22 -0.22 0 -0.09 -0.09 10 10.06 0.06 20 20.08 0.08 30 30.01 0.01 ° 转台标准值 测量值 误差 -25 -25.02 -0.02 -15 -15.01 -0.01 -5 -5.03 -0.03 0 -0.01 -0.01 10 9.99 -0.01 20 20.00 0.00 30 20.99 -0.01 ° 目前，面向激光跟踪设备的高精度姿态测量方法包括基于位置敏感器的姿态测量方法 ［ 18 18 ］ 、基于传统单目视觉的测量方法 ［ 19 19 ］ 以及利用两者冗余信息进行融合优化的方法 ［ 20 20 ］ 等。这些方法和本文提出方法的实验条件以及实验结果对比如 表4 表4 所示。 2 方　法 2 实验条件 2 Pitch 2 Yaw 2 Roll 距离/m 测量范围/（°） PSD 2.5 20 0.81 1.21 1.54 传统单目 0.6 20 0.44 0.46 0.25 融合 3 30 — 0.58 — 本方法 3 30 0.31 — 0.03 由于实验条件的不同， 表4 表4 中有部分姿态实验数据在文献中没有给出，但根据本文的仿真结果，本方法对于俯仰角和偏航角具有近似的解算精度，且该精度低于横滚角的解算精度，因此本文方法的姿态角解算精度优于其他方案。 6 结　论 1 为了使自主研发的三自由度激光跟踪仪具备六自由度的测量能力，本文研究并设计了一个姿态自动测量网络。该网络结合了深度学习特征匹配能力与几何PnP位姿求解算法的优势，实现了姿态的快速高精度解算。基于二维高精度转台的姿态测量实验表明，该方法的横滚角解算误差小于0.03°，俯仰角误差小于0.31°，解算时间约为40 ms，具有较好的测量精度以及实时性，相比于目前已有的姿态测量方法，速度和精度均有所提升，且可以实现姿态的自动测量，对实现激光跟踪仪的姿态快速测量具有重要参考价值。通过在3 m处进行测量实验验证了本方法的性能，但考虑到不同距离下特征点坐标的精度会影响最终的姿态解算精度，未来的工作将从靶标特征点的布局、红外LED选型以及相机标定、图像预处理算法等方面进行改进，进一步提高本方法的姿态测量精度。 参考文献 朱永国 ， 张文博 ， 邓正平 ， 等 . 基于激光跟踪仪和机器视觉的飞机翼身对接装配偏差动态综合修正 ［J］. 机械工程学报 ， 2019 ， 55 （ 24 ）： 187 - 196 . doi: 10.3901/jme.2019.24.187 http://dx.doi.org/10.3901/jme.2019.24.187 基于激光跟踪仪和机器视觉的飞机翼身对接装配偏差动态综合修正 ZHU Y G ， ZHANG W B ， DENG ZH P ， et al . Dynamic synthesis correction of deviation for aircraft wing-fuselage docking assembly based on laser tracker and machine vision ［J］. Journal of Mechanical Engineering ， 2019 ， 55 （ 24 ）： 187 - 196 . （in Chinese） . doi: 10.3901/jme.2019.24.187 http://dx.doi.org/10.3901/jme.2019.24.187 Dynamic synthesis correction of deviation for aircraft wing-fuselage docking assembly based on laser tracker and machine vision 杨文辉 ， 林嘉睿 ， 高扬 ， 等 . 激光标靶位姿测量系统的建模与误差分析 ［J］. 纳米技术与精密工程 ， 2015 ， 13 （ 4 ）： 293 - 298 . doi: 10.13494/j.npe.20140069 http://dx.doi.org/10.13494/j.npe.20140069 激光标靶位姿测量系统的建模与误差分析 YANG W H ， LIN J R ， GAO Y ， et al . Modeling and error analysis of laser target pose measurement system ［J］. Nanotechnology and Precision Engineering ， 2015 ， 13 （ 4 ）： 293 - 298 . （in Chinese） . doi: 10.13494/j.npe.20140069 http://dx.doi.org/10.13494/j.npe.20140069 Modeling and error analysis of laser target pose measurement system 迟书凯 ， 叶旋 ， 高翔 ， 等 . 基于编码标记点的高精度运动估计 ［J］. 光学 精密工程 ， 2021 ， 29 （ 7 ）： 1720 - 1730 . doi: 10.37188/OPE.20212907.1720 http://dx.doi.org/10.37188/OPE.20212907.1720 基于编码标记点的高精度运动估计 CHI SH K ， YE X ， GAO X ， et al . Coded marker-based high-accuracy motion estimation ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 7 ）： 1720 - 1730 . （in Chinese） . doi: 10.37188/OPE.20212907.1720 http://dx.doi.org/10.37188/OPE.20212907.1720 Coded marker-based high-accuracy motion estimation WU D ， ZHUANG Z Y ， XIANG C Q ， et al . 6D-VNet： end-to-end 6DoF vehicle pose estimation from monocular RGB images ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1617，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 1238 - 1247 . doi: 10.1109/cvprw.2019.00163 http://dx.doi.org/10.1109/cvprw.2019.00163 6D-VNet： end-to-end 6DoF vehicle pose estimation from monocular RGB images KEHL W ， MANHARDT F ， TOMBARI F ， et al . SSD-6D： making RGB-based 3D detection and 6D pose estimation great again ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 1530 - 1538 . doi: 10.1109/iccv.2017.169 http://dx.doi.org/10.1109/iccv.2017.169 SSD-6D： making RGB-based 3D detection and 6D pose estimation great again 许凌志 ， 符钦伟 ， 陶卫 ， 等 . 基于三维模型的单目车辆位姿估计 ［J］. 光学 精密工程 ， 2021 ， 29 （ 6 ）： 1346 - 1355 . doi: 10.37188/OPE.20212906.1346 http://dx.doi.org/10.37188/OPE.20212906.1346 基于三维模型的单目车辆位姿估计 XU L ZH ， FU Q W ， TAO W ， et al . Monocular vehicle pose estimation based on 3D model ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1346 - 1355 . （in Chinese） . doi: 10.37188/OPE.20212906.1346 http://dx.doi.org/10.37188/OPE.20212906.1346 Monocular vehicle pose estimation based on 3D model SATTLER T ， ZHOU Q J ， POLLEFEYS M ， et al . Understanding the limitations of CNN-based absolute camera pose regression ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 3297 - 3307 . doi: 10.1109/cvpr.2019.00342 http://dx.doi.org/10.1109/cvpr.2019.00342 Understanding the limitations of CNN-based absolute camera pose regression 屈也频 ， 侯旺 . 基于误差传播理论的PnP问题姿态精度分析 ［J］. 光学 精密工程 ， 2019 ， 27 （ 2 ）： 479 - 487 . doi: 10.3788/ope.20192702.0479 http://dx.doi.org/10.3788/ope.20192702.0479 基于误差传播理论的PnP问题姿态精度分析 QU Y P ， HOU W . Attitude accuracy analysis of PnP based on error propagation theory ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 2 ）： 479 - 487 . （in Chinese） . doi: 10.3788/ope.20192702.0479 http://dx.doi.org/10.3788/ope.20192702.0479 Attitude accuracy analysis of PnP based on error propagation theory PENG S D ， LIU Y ， HUANG Q X ， et al . PVNet： pixel-wise voting network for 6DoF pose estimation ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 4556 - 4565 . doi: 10.1109/cvpr.2019.00469 http://dx.doi.org/10.1109/cvpr.2019.00469 PVNet： pixel-wise voting network for 6DoF pose estimation CHEN B ， CAO J W ， PARRA A ， et al . Satellite pose estimation with deep landmark regression and nonlinear pose refinement ［C］. 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. 2728，2019 ， Seoul， Korea （South）. IEEE ， 2019 ： 2816 - 2824 . doi: 10.1109/iccvw.2019.00343 http://dx.doi.org/10.1109/iccvw.2019.00343 Satellite pose estimation with deep landmark regression and nonlinear pose refinement TEKIN B ， SINHA S N ， FUA P . Real-time seamless single shot 6D object pose prediction ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18 - 23 ， 2018 . Salt Lake City， UT， USA. IEEE ， 2018 ： 292 - 301 . doi: 10.1109/cvpr.2018.00038 http://dx.doi.org/10.1109/cvpr.2018.00038 Real-time seamless single shot 6D object pose prediction BRACHMANN E ， KRULL A ， NOWOZIN S ， et al . DSAC-differentiable RANSAC for camera localization ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 2492 - 2500 . doi: 10.1109/cvpr.2017.267 http://dx.doi.org/10.1109/cvpr.2017.267 DSAC-differentiable RANSAC for camera localization CAMPBELL D ， LIU L ， GOULD S . Solving the blind perspective-n-point problem end-to-end with robust differentiable geometric optimization ［C］. Computer Vision-ECCV 2020 ， 2020 ： 244 - 261 . doi: 10.1007/978-3-030-58536-5_15 http://dx.doi.org/10.1007/978-3-030-58536-5_15 Solving the blind perspective-n-point problem end-to-end with robust differentiable geometric optimization YI K M ， TRULLS E ， ONO Y ， et al . Learning to find good correspondences ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 2666 - 2674 . doi: 10.1109/cvpr.2018.00282 http://dx.doi.org/10.1109/cvpr.2018.00282 Learning to find good correspondences SINKHORN R . Diagonal equivalence to matrices with prescribed row and column sums. II ［J］. Proceedings of the American Mathematical Society ， 1974 ， 45 （ 2 ）： 195 - 198 . doi: 10.1090/s0002-9939-1974-0357434-8 http://dx.doi.org/10.1090/s0002-9939-1974-0357434-8 Diagonal equivalence to matrices with prescribed row and column sums. II LEPETIT V ， MORENO-NOGUER F ， FUA P . EPnP： an accurate O（n） solution to the PnP problem ［J］. International Journal of Computer Vision ， 2008 ， 81 （ 2 ）： 155 - 166 . doi: 10.1007/s11263-008-0152-6 http://dx.doi.org/10.1007/s11263-008-0152-6 EPnP： an accurate O（n） solution to the PnP problem CHEN B ， PARRA Á ， CAO J W ， et al . End-to-end learnable geometric vision by backpropagating PnP optimization ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 8097 - 8106 . doi: 10.1109/cvpr42600.2020.00812 http://dx.doi.org/10.1109/cvpr42600.2020.00812 End-to-end learnable geometric vision by backpropagating PnP optimization 张刘港 ， 熊芝 ， 冯维 ， 等 . 基于视觉与激光准直的激光跟踪姿态角测量方法 ［J］. 仪器仪表学报 ， 2020 ， 41 （ 8 ）： 30 - 36 . doi: 10.19650/j.cnki.cjsi.J2006544 http://dx.doi.org/10.19650/j.cnki.cjsi.J2006544 基于视觉与激光准直的激光跟踪姿态角测量方法 ZHANG L G ， XIONG ZH ， FENG W ， et al . Laser tracking attitude angle measurement method based on vision and laser collimation ［J］. Chinese Journal of Scientific Instrument ， 2020 ， 41 （ 8 ）： 30 - 36 . （in Chinese） . doi: 10.19650/j.cnki.cjsi.J2006544 http://dx.doi.org/10.19650/j.cnki.cjsi.J2006544 Laser tracking attitude angle measurement method based on vision and laser collimation 王天宇 ， 董文博 ， 王震宇 . 基于单目视觉和固定靶标的位姿测量系统 ［J］. 红外与激光工程 ， 2017 ， 46 （ 4 ）： 153 - 160 . doi: 10.3788/IRLA201746.0427003 http://dx.doi.org/10.3788/IRLA201746.0427003 基于单目视觉和固定靶标的位姿测量系统 WANG T Y ， DONG W B ， WANG ZH Y . Position and orientation measurement system based on monocular vision and fixed target ［J］. Infrared and Laser Engineering ， 2017 ， 46 （ 4 ）： 153 - 160 . （in Chinese） . doi: 10.3788/IRLA201746.0427003 http://dx.doi.org/10.3788/IRLA201746.0427003 Position and orientation measurement system based on monocular vision and fixed target 许航 ， 熊芝 ， 张刘港 等 . 基于加权最小二乘的激光跟踪姿态角测量方法 ［J/OL］. 红外与激光工程 ： 1 - 6 ［ 2022-01-26 ］. http：//kns.cnki.net/kcms/detail/12.1261.TN.20211206.2201.016.html http://kns.cnki.net/kcms/detail/12.1261.TN.20211206.2201.016.html . 基于加权最小二乘的激光跟踪姿态角测量方法 XU H ， XIONG ZH ， ZHANG L G ， et al . Laser tracking attitude angle measurement method based on weighted least square ［J/OL］. Infrared and Laser Engineering ： 1 - 6 ［ 2022-01-26 ］. http：//kns.cnki.net/kcms/detail/12.1261.TN.20211206.2201. 016.html. http://kns.cnki.net/kcms/detail/12.1261.TN.20211206.2201.016.html. （in Chinese） Laser tracking attitude angle measurement method based on weighted least square 10.37188/OPE.20223009.1047 TP391.4 TH744 A 1004-924X（2022）09-1047-11 周道德,高豆豆,董登峰等.基于深度学习和PnP模型的激光跟踪仪自动姿态测量[J].光学精密工程,2022,30(09):1047-1057. 周道德,高豆豆,董登峰等.基于深度学习和PnP模型的激光跟踪仪自动姿态测量[J].光学精密工程,2022,30(09):1047-1057. ZHOU Daode,GAO Doudou,DONG Dengfeng,et al.Automatic attitude measurement of laser tracker based on deep learning and PnP model[J].Optics and Precision Engineering,2022,30(09):1047-1057. ZHOU Daode,GAO Doudou,DONG Dengfeng,et al.Automatic attitude measurement of laser tracker based on deep learning and PnP model[J].Optics and Precision Engineering,2022,30(09):1047-1057. 国家重点研发计划资助项目（No.2019YFB1310100） 2022-03-04 2022-03-16 2022-05-10 2022-05-26 光学精密工程 9 30