基于动态图注意力机制的秦俑点云鲁棒配准

海琳琦; 耿国华; 杨兴; 李康; 张海波

doi:10.37188/OPE.20223024.3210

您当前的位置：

首页 >

文章列表页 >

基于动态图注意力机制的秦俑点云鲁棒配准

信息科学 | 更新时间：2022-12-27

- 基于动态图注意力机制的秦俑点云鲁棒配准
- Robust point cloud registration of terra-cotta warriors based on dynamic graph attention mechanism
- 光学精密工程 2022年30卷第24期页码：3210-3224
- 作者机构：
  
  西北大学信息科学与技术学院，陕西西安 710127
- 作者简介：
  
  [ "海琳琦（1997-），男，河南郑州人，硕士研究生，主要从事点云配准方面的研究。Email： 202032947@stumail.nwu.edu.cn" ]
  [ "耿国华（1955-），女，山东莱西人，教授，博士生导师，1976年和1988年于西北大学分别获得学士和硕士学位，主要从事虚拟现实、可视化技术、图像处理和智能信息处理等领域的理论及应用工程创新研究。E-mail： 1925995331@qq.com" ]
  [ "张海波（1985-），男，陕西宝鸡人，博士，在职博士后，副教授，2008年于西北工业大学获得学士学位，2012和2017年于西北大学分别获得硕士和博士学位，主要研究方向为文物数字化保护、医学影像分析。E-mail： zhanghb@nwu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(61902317;61731015);国家重点研发计划资助项目(2019YFC1521102;2019YFC1521103);陕西省重点产业链项目资助(2019ZDLSF07-02);陕西省自然科学基金资助项目(2019JQ-166);青海省重点研发计划资助项目(2020-SF-142;2020-SF-143)
- DOI：10.37188/OPE.20223024.3210
  中图分类号： TP394.1;TH691.9
- 收稿日期：2022-05-12，
  
  修回日期：2022-08-15，
  
  纸质出版日期：2022-12-25
- 稿件说明：
移动端阅览
海琳琦,耿国华,杨兴等.基于动态图注意力机制的秦俑点云鲁棒配准[J].光学精密工程,2022,30(24):3210-3224.

HAI Linqi,GENG Guohua,YANG Xing,et al.Robust point cloud registration of terra-cotta warriors based on dynamic graph attention mechanism[J].Optics and Precision Engineering,2022,30(24):3210-3224.
海琳琦,耿国华,杨兴等.基于动态图注意力机制的秦俑点云鲁棒配准[J].光学精密工程,2022,30(24):3210-3224. DOI： 10.37188/OPE.20223024.3210.

HAI Linqi,GENG Guohua,YANG Xing,et al.Robust point cloud registration of terra-cotta warriors based on dynamic graph attention mechanism[J].Optics and Precision Engineering,2022,30(24):3210-3224. DOI： 10.37188/OPE.20223024.3210.

摘要

针对目前的点云配准方法在处理秦俑等文物模型时不能很好地解决分辨率不匹配、点云部分重叠、噪声点较多等问题，提出一种基于动态图注意力机制的ResUNet配准模型。该模型将残差模块融入U-Net网络中，使用三维稀疏体素卷积计算点云特征，并引入一种新的归一化技术：批邻域归一化（Batch-Neighborhood Normalization， BNHN），来提高特征对于点密度变化的鲁棒性；为了进一步提高配准性能，该模型通过自注意力机制和交叉注意力机制聚合局部特征和上下文特征，最后结合随机抽样一致性算法来估计源点云与目标点云之间的变化矩阵，完成秦俑文物模型的鲁棒配准。为了验证本文方法的有效与鲁棒，使用四组数据集（3DMatch、3DLoMatch、分辨率不匹配的3DMatch数据集以及两组秦俑数据）对配准模型进行测试，实验结果表明，该算法在3DMatch数据集和3DLoMatch数据集上的配准召回率分别达到90.1%和61.0%；在分辨率不匹配的3DMatch数据集，相比与基于特征学习的配准算法，该算法在配准召回率上提升了5%~20%；在秦俑数据集上，相对旋转误差均小于0.071，相对平移误差均小于0.016，相较于同类算法减少了一个量级或几倍。因此，本文的模型能够提取三维点云的关键特征信息，并且对点密度和重叠度变化具有更高的鲁棒性。

Abstract

The current point cloud registration methods cannot effectively address resolution mismatches， partial overlaps of point clouds， and numerous noise points when used for cultural relic models such as Terra-cotta Warriors. Hence， a ResUNet registration model based on the dynamic graph attention mechanism is proposed. The model integrates the residual module into the U-Net， performs three-dimensional （3D） sparse voxel convolution to calculate the features of point clouds， and applies a new normalization technology known as batch-neighborhood normalization to improve the robustness of features against point density changes. To improve the registration performance， the model aggregates local and context features via self- and cross-attention mechanisms. Finally， a random sampling consensus algorithm is used to estimate the change matrix between the source and target point clouds to complete the robust registration of the Terra-cotta Warriors model. To verify the effectiveness and robustness of the proposed method， four datasets （3DMatch， 3DLoMatch， 3DMatch with resolution mismatches， and two sets of terra-cotta warrior data） were used to test the registration model. Experimental results show that the registration recall was 90.1% and 61.0% in the 3DMatch and 3DLoMatch datasets， respectively. In the mismatched-resolution 3DMatch dataset， compared with feature learning-based registration algorithms， our algorithm improved the registration recall by 5%–20%. In the terra-cotta warrior dataset， the relative rotation and translation errors were less than 0.071 and 0.016， respectively， which are several times to one order of magnitude lower than those of other algorithms. The model proposed herein can extract key feature information from a 3D point cloud and is more robust to variations in point density and overlapping compared with other models.

关键词

Keywords

references

王宾，刘林，侯榆青，等 . 应用改进迭代最近点方法的三维心脏点云配准［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 474 - 484 . doi: 10.3788/OPE.20202802.0474 http://dx.doi.org/10.3788/OPE.20202802.0474

WANG B ， LIU L ， HOU Y Q ， et al . Three-dimensional cardiac point cloud registration by improved iterative closest point method ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 474 - 484 . （in Chinese） . doi: 10.3788/OPE.20202802.0474 http://dx.doi.org/10.3788/OPE.20202802.0474

李晓燕 . 低重叠率三维点云配准技术研究［D］. 太原：中北大学， 2021 .

LI X Y . Reaserch on 3 D Point Cloud Registration Technology with Low Overlap ［D］. Taiyuan ： North University of China. School of Data Science and Technology ， 2021 . （in Chinese）

HUANG X S ， MEI G F ， ZHANG J ， et al . A comprehensive survey on point cloud registration ［OL］. ［ 2021-03-03 ］. https：//arxiv.org/abs/2013.02690 https://arxiv.org/abs/2013.02690

张顺利，徐艳芝，周明全，等 . 基于自适应邻域匹配的点云配准方法［J］. 计算机学报， 2019 ， 42 （ 9 ）： 2114 - 2126 . doi: 10.11897/SP.J.1016.2019.02114 http://dx.doi.org/10.11897/SP.J.1016.2019.02114

ZHANG SH L ， XU Y Z ， ZHOU M Q ， et al . Registration of point clouds based on matching of general adaptive neighborhood ［J］. Chinese Journal of Computers ， 2019 ， 42 （ 9 ）： 2114 - 2126 . （in Chinese） . doi: 10.11897/SP.J.1016.2019.02114 http://dx.doi.org/10.11897/SP.J.1016.2019.02114

吴庆华，蔡琼捷思，黎志昂，等 . 扩展高斯图像聚类的缺失点云配准［J］. 光学精密工程， 2021 ， 29 （ 5 ）： 1199 - 1206 . doi: 10.37188/OPE.20212905.1199 http://dx.doi.org/10.37188/OPE.20212905.1199

WU Q H ， CAI Q J S ， LI ZH A ， et al . Registration of losing point cloud based on clustering extended Gaussian image ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 5 ）： 1199 - 1206 . （in Chinese） . doi: 10.37188/OPE.20212905.1199 http://dx.doi.org/10.37188/OPE.20212905.1199

刘跃生，陈新度，吴磊，等 . 混合稀疏迭代最近点配准［J］. 光学精密工程， 2021 ， 29 （ 9 ）： 2255 - 2267 . doi: 10.37188/OPE.20212909.2255 http://dx.doi.org/10.37188/OPE.20212909.2255

LIU Y SH ， CHEN X D ， WU L ， et al . Sparse mixture iterative closest point registration ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 9 ）： 2255 - 2267 . （in Chinese） . doi: 10.37188/OPE.20212909.2255 http://dx.doi.org/10.37188/OPE.20212909.2255

TOMBARI F ， SALTI S ， STEFANO L . Unique signatures of histograms for local surface description ［C］. Computer Vision-ECCV 2010 ， 2010 ： 356 - 369 .

TOMBARI F ， SALTI S ， STEFANO L D . Unique shape context for 3d data description ［C］. 3DOR '10 ： Proceedings of the ACM workshop on 3D object retrieval . 2010 ： 57 - 62 . doi: 10.1145/1877808.1877821 http://dx.doi.org/10.1145/1877808.1877821

GUO Y L ， SOHEL F ， BENNAMOUN M ， et al . Rotational projection statistics for 3D local surface description and object recognition ［J］. International Journal of Computer Vision ， 2013 ， 105 （ 1 ）： 63 - 86 .

BIRDAL T ， ILIC S . Point pair features based object detection and pose estimation revisited ［C］. 2015 International Conference on 3D Vision . Lyon， France . IEEE ， 2015 ： 527 - 535 .

RUSU R B ， BLODOW N ， BEETZ M . Fast point feature histograms （FPFH） for 3D registration ［C］. 2009 IEEE International Conference on Robotics and Automation . Kobe， Japan . IEEE ， 2009 ： 3212 - 3217 .

CHEN H ， BHANU B . 3D free-form object recognition in range images using local surface patches ［J］. Pattern Recognition Letters ， 2007 ， 28 （ 10 ）： 1252 - 1262 .

YEW Z J ， LEE G H . RPM-net： robust point matching using learned features ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 11821 - 11830 .

WANG Y ， SOLOMON J M . Prnet： Self-supervised learning for partial-to-partial registration ［OL］. ［ 2019-10-27 ］. https：//arxiv.org/abs/1910.12240 https://arxiv.org/abs/1910.12240 .

VASWANI A ， SHAZEER N ， PARMAR N ， et al .. Attention is all you need ［C］ Proceedings of the 31st Annual Conference on Neural Information Processing Systems ， 2017 ： 5998 - 6008 .

GOJCIC Z ， ZHOU C F ， WEGNER J D ， et al . The perfect match： 3D point cloud matching with smoothed densities ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 5540 - 5549 .

CHOY C ， PARK J ， KOLTUN V . Fully convolutional geometric features ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 8957 - 8965 .

BAI X Y ， LUO Z X ， ZHOU L ， et al . D3Feat： joint learning of dense detection and description of 3D local features ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 6358 - 6366 .

YU H ， LI F ， SALEH M ， et al . CoFiNet： reliable coarse-to-fine correspondences for robust point cloud registration ［EB/OL］. 2021 ： arXiv ： 2110.14076［cs.CV］. https：//arxiv.org/abs/2110.14076 https://arxiv.org/abs/2110.14076

FISCHLER M ， BOLLES R . Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography ［J］. Commun ACM ， 1981 ， 24 ： 381 - 395 .

SARODE V ， DHAGAT A ， SRIVATSAN R A ， et al . MaskNet： a fully-convolutional network to estimate inlier points ［C］. 2020 International Conference on 3D Vision （3DV）. Fukuoka ， Japan . IEEE ， 2020 ： 1029 - 1038 .

XU H ， LIU S C ， WANG G F ， et al . OMNet： learning overlapping mask for partial-to-partial point cloud registration ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal ， QC， Canada . IEEE ， 2021 ： 3112 - 3121 .

LIU X T ， KILLEEN B D ， SINHA A ， et al . Neighborhood normalization for robust geometric feature learning ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 13044 - 13053 .

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ： 234 - 24 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

CHOY C ， DONG W ， KOLTUN V . Deep global registration ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 2511 - 2520 .

HUANG S Y ， GOJCIC Z ， USVYATSOV M ， et al . PREDATOR： registration of 3D point clouds with low overlap ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 4265 - 4274 .

SZEGEDY C ， LIU W ， JIA Y Q ， et al . Going deeper with convolutions ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA . IEEE ， 2015 ： 1 - 9 . doi: 10.1109/cvpr.2015.7298594 http://dx.doi.org/10.1109/cvpr.2015.7298594

WANG Y ， SUN Y B ， LIU Z W ， et al . Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 5 ）： 1 - 12 . doi: 10.1145/3326362 http://dx.doi.org/10.1145/3326362

SHI C H ， CHEN X ， HUANG K H ， et al . Keypoint matching for point cloud registration using multiplex dynamic graph attention networks ［J］. IEEE Robotics and Automation Letters ， 2021 ， 6 （ 4 ）： 8221 - 8228 .

SARLIN P E ， DETONE D ， MALISIEWICZ T ， et al . SuperGlue： learning feature matching with graph neural networks ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 4937 - 4946 .

XIE Y Q ， LI S ， YANG C ， et al . When do GNNs work： understanding and improving neighborhood aggregation ［C］. Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. July 11 - 17 ， 2020 . Yokohama， Japan. California ： International Joint Conferences on Artificial Intelligence Organization ， 2020 .

杨军，李博赞 . 基于自注意力特征融合组卷积神经网络的三维点云语义分割［J］. 光学精密工程， 2022 ， 30 （ 7 ）： 840 - 853 . doi: 10.37188/OPE.20223007.0840 http://dx.doi.org/10.37188/OPE.20223007.0840

YANG J ， LI B Z . Semantic segmentation of 3D point cloud based on self-attention feature fusion group convolutional neural network ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 7 ）： 840 - 853 . （in Chinese） . doi: 10.37188/OPE.20223007.0840 http://dx.doi.org/10.37188/OPE.20223007.0840

ZENG A ， SONG S R ， NIEßNER M ， et al . 3DMatch： learning local geometric descriptors from RGB-D reconstructions ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 199 - 208 .

DENG H W ， BIRDAL T ， ILIC S . PPFNet： global context aware local features for robust 3D point matching ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 195 - 205 .

ELBAZ G ， AVRAHAM T ， FISCHER A . 3D point cloud registration for localization using a deep neural network auto-encoder ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 2472 - 2481 .

MA Y X ， GUO Y L ， ZHAO J ， et al . Fast and accurate registration of structured point clouds with small overlaps ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops . Las Vegas， NV， USA . IEEE ， 2016 ： 643 - 651 .

YANG H ， SHI J N ， CARLONE L . TEASER： fast and certifiable point cloud registration ［J］. IEEE Transactions on Robotics ， 2021 ， 37 （ 2 ）： 314 - 333 .

SUN Y F ， CHENG C M ， ZHANG Y H ， et al . Circle loss： a unified perspective of pair similarity optimization ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 6397 - 6406 .

BESL P J ， MCKAY N D . A method for registration of 3-D shapes ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1992 ， 14 （ 2 ）： 239 - 256 . doi: 10.1109/34.121791 http://dx.doi.org/10.1109/34.121791

浏览量

895

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

复杂空心涡轮叶片点云快速配准

复杂坡面拟合的异源点云配准及三维地形精细重建

重叠分数与匹配矩阵驱动的部分重叠点云配准网络设计

级联残差优化Transformer网络的图像超分辨率重建

轻量级重参数化的遥感图像超分辨率重建网络设计