Robust point cloud registration of terra-cotta warriors based on dynamic graph attention mechanism

HAI Linqi; GENG Guohua; YANG Xing; LI Kang; ZHANG Haibo

doi:10.37188/OPE.20223024.3210

您当前的位置：

首页 >

文章列表页 >

Robust point cloud registration of terra-cotta warriors based on dynamic graph attention mechanism

Information Sciences | 更新时间：2022-12-27

- Robust point cloud registration of terra-cotta warriors based on dynamic graph attention mechanism
- Optics and Precision Engineering Vol. 30, Issue 24, Pages: 3210-3224(2022)
- 作者机构：
  
  西北大学信息科学与技术学院，陕西西安 710127
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223024.3210
  CLC： TP394.1;TH691.9
- Received：12 May 2022，
  
  Revised：15 August 2022，
  
  Published：25 December 2022
- 稿件说明：
移动端阅览
海琳琦,耿国华,杨兴等.基于动态图注意力机制的秦俑点云鲁棒配准[J].光学精密工程,2022,30(24):3210-3224.

HAI Linqi,GENG Guohua,YANG Xing,et al.Robust point cloud registration of terra-cotta warriors based on dynamic graph attention mechanism[J].Optics and Precision Engineering,2022,30(24):3210-3224.
海琳琦,耿国华,杨兴等.基于动态图注意力机制的秦俑点云鲁棒配准[J].光学精密工程,2022,30(24):3210-3224. DOI： 10.37188/OPE.20223024.3210.

HAI Linqi,GENG Guohua,YANG Xing,et al.Robust point cloud registration of terra-cotta warriors based on dynamic graph attention mechanism[J].Optics and Precision Engineering,2022,30(24):3210-3224. DOI： 10.37188/OPE.20223024.3210.

摘要

针对目前的点云配准方法在处理秦俑等文物模型时不能很好地解决分辨率不匹配、点云部分重叠、噪声点较多等问题，提出一种基于动态图注意力机制的ResUNet配准模型。该模型将残差模块融入U-Net网络中，使用三维稀疏体素卷积计算点云特征，并引入一种新的归一化技术：批邻域归一化（Batch-Neighborhood Normalization， BNHN），来提高特征对于点密度变化的鲁棒性；为了进一步提高配准性能，该模型通过自注意力机制和交叉注意力机制聚合局部特征和上下文特征，最后结合随机抽样一致性算法来估计源点云与目标点云之间的变化矩阵，完成秦俑文物模型的鲁棒配准。为了验证本文方法的有效与鲁棒，使用四组数据集（3DMatch、3DLoMatch、分辨率不匹配的3DMatch数据集以及两组秦俑数据）对配准模型进行测试，实验结果表明，该算法在3DMatch数据集和3DLoMatch数据集上的配准召回率分别达到90.1%和61.0%；在分辨率不匹配的3DMatch数据集，相比与基于特征学习的配准算法，该算法在配准召回率上提升了5%~20%；在秦俑数据集上，相对旋转误差均小于0.071，相对平移误差均小于0.016，相较于同类算法减少了一个量级或几倍。因此，本文的模型能够提取三维点云的关键特征信息，并且对点密度和重叠度变化具有更高的鲁棒性。

Abstract

The current point cloud registration methods cannot effectively address resolution mismatches， partial overlaps of point clouds， and numerous noise points when used for cultural relic models such as Terra-cotta Warriors. Hence， a ResUNet registration model based on the dynamic graph attention mechanism is proposed. The model integrates the residual module into the U-Net， performs three-dimensional （3D） sparse voxel convolution to calculate the features of point clouds， and applies a new normalization technology known as batch-neighborhood normalization to improve the robustness of features against point density changes. To improve the registration performance， the model aggregates local and context features via self- and cross-attention mechanisms. Finally， a random sampling consensus algorithm is used to estimate the change matrix between the source and target point clouds to complete the robust registration of the Terra-cotta Warriors model. To verify the effectiveness and robustness of the proposed method， four datasets （3DMatch， 3DLoMatch， 3DMatch with resolution mismatches， and two sets of terra-cotta warrior data） were used to test the registration model. Experimental results show that the registration recall was 90.1% and 61.0% in the 3DMatch and 3DLoMatch datasets， respectively. In the mismatched-resolution 3DMatch dataset， compared with feature learning-based registration algorithms， our algorithm improved the registration recall by 5%–20%. In the terra-cotta warrior dataset， the relative rotation and translation errors were less than 0.071 and 0.016， respectively， which are several times to one order of magnitude lower than those of other algorithms. The model proposed herein can extract key feature information from a 3D point cloud and is more robust to variations in point density and overlapping compared with other models.

关键词

Keywords

references

王宾，刘林，侯榆青，等 . 应用改进迭代最近点方法的三维心脏点云配准［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 474 - 484 . doi: 10.3788/OPE.20202802.0474 http://dx.doi.org/10.3788/OPE.20202802.0474

WANG B ， LIU L ， HOU Y Q ， et al . Three-dimensional cardiac point cloud registration by improved iterative closest point method ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 474 - 484 . （in Chinese） . doi: 10.3788/OPE.20202802.0474 http://dx.doi.org/10.3788/OPE.20202802.0474

李晓燕 . 低重叠率三维点云配准技术研究［D］. 太原：中北大学， 2021 .

LI X Y . Reaserch on 3 D Point Cloud Registration Technology with Low Overlap ［D］. Taiyuan ： North University of China. School of Data Science and Technology ， 2021 . （in Chinese）

HUANG X S ， MEI G F ， ZHANG J ， et al . A comprehensive survey on point cloud registration ［OL］. ［ 2021-03-03 ］. https：//arxiv.org/abs/2013.02690 https://arxiv.org/abs/2013.02690

张顺利，徐艳芝，周明全，等 . 基于自适应邻域匹配的点云配准方法［J］. 计算机学报， 2019 ， 42 （ 9 ）： 2114 - 2126 . doi: 10.11897/SP.J.1016.2019.02114 http://dx.doi.org/10.11897/SP.J.1016.2019.02114

ZHANG SH L ， XU Y Z ， ZHOU M Q ， et al . Registration of point clouds based on matching of general adaptive neighborhood ［J］. Chinese Journal of Computers ， 2019 ， 42 （ 9 ）： 2114 - 2126 . （in Chinese） . doi: 10.11897/SP.J.1016.2019.02114 http://dx.doi.org/10.11897/SP.J.1016.2019.02114

吴庆华，蔡琼捷思，黎志昂，等 . 扩展高斯图像聚类的缺失点云配准［J］. 光学精密工程， 2021 ， 29 （ 5 ）： 1199 - 1206 . doi: 10.37188/OPE.20212905.1199 http://dx.doi.org/10.37188/OPE.20212905.1199

WU Q H ， CAI Q J S ， LI ZH A ， et al . Registration of losing point cloud based on clustering extended Gaussian image ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 5 ）： 1199 - 1206 . （in Chinese） . doi: 10.37188/OPE.20212905.1199 http://dx.doi.org/10.37188/OPE.20212905.1199

刘跃生，陈新度，吴磊，等 . 混合稀疏迭代最近点配准［J］. 光学精密工程， 2021 ， 29 （ 9 ）： 2255 - 2267 . doi: 10.37188/OPE.20212909.2255 http://dx.doi.org/10.37188/OPE.20212909.2255

LIU Y SH ， CHEN X D ， WU L ， et al . Sparse mixture iterative closest point registration ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 9 ）： 2255 - 2267 . （in Chinese） . doi: 10.37188/OPE.20212909.2255 http://dx.doi.org/10.37188/OPE.20212909.2255

TOMBARI F ， SALTI S ， STEFANO L . Unique signatures of histograms for local surface description ［C］. Computer Vision-ECCV 2010 ， 2010 ： 356 - 369 .

TOMBARI F ， SALTI S ， STEFANO L D . Unique shape context for 3d data description ［C］. 3DOR '10 ： Proceedings of the ACM workshop on 3D object retrieval . 2010 ： 57 - 62 . doi: 10.1145/1877808.1877821 http://dx.doi.org/10.1145/1877808.1877821

GUO Y L ， SOHEL F ， BENNAMOUN M ， et al . Rotational projection statistics for 3D local surface description and object recognition ［J］. International Journal of Computer Vision ， 2013 ， 105 （ 1 ）： 63 - 86 .

BIRDAL T ， ILIC S . Point pair features based object detection and pose estimation revisited ［C］. 2015 International Conference on 3D Vision . Lyon， France . IEEE ， 2015 ： 527 - 535 .

RUSU R B ， BLODOW N ， BEETZ M . Fast point feature histograms （FPFH） for 3D registration ［C］. 2009 IEEE International Conference on Robotics and Automation . Kobe， Japan . IEEE ， 2009 ： 3212 - 3217 .

CHEN H ， BHANU B . 3D free-form object recognition in range images using local surface patches ［J］. Pattern Recognition Letters ， 2007 ， 28 （ 10 ）： 1252 - 1262 .

YEW Z J ， LEE G H . RPM-net： robust point matching using learned features ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 11821 - 11830 .

WANG Y ， SOLOMON J M . Prnet： Self-supervised learning for partial-to-partial registration ［OL］. ［ 2019-10-27 ］. https：//arxiv.org/abs/1910.12240 https://arxiv.org/abs/1910.12240 .

VASWANI A ， SHAZEER N ， PARMAR N ， et al .. Attention is all you need ［C］ Proceedings of the 31st Annual Conference on Neural Information Processing Systems ， 2017 ： 5998 - 6008 .

GOJCIC Z ， ZHOU C F ， WEGNER J D ， et al . The perfect match： 3D point cloud matching with smoothed densities ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 5540 - 5549 .

CHOY C ， PARK J ， KOLTUN V . Fully convolutional geometric features ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 8957 - 8965 .

BAI X Y ， LUO Z X ， ZHOU L ， et al . D3Feat： joint learning of dense detection and description of 3D local features ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 6358 - 6366 .

YU H ， LI F ， SALEH M ， et al . CoFiNet： reliable coarse-to-fine correspondences for robust point cloud registration ［EB/OL］. 2021 ： arXiv ： 2110.14076［cs.CV］. https：//arxiv.org/abs/2110.14076 https://arxiv.org/abs/2110.14076

FISCHLER M ， BOLLES R . Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography ［J］. Commun ACM ， 1981 ， 24 ： 381 - 395 .

SARODE V ， DHAGAT A ， SRIVATSAN R A ， et al . MaskNet： a fully-convolutional network to estimate inlier points ［C］. 2020 International Conference on 3D Vision （3DV）. Fukuoka ， Japan . IEEE ， 2020 ： 1029 - 1038 .

XU H ， LIU S C ， WANG G F ， et al . OMNet： learning overlapping mask for partial-to-partial point cloud registration ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal ， QC， Canada . IEEE ， 2021 ： 3112 - 3121 .

LIU X T ， KILLEEN B D ， SINHA A ， et al . Neighborhood normalization for robust geometric feature learning ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 13044 - 13053 .

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ： 234 - 24 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

CHOY C ， DONG W ， KOLTUN V . Deep global registration ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 2511 - 2520 .

HUANG S Y ， GOJCIC Z ， USVYATSOV M ， et al . PREDATOR： registration of 3D point clouds with low overlap ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 4265 - 4274 .

SZEGEDY C ， LIU W ， JIA Y Q ， et al . Going deeper with convolutions ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA . IEEE ， 2015 ： 1 - 9 . doi: 10.1109/cvpr.2015.7298594 http://dx.doi.org/10.1109/cvpr.2015.7298594

WANG Y ， SUN Y B ， LIU Z W ， et al . Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 5 ）： 1 - 12 . doi: 10.1145/3326362 http://dx.doi.org/10.1145/3326362

SHI C H ， CHEN X ， HUANG K H ， et al . Keypoint matching for point cloud registration using multiplex dynamic graph attention networks ［J］. IEEE Robotics and Automation Letters ， 2021 ， 6 （ 4 ）： 8221 - 8228 .

SARLIN P E ， DETONE D ， MALISIEWICZ T ， et al . SuperGlue： learning feature matching with graph neural networks ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 4937 - 4946 .

XIE Y Q ， LI S ， YANG C ， et al . When do GNNs work： understanding and improving neighborhood aggregation ［C］. Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. July 11 - 17 ， 2020 . Yokohama， Japan. California ： International Joint Conferences on Artificial Intelligence Organization ， 2020 .

杨军，李博赞 . 基于自注意力特征融合组卷积神经网络的三维点云语义分割［J］. 光学精密工程， 2022 ， 30 （ 7 ）： 840 - 853 . doi: 10.37188/OPE.20223007.0840 http://dx.doi.org/10.37188/OPE.20223007.0840

YANG J ， LI B Z . Semantic segmentation of 3D point cloud based on self-attention feature fusion group convolutional neural network ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 7 ）： 840 - 853 . （in Chinese） . doi: 10.37188/OPE.20223007.0840 http://dx.doi.org/10.37188/OPE.20223007.0840

ZENG A ， SONG S R ， NIEßNER M ， et al . 3DMatch： learning local geometric descriptors from RGB-D reconstructions ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 199 - 208 .

DENG H W ， BIRDAL T ， ILIC S . PPFNet： global context aware local features for robust 3D point matching ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 195 - 205 .

ELBAZ G ， AVRAHAM T ， FISCHER A . 3D point cloud registration for localization using a deep neural network auto-encoder ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 2472 - 2481 .

MA Y X ， GUO Y L ， ZHAO J ， et al . Fast and accurate registration of structured point clouds with small overlaps ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops . Las Vegas， NV， USA . IEEE ， 2016 ： 643 - 651 .

YANG H ， SHI J N ， CARLONE L . TEASER： fast and certifiable point cloud registration ［J］. IEEE Transactions on Robotics ， 2021 ， 37 （ 2 ）： 314 - 333 .

SUN Y F ， CHENG C M ， ZHANG Y H ， et al . Circle loss： a unified perspective of pair similarity optimization ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 6397 - 6406 .

BESL P J ， MCKAY N D . A method for registration of 3-D shapes ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1992 ， 14 （ 2 ）： 239 - 256 . doi: 10.1109/34.121791 http://dx.doi.org/10.1109/34.121791

Views

895

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Fast registration of point cloud of complex hollow turbine blade

Registration of heterogeneous point cloud and precise reconstruction of 3D terrain via complex slope surface fitting

Design of partial overlap point cloud registration network driven by overlap score and matching matrix

Cascade residual-optimized image super-resolution reconstruction in Transformer network

Design of lightweight re-parameterized remote sensing image super-resolution network

Related Author

GOU Chen

LIAO Xiaobo

LI Tong

ZHOU Xin

ZHUANG Jian

CAI Yong

TANG Yiliang

YANG Yun

Related Institution

Sichuan Electronic and Mechanic Vocational College

School of Mechanical Engineering， Xi'an Jiaotong University

School of Manufacturing Science and Engineering， Southwest University of Science and Technology

Cooperation Department of Chang'an University， State Key Laboratory of Geographic Information Engineering

College of Geological Engineering and Geomatics， Chang'an University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰