Co-segmentation of three-dimensional shape clusters by shape similarity

Jun Yang; Min-min Zhang

doi:10.37188/OPE.20212910.2504

您当前的位置：

首页 >

文章列表页 >

Co-segmentation of three-dimensional shape clusters by shape similarity

Information Sciences | 更新时间：2021-11-01

- Co-segmentation of three-dimensional shape clusters by shape similarity
- Optics and Precision Engineering Vol. 29, Issue 10, Pages: 2504-2516(2021)
- 作者机构：
  
  1.兰州交通大学测绘与地理信息学院，甘肃兰州 730070
  2.兰州交通大学自动化与电气工程学院，甘肃兰州 730070
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20212910.2504
  CLC： TP394.1
- Received：25 April 2021，
  
  Revised：09 June 2021，
  
  Published：15 October 2021
- 稿件说明：
移动端阅览
杨军,张敏敏.利用模型相似性的三维模型簇协同分割[J].光学精密工程,2021,29(10):2504-2516.

Yang Jun,Zhang Min-min.Co-segmentation of three-dimensional shape clusters by shape similarity[J].Optics and Precision Engineering,2021,29(10):2504-2516.
杨军,张敏敏.利用模型相似性的三维模型簇协同分割[J].光学精密工程,2021,29(10):2504-2516. DOI： 10.37188/OPE.20212910.2504.

Yang Jun,Zhang Min-min.Co-segmentation of three-dimensional shape clusters by shape similarity[J].Optics and Precision Engineering,2021,29(10):2504-2516. DOI： 10.37188/OPE.20212910.2504.

摘要

为准确捕捉三维点云模型的上下文信息，提高分割准确率，提出一种利用模型相似性进行三维模型簇协同分割的方法。首先，对点云模型进行最远点采样得到质心点，并采用球内随机选取的方式确定邻域点以构建球形邻域；然后，使用特征聚合算子编码三维点云之间的几何拓扑关系，提取各邻域间的相关联特征，并利用各球形邻域的质心坐标构建空间相似性矩阵，由空间相似性矩阵对编码器网络所提取的模型局部特征进行加权求和，完成对三维模型的协同分析；最后，搭建分层特征提取网络对经过加权处理的关联特征进行解码操作，完成模型簇协同分割任务。实验结果表明，本文算法在ShapeNet Part数据集上的协同分割准确率达到了86.0%。与kNN算法相比，以球内随机选取法为邻域点采样策略，可使网络的分割准确率提升0.8%；相比于使用共享的多层感知机进行特征提取，使用特征聚合算子进行卷积运算可使网络的分割准确率提高12.9%；与当前主流的模型分割算法相比，本文算法的分割准确率得到了进一步的提升。

Abstract

To accurately capture the context information of three-dimensional (3D) point cloud shapes and improve the accuracy of segmentation

we propose a method for the co-segmentation of 3D shape clusters using shape similarity. First

a Farthest Point Sampling is performed on the point cloud shape to obtain the centroid point

and a random pick method is used to determine the neighborhood points to construct a spherical neighborhood. Then

the feature aggregation operator is used to encode geometric topological relationships of 3D point cloud. The associated features among the neighborhood is extracted

and a spatial similarity matrix is constructed using the centroid coordinates of each spherical neighborhood. The spatial similarity matrix sums the weighted local features of the shape extracted by the encoder network to complete the collaborative analysis of the 3D shape. Finally

a hierarchical feature extraction network is built to decode the weighted associated features and complete the shape cluster co-segmentation task. Experimental results show that the co-segmentation accuracy of our algorithm on the ShapeNet Part dataset reaches 86.0%. Compared to the k-nearest neighbor algorithm

using the random selection method within a sphere as the neighborhood point sampling strategy can increase the segmentation accuracy of the network by 1.5%. Compared to the use of shared multilayer perceptrons for feature extraction

the use of feature aggregation operators for convolution operations can increase the segmentation accuracy of the network by 5.6%. Moreover

compared to the current mainstream shape segmentation algorithms

the segmentation accuracy of the proposed algorithm is superior.

关键词

Keywords

references

孙晓鹏，李华 . 三维网格模型的分割及应用技术综述［J］. 计算机辅助设计与图形学学报， 2005 ， 17 （ 8 ）： 1647 - 1655 . doi: 10.3321/j.issn:1003-9775.2005.08.001 http://dx.doi.org/10.3321/j.issn:1003-9775.2005.08.001

SUN X P ， LI H . A survey of 3D mesh model segmentation and application ［J］. Journal of Computer Aided Design & Computer Graphics ， 2005 ， 17 （ 8 ）： 1647 - 1655 . （in Chinese） . doi: 10.3321/j.issn:1003-9775.2005.08.001 http://dx.doi.org/10.3321/j.issn:1003-9775.2005.08.001

KIM D I ， SUKHATME G S . Semantic labeling of 3D point clouds with object affordance for robot manipulation ［C］. 2014 IEEE International Conference on Robotics and Automation （ICRA）. 317，2014 ， Hong Kong， China. IEEE ， 2014 ： 5578 - 5584 . doi: 10.1109/icra.2014.6907679 http://dx.doi.org/10.1109/icra.2014.6907679

QI C R ， LIU W ， WU C X ， et al . Frustum PointNets for 3D object detection from RGB-D data ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 918 - 927 . doi: 10.1109/cvpr.2018.00102 http://dx.doi.org/10.1109/cvpr.2018.00102

赵传，张保明，余东行，等 . 利用迁移学习的机载激光雷达点云分类［J］. 光学精密工程， 2019 ， 27 （ 7 ）： 1601 - 1612 . doi: 10.3788/OPE.20192707.1601 http://dx.doi.org/10.3788/OPE.20192707.1601

ZHAO CH ， ZHANG B M ， YU D H ， et al . Airborne LiDAR point cloud classification using transfer learning ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 7 ）： 1601 - 1612 . （in Chinese） . doi: 10.3788/OPE.20192707.1601 http://dx.doi.org/10.3788/OPE.20192707.1601

CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 77 - 85 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16

LI J X ， CHEN B M ， LEE G H . SO-net： self-organizing network for point cloud analysis ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 9397 - 9406 . doi: 10.1109/cvpr.2018.00979 http://dx.doi.org/10.1109/cvpr.2018.00979

LI Y ， BU R ， SUN M ， et al . PointCNN： convolution on x-transformed points ［C］. Proceedings of the Advances in Neural Information Processing Systems， Montreal， Canada ， 2018 . New York ， USA： NIPS ， 2018： 820 - 830 . doi: 10.1109/mipr.2018.00009 http://dx.doi.org/10.1109/mipr.2018.00009

LEI H ， AKHTAR N ， MIAN A . Spherical kernel for efficient graph convolution on 3D point clouds ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 10 ）： 3664 - 3680 . doi: 10.1109/tpami.2020.2983410 http://dx.doi.org/10.1109/tpami.2020.2983410

赵夫群，周明全 . 层次化点云去噪算法［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1618 - 1625 . doi: 10.37188/OPE.20202807.1618 http://dx.doi.org/10.37188/OPE.20202807.1618

ZHAO F Q ， ZHOU M Q . Hierarchical point cloud denoising algorithm ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1618 - 1625 . （in Chinese） . doi: 10.37188/OPE.20202807.1618 http://dx.doi.org/10.37188/OPE.20202807.1618

YAN X ， ZHENG C D ， LI Z ， et al . PointASNL： robust point clouds processing using nonlocal neural networks with adaptive sampling ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 5588 - 5597 . doi: 10.1109/cvpr42600.2020.00563 http://dx.doi.org/10.1109/cvpr42600.2020.00563

ESTEVES C ， ALLEN-BLANCHETTE C ， MAKADIA A ， et al . Learning SO （3） equivariant representations with spherical CNNs ［M］. Computer Vision-ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 54 - 70 . doi: 10.1007/978-3-030-01261-8_4 http://dx.doi.org/10.1007/978-3-030-01261-8_4

ZHANG Z Y ， HUA B S ， YEUNG S K . ShellNet： efficient point cloud convolutional neural networks using concentric shells statistics ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . 272，2019 ， Seoul， Korea （South） . IEEE ， 2019 ： 1607 - 1616 . doi: 10.1109/iccv.2019.00169 http://dx.doi.org/10.1109/iccv.2019.00169

TE G S ， HU W ， ZHENG A M ， et al . RGCNN： regularized graph CNN for point cloud segmentation ［C］. Proceedings of the 26th ACM international conference on Multimedia. Seoul Republic of Korea. New York， NY， USA ： ACM ， 2018 ： 746 - 754 . doi: 10.1145/3240508.3240621 http://dx.doi.org/10.1145/3240508.3240621

莫堃，尹周平 . 基于3D活动轮廓模型的缺陷点云分割方法［J］. 华中科技大学学报（自然科学版）， 2011 ， 39 （ 1 ）： 82 - 85 .

MO K ， YIN ZH P . Segmentation of defective point clouds using 3D active contour model ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2011 ， 39 （ 1 ）： 82 - 85 . （in Chinese）

RUSU R B ， MARTON Z C ， BLODOW N ， et al . Towards 3D Point cloud based object maps for household environments ［J］. Robotics and Autonomous Systems ， 2008 ， 56 （ 11 ）： 927 - 941 . doi: 10.1016/j.robot.2008.08.005 http://dx.doi.org/10.1016/j.robot.2008.08.005

TARSHA-KURDI F ， LANDES T ， GRUSSENMEVER P . Hough-transform and extended Ransac algorithms for automatic detection of 3D building roof planes from lidar data ［C］. Proceedings of the ISPRS Workshop on Laser Scanning 2007 and SilviLaser， Espoo， Finland ： ISPRS ， 2007 ： 407 - 412 . doi: 10.5194/isprs-annals-iv-4-w8-107-2019 http://dx.doi.org/10.5194/isprs-annals-iv-4-w8-107-2019

MATURANA D ， SCHERER S . VoxNet： a 3D Convolutional Neural Network for real-time object recognition ［C］. 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. 282，2015 ， Hamburg， Germany. IEEE ， 2015 ： 922 - 928 . doi: 10.1109/iros.2015.7353481 http://dx.doi.org/10.1109/iros.2015.7353481

GUERRY J ， BOULCH A ， LE SAUX B ， et al . SnapNet-R： consistent 3D multi-view semantic labeling for robotics ［C］. 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 669 - 678 . doi: 10.1109/iccvw.2017.85 http://dx.doi.org/10.1109/iccvw.2017.85

QI C R ， YI L ， SU H ， et al . PointNet++： deep hierarchical feature learning on point sets in a metric space ［C］. Proceedings of the Advances in Neural Information Processing Systems， Long Beach， CA， USA ， 2017 . New York ， USA： NIPS ， 2017： 5099 - 5108 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16

XIE S N ， LIU S N ， CHEN Z Y ， et al . Attentional ShapeContextNet for point cloud recognition ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 4606 - 4615 . doi: 10.1109/cvpr.2018.00484 http://dx.doi.org/10.1109/cvpr.2018.00484

杨军，党吉圣 . 采用深度级联卷积神经网络的三维点云识别与分割［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1187 - 1199 .

YANG J ， DANG J SH . Recognition and segmentation of three-dimensional point cloud based on deep cascade convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1187 - 1199 . （in Chinese）

THOMAS H ， QI C R ， DESCHAUD J E ， et al . KPConv： flexible and deformable convolution for point clouds ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . 272，2019 ， Seoul， Korea （South） . IEEE ， 2019 ： 6410 - 6419 . doi: 10.1109/iccv.2019.00651 http://dx.doi.org/10.1109/iccv.2019.00651

LIN Z H ， HUANG S Y ， WANG Y C F . Convolution in the cloud： learning deformable kernels in 3D graph convolution networks for point cloud analysis ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1797 - 1806 . doi: 10.1109/cvpr42600.2020.00187 http://dx.doi.org/10.1109/cvpr42600.2020.00187

WANG Y ， SUN Y B ， LIU Z W ， et al . Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 5 ）： 1 - 12 . doi: 10.1145/3326362 http://dx.doi.org/10.1145/3326362

LAN S Y ， YU R C ， YU G ， et al . Modeling local geometric structure of 3D point clouds using geo-CNN ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 998 - 1008 . doi: 10.1109/cvpr.2019.00109 http://dx.doi.org/10.1109/cvpr.2019.00109

DANG J S ， YANG J . HPGCNN： hierarchical parallel group convolutional neural networks for point clouds processing ［C］. Computer Vision-ACCV 2020 ， 2021 ： 20 - 37 . doi: 10.1007/978-3-030-69525-5_2 http://dx.doi.org/10.1007/978-3-030-69525-5_2

TAO Z Y ， ZHU Y X ， WEI T ， et al . Multi-head attentional point cloud classification and segmentation using strictly rotation-invariant representations ［J］. IEEE Access ， 2021 ， 9 ： 71133 - 71144 . doi: 10.1109/access.2021.3079295 http://dx.doi.org/10.1109/access.2021.3079295

SU H ， JAMPANI V ， SUN D Q ， et al . SPLATNet： sparse lattice networks for point cloud processing ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 2530 - 2539 . doi: 10.1109/cvpr.2018.00268 http://dx.doi.org/10.1109/cvpr.2018.00268

HU R Z ， FAN L B ， LIU L G . Co-segmentation of 3D shapes via subspace clustering ［J］. Computer Graphics Forum ， 2012 ， 31 （ 5 ）： 1703 - 1713 . doi: 10.1111/j.1467-8659.2012.03175.x http://dx.doi.org/10.1111/j.1467-8659.2012.03175.x

SUNG M ， SU H ， YU R ， et al . Deep functional dictionaries： learning consistent semantic structures on 3D models from functions ［EB/OL］. 2018： arXiv ： 1805 . doi: 10.1299/transjsme.18-00212 http://dx.doi.org/10.1299/transjsme.18-00212

09957［ cs . CV］ . https：//arxiv.org/abs/1805.09957 https://arxiv.org/abs/1805.09957 . doi: 10.1299/transjsme.18-00212 http://dx.doi.org/10.1299/transjsme.18-00212

WANG X G ， ZHOU B ， WANG Z J ， et al . Efficiently consistent affinity propagation for 3D shapes co-segmentation ［J］. The Visual Computer ， 2018 ， 34 （ 6/7/8 ）： 997 - 1008 . doi: 10.1007/s00371-018-1538-2 http://dx.doi.org/10.1007/s00371-018-1538-2

HU Q Y ， YANG B ， XIE L H ， et al . RandLA-net： efficient semantic segmentation of large-scale point clouds ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 11105 - 11114 . doi: 10.1109/cvpr42600.2020.01112 http://dx.doi.org/10.1109/cvpr42600.2020.01112

Views

551

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

No data

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰