利用模型相似性的三维模型簇协同分割

利用模型相似性的三维模型簇协同分割 Co-segmentation of three-dimensional shape clusters by shape similarity 1 corresp first-author E-mail： yangj@mail.lzjtu.cn E-mail： yangj@mail.lzjtu.cn 杨　军（1973-），男，宁夏吴忠人，博士后，教授，博士生导师，1995年于西北师范大学获得学士学位，2002年于兰州交通大学获硕士学位，2007年于西南交通大学计算机科学专业获工学博士学位，主要从事三维模型的空间分析、模式识别等方面的研究。E-mail：yangj@mail.lzjtu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871114&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871127&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871119&type= 22.01332855 32.00399780 杨　军 （1973-），男，宁夏吴忠人，博士后，教授，博士生导师，1995年于西北师范大学获得学士学位，2002年于兰州交通大学获硕士学位，2007年于西南交通大学计算机科学专业获工学博士学位，主要从事三维模型的空间分析、模式识别等方面的研究。E-mail： yangj@mail.lzjtu.cn yangj@mail.lzjtu.cn 2 张敏敏（1995-），女，甘肃天水人，硕士研究生，2018年于河南理工大学获得学士学位，主要从事三维模型分割、模式识别等方向的研究。E-mail： 671343948@qq.com张敏敏（1995-），女，甘肃天水人，硕士研究生，2018年于河南理工大学获得学士学位，主要从事三维模型分割、模式识别等方向的研究。E-mail： 671343948@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871135&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871142&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871139&type= 22.01332855 32.00399399 张敏敏 （1995-），女，甘肃天水人，硕士研究生，2018年于河南理工大学获得学士学位，主要从事三维模型分割、模式识别等方向的研究。E-mail： 671343948@qq.com 张敏敏 （1995-），女，甘肃天水人，硕士研究生，2018年于河南理工大学获得学士学位，主要从事三维模型分割、模式识别等方向的研究。E-mail： 671343948@qq.com 671343948@qq.com 兰州交通大学 测绘与地理信息学院，甘肃 兰州 730070 兰州交通大学 测绘与地理信息学院，甘肃 兰州 730070 Faculty of Geomatics， Lanzhou Jiaotong University， Lanzhou 730070， China Faculty of Geomatics， Lanzhou Jiaotong University， Lanzhou 730070， China 兰州交通大学 自动化与电气工程学院，甘肃 兰州 730070 兰州交通大学 自动化与电气工程学院，甘肃 兰州 730070 School of Automation and Electrical Engineering， Lanzhou Jiaotong University， Lanzhou 730070， China School of Automation and Electrical Engineering， Lanzhou Jiaotong University， Lanzhou 730070， China 为准确捕捉三维点云模型的上下文信息，提高分割准确率，提出一种利用模型相似性进行三维模型簇协同分割的方法。首先，对点云模型进行最远点采样得到质心点，并采用球内随机选取的方式确定邻域点以构建球形邻域；然后，使用特征聚合算子编码三维点云之间的几何拓扑关系，提取各邻域间的相关联特征，并利用各球形邻域的质心坐标构建空间相似性矩阵，由空间相似性矩阵对编码器网络所提取的模型局部特征进行加权求和，完成对三维模型的协同分析；最后，搭建分层特征提取网络对经过加权处理的关联特征进行解码操作，完成模型簇协同分割任务。实验结果表明，本文算法在ShapeNet Part数据集上的协同分割准确率达到了86.0%。与kNN算法相比，以球内随机选取法为邻域点采样策略，可使网络的分割准确率提升0.8%；相比于使用共享的多层感知机进行特征提取，使用特征聚合算子进行卷积运算可使网络的分割准确率提高12.9%；与当前主流的模型分割算法相比，本文算法的分割准确率得到了进一步的提升。 To accurately capture the context information of three-dimensional (3D) point cloud shapes and improve the accuracy of segmentation, we propose a method for the co-segmentation of 3D shape clusters using shape similarity. First, a Farthest Point Sampling is performed on the point cloud shape to obtain the centroid point, and a random pick method is used to determine the neighborhood points to construct a spherical neighborhood. Then, the feature aggregation operator is used to encode geometric topological relationships of 3D point cloud. The associated features among the neighborhood is extracted, and a spatial similarity matrix is constructed using the centroid coordinates of each spherical neighborhood. The spatial similarity matrix sums the weighted local features of the shape extracted by the encoder network to complete the collaborative analysis of the 3D shape. Finally, a hierarchical feature extraction network is built to decode the weighted associated features and complete the shape cluster co-segmentation task. Experimental results show that the co-segmentation accuracy of our algorithm on the ShapeNet Part dataset reaches 86.0%. Compared to the k-nearest neighbor algorithm, using the random selection method within a sphere as the neighborhood point sampling strategy can increase the segmentation accuracy of the network by 1.5%. Compared to the use of shared multilayer perceptrons for feature extraction, the use of feature aggregation operators for convolution operations can increase the segmentation accuracy of the network by 5.6%. Moreover, compared to the current mainstream shape segmentation algorithms, the segmentation accuracy of the proposed algorithm is superior. 协同分割 特征聚合算子 空间相似性矩阵 模型簇 分层编-解码器 co-segmentation feature aggregation operator spatial similarity matrix shape clusters layered codec 1 引　言 1 随着计算机技术的飞速发展 ， 计算机图形处理能力已经得到极大提升，但在处理复杂的三维模型时仍较为困难。针对该问题，学者们提出了三维模型分割算法，旨在将给定的三维对象分割为有意义的部件，并为每个部件提供标签，可通过分析三维模型的局部信息来降低模型复杂度。它作为参数化、几何变形和纹理映射等数字几何处理工作的热点研究问题之一，具有广阔的应用前景 ［ 1 1 ］ 。 近年来，点云作为三维数据的原始表示受到了极大的关注，并被广泛应用于机器人 ［ 2 2 ］ 、自动驾驶 ［ 3 3 ］ 、机载激光雷达 ［ 4 4 ］ 等研究中。然而，非结构化的三维点云模型分割的实现通常需要对点云进行高层次的理解，所以准确捕捉模型的高级语义信息从而实现高效的三维点云模型分割仍然是研究领域面临的巨大挑战。深度神经网络的发展为点云的高效分析和处理提供了新的方法和手段。为将神经网络直接应用于三维点云，文献［ 5 5 ］提出了PointNet，首先使用多层感知机（Multilayer Perceptron， MLP）和最大池化（Max Pooling）分别处理点云模型特征，然后通过融合局部及全局特征实现了三维模型的分割及分类。该方法虽然最大程度地保留了原始点云的空间特征，却忽略了模型的局部区域特征。为此，继PointNet之后，相关研究学者提出了以分层方式学习模型深层特征的网络架构，如So-net ［ 6 6 ］ ，PointCNN ［ 7 7 ］ 和SPH3D-GCN ［ 8 8 ］ ，虽然此类方法取得了阶段性的研究成果，但在分割过程中无法有效捕捉三维点之间的语义关系和上下文信息，使得分割效果欠佳。 此外，由于用于三维点云模型分割的点云数据具有无序性、稀疏性等特点，进行三维模型分割时不仅要考虑其置换不变性，还要考虑像旋转和平移这样的几何变换导致的分割性能下降问题。且现阶段获取的点云数据难免会受到噪声 ［ 9 9 ］ 、异常值、点密度分布变化、错位和数据丢失等问题的影响，所以研究一种具有较强鲁棒性的分割网络对三维模型分割性能的提升至关重要。文献［ 10 10 ］提出了用于点云处理的端到端网络PointASNL，其主要构件为一个自适应采样（Adaptive Sampling， AS）模块和一个邻域-非邻域（Local-Nonlocal， L-NL）模块，二者组合使用可高效处理带有噪声及异常值的点云数据，在分类及分割任务上均表现出了优异的性能。文献［ 11 11 ］首次研究了点云处理算法的旋转不变性，其通过在球体上定义多值球面函数和等变卷积神经网络来处理三维数据，使得被处理过的数据可以实现更好的不变性。然而，与规则网格上的空间卷积相比，该方法的分割性能较差。文献［ 12 12 ］基于同心壳结构提出了置换不变卷积ShellConv，该方法主要通过有效解决卷积排序问题并增大感受野来提高分类及分割准确率，但其对模型边界的分割效果不理想。 三维模型簇协同分割主要通过协同分析一组三维模型并提取其相关联信息来实现分割任务，其中协同分析算法是有效获取模型间相关联信息从而实现模型簇准确分割的关键所在。传统的模型簇协同分割方法往往是从表示三维模型低级特征的特征描述符中学习高级特征进行聚类分析，或者通过计算模型间对应关系同步模型信息来完成分割，然而前者严重依赖所设计的特征描述符，适用场景有限，后者则会耗费较多的计算成本。随着近年来人们对点云模型深入研究后发现，对具有相似性和相关几何信息的点进行分组建模，从而对其空间分布进行编码和协同分析，可有效地学习具有整体上下文的点描述符并获取模型间的相关联信息，进而实现三维模型簇的协同分割。 受上述研究的启发，本文提出了利用模型相似性从点云的几何拓扑约束中学习模型语义信息的模型簇协同分割网络，主要创新点和贡献有：（1）将局部点子集建模为球形邻域，通过利用特征聚合算子构建模型分割网络对每个球形邻域进行编码来推断潜在特征，提高分割网络对模型变换的鲁棒性。（2）基于空间相似性分析局部区域间的空间关系。在相似性度量空间中对点的空间分布进行编码，并通过联合优化潜在空间的分布来提高网络对模型上下文信息的感知能力，从而实现三维模型簇的协同分割。 2 相关研究工作 1 已有的点云分割工作主要分为模型驱动分割和数据驱动分割两类 ［ 13 13 ］ 。模型驱动方法又可分为基于边缘 ［ 14 14 ］ 的方法、基于区域增长 ［ 15 15 ］ 的方法及基于模型拟合 ［ 16 16 ］ 的方法等，此类方法主要利用模型的先验几何知识来完成分割，因此受先验知识的影响较大，且对噪声较敏感。数据驱动方法主要从带有大量有价值信息的数据中学习模型语义信息来实现分割，例如基于深度学习的方法 ［ 17 17 - 25 25 17-25 ］ 。 近年来，随着深度学习技术的进一步发展与应用，许多深度学习网络已被用于不同表示形式的三维模型分割，如体素、点云、多视图和网格模型等，其主要思想是用数据驱动的方法学习模型特征取代传统方法中人工设计的特征来完成分割。点云作为一种重要的三维几何数据类型，其不规则的数据结构给三维模型分割方法的研究带来了一定的挑战，因而许多研究人员将点云数据转换为规则的三维体素网格形式再进行分割，但是转换数据结构无疑会加大计算量。文献［ 17 17 ］借鉴二维图像语义分割的经验，首先通过空间占用网格表示方法对点云体素化，然后利用三维卷积神经网络学习模型的体素级语义信息，从而实现有效的点云分割，但是该方法体素化效率较低，缺少细节信息。此外，由于同一体素中的所有点都指定了相同的语义标签，因此分割精度受到了限制。Guerry J等人 ［ 18 18 ］ 通过直接处理多视图中的RGB-D快照对SnapNet网络进行了改进，实现了密集的三维点标记，但是多视图中二维快照破坏了三维数据中的固有关系，且网络无法准确地分割模型边界。 PointNet是首个直接分析三维点云模型的深度网络架构，一经提出便受到了相关研究者的广泛关注。在此基础上，文献［ 19 19 ］提出了分层学习模型特征的网络PointNet++，该网络递归地将PointNet应用于输入点集的嵌套分区，并通过使用度量空间距离，使网络能够随着上下文信息的增加学习局部特征，有效改善了PointNet无法准确捕获模型局部特征的问题。然而，此方法与ShapeContextNet ［ 20 20 ］ 方法类似，在特征提取过程中均未有效利用点与点之间的距离、方向性等重要信息，导致模型整体的分割效果欠佳。为此，文献［ 21 21 ］提出了用于三维点云分割及识别的深度级联卷积神经网络。该网络通过构建一个动态卷积神经网络作为其子网络来捕捉点云的语义特征，并针对点集特征学习中的点云采样不均匀问题，提出利用循环神经网络编码每个采样点的多尺度邻域特征捕捉上下文细粒度几何特征，在三维语义分割和目标识别中均取得了较好的结果，但其不能很好地区分主要特征和次要特征。 为了更好地捕获局部几何特征，文献［ 22 22 ］提出了核心点卷积（Kernel Point Convolution， KPConv）方法用于点云模型分类及分割。该方法首先使用卷积权值对核心点附近的输入点进行卷积运算，并将KPConv扩展为可变形卷积进行学习使核点适应局部几何特征，进一步提高了分割准确率。文献［ 23 23 ］提出了三维图卷积网络（Graph Convolution Networks， 3D-GCN），该网络通过使用可学习的三维图卷积核和图最大池化操作，可获取跨尺度的几何特征。文献［ 24 24 ］提出了一种Edge-Conv操作，以加权和的方式动态地从目标点的邻域中汇集点特征。文献［ 25 25 ］通过矢量分解对局部邻域中的点云关系进行建模，在整个特征提取层次结构中保留欧式空间中的几何结构。文献［ 26 26 ］提出了用于点云处理的分层组卷积神经网络，该网络设计了两个分层的并行组卷积捕捉点云的全局单点特征和局部几何特征，并组合使用全局平均池化和全连接层代替了连续的全连接层，在降低算法复杂度的同时提高了模型的分割及识别准确率。文献［ 27 27 ］通过使用注意力编码的多头注意力卷积层（Multi-head Attentional Convolution Layer，MACL）提取模型特征，提高了网络对任意方向旋转的点云模型的处理能力。文献［ 28 28 ］使用稀疏的双边卷积层构建了一个点云模型分割网络SPLATNet，该网络可通过联合处理二维图像和三维点云来提高分割精度。尽管这些方法在获取局部特征方面取得了较好的进展，但所学习的局部特征只描述目标点与其邻域之间的关系，而未考虑邻域中所有点之间的相互作用。 相比于单个模型分割，模型协同分割方法可以同时分析一簇模型来提取模型间相关联信息，而不是单独分析每个模型，分割准确率更高，受到了研究者的广泛关注。文献［ 29 29 ］将协同分割问题表述为多个特征空间中的子空间聚类问题。首先对模型进行过分割，然后直接对模型的原始面片进行分组来完成一致性分割，此过程还可获得各原始面片之间的对应关系，但此方法可能会将几何相似性高的不同部件识别为同一个部件，也有可能无法识别几何相似性低的对应部件，故难以应用于复杂场景中。文献［ 30 30 ］利用三维模型上的有价值信息为每个模型生成了一个函数字典，然后通过对所生成的函数字典进行联合分析，可准确分割同质三维模型簇，但其对异质三维模型簇的分割效果欠佳。文献［ 31 31 ］提出了基于样本聚类的相似性传播方法。该方法可自动选择最具代表性的样本，并通过将所选样本与过分割面片之间的相似性最大化，可获得准确的一致性分割结果，但结果主要取决于建立准确的稀疏对应关系。 综上所述，体素化方法依赖于体素划分精度且计算量较大；多视图方法可能会丢失三维点云的结构信息并导致遮挡，从而加大三维模型分割的难度；直接将点云数据作为输入进行模型分割的方法虽然表现出了较优异的性能，但由于点云数据的不规则性及扫描噪声等问题，三维模型分割性能的提升还面临着巨大的挑战，而且大多单体分割方法并没有将同质模型间的潜在联系这一有用信息充分利用起来。因此，为提高点云模型分割的准确率及分割网络的鲁棒性，探究如何充分利用模型间潜在联系捕捉足够的上下文语义信息进行三维模型簇协同分割就显得尤为重要。 3 点云局部特征学习 1 基于深度学习网络的三维点云模型分割的本质是通过学习三维点之间的局部邻域关系并对其进行推理分析来完成分割操作。因此，准确高效的邻域特征学习对于后续的分割极其重要。然而，它在很大程度上依赖于对不规则点子集的形状感知和归纳学习，这仍然是一个相当棘手的问题。 3.1　三维点采样及球形邻域建模 2 现有的点采样方法大致可分为启发式方法和基于学习的方法两种，然而目前为止还没有适用于大规模点云的标准采样策略 ［ 32 32 ］ ，所以相关研究人员都是根据实际所需选择合适的采样策略进行采样。三维点云模型常用的采样方法为最远点采样法（Farthest Point Sampling， FPS）和随机采样法（Random Sampling， RS），此二者均属于启发式方法。 为了使得到的采样点更均匀地覆盖整个模型，本文采用FPS算法从输入点集中选择质心点，并进行球形邻域的建模。具体来说，对一组给定的三维点 P =｛ x i |i= 1，2，…， n ｝，首先以采样点 x i 为球心，然后以其周围的点 x j ϵ N （ x i ）为邻域点将局部点子集 P s <math id="M1"><mo>⊂</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871151&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871147&type= 3.64066648 2.79399991 R 3 建模为一个半径为 r 的球形邻域， 图1 图1 为所构建的球形邻域示意图，圆圈表示两种采样方法的合成。邻域点的选择对于高效学习模型局部特征至关重要，球查询（Ball Query）算法和 k 近邻（ k -Nearest Neighbors， kNN）算法作为邻域点搜索策略的两种常用方法，前者以查询点为中心，查找指定半径范围内的所有点；后者则查找与查询点欧氏距离最小的 k 个点。考虑到球查询算法将指定半径范围内的所有点作为邻域点会造成信息冗余进而加大计算量，而kNN查询算法在不均匀的点集中，泛化能力差等问题，本文受随机采样及球查询思想的启发，提出使用球内随机选取（Randomly Pick in Sphere， Random-PiS）的方式确定邻域点，以完成球形邻域的建模，该方法与随机采样法的不同在于其限定了每次随机选取采样点的区域，通过在所构建的球形邻域内随机选取采样点完成采样，其使用有助于网络捕捉到更丰富的局部特征，从而提高三维点云模型的分割准确率。 3.2　局部邻域特征学习 2 高效的邻域特征提取是完成三维点云模型分割任务的关键步骤之一，而经典卷积神经网络（Convolutional Neural Network， CNN）不具备置换不变性，且其所学习的权值 w j 的梯度在反向传播中仅与孤立的三维点 x j 相关，难以捕捉同质模型间潜在信息并进行归纳推理，对网络分割性能的提升有一定的局限性。为有效学习各个球形邻域的特征表示 f P s ，本文提出了一种从三维点云的几何拓扑关系中学习局部邻域特征的方法，该方法通过引入一个特征聚合（Feature Aggregation， FA）算子分别对每个局部邻域进行卷积运算来推断模型的潜在特征，从而有序地编码潜在的形状信息（即编码点的几何关系），以提高分割网络对模型变换的鲁棒性。 在三维空间的邻域中， x i 及其邻域点 N （ x i ）之间的几何关系是关于点的空间布局的显式表达，高效的三维点云几何拓扑关系编码与特征学习对模型分割准确率的提升至关重要。为了准确捕捉三维模型点云之间的几何拓扑关系，首先设计一个映射函数 M ，该函数从中心点 x i 和邻域点 x j 之间预定义的几何先验关系向量 h ij 中学习高级关系表达式，进而得到共享的卷积权重 w ij ，其表达式为 式（1） 式（1） 。由于 M 可以将 h ij 映射到与邻域点特征 f xj 进行通道对齐的高维关系向量，所以几何先验关系向量 h ij 的定义比较灵活。为了提高网络对三维模型刚性变换的鲁棒性，本文除了使用最基本的可表征模型间关系的三维点坐标信息，还引入了三维欧式距离（Euclidean distance， E d ）作为对 h ij 的直观描述，其表达式为 式（2） 式（2） 。 <math display="block" id="M2"><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>=</mo><mi>M</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871172&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871169&type= 19.72733307 4.48733330 ， <math display="block" id="M3"><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>=</mo><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>d</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871180&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871176&type= 36.83000183 4.48733330 ， 其中： E d 表示三维欧几里得距离， x i -x j 表示球形邻域质心点和邻域点坐标之间的差值。 为实现三维点云的置换不变性，本文所采用的映射函数 M 是多个共享权值的MLP，且所用的聚合函数 A 也是具有对称性的Max Pooling函数。各球形邻域的特征表示 f P s 是首先通过使用共享权重 w ij 对 N （ x i ）中所有的点特征执行变换操作，然后用函数 A 和非线性激活函数 σ 对其进行聚合得到的。 <math display="block" id="M4"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><msub><mrow/><mrow><mi mathvariant="normal">s</mi></mrow></msub></mrow></msub></mrow></msub><mo>=</mo><mi mathvariant="normal">σ</mi><mo stretchy="false">(</mo><mi mathvariant="normal">Α</mi><mo stretchy="false">(</mo><mo stretchy="false">{</mo><msub><mrow><mi mathvariant="normal">w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></msub><mo>,</mo><mo>∀</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">}</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo><</mo><mi>r</mi><mo>,</mo></mtd></mtr><mtr><mtd><mo>∀</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>∈</mo><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871187&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871183&type= 53.59400177 11.09133339 ， 其中： d ij 为 x i 和 x j 之间的欧氏距离， r 为球面半径。 上述运算可将 x i 和 N （ x i ）之间的几何拓扑关系汇总在一起，再加入共享MLP进行通道提升操作可进一步加强网络对模型的表示能力，故将其称之为FA算子。 图2 图2 为FA算子对局部邻域进行卷积运算的示意图，其首先使用共享的MLP对输入的球形邻域进行卷积运算得到与点云特征具有相同通道数的共享卷积权重 w ij ，然后由 w ij 对 N （ x i ）中所有点的特征进行变换操作，并使用函数 A 聚合三维点云特征得到各球形邻域的特征表示，最后使用共享MLP进行通道提升以实现相关点空间布局的显式推理，并提高网络对模型的感知能力。 4 三维点云模型簇协同分割网络 1 基于深度学习的三维点云模型簇协同分割的首要任务是捕捉模型间的共同特征，并对其进行分析，以构建可准确计算各模型部件之间几何相关性的三维模型簇协同分割网络。因此，本文提出利用模型相似性进行三维模型簇协同分割的方法。 4.1　网络架构 2 为实现三维模型簇的协同分割，本文构建了一个分层协同分割网络，主要由编码器网络和解码器网络级联组成。编码阶段包括三维点云几何拓扑关系的捕捉和模型空间相似性计算两部分。对于从一组三维模型中采样得到的三维点所构建的球形邻域，第一部分通过高效编码三维点云的几何拓扑关系学习相应的共享权重，进而对模型的邻域点特征进行变换操作，并通过对点的空间布局进行显式推理可得到各个模型的高维关系向量。第二部分通过对基于距离矩阵的球形邻域关系进行编码，来构建相似性度量矩阵进一步增强各邻域特征之间的联系，从而完成各同质模型间的协同分析。解码阶段主要通过对编码得到的特征向量进行上采样操作，以获取分割结果。 网络结构如 图3 图3 所示，为一个三层的编解码网络。首先使用FA算子对一簇三维点云模型进行卷积运算，得到高维关系向量；然后将距离矩阵转换为空间相似性矩阵，并使用空间相似矩阵的分量对FA算子卷积得到的高维关系向量并进行加权求和，来增强各球形邻域之间的相关性，进而增强各模型间的潜在联系；最后对加权后的特征向量进行解码操作，获得逐点预测结果。图中虚线框中的内容是对分割网络中部分重要操作的注解，红色方块指的是上采样操作和FA算子的卷积运算过程，带箭头的虚折线表示跳跃连接。 式（4） 式（4） 为FA算子在网络的 l -1层和 l 层进行卷积运算的表达式。 <math display="block" id="M5"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></msub></mrow><mrow><mi>l</mi></mrow></msubsup><mo>=</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">A</mi><mo>-</mo><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871208&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871204&type= 34.88266373 4.99533367 ， 其中： <math id="M6"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871246&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871241&type= 8.38199997 4.99533367 为采样点数为 N l -1 的采样点集 <math id="M7"><msub><mrow><mi>P</mi></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871222&type= 7.28133297 4.06400013 的第 l -1层特征， <math id="M8"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></msub></mrow><mrow><mi>l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871237&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871234&type= 5.75733376 4.99533367 表示使用FA算子对 <math id="M9"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871246&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871241&type= 8.38199997 4.99533367 进行卷积运算得到的 l 层特征向量，FA-Conv表示使用FA算子进行卷积运算。 4.2　构建相似性度量矩阵 2 为了获取三维点云模型的全局特征，现有方法多采用池化层来聚合局部区域特征。然而，在此过程中易造成邻域间上下文信息的丢失，特别是局部区域之间的空间分布信息。本文为捕捉局部邻域间的空间上下文关系，实现三维模型协同分析，提出了一种利用各球形邻域的球心坐标来计算模型空间相似性的策略，该策略可显式地编码各邻域之间的空间分布信息，进一步提高分割准确率。对于一组给定的球心点｛ x i ， i =1，2，…， M ｝，首先利用各个点的坐标计算距离矩阵 D ；然后将距离矩阵转换到相似性空间，由此可获得空间相似性矩阵 S 。距离矩阵 D 和相似性矩阵 S 的计算表达式为 式（5） 式（5） 和 式（6） 式（6） ，其中 λ 是空间相似性调节参数。 <math display="block" id="M10"><mi mathvariant="bold-italic">D</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd><mtd><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd><mtd><mo>⋯</mo></mtd><mtd><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>M</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd><mtd><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd><mtd><mo>⋯</mo></mtd><mtd><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>M</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd><mtd><mo>⋮</mo></mtd><mtd><mo>⋱</mo></mtd><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>M</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd><mtd><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>M</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd><mtd><mo>⋯</mo></mtd><mtd><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>M</mi></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>M</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871267&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871263&type= 74.84533691 21.25133324 ， <math display="block" id="M11"><mi mathvariant="bold-italic">S</mi><mo>=</mo><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><mo>-</mo><mi>λ</mi><mi mathvariant="bold-italic">D</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871270&type= 13.20800018 3.04800010 . 为了准确度量一组同质三维模型之间的空间相似性，进一步增强同质三维模型之间的联系，并减弱异质模型之间的关联性，本文采用贪婪加权策略对FA算子进行卷积运算学习到的局部邻域特征进行加权求和，通过 式（7） 式（7） 和 式（8） 式（8） 增强各球形邻域之间的相关性来促进全局特征的学习，进而提高三维模型簇一致性分割的准确率。 <math display="block" id="M12"><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>c</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>M</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>c</mi></mrow></msub></mrow><mo>⋅</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871282&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871278&type= 22.60600090 8.46666718 ， <math display="block" id="M13"><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">'</mi><mi mathvariant="normal">'</mi></mrow></msubsup><mo>=</mo><mfrac><mrow><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></mrow><mrow><msubsup><mo>∑</mo><mrow><mi>c</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>M</mi></mrow></msubsup><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>c</mi></mrow></msub></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871290&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871286&type= 23.53733444 9.48266602 ， 其中： f ’ i 为 f i 的增强特征向量， c 是高维特征向量组 f 的列的索引， i 表示球形邻域序数。 式（8） 式（8） 通过对增强特征进行正则化操作，可获得最终的局部邻域特征 <math id="M14"><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">'</mi><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871299&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871294&type= 2.96333337 4.82600021 ，进而由MLP进行特征提取，即可得到全局特征。 4.3　预测三维点语义标签 2 点云模型分割的目标是通过预测点云中每个点的语义标签来实现分割。对于已经获得的全局特征，现有的逐个获取原始点特征的常见解决方案有两种，一种通过 N 次复制全局特征获取对应的原始点特征，另一种引入插值层进行上采样操作获取。受文献［ 17 17 ］启发，本文分割网络基于距离的插值和跳跃连接进行解码操作将全局特征传播到原始的点云集合，具体来说，从上一层的点中为当前插值层的每个点搜索 k 个最近点，进而通过对两层之间的点位置关系进行插值学习得到当前层的点特征 ψ （ p ）。 <math display="block" id="M15"><mi mathvariant="bold-italic">ψ</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mrow><mi>w</mi><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mi mathvariant="bold-italic">ψ</mi><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mrow><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mrow><mi>w</mi><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871308&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871303&type= 41.90999985 10.58333302 ， 其中： ω （ p i ）=1/（ p-p i ） 2 是两点间欧几里得距离的平方倒数， ψ （ p i ）为当前层中 p 的 k 个近邻点｛ p i ， i = 1，2，…， k ｝的点特征。 5 实验结果及分析 1 本实验硬件环境为Intel Core i9-9900k+NVIDIA RTX2080Ti 64GB内存+11GB显存，软件环境为Linux Ubuntu 16.04+CUDA10.0+cudnn7.6+Python3.6 + Pytorch深度学习框架。 5.1　实验数据集及参数设置 2 为与其他算法进行比较，在数据集ShapeNetPart上进行训练和评估。该数据集包含来自16个类别的16 880个模型，其中包括14 006个训练模型和2 874个测试模型，多数模型有2到6个注释部件，16个类别共计有50个不同的部件，每个部件的点标签均已被注释。 本文采用自适应矩估计优化器（Adaptive Moment Estimation， ADAM）优化网络模型，训练批尺寸设置为16，批归一化层（Batch Normalization， BN）的动量设置为0.9，每20个epoch以0.5的速率衰减，可使网络较快地收敛；初始学习率设置为0.001，每20个epoch衰减0.7，可快速地获得最优解。 5.2　性能评价 2 针对不同的分割任务选择相对应的评价指标是至关重要的。通常情况下，以COSEG和PSB为目标数据集的三维模型分割方法一般选用兰德指数（Rand Index）、汉明距离（Hamming Distance）、分割差异（Cut Discrepancy）和一致性误差（Consistency Error）等作为其评价指标，而对应PartNet、S3DIS、KITTI和ShapeNet Part等数据集的评估指标通常是平均交并比（mean Intersection over Union， mIoU）、平均准确率（mAcc）、整体准确度（OA）等。本文选用IoU、mIoU及pIoU作为分割结果的主要评价指标，IoU是训练模型对某一类别的预测分割和真实分割的交集与并集之比，其值越大，表示测试值和预测值越接近，即对应类别的模型分割效果越理想，表达式见 式（10） 式（10） 。 式（11） 式（11） 为mIoU的表达式，它表示数据集中多类模型IoU的平均值，其值越大表示分割效果越好。 <math display="block" id="M16"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871314&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871310&type= 37.16867065 7.70466709 ， <math display="block" id="M17"><mi mathvariant="normal">m</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>z</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>z</mi></mrow></munderover></mstyle><mrow><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>F</mi><mi>N</mi><mo>+</mo><mi>F</mi><mi>P</mi><mo>+</mo><mi>T</mi><mi>P</mi></mrow></mfrac></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871322&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871318&type= 54.86399841 8.46666718 ， 其中： z 为类别数， TP ：预测正确，表示预测结果是正类，真实是正类的样本数； FP ：预测错误，表示预测结果是正类，真实是负类的样本数； FN ：预测错误，表示预测结果是负类，真实是正类的样本数。 另外，由于ShapeNet Part数据集中各类模型的数量不均衡，为进一步提高对模型分割准确率的判别，还引入了部件平均交并比（part averaged IoU， pIoU）来评判本文的分割效果，其主要根据每类模型出现的频率设置权重，表达式为 式（12） 式（12） 。其值越大表示分割效果越好。 <math display="block" id="M18"><mi mathvariant="normal">p</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow><mrow><mi>T</mi><mi>N</mi><mo>+</mo><mi>F</mi><mi>N</mi><mo>+</mo><mi>F</mi><mi>P</mi><mo>+</mo><mi>T</mi><mi>P</mi></mrow></mfrac><mo>×</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871331&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871326&type= 80.60266876 7.70466709 ， 其中， TN ：预测正确，表示预测结果是负类，真实是负类的样本数。 5.3　实验结果分析 2 本文利用模型相似性在ShapeNet Part数据集上的模型簇协同分割的可视化结果如 图4 图4 所示。 从图中六类模型的分割结果可以看出，不论是简单模型还是复杂模型，本算法均能得到协同一致的分割部件，如飞机模型被分割为机翼、机身、尾翼和动力装置等部件。 表1 表1 给出了在点云模型数据集ShapeNet Part上，本文算法与其他几种基于深度学习的经典点云分割算法的分割准确率对比结果。可以看出，本文通过有效捕捉三维点云的几何拓扑关系实现点云置换不变性的策略，相比于文献［ 5 5 ］使用STN对原始点云进行规范化处理的方法，本算法的mIoU提高了2.9%，pIoU提高了2.4%，这主要是因为STN会引入不必要的剪切和缩放，使得分割准确率有所下降。相比于文献［ 10 10 ］使用AS模块和L-NL模块提取模型特征进行分割的方法，本算法的mIoU与其持平，而pIoU降低了0.1%，这主要是因为文献［ 10 10 ］的AS模块可自适应地选择采样点，而本算法在此方面略显不足，且其输入点为本算法的一倍。相比于文献［ 19 19 ］使用Max Pooling聚合三维模型信息并进行逐点分类预测的方法，本算法通过结合模型相似性来实现模型的一致性分割，使mIoU和pIoU分别提高了1.4%和0.9%，这是因为文献［ 17 17 ］无法准确捕捉模型间的上下文语义信息，所以限制了模型分割准确率的提升。文献［ 27 27 ］将注意力机制引入卷积网络中对输入模型进行编码，但由于其网络架构主要针对旋转模型进行设计，鲁棒性较强，但其对点云模型整体结构的感知较差，故本算法的mIoU和pIoU与其相比分别提升了11.8%和10.8%。文献［ 28 28 ］利用稀疏的双边卷积层来学习模型的空间感知特征进行三维模型分割，本算法与之相比pIoU提升了0.6%，但由于其附加了二维信息，提高了其在背包（Bag）、车（Car）、吉他（Guitar）和杯子（Mug）等模型上的分割准确率，而本算法为在训练速度和训练精度之间取得平衡，牺牲了在部分模型上的分割精度，使得本算法的mIoU降低了0.4%。 Algorithms mIoU/% pIoU/% PointNet ［ 5 5 ］ 80.4 83.6 PointASNL ［ 10］ 83.3 86.1 PointNet++ ［ 19 19 ］ 81.9 85.1 MACL ［ 27 27 ］ 71.8 75.2 SPLATNet ［ 28 28 ］ 83.7 85.4 Ours 83.3 86.0 表2 表2 为本文算法与其他几种算法在不同模型上的分割准确率对比结果，模型名称下方括号中的数字表示各类模型所对应的三维对象个数。本算法与文献［ 5 5 ］相比，在大多模型上的分割准确率都得到了提升，尤其在耳机（Ear.）、摩托（Motor.）等带有细小部件的模型上的分割准确率的提升尤为明显，IoU值分别提升了5.5%和8.5%，这主要是因为文献［ 5 5 ］对模型局部特征的学习具有一定的局限性。文献［ 10 10 ］使用自适应采样的策略和文献［ 19 19 ］加入密度自适应层进行分层特征提取的方法，对采样点密度变化较明显的模型分割鲁棒性较强，而在密度分布较均匀的模型上分割效果一般，如二者在帽子模型上的分割IoU值分别较本算法高2.2%和2.0%，而在耳机模型上的分割准确率分别低于本算法4.8%和6.7%。文献［ 27 27 ］中全局特征的获取依赖于关键点描述符，虽提高了鲁棒性能，但一定程度上限制了其分割精度的提升。文献［ 28 28 ］通过联合处理点云和多视图图像进行模型分割的方法在帽子（Cap）和火箭（Rocket）模型上的分割准确率较本文算法分别高出3.4%和4.0%，而本算法在耳机（Ear.）和台灯（Lamp）模型上的分割准确率分别高于文献［ 28 28 ］3.0%和1.8%，且本算法仅以三维点坐标为输入所得的分割结果仍然可与其相媲美，进一步证明了本文协同分析策略对三维模型分割的有效性。 Method Air. （2 690） Bag （76） Cap （55） Car （898） Chair （3 758） Ear. （69） Guitar （787） Knife （392） PointNet ［ 5 5 ］ 83.4 78.7 82.5 74.9 89.6 73.0 91.5 85.9 PointASNL ［ 10 10 ］ 84.1 84.7 87.9 79.7 92.2 73.7 91.0 87.2 PointNet++ ［ 19 19 ］ 82.4 79.0 87.7 77.3 90.8 71.8 91.0 85.9 MACL ［ 27 27 ］ 75 74.5 74.0 54.5 81.3 66.5 88.4 84.4 SPLATNet ［ 28 28 ］ 83.2 84.3 89.1 80.3 90.7 75.5 92.1 87.1 Ours 83.2 84.0 85.7 80.3 91.1 78.5 90.3 88.4 Method Lamp （1 547） Lap. （451） Motor. （202） Mug （184） Pistol （283） Rocket （66） Skate. （152） Table （5 271） PointNet ［ 5 5 ］ 80.8 95.3 65.2 93.0 81.2 57.9 72.8 80.6 PointASNL ［ 10 10 ］ 84.2 95.8 74.4 95.2 81.0 63.0 76.3 83.2 PointNet++ ［ 19 19 ］ 83.7 95.3 71.6 94.1 81.3 58.7 76.4 82.6 MACL ［ 27 27 ］ 77.6 78.2 51.3 87.3 66.6 55.0 62.1 71.7 SPLATNet ［ 28 28 ］ 83.9 96.3 75.6 95.8 83.8 64.0 75.5 81.8 Ours 85.7 95.6 73.7 95.4 81.9 60.0 76.1 83.3 为验证本算法的效率，分别对各类分割算法的训练时间及测试时间作了对比分析，对比结果如 表3 表3 所示。可以看出，本算法所用的分割时间高于文献［ 5 5 ］，而低于文献［ 19 19 ］和文献［ 28 28 ］。虽然本算法和文献［ 5 5 ］均以三维点坐标为输入，但由于本文球形邻域的构建及模型的协同分析会额外耗费部分计算成本，使得分割效率略低于文献［ 5 5 ］。文献［ 19 19 ］为解决采样点密度不均匀问题引入了密度自适应层，该方法虽提高了分割准确率但增加了网络训练时间。文献［ 10 10 ］和文献［ 27 27 ］的输入点数均为2048，是本文算法的一倍，除输入点集的差异，文献［ 27 27 ］还需耗费部分的计算成本实现旋转不变性，故其时间复杂度明显高于本文算法。文献［ 28 28 ］使用索引结构仅在网格占用部分上应用卷积来提高效率，但其联合处理数据的操作会加大网络的运算量。 2 2 #points 2 Input 2 Time Training/min Test/ms PointNet ［ 5 5 ］ 1 024 Coordinates 793 22 PointASNL ［ 10 10 ］ 2 048 Coordinates - - PointNet++ ［ 19 19 ］ 1 024 Coordinates+Normals 1 266 47 MACL ［ 27 27 ］ 2 048 Coordinates 976.8 60.7 SPLATNet ［ 28 28 ］ - - 943 60.4 Ours 1 024 Coordinates 859 41.9 为验证本文邻域点采样策略及特征聚合算子对三维模型簇协同分割的有效性，进行了消融实验，对比结果如 表4 表4 所示。可以看出，以kNN为邻域点采样方法，使用共享MLP和FA算子进行特征提取所得的pIoU分别为67.5%和85.2%，前者低于后者17.7%；而以Random-PiS为邻域点采样方法时，所得的pIoU值分别为73.1%和86.0%，后者较前者提高了12.9%。经消融实验结果表明，利用Random-PiS进行邻域点采样、使用FA算子进行卷积运算可以更准确地捕捉三维模型特征，即本文所使用的各个组件可有效提高模型的分割精度。 2 Sampling 2 pIoU/% Shared MLP FA Conv kNN 67.5 85.2 Random-PiS 73.1 86.0 6 结　论 1 为有效提高三维模型的分割准确率，本文提出利用模型相似性进行三维模型簇协同分割。首先，使用不同的采样方法采样质心点及邻域点构建球形邻域；然后，应用特征聚合算子进行卷积运算，通过编码三维点云的几何拓扑关系来推断模型潜在特征；最后，构建空间相似性矩阵对模型潜在特征进行加权求和，完成同质三维模型间的协同分析，进而使用分层结构对得到的联合特征向量进行解码操作，实现三维模型簇的协同分割。本文算法在ShapeNet Parts数据集上的pIoU达到了86%、mIoU达到了83.3%，与其他算法的实验对比结果表明，本文的协同分割方法可有效提取三维模型的局部及全局特征，协同分割的准确率较高。然而，实验发现本算法还存在较大的改进空间，未来可考虑附加一些有价值的输入特征（如模型纹理和多视图图像），进一步提高网络的分割性能。此外，由于目前还没有标准的残缺模型数据集，所以对于残缺三维模型分割方法的研究还有待进一步探索。 参考文献 孙晓鹏 ， 李华 . 三维网格模型的分割及应用技术综述 ［J］. 计算机辅助设计与图形学学报 ， 2005 ， 17 （ 8 ）： 1647 - 1655 . doi: 10.3321/j.issn:1003-9775.2005.08.001 http://dx.doi.org/10.3321/j.issn:1003-9775.2005.08.001 三维网格模型的分割及应用技术综述 SUN X P ， LI H . A survey of 3D mesh model segmentation and application ［J］. Journal of Computer Aided Design & Computer Graphics ， 2005 ， 17 （ 8 ）： 1647 - 1655 . （in Chinese） . doi: 10.3321/j.issn:1003-9775.2005.08.001 http://dx.doi.org/10.3321/j.issn:1003-9775.2005.08.001 A survey of 3D mesh model segmentation and application KIM D I ， SUKHATME G S . Semantic labeling of 3D point clouds with object affordance for robot manipulation ［C］. 2014 IEEE International Conference on Robotics and Automation （ICRA）. 317，2014 ， Hong Kong， China. IEEE ， 2014 ： 5578 - 5584 . doi: 10.1109/icra.2014.6907679 http://dx.doi.org/10.1109/icra.2014.6907679 Semantic labeling of 3D point clouds with object affordance for robot manipulation QI C R ， LIU W ， WU C X ， et al . Frustum PointNets for 3D object detection from RGB-D data ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 918 - 927 . doi: 10.1109/cvpr.2018.00102 http://dx.doi.org/10.1109/cvpr.2018.00102 Frustum PointNets for 3D object detection from RGB-D data 赵传 ， 张保明 ， 余东行 ， 等 . 利用迁移学习的机载激光雷达点云分类 ［J］. 光学 精密工程 ， 2019 ， 27 （ 7 ）： 1601 - 1612 . doi: 10.3788/OPE.20192707.1601 http://dx.doi.org/10.3788/OPE.20192707.1601 利用迁移学习的机载激光雷达点云分类 ZHAO CH ， ZHANG B M ， YU D H ， et al . Airborne LiDAR point cloud classification using transfer learning ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 7 ）： 1601 - 1612 . （in Chinese） . doi: 10.3788/OPE.20192707.1601 http://dx.doi.org/10.3788/OPE.20192707.1601 Airborne LiDAR point cloud classification using transfer learning CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 77 - 85 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16 PointNet： deep learning on point sets for 3D classification and segmentation LI J X ， CHEN B M ， LEE G H . SO-net： self-organizing network for point cloud analysis ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 9397 - 9406 . doi: 10.1109/cvpr.2018.00979 http://dx.doi.org/10.1109/cvpr.2018.00979 SO-net： self-organizing network for point cloud analysis LI Y ， BU R ， SUN M ， et al . PointCNN： convolution on x-transformed points ［C］. Proceedings of the Advances in Neural Information Processing Systems， Montreal， Canada ， 2018 . New York ， USA： NIPS ， 2018： 820 - 830 . doi: 10.1109/mipr.2018.00009 http://dx.doi.org/10.1109/mipr.2018.00009 PointCNN： convolution on x-transformed points LEI H ， AKHTAR N ， MIAN A . Spherical kernel for efficient graph convolution on 3D point clouds ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 10 ）： 3664 - 3680 . doi: 10.1109/tpami.2020.2983410 http://dx.doi.org/10.1109/tpami.2020.2983410 Spherical kernel for efficient graph convolution on 3D point clouds 赵夫群 ， 周明全 . 层次化点云去噪算法 ［J］. 光学 精密工程 ， 2020 ， 28 （ 7 ）： 1618 - 1625 . doi: 10.37188/OPE.20202807.1618 http://dx.doi.org/10.37188/OPE.20202807.1618 层次化点云去噪算法 ZHAO F Q ， ZHOU M Q . Hierarchical point cloud denoising algorithm ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1618 - 1625 . （in Chinese） . doi: 10.37188/OPE.20202807.1618 http://dx.doi.org/10.37188/OPE.20202807.1618 Hierarchical point cloud denoising algorithm YAN X ， ZHENG C D ， LI Z ， et al . PointASNL： robust point clouds processing using nonlocal neural networks with adaptive sampling ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 5588 - 5597 . doi: 10.1109/cvpr42600.2020.00563 http://dx.doi.org/10.1109/cvpr42600.2020.00563 PointASNL： robust point clouds processing using nonlocal neural networks with adaptive sampling ESTEVES C ， ALLEN-BLANCHETTE C ， MAKADIA A ， et al . Learning SO （3） equivariant representations with spherical CNNs ［M］. Computer Vision-ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 54 - 70 . doi: 10.1007/978-3-030-01261-8_4 http://dx.doi.org/10.1007/978-3-030-01261-8_4 Learning SO（3）equivariant representations with spherical CNNs ZHANG Z Y ， HUA B S ， YEUNG S K . ShellNet： efficient point cloud convolutional neural networks using concentric shells statistics ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . 272，2019 ， Seoul， Korea （South） . IEEE ， 2019 ： 1607 - 1616 . doi: 10.1109/iccv.2019.00169 http://dx.doi.org/10.1109/iccv.2019.00169 ShellNet： efficient point cloud convolutional neural networks using concentric shells statistics TE G S ， HU W ， ZHENG A M ， et al . RGCNN： regularized graph CNN for point cloud segmentation ［C］. Proceedings of the 26th ACM international conference on Multimedia. Seoul Republic of Korea. New York， NY， USA ： ACM ， 2018 ： 746 - 754 . doi: 10.1145/3240508.3240621 http://dx.doi.org/10.1145/3240508.3240621 RGCNN： regularized graph CNN for point cloud segmentation 莫堃 ， 尹周平 . 基于3D活动轮廓模型的缺陷点云分割方法 ［J］. 华中科技大学学报（自然科学版） ， 2011 ， 39 （ 1 ）： 82 - 85 . 基于3D活动轮廓模型的缺陷点云分割方法 MO K ， YIN ZH P . Segmentation of defective point clouds using 3D active contour model ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition） ， 2011 ， 39 （ 1 ）： 82 - 85 . （in Chinese） Segmentation of defective point clouds using 3D active contour model RUSU R B ， MARTON Z C ， BLODOW N ， et al . Towards 3D Point cloud based object maps for household environments ［J］. Robotics and Autonomous Systems ， 2008 ， 56 （ 11 ）： 927 - 941 . doi: 10.1016/j.robot.2008.08.005 http://dx.doi.org/10.1016/j.robot.2008.08.005 Towards 3D Point cloud based object maps for household environments TARSHA-KURDI F ， LANDES T ， GRUSSENMEVER P . Hough-transform and extended Ransac algorithms for automatic detection of 3D building roof planes from lidar data ［C］. Proceedings of the ISPRS Workshop on Laser Scanning 2007 and SilviLaser， Espoo， Finland ： ISPRS ， 2007 ： 407 - 412 . doi: 10.5194/isprs-annals-iv-4-w8-107-2019 http://dx.doi.org/10.5194/isprs-annals-iv-4-w8-107-2019 Hough-transform and extended Ransac algorithms for automatic detection of 3D building roof planes from lidar data MATURANA D ， SCHERER S . VoxNet： a 3D Convolutional Neural Network for real-time object recognition ［C］. 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. 282，2015 ， Hamburg， Germany. IEEE ， 2015 ： 922 - 928 . doi: 10.1109/iros.2015.7353481 http://dx.doi.org/10.1109/iros.2015.7353481 VoxNet： a 3D Convolutional Neural Network for real-time object recognition GUERRY J ， BOULCH A ， LE SAUX B ， et al . SnapNet-R： consistent 3D multi-view semantic labeling for robotics ［C］. 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 669 - 678 . doi: 10.1109/iccvw.2017.85 http://dx.doi.org/10.1109/iccvw.2017.85 SnapNet-R： consistent 3D multi-view semantic labeling for robotics QI C R ， YI L ， SU H ， et al . PointNet++： deep hierarchical feature learning on point sets in a metric space ［C］. Proceedings of the Advances in Neural Information Processing Systems， Long Beach， CA， USA ， 2017 . New York ， USA： NIPS ， 2017： 5099 - 5108 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16 PointNet++： deep hierarchical feature learning on point sets in a metric space XIE S N ， LIU S N ， CHEN Z Y ， et al . Attentional ShapeContextNet for point cloud recognition ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 4606 - 4615 . doi: 10.1109/cvpr.2018.00484 http://dx.doi.org/10.1109/cvpr.2018.00484 Attentional ShapeContextNet for point cloud recognition 杨军 ， 党吉圣 . 采用深度级联卷积神经网络的三维点云识别与分割 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1187 - 1199 . 采用深度级联卷积神经网络的三维点云识别与分割 YANG J ， DANG J SH . Recognition and segmentation of three-dimensional point cloud based on deep cascade convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1187 - 1199 . （in Chinese） Recognition and segmentation of three-dimensional point cloud based on deep cascade convolutional neural network THOMAS H ， QI C R ， DESCHAUD J E ， et al . KPConv： flexible and deformable convolution for point clouds ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . 272，2019 ， Seoul， Korea （South） . IEEE ， 2019 ： 6410 - 6419 . doi: 10.1109/iccv.2019.00651 http://dx.doi.org/10.1109/iccv.2019.00651 KPConv： flexible and deformable convolution for point clouds LIN Z H ， HUANG S Y ， WANG Y C F . Convolution in the cloud： learning deformable kernels in 3D graph convolution networks for point cloud analysis ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1797 - 1806 . doi: 10.1109/cvpr42600.2020.00187 http://dx.doi.org/10.1109/cvpr42600.2020.00187 Convolution in the cloud： learning deformable kernels in 3D graph convolution networks for point cloud analysis WANG Y ， SUN Y B ， LIU Z W ， et al . Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 5 ）： 1 - 12 . doi: 10.1145/3326362 http://dx.doi.org/10.1145/3326362 Dynamic graph CNN for learning on point clouds LAN S Y ， YU R C ， YU G ， et al . Modeling local geometric structure of 3D point clouds using geo-CNN ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 998 - 1008 . doi: 10.1109/cvpr.2019.00109 http://dx.doi.org/10.1109/cvpr.2019.00109 Modeling local geometric structure of 3D point clouds using geo-CNN DANG J S ， YANG J . HPGCNN： hierarchical parallel group convolutional neural networks for point clouds processing ［C］. Computer Vision-ACCV 2020 ， 2021 ： 20 - 37 . doi: 10.1007/978-3-030-69525-5_2 http://dx.doi.org/10.1007/978-3-030-69525-5_2 HPGCNN： hierarchical parallel group convolutional neural networks for point clouds processing TAO Z Y ， ZHU Y X ， WEI T ， et al . Multi-head attentional point cloud classification and segmentation using strictly rotation-invariant representations ［J］. IEEE Access ， 2021 ， 9 ： 71133 - 71144 . doi: 10.1109/access.2021.3079295 http://dx.doi.org/10.1109/access.2021.3079295 Multi-head attentional point cloud classification and segmentation using strictly rotation-invariant representations SU H ， JAMPANI V ， SUN D Q ， et al . SPLATNet： sparse lattice networks for point cloud processing ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 2530 - 2539 . doi: 10.1109/cvpr.2018.00268 http://dx.doi.org/10.1109/cvpr.2018.00268 SPLATNet： sparse lattice networks for point cloud processing HU R Z ， FAN L B ， LIU L G . Co-segmentation of 3D shapes via subspace clustering ［J］. Computer Graphics Forum ， 2012 ， 31 （ 5 ）： 1703 - 1713 . doi: 10.1111/j.1467-8659.2012.03175.x http://dx.doi.org/10.1111/j.1467-8659.2012.03175.x Co-segmentation of 3D shapes via subspace clustering SUNG M ， SU H ， YU R ， et al . Deep functional dictionaries： learning consistent semantic structures on 3D models from functions ［EB/OL］. 2018： arXiv ： 1805 . doi: 10.1299/transjsme.18-00212 http://dx.doi.org/10.1299/transjsme.18-00212 Deep functional dictionaries： learning consistent semantic structures on 3D models from functions 09957［ cs . CV］ . https：//arxiv.org/abs/1805.09957 https://arxiv.org/abs/1805.09957 . doi: 10.1299/transjsme.18-00212 http://dx.doi.org/10.1299/transjsme.18-00212 CV］ WANG X G ， ZHOU B ， WANG Z J ， et al . Efficiently consistent affinity propagation for 3D shapes co-segmentation ［J］. The Visual Computer ， 2018 ， 34 （ 6/7/8 ）： 997 - 1008 . doi: 10.1007/s00371-018-1538-2 http://dx.doi.org/10.1007/s00371-018-1538-2 Efficiently consistent affinity propagation for 3D shapes co-segmentation HU Q Y ， YANG B ， XIE L H ， et al . RandLA-net： efficient semantic segmentation of large-scale point clouds ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 11105 - 11114 . doi: 10.1109/cvpr42600.2020.01112 http://dx.doi.org/10.1109/cvpr42600.2020.01112 RandLA-net： efficient semantic segmentation of large-scale point clouds 10.37188/OPE.20212910.2504 TP394.1 A 1004-924X（2021）10-2504-13 杨军,张敏敏.利用模型相似性的三维模型簇协同分割[J].光学精密工程,2021,29(10):2504-2516. 杨军,张敏敏.利用模型相似性的三维模型簇协同分割[J].光学精密工程,2021,29(10):2504-2516. Yang Jun,Zhang Min-min.Co-segmentation of three-dimensional shape clusters by shape similarity[J].Optics and Precision Engineering,2021,29(10):2504-2516. Yang Jun,Zhang Min-min.Co-segmentation of three-dimensional shape clusters by shape similarity[J].Optics and Precision Engineering,2021,29(10):2504-2516. 国家自然科学基金项目（No.61862039）； 甘肃省科技计划资助项目（No.20JR5RA429）；兰州市人才创新创业项目（No.2020-RC-22）；兰州交通大学天佑创新团队（No.TY202002） 2021-04-25 2021-06-09 2021-10-15 2021-11-11 光学精密工程 10 29