您当前的位置：
首页 >
文章列表页 >
局部-整体双向推理的文物无监督表征学习
信息科学 | 更新时间：2022-09-26
|
局部-整体双向推理的文物无监督表征学习
- Unsupervised representation learning for cultural relics based on local-global bidirectional reasoning
- 光学精密工程
- 作者机构：
1.西北大学 文化遗产数字化国家地方联合工程研究中心，陕西 西安 710127
2.西北大学 信息科学与技术学院，陕西 西安 710127
- 作者简介：
[ "刘 杰（1989-），女，河南新乡人，博士研究生，主要从事三维重建和智能信息处理方面的研究。E-mail： jieliu2017@126.com" ]
刘 杰（1989-），女，河南新乡人，博士研究生，主要从事三维重建和智能信息处理方面的研究。E-mail： jieliu2017@126.com
[ "耿国华（1955—），女，山东莱西人，教授，博士生导师，主要从事智能信息处理、数据库与知识库、图像处理方面的研究。E-mail：ghgeng@nwu.edu.cn" ]
耿国华（1955—），女，山东莱西人，教授，博士生导师，主要从事智能信息处理、数据库与知识库、图像处理方面的研究。E-mail：ghgeng@nwu.edu.cn
- 基金信息：国家重点研发计划资助项目(2019YFC1521103);国家自然科学基金项目(61731015);陕西省重点产业链项目(2019ZDLSF07-02;2019ZDLGY10-01);陕西省重点研发项目(2022GY-331);陕西省教育厅专项项目(19JK0842);青海省重点研发与转化计划资助项目(2020-SF-140)
- DOI：10.37188/OPE.20223018.2241 中图分类号： TP391
纸质出版日期：2022-09-25，
收稿日期：2022-03-27，
修回日期：2022-04-27，
扫 描 看 全 文
引用本文
刘杰,耿国华,田煜等.局部-整体双向推理的文物无监督表征学习[J].光学精密工程,2022,30(18):2241-2252.
LIU Jie,GENG Guohua,TIAN Yu,et al.Unsupervised representation learning for cultural relics based on local-global bidirectional reasoning[J].Optics and Precision Engineering,2022,30(18):2241-2252.
刘杰,耿国华,田煜等.局部-整体双向推理的文物无监督表征学习[J].光学精密工程,2022,30(18):2241-2252. DOI： 10.37188/OPE.20223018.2241.
LIU Jie,GENG Guohua,TIAN Yu,et al.Unsupervised representation learning for cultural relics based on local-global bidirectional reasoning[J].Optics and Precision Engineering,2022,30(18):2241-2252. DOI： 10.37188/OPE.20223018.2241.
局部-整体双向推理的文物无监督表征学习
局部-整体双向推理的文物无监督表征学习 Unsupervised representation learning for cultural relics based on local-global bidirectional reasoning 1 2 first-author 刘 杰（1989-），女，河南新乡人，博士研究生，主要从事三维重建和智能信息处理方面的研究。E-mail： jieliu2017@126.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991582&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991584&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991583&type= 22.01333237 32.00399780 刘 杰 （1989-），女，河南新乡人，博士研究生，主要从事三维重建和智能信息处理方面的研究。E-mail： jieliu2017@126.com jieliu2017@126.com 1 2 corresp E-mail： ghgeng@nwu.edu.cn E-mail： ghgeng@nwu.edu.cn 耿国华（1955—），女，山东莱西人，教授，博士生导师，主要从事智能信息处理、数据库与知识库、图像处理方面的研究。E-mail：ghgeng@nwu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991586&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991588&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991587&type= 22.01333618 32.00399780 耿国华 （1955—），女，山东莱西人，教授，博士生导师，主要从事智能信息处理、数据库与知识库、图像处理方面的研究。E-mail： ghgeng@nwu.edu.cn ghgeng@nwu.edu.cn 1 2 1 2 1 2 1 2 西北大学 文化遗产数字化国家地方联合工程研究中心，陕西 西安 710127 西北大学 文化遗产数字化国家地方联合工程研究中心，陕西 西安 710127 National and Local Joint Engineering Research Center for Cultural Heritage Digitization， Northwest University， Xi'an 710127， China National and Local Joint Engineering Research Center for Cultural Heritage Digitization， Northwest University， Xi'an 710127， China 西北大学 信息科学与技术学院，陕西 西安 710127 西北大学 信息科学与技术学院，陕西 西安 710127 College of Information Science and Technology， Northwest University， Xi'an 710127， China College of Information Science and Technology， Northwest University， Xi'an 710127， China 针对现有陶制文物表征学习方法是基于大量带标签数据的有监督学习方法，人工标记费时耗力且不能有效地学习到点云内在结构信息等问题，本文提出一种基于局部-整体双向推理的无监督表征学习方法。首先，提出多尺度壳卷积层级结构编码器提取不同尺度的文物碎片局部特征。其次，利用局部到整体推理模块将提取的局部特征映射得到全局特征，通过度量学习衡量两者之间差异，进行反复学习。然后，利用整体到局部推理模块以确保获取到的全局特征的质量。最后，在不同层次的局部结构和整体形状之间通过双向推理来学习文物点云表征，并将学习到的点云表征应用于分类下游任务。该网络模型在兵马俑数据集和ModelNet40公开数据集上的分类精度分别达到了93.33%和92.02%，分别高于PointNet 4.4%和2.82%。同时缩小了下游分类任务中无监督和有监督学习方法之间的差距。 Existing representation learning methods of cultural relics require numerous labels. Manual labeling is time-consuming and labor-intensive. Furthermore， supervised learning methods cannot effectively learn the internal structure information of point clouds. We propose an unsupervised representation learning network to extract the deep features of ceramic cultural relics. The approach is based on local-global bidirectional reasoning. First， we propose a multi-scale shell convolution-based hierarchical encoder to extract local features at different scales. Second， the local-to-global reasoning module is used to map the extracted local features to the global features. The differences between the two types of features are measured using metric learning for iterative learning. Third， a fold-based decoder is used to obtain better reconstruction effects from the acquired global features in a coarse-to-fine manner. A local-to-global reasoning module supervises only the local representation to be near the global one. We propose using a low-level generation task as a self-supervision signal. The global feature can capture more basic structural information about point clouds， and the bidirectional inference between local structures and global shapes at different levels was used to learn point cloud representations. Finally， the learned representations are applied in the downstream task of point cloud classification. Experiments on the Terracotta Warriors and ModelNet40 datasets show that the proposed model significantly improves in terms of classification accuracy. The classification accuracies were 93.33% and 92.02%， respectively. The algorithm improved by approximately 4.4% and 2.82% compared with the supervised algorithm PointNet. The results demonstrate that our model achieves a comparable performance and narrows the gap between unsupervised and supervised learning approaches in downstream object classification tasks. 无监督表征学习 多尺度 深度学习 点云分类 文物虚拟修复 unsupervised representation learning multi-scale strategy deep learning point cloud classification virtual restoration of cultural relics 1 引 言 1 随着传统博物馆向数字博物馆的转变，文物的展示方式突破了藏品展陈的时空限制，变得丰富多样，同时稀缺文物也可以得到很好地交流与共享。作为考古史上的重大发现之一，由于自然环境和人为因素的影响，兵马俑大多以碎片的形式出土。因此，兵马俑的修复工作亟待解决。传统的人工修复方法不仅费时耗力，同时会对文物造成二次伤害。随着激光扫描仪技术的飞速发展，文物虚拟修复技术成为研究热点。作为文物修复的关键步骤，强大的碎片特征表示可大大提高碎片分类、匹配和拼接等工作的效率，对文物保护起着不可或缺的作用。 文物表征学习方法通常分为传统机器学习方法和基于深度学习的算法。传统方法一般采用专家设计的特征描述算子。Rasheed等 ［ 1 1 ］ 提出了依赖于RGB颜色特征和纹理特征、文物碎片之间以及基于灰度共生矩阵（Gray Level Cooccurrence Matrix，GLCM）从碎片中提取纹理特征的算法。路正杰等 ［ 2 2 ］ 提出了一种点云局部信息与显著性多特征描述子，并结合旋转投影特征，解决文物破损严重时分类效果差的问题。上述算法依赖于专家的先验知识，需花费大量时间，且手工设计提取特征的方法表达能力较弱，使得分类模型的泛化能力不强。近年来，随着深度学习的快速发展，一些学者将深度学习理论应用于自动驾驶 ［ 3 3 - 4 4 3-4 ］ 、遥感 ［ 5 5 ］ 、文化遗产保护 ［ 6 6 - 10 10 6-10 ］ 等领域，其中文物修复包括文物模型简化 ［ 6 6 ］ ，文物碎片分类、分割 ［ 7 7 - 9 9 7-9 ］ 和文物碎片拼接 ［ 10 10 ］ 等。随着激光雷达传感器和深度传感器等三维数据采集设备的普及，点云已成为一种常见的三维模型数据，其结构简单且描述的形状信息丰富。如何将点云数据应用于上述领域，已经成为深度学习计算机视觉领域新的热点。由于点云是无序的且分布稀疏，使得将二维卷积直接应用在点云上是困难的。Charles等 ［ 11 11 ］ 提出的PointNet是利用深度网络直接处理点云的开创性工作，并取得了较好的效果，但该模型没有考虑局部特征。许多后续工作通过设计能够更好地获取点云的局部特征的卷积来扩展这个方向 ［ 12 12 - 17 17 12-17 ］ 。PointNet++ ［12］ 通过将点云划分为小的子集，构建了通过层级结构学习局部区域特征的网络。Yang等 ［ 7 7 ］ 提出一种基于双模态神经网络，能够较好地同时提取兵马俑碎片的空间特征和图像纹理特征。Liu等 ［ 17 17 ］ 提出一种基于多尺度和自注意力机制的深度神经网络，可以较好地提取兵马俑碎片点云的局部特征和全局特征。 上述有监督学习方法虽然取得一定的成绩，但往往需要大量的人工标记数据做训练，人工标注工作费时耗力 ［ 18 18 ］ ，尤其是对于真实场景数据集。因此，无监督特征表示方法的研究具有一定的现实意义。从无标签的数据中学习有用的表征是点云分析中一个具有挑战性的问题。现有方法大多数主要是基于生成或重建任务提供的自我监督信号，包括自我重建 ［ 19 19 - 21 21 19-21 ］ 和局部到整体重建 ［ 22 22 ］ 。Achlioptas等 ［ 19 19 ］ 通过多层感知器（Multi-Layer Perceptrons，MLPs）从特征表示中生成与原模型相似的结构，即Auto-Encoder （AE） 结构。但该AE模型生成的点云模型较稀疏、粗糙。Yang等 ［ 20 20 ］ 提出一个通过深度网格变形的点云自编码器（FoldingNet），以此来得到可以表示高维嵌入点云的特征表示，并以基于折叠的解码器替换原有的全连接解码器。Li等 ［ 21 21 ］ 将已有的生成对抗网络框架（Generative Adversarial Networks，GAN）扩展到处理三维点云数据，提出一个用于点云分层采样和推理网络的深度生成对抗网络（Point Cloud-GAN，PC-GAN）。该网络通过使用层次贝叶斯建模和隐性生成模型的思想来学习生成点云。Liu等 ［ 22 22 ］ 通过局部到整体重建方法L2G Auto-Encoder同时学习点云的局部和全局结构。Hassani等 ［ 23 23 ］ 利用聚类、自动编码和自监督分类这三个无监督任务来学习点云上的点和形状特征并取得较好结果，但网络架构复杂。上述无监督学习方法在提取点云低层次结构信息时是有效的，但通常不能或难以从点云中学习高层次的语义信息。 针对上述问题，本文通过不同抽象层次的局部表征与文物碎片对象的全局表征之间的双向推理，提出一种能够同时学习点云的结构和语义信息的无监督点云表征学习。该局部-整体双向推理模型由两部分组成：（1）局部到整体推理：首先定义预测网络，将局部特征和全局特征映射到一个共享的特征空间内，然后衡量由局部特征得到的全局特征与直接提取的全局特征之间差异，进行反复学习，使其局部特征向全局特征靠拢；（2）整体到局部推理：为保证全局特征的质量，利用自重建任务学习文物碎片对象必要结构信息的全局特征。本文算法在兵马俑数据集和Modelnet40公开数据集上的准确率分别达到93.33%和92.02%。其中在兵马俑数据集上，该算法优于除有监督模型AMS-Net（较AMS-Net准确率低2.35%）之外的所有方法。实验结果表明，本文无监督方法的点云表征在下游分类任务中比部分有监督表征更有鉴别力，同时缩小了无监督和监督学习方法之间的差距。作为将无监督表示学习应用于3D兵马俑数据集的一次新的尝试，该方法减少了文物数据集在收集和注释过程中所花费的大量成本，对文物虚拟修复提供一种可行的方法，具有一定意义。 2 兵马俑数据集制作 1 本实验所使用的兵马俑碎片数据集是由西北大学文化遗产数字化国家地方联合工程研究中心可视化研究所的学生使用Creaform VIU718手持式3D扫描仪采集得到的，共来自3 250块兵马俑碎片，并根据每个碎片所属部位的不同，将其分为手臂（800块）、身体（810块）、头部（810块）和腿（830块）四类。兵马俑碎片数据集示例如 图1 图1 所示。对扫描得到的点云进行去噪声和下采样等一系列预处理操作。首先，使用Geomagic软件获得如 图2 图2 （a）所示的原始稠密点云。其次，为减少网络的过拟合，同时提高网络预测的鲁棒性，需对稠密点云按一定比例进行下采样。使用随机采样方法，将一个碎片点云重新采样为四个不完全重叠的点云，且保证每个点云包含固定的点个数（1 024点），如 图2 图2 （b）所示。 图2 图2 （c）表明上述四个点云集合不完全重合。通过上述一些列操作，最终得到包含11 996块碎片的扩增数据集，将其划分为训练集和测试集两部分。其中，训练集包含10 144块碎片（Arm：2 656， Body：2 720， Head：2 272，Leg：2 496），测试集包含1 852块碎片（testArm：476，testBody：504，testHead：428，testLeg：444）。 3 基于局部 - 整体双向推理无监督表征学习方法 1 利用三维模型的底层语义信息和结构信息融合在对象的整体结构中这一独特属性，使得三维模型可以由单个部分推理整个对象。如 图3 图3 所示，通过给定兔子耳部的点云，可推断出相应整体对象；整个兔子的表示也包含所有必要的细节来推断该兔子的局部结构。受上述启发，本文通过局部-整体之间的双向推理问题来实现点云表征学习。 本文提出的局部-整体双向推理无监督表征学习整体网络框架图如 图4 图4 所示。首先，将点云 P 输入至由两个多尺度壳模块组成的分层结构。编码器通过构建分层结构的点分组，逐步扩大感受野，最终得到第 l 层局部特征 <math id="M1"><msup><mrow><mi>F</mi></mrow><mrow><mi>l</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991603&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991601&type= 3.47133350 3.04800010 和维度为512的全局特征 G 。为保证全局特征 G 能够获得更丰富的点云表示，本文建立由局部到整体推理模块，从而使得全局特征包含更多的结构信息和语义信息。为保证全局表征不偏离原始点云，再次提出从整体到局部的推理模块，利用折叠解码器（Folding-based Decoder）将学习到的全局特征 G 重新解码为3D坐标，使得全局特征 G 能够捕捉到更多的点云结构信息。接下来将详细介绍每个模块的组成部分。 3.1 多尺度壳卷积层级结构特征提取 2 多尺度壳卷积模块如 图5 图5 所示。本节将从多尺度局部区域的构造、单尺度特征提取和多尺度特征融合三部分分别予以介绍。 3 . 1 . 1 多尺度局部区域的构造 3 与PointNet++ ［12］ 和ShellNet ［ 13 13 ］ 类似，该模型的多尺度局部区域构造分别由采样层、搜索层和分组层组成。首先，采样层利用最远点采样算法（Farthest Point Sampling， FPS）从输入点云 P 中选择 M 个点作为局部区域的质心，即 <math id="M2"><msubsup><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow><mrow><mi>M</mi></mrow></msubsup><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow><mrow><mi>m</mi></mrow></msubsup><mtext> </mtext><mo stretchy="false">|</mo><mtext> </mtext><msubsup><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow><mrow><mi>m</mi></mrow></msubsup><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>,</mo><mi>m</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>M</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991618&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991617&type= 56.38800049 4.82600021 。在每个局部区域中，搜索层通过最近邻搜索算法（K-Nearest Neighbors algorithm， KNN）寻找质心点的 <math id="M3"><msub><mrow><mi>k</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mn mathvariant="normal">3</mn></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991622&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991620&type= 20.91266632 3.97933316 个最近邻点，并返回对应的点索引。其中， <math id="M4"><msub><mrow><mi>k</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991627&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991625&type= 2.45533323 3.72533321 为各个局部区域每个尺度包含点云数目，本文使用三个不同大小的尺度，故 i 取值为3。最后分组层将点云集分成多组具有不同尺度大小的局部点集，其大小为 <math id="M5"><mi>M</mi><mo>×</mo><msub><mrow><mi>k</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991630&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991628&type= 17.52599907 3.72533321 。 3 . 1 . 2 单尺度特征提取 3 为便于理解，接下来先介绍单尺度模块结构及特征提取，如 图5 图5 （b）所示。 本文提出一种邻域的划分方法。对于每个采样点，将其邻域划分为一组同心球体，两个同心球体之间的空隙定义为同心球壳。对于任意采样点，壳卷积算子计算局部特征的算法如下： 输入：采样点 <math id="M6"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><mi>P</mi><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>…</mo><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991634&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991631&type= 29.63333130 4.57200003 ，邻点 <math id="M7"><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>,</mo><mo>∀</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>∈</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991638&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991636&type= 17.18733406 4.65666676 ，邻域 <math id="M8"><msub><mrow><mi>B</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991643&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991641&type= 3.72533321 3.72533321 ，以及前一层特征 <math id="M9"><msup><mrow><mi>F</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></mrow></mfenced></mrow></msup><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991646&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991645&type= 13.71599960 5.07999992 （上标 l 表示第 l 层）。 输出：采样点 <math id="M10"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991708&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991706&type= 3.04800010 4.57200003 经过壳卷积的输出特征 <math id="M11"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="bold-italic">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991654&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991652&type= 3.80999994 3.72533321 。 Step1：通过KNN搜索采样点 <math id="M12"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991658&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991656&type= 3.04800010 4.57200003 的邻点 <math id="M13"><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991693&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991691&type= 3.04800010 4.57200003 ，并将邻点特征维度提高到 <math id="M14"><msup><mrow><mi>F</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991665&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991663&type= 11.51466751 5.07999992 。 Step2：若已存在前层特征 <math id="M15"><msup><mrow><mi>F</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></mrow></mfenced></mrow></msup><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991670&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991668&type= 13.71599960 5.07999992 ，则将 <math id="M16"><msup><mrow><mi>F</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></mrow></mfenced></mrow></msup><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991673&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991671&type= 13.71599960 5.07999992 与 <math id="M17"><msup><mrow><mi>F</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991677&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991675&type= 11.51466751 5.07999992 拼接在一起作为该点提取得到的特征 <math id="M18"><msup><mrow><mi>F</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></mrow></mfenced></mrow></msup><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991681&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991679&type= 13.71599960 5.07999992 。 Step3：根据邻点 <math id="M19"><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991685&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991683&type= 3.04800010 4.57200003 到采样点 <math id="M20"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991708&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991706&type= 3.04800010 4.57200003 的距离确定 <math id="M21"><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991693&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991691&type= 3.04800010 4.57200003 属于哪个壳，同一个壳内的点用 <math id="M22"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991697&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991695&type= 2.96333337 2.79399991 表示。 Step4：通过最大池化操作获取每个壳的局部特征。 Step5：按照从内到外的顺序对所有壳的局部特征执行一维卷积，得到输出特征 <math id="M23"><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991701&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991698&type= 3.72533321 3.72533321 。 对于任意采样点 <math id="M24"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991708&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991706&type= 3.04800010 4.57200003 来说， <math id="M25"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991708&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991706&type= 3.04800010 4.57200003 点上传统的卷积为： <math display="block" id="M26"><mi>F</mi><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup><mo>=</mo><msup><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>x</mi><mo>∈</mo><msubsup><mrow><mi>B</mi></mrow><mrow><mi>p</mi></mrow><mrow><mfenced separators="|"><mrow><mi>l</mi></mrow></mfenced></mrow></msubsup></mrow></munder><mrow><mi>W</mi><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow></mrow><mrow><mfenced separators="|"><mrow><mi>l</mi></mrow></mfenced></mrow></msup><mi>F</mi><msup><mrow><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow><mrow><mfenced separators="|"><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991712&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991710&type= 51.81600189 9.05933285 ， 其中： <math id="M27"><mi>F</mi><mfenced separators="|"><mrow><mo>⋅</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991714&type= 7.36600018 3.97933316 表示输入点的特征， <math id="M28"><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991720&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991718&type= 4.06400013 2.87866688 表示卷积的权重。每个点均需一个与之对应的权重，但点云是无序的，为每个邻点 <math id="M29"><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991724&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991722&type= 3.04800010 4.57200003 都分配卷积权重 <math id="M30"><mi>W</mi><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991728&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991726&type= 10.92199993 4.82600021 是不切实际的。为解决该问题，本文将划分为同一壳内的点的特征分配相同的卷积权重。如 图5 图5 所示。规定每个壳中的点个数是固定的，确保每个壳中包含的点数达到阈值 s 后，向外扩展，直到下一个壳内点个数也达到 s ，依此类推。假设该采样点的邻域由 X 个壳组成，则邻域数 <math id="M31"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991730&type= 1.69333339 2.79399991 为 <math id="M32"><mi>s</mi><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991736&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991734&type= 4.14866638 2.79399991 ，那么采样点的邻域可表示为 <math id="M33"><mi>M</mi><mo>×</mo><mi>k</mi><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991739&type= 16.76399994 2.87866688 。改进后的卷积可定义为： <math display="block" id="M34"><mi>F</mi><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup><mo>=</mo><msup><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>X</mi><mo>∈</mo><msubsup><mrow><mi>B</mi></mrow><mrow><mi>p</mi></mrow><mrow><mfenced separators="|"><mrow><mi>l</mi></mrow></mfenced></mrow></msubsup></mrow></munder><mrow><msub><mrow><mi>W</mi></mrow><mrow><mi>X</mi></mrow></msub></mrow></mrow><mrow><mfenced separators="|"><mrow><mi>l</mi></mrow></mfenced></mrow></msup><mi>F</mi><msup><mrow><mfenced separators="|"><mrow><mi>X</mi></mrow></mfenced></mrow><mrow><mfenced separators="|"><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991745&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991743&type= 48.17533112 9.05933285 . 按照由内到外的顺序对壳进行排序，每个壳的权重为 <math id="M35"><msub><mrow><mi>W</mi></mrow><mrow><mi>X</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991748&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991747&type= 5.41866684 3.72533321 。但每个壳中的点仍然是无序的，为了产生对输入顺序不敏感的输出，通过最大池化来聚合同一个壳内的点，并使用一维卷积整合所有壳的特征以获得采样点的融合特征 <math id="M36"><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991751&type= 3.72533321 3.72533321 ： <math display="block" id="M37"><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>=</mo><mi>ξ</mi><mfenced separators="|"><mrow><mi>C</mi><mfenced separators="|"><mrow><mi>F</mi><mfenced separators="|"><mrow><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mfenced></mrow></mfenced><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991757&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991755&type= 54.86399841 5.50333309 ， <math display="block" id="M38"><mi>F</mi><mfenced separators="|"><mrow><mi>X</mi></mrow></mfenced><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><msub><mrow><mi mathvariant="normal">x</mi></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi mathvariant="bold-italic">j</mi></mrow></msub><mo>∈</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>X</mi></mrow></msub></mrow></msub><mi>F</mi><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991760&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991759&type= 36.57600021 4.82600021 ， 其中： <math id="M39"><mi>C</mi><mfenced separators="|"><mrow><mo>⋅</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991764&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991762&type= 7.36600018 3.97933316 为拼接操作， <math id="M40"><mi>ξ</mi><mfenced separators="|"><mrow><mo>⋅</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991769&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991767&type= 6.60400009 3.97933316 为一维卷积操作。 3 . 1 . 3 多尺度特征融合 3 受文献［ 13 13 ］启发，本文提出一种基于多尺度壳卷积点云特征提取方法，其结构如 图5 图5 所示。 每个单尺度模块输出的特征在进入下一个多尺度壳模块之前还将进行特征聚合，以形成包含不同尺度局部信息的全局特征。其中，三个不同尺度的特征分别记为 <math id="M41"><msubsup><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991774&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991772&type= 17.35666656 3.97933316 ，融合后的多尺度特征记为 <math id="M42"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991778&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991776&type= 6.94266701 3.72533321 ： <math display="block" id="M43"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi></mrow></msub><mo>=</mo><mi>ζ</mi><mfenced separators="|"><mrow><mi>C</mi><mfenced separators="|"><mrow><msubsup><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></mrow></msubsup></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991782&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991780&type= 41.23266602 5.58799982 . 3.2 局部到整体推理模块 2 本文利用局部和整体形状之间的关系作为监督信号，用于训练丰富的表征进一步理解点云。由于全局表征通常比局部表征能更好地捕捉对象的语义信息，所以局部到目标的推理是通过预测局部的全局表征来进行的。为了评估预测结果，本文将预测视为自监督度量学习问题，并使用改进多类 N 对损失（ N -pair loss）来监督预测任务。 首先，简单回顾三元组损失函数 ［ 24 24 ］ （Triplet loss）。三元组 <math id="M44"><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">n</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991785&type= 16.34066582 4.82600021 由锚点 <math id="M45"><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991790&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991788&type= 3.30200005 4.57200003 ，正样本 <math id="M46"><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991845&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991842&type= 3.47133350 4.57200003 和负样本 <math id="M47"><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991798&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991795&type= 3.47133350 4.57200003 组成。映射函数 <math id="M48"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">ω</mi></mrow></msub><mfenced separators="|"><mrow><mo>⋅</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991801&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991800&type= 7.53533268 4.06400013 可以将点 <math id="M49"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991805&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991804&type= 3.04800010 4.57200003 映射到嵌入特征 <math id="M50"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">ω</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>d</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991810&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991807&type= 17.52599907 4.82600021 。为方便表示，令 <math id="M51"><msub><mrow><mi>χ</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">ω</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991814&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991812&type= 17.18733406 4.82600021 ， <math id="M52"><msub><mrow><mi>χ</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">ω</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991818&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991816&type= 17.35666656 4.82600021 ， <math id="M53"><msub><mrow><mi>χ</mi></mrow><mrow><mi mathvariant="normal">n</mi></mrow></msub><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">ω</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">n</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991822&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991820&type= 17.35666656 4.82600021 。Triplet loss的目标是使同类样本的特征在空间位置上尽量靠近，不同类样本位置尽量远离，并要求 <math id="M54"><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991826&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991823&type= 3.30200005 4.57200003 到负样本 <math id="M55"><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991832&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991829&type= 3.47133350 4.57200003 的距离与 <math id="M56"><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991839&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991836&type= 3.30200005 4.57200003 到正样本 <math id="M57"><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991845&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991842&type= 3.47133350 4.57200003 的距离之差至少大于阈值 <math id="M58"><mi>η</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991851&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991848&type= 1.86266661 3.64066648 ， 图6 图6 为Triplet loss与 N-pair loss示意图，其中，“+”代表正样本，“ - ”代表负样本。Triplet loss表示形式如 式6 式6 所示： <math display="block" id="M59"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">i</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mfenced separators="|"><mrow><mn mathvariant="normal">0</mn><mo>,</mo><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>χ</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub><mo>-</mo><msub><mrow><mi>χ</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>-</mo><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>χ</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub><mo>-</mo><msub><mrow><mi>χ</mi></mrow><mrow><mi mathvariant="normal">n</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><mi>η</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991857&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991854&type= 66.71733856 7.02733374 ， 其中， <math id="M60"><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mo>⋅</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991863&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991861&type= 5.84200001 5.24933338 为欧式距离。 Triplet loss在学习参数的更新过程中，只比较了一个负样本，而忽略了其他类的负样本，故Triplet loss收敛速度慢。针对上述情况， N -pair loss ［ 25 25 ］ 被提出，它是由多个负样本对组成，即一对正样本对，选取其他所有不同类别的样本作为负样本与其组合得到负样本对。如果数据集中有C类别，则每个正样本都对应了 N- 1个负样本对。通过 图6 图6 中两者比较，Triplet loss可看作是 N -pair loss的一个特例 <math id="M61"><mfenced separators="|"><mrow><mi>N</mi><mo>=</mo><mn mathvariant="normal">2</mn></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991878&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991875&type= 12.69999981 3.97933316 。 N -pair loss的形式如 式（7） 式（7） 所示： <math display="block" id="M62"><msub><mrow><mi>L</mi></mrow><mrow><mi>N</mi><mo>-</mo><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">r</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>Q</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>Q</mi></mrow></munderover></mstyle><mrow><mfenced open="{" close="}" separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced open="[" close="]" separators="|"><mrow><mn mathvariant="normal">1</mn><mo>+</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>≠</mo><mi>j</mi></mrow></munder><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msubsup><mrow><mi>χ</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msubsup><mrow><mi>χ</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>χ</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msubsup><mrow><mi>χ</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></mrow></mfenced></mrow></mrow></mfenced></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991884&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991881&type= 73.15200043 11.34533310 ， 其中， <math id="M63"><msub><mrow><mi>χ</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">ω</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991890&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991887&type= 16.59466553 4.82600021 和 <math id="M64"><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>,</mo><mo>…</mo><mo>,</mo><msubsup><mrow><mi>p</mi></mrow><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991894&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991892&type= 27.26266861 4.82600021 为来自 Q 个不同类别的样本对。为学习每个对象的不同语义信息，将当前对象的全局表示作为正样本，将其他类对象的全局表示作为负样本。由于局部特征 <math id="M65"><msup><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi><mi>i</mi></mrow></msub></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991899&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991897&type= 7.02733374 4.74133301 和全局特征 G 的维度不同，无法直接衡量它们之间的相似度。故先使用 <math id="M66"><msup><mrow><mi>Γ</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup><mfenced separators="|"><mrow><mo>⋅</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991903&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991900&type= 9.31333351 4.65666676 和 <math id="M67"><mi>B</mi><mfenced separators="|"><mrow><mo>⋅</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991908&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991906&type= 7.19666624 3.97933316 将它们分别嵌入到一个共享的特征空间中。 优化预测的一种直接方法是最小化 <math id="M68"><msup><mrow><mi>Γ</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup><mfenced separators="|"><mrow><msup><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi><mi>i</mi></mrow></msub></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991911&type= 15.57866764 6.01133299 ， <math id="M69"><mi>B</mi><mfenced separators="|"><mrow><mi>G</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991918&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991916&type= 9.14400005 3.97933316 之间的整体差异，即最小化 <math id="M70"><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>,</mo><mi>l</mi></mrow></munder><mrow><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msup><mrow><mi>Γ</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup><mfenced separators="|"><mrow><msup><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi><mi>i</mi></mrow></msub></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup></mrow></mfenced><mo>-</mo><mi>B</mi><mfenced separators="|"><mrow><mi>G</mi></mrow></mfenced></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991925&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991921&type= 39.03133011 8.72066593 。然而，该目标可能会导致将所有输入映射到一个常数。本文使用自监督度量学习任务来监督预测的好坏。对于每个嵌入的局部表示 <math id="M71"><msup><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi><mi>i</mi></mrow></msub></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991929&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991927&type= 7.02733374 4.74133301 ，强制其特征比任何其他类别对象更接近同一对象的全局表示，故本文使用的改进 N -pair loss表示为： <math display="block" id="M72"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo>-</mo><mi>N</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>Q</mi></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>,</mo><mi>l</mi></mrow></munder><mrow><mfenced open="{" close="}" separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced open="[" close="]" separators="|"><mrow><mn mathvariant="normal">1</mn><mo>+</mo><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi>G</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>≠</mo><mi>G</mi></mrow></munder><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msup><mrow><mi>Γ</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup><msup><mrow><mfenced separators="|"><mrow><msup><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi><mi>i</mi></mrow></msub></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi>B</mi><mfenced separators="|"><mrow><msub><mrow><mi>G</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced><mo>-</mo><msup><mrow><mi>Γ</mi></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup><msup><mrow><mfenced separators="|"><mrow><msup><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi><mi>i</mi></mrow></msub></mrow><mrow><mfenced separators="|"><mrow><msup><mrow/><mrow><mi>l</mi></mrow></msup></mrow></mfenced></mrow></msup></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi>B</mi><mfenced separators="|"><mrow><mi>G</mi></mrow></mfenced></mrow></mfenced></mrow></mrow></mfenced></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991932&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991931&type= 114.97734070 11.68400002 ， 其中： <math id="M73"><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>G</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>q</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991936&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991934&type= 11.26066685 6.51933336 是批量大小为 q 的批量中不同点集的全局表示， M 是局部特征的数量。 3.3 整体到局部推理模块 2 局部到整体的推理只能监督局部表征接近全局表征，全局表征的好坏至关重要。若全局表征效果好，则会对局部表征提供较好的监督，从而为局部和全局特征的学习创造一个良性循环。反之，会导致网络学习到不可预知的结果。为避免该问题的产生，本节提出自重建辅助任务来监督网络共同学习有用的表征。自重建模块采用3.1节提出的基于多尺度壳卷积层级编码器，解码器结构图如 图4 图4 中Decoder所示。首先，将编码器所得到的全局特征 <math id="M74"><mi>G</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">512</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991941&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991939&type= 15.91733265 3.38666677 复制 <math id="M75"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991973&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991972&type= 2.87866688 2.79399991 次，可得 <math id="M76"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>G</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>m</mi><mo>×</mo><mn mathvariant="normal">512</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991950&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991947&type= 17.86466599 4.23333359 。其次，将大小为 <math id="M77"><mi>m</mi><mo>×</mo><mn mathvariant="normal">512</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991987&type= 13.20800018 2.79399991 的特征矩阵 <math id="M78"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>G</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991956&type= 4.23333359 3.72533321 与包含 <math id="M79"><mi>m</mi><mo>×</mo><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991970&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991968&type= 9.56733322 2.79399991 网格矩阵拼接得到 <math id="M80"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">w</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>m</mi><mo>×</mo><mn mathvariant="normal">514</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991966&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991964&type= 19.72733307 4.23333359 ，其中 <math id="M81"><mi>m</mi><mo>×</mo><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991970&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991968&type= 9.56733322 2.79399991 矩阵包含以原点为中心的正方形上的 <math id="M82"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991973&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991972&type= 2.87866688 2.79399991 个网格点。然后，将 <math id="M83"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991978&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991976&type= 6.09600019 3.72533321 送入MLPs得到粗输出 <math id="M84"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991981&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991979&type= 7.78933382 3.72533321 ，其特征矩阵大小为 <math id="M85"><mi>m</mi><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991985&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991983&type= 9.56733322 2.79399991 。为得到更好的重建点云，最后将 <math id="M86"><mi>m</mi><mo>×</mo><mn mathvariant="normal">512</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991987&type= 13.20800018 2.79399991 矩阵 <math id="M87"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>G</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991993&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991991&type= 4.23333359 3.72533321 与粗输出 <math id="M88"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991998&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34991996&type= 7.78933382 3.72533321 拼接，再经过MLPs，得到最终重建点云。其中，网格大小 <math id="M89"><msup><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992002&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992000&type= 4.06400013 3.04800010 是根据输入点云大小设置的，且需满足 <math id="M90"><msup><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>≥</mo><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992005&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992004&type= 12.02266598 3.47133350 。本实验 <math id="M91"><mi>m</mi><mo>=</mo><mn mathvariant="normal">32</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992009&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992007&type= 11.43000031 2.79399991 ， <math id="M92"><mi>N</mi><mo>=</mo><mn mathvariant="normal">1</mn><mtext> </mtext><mn mathvariant="normal">024</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992013&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992011&type= 16.00200081 2.87866688 。 在给定输入点云 P 时，重建点云是由基于折叠解码器 D 将规范的2D网格变形到以全局表示 G 为条件的点云的3D坐标上，记为 <math id="M93"><mi>J</mi><mfenced separators="|"><mrow><mi>G</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992017&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992015&type= 8.63599968 3.97933316 ，其中 <math id="M94"><mi>J</mi><mfenced separators="|"><mrow><mi>G</mi></mrow></mfenced><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>N</mi><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992021&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992019&type= 20.31999969 3.97933316 。重建误差 <math id="M95"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992074&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992072&type= 5.07999992 3.72533321 定义为 P 和 <math id="M96"><mi>J</mi><mfenced separators="|"><mrow><mi>G</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992029&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992026&type= 8.63599968 3.97933316 之间的倒角距离，故其损失函数定义为： <math display="block" id="M97"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>p</mi><mo>∈</mo><mi>P</mi></mrow></munder><mrow><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>p</mi><mi mathvariant="normal">'</mi><mo>∈</mo><mi>J</mi><mfenced separators="|"><mrow><mi>G</mi></mrow></mfenced></mrow></munder></mrow><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>p</mi><mo>-</mo><mi>p</mi><mi mathvariant="normal">'</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>p</mi><mi mathvariant="normal">'</mi><mo>∈</mo><mi>J</mi><mfenced separators="|"><mrow><mi>G</mi></mrow></mfenced></mrow></munder><mrow><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>p</mi><mo>∈</mo><mi>P</mi></mrow></munder></mrow><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>p</mi><mi mathvariant="normal">'</mi><mo>-</mo><mi>p</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992034&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992032&type= 72.47466278 8.29733276 ， 其中： P 为输入点云， p 为输入点云中的点， <math id="M98"><mi>J</mi><mfenced separators="|"><mrow><mi>G</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992039&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992036&type= 8.63599968 3.97933316 代表重建点云， p' 是重建点云中的点。 4 实验结果及分析 1 4.1 实验数据集 2 本文分别选用兵马俑数据集和公开数据集ModelNet40作为基准数据集并完成对该模型的测试，将其实验结果与其他方法进行比较。其中，兵马俑数据集已在第2节介绍。ModelNet40包含来自40个类别的12 311个CAD模型，其中包含9 843个训练样本和2 468个测试样本。本实验中所有数据只使用点云的坐标特征（ x ， y ， z ）。 4.2 实验设置 2 编码器网络结构包含两层多尺度壳卷积模块，每个模块均包含三个不同尺度的壳卷积算子。其中，参数 <math id="M99"><msub><mrow><mi>M</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992043&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992041&type= 4.31799984 3.72533321 、 <math id="M100"><msub><mrow><mi>s</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992047&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992045&type= 2.03200006 3.72533321 和 <math id="M101"><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992051&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992048&type= 3.55599999 3.72533321 （ <math id="M102"><mi>i</mi><mo>=</mo><mn mathvariant="normal">0,1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992053&type= 11.51466751 3.21733332 ； <math id="M103"><mi>j</mi><mo>=</mo><mn mathvariant="normal">0,1</mn><mo>,</mo><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992059&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992057&type= 15.66333294 3.64066648 ） 分别表示每层的采样点的个数、每层壳的大小和不同尺度中壳的数量。因此，每个采样点的邻域个数为 <math id="M104"><msub><mrow><mi>s</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>×</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992063&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992061&type= 10.24466610 3.72533321 。具体参数取值如 表1 表1 所示。对于第一层模块来说，三个尺度邻点个数分别等于32，64，128.同理可得，第二层模块中不同尺度的邻点个数为16，32，64。 Layer M j s j X i k i MLP1 F prev MLP2 out size Shellconv out size MLP3 Outsize 3 1st 3 512 3 32 1 32 3 ［32， 64］ 3 - （512，32，64） （512，1，64） 3 （512，1，256） 2 64 （512，64，64） （512，1，64） 4 128 （512，128，64） （512，1，128） 3 2nd 3 128 3 16 1 16 3 ［32， 64］ 3 256 （128，16，320） （128，1，128） 3 （128，1，896） 2 32 （128，32，320） （128，1，256） 4 64 （128，64，320） （128，1，512） 本文使用 <math id="M105"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo>-</mo><mi>N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992071&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992069&type= 7.45066643 3.72533321 和 <math id="M106"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992074&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992072&type= 5.07999992 3.72533321 联合损失为损失函数，并使用Adam优化网络，初始学习率为0.001，动量为0.9，批量大小为22。同时使用Lambda学习率调度器，每20轮将学习率衰减0.5。 实验硬件环境为Intel Core i7处理器、16 G内存、2 T硬盘、显卡NVIDIA GTX 1080Ti；软件环境为Ubuntu16.04 x64+CUDA9.0+cuDNN 7.0+PyTorch1.2+Python3.7. 4.3 不同方法实验对比分析 2 为验证本文方法的有效性，选取一种传统点云分类方法和五种深度学习点云分类方法与之比较。目前基于兵马俑点云集的无监督表征学习方法研究甚少，上述对比方法只有Foldingnet ［ 20 20 ］ 为无监督方法，其余方法均为有监督方法。 从 表2 表2 可以看出，除AMS-Net方法之外（准确率比本文方法高2.35%），本文方法在兵马俑数据集上取得了93.33%的最高分类准确率。表中输入数据类型字段中“P”代表点云，“G”代表图像。基于模板的兵马俑碎片传统分类算法 ［ 26 26 ］ 将分类问题转化为形状匹配问题，分类准确率为 表2 表2 所列出方法中最低。PointNet ［ 11 11 ］ 缺乏局部特征的提取，易造成细节特征的丢失，故分类精度仅为88.93%。文献［ 7 7 ］在PointNet基础上结合图像轮廓特征，提出一种融合点云和图像轮廓的双模态网络，相比于单独使用PointNet网络，正确率提升了2.48%。然而本文提出的无监督方法比文献［ 7 7 ］提高了1.92%，并远超于无监督方法Foldingnet（提高了11.42%）。另外，本文所提出模型的编码部分是在ShellNet的基础上结合了多尺度策略，最终分类准确率高于ShellNet方法0.89%。但在ModelNet40数据集上，ShellNet高于该无监督方法1.08%（见 表10 表10 ），由此可以表明，该方法能够针对兵马俑碎块数据集进行较好的特征表示，为兵马俑碎块分类任务提供了更加可靠的信息。 Method Input data type Deep model Supervised Overall accuracy Template-based method ［ 26 26 ］ P F T 87.64% PointNet ［ 11 11 ］ P T T 88.93% Dual-modal ［ 7 7 ］ P， G T T 91.41% ShellNet ［ 13 13 ］ P T T 92.44% AMS-Net ［ 17 17 ］ P T T 95.68% Foldingnet ［ 20 20 ］ P T F 81.91% Proposed method P T F 93.33% Method P R F ShellNet ［ 13 13 ］ 92.55% 92.61% 92.49% AMS-Net ［ 17 17 ］ 95.68% 95.71% 95.65% Foldingnet ［ 20 20 ］ 82.66% 81.84% 82.29% Proposed method 93.33% 93.34% 93.25% Method Arm Body Head Leg Dual-modal ［ 7 7 ］ （G） 77.75% 92.75% 91.50% 76.25% Dual-modal ［ 7 7 ］ （P） 82.51% 96.45% 92.36% 84.41% Dual-modal ［ 7 7 ］ （G+P） 87.55% 87.55% 94.37% 88.41% AMS-Net ［ 17 17 ］ 92.40% 98.10% 98.00% 94.20% Proposed method 84.88% 97.08% 94.97% 91.76% Encoder Accuracy Single-scale 90.93% Multi-scale 93.33% Decoder Accuracy MLPs 91.45% Folding-based 93.33% loss Accuracy <math id="M107"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992099&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992097&type= 4.40266657 3.21733332 89.47% <math id="M108"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo>-</mo><mi>N</mi></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992103&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992101&type= 15.15533447 3.30200005 93.33% Noise Number Accuracy 1 92.13% 10 88.93% 50 75.62% 100 72.77% Unsupervised Method Accuracy FoldingNet ［ 20 20 ］ 88.40% l -GAN （M40） ［ 19 19 ］ 87.27% l -GAN ［ 19 19 ］ 85.70% Multi-Task ［ 23 23 ］ 89.10% L2G Auto-encoder ［ 22 22 ］ 90.64% Proposed method 92.02% Supervised method Accuracy PointNet ［ 11 11 ］ 89.20% PointNet++ ［ 12 12 ］ 90.70% ShellNet ［ 13 13 ］ 93.10% SO-Net ［ 14 14 ］ 90.90% Proposed method 92.02% 为了更科学地评估本文算法的分类效果，引入精确率（ I Precision ）、召回率（ I Recall ）和F1值（ I F1 ）作为评价指标。由于数据集包含多个类别，故文本采用平均精确率（ P ）、平均召回率（ R ）、平均F1值（ F ）作为整体的评价指标，三者分别为所有类对应值的算术平均值，其计算公式如式（ 10 10 ）~（ 12 12 ）。其中， N TP 为正确判断的正样本数， N FN 为误判的正样本数， N FP 为误判的负样本数，类别个数为 T 。本组实验仅对 表2 表2 代码公开的方法进行对比。从 表3 表3 可以看出，本文算法在上述三个评价指标的结果与准确率保持一致，进一步说明该无监督方法在文物分类任务上具有一定的稳定性。 <math display="block" id="M109"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">F</mi><mi mathvariant="normal">P</mi></mrow></msub></mrow></mfrac><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mi>P</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>T</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>t</mi></mrow><mrow><mi>T</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">n</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992123&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992121&type= 59.09733200 8.63599968 ， <math display="block" id="M110"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mi>R</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>T</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>t</mi></mrow><mrow><mi>T</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><msub><mrow><mi mathvariant="normal">l</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992127&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992125&type= 54.94866943 8.63599968 ， <math display="block" id="M111"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">F</mi><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mo>×</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>×</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi></mrow></msub></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>+</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi></mrow></msub></mrow></mfrac><mo> </mo><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><mi>F</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>T</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>t</mi></mrow><mrow><mi>T</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">F</mi><msub><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992131&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992129&type= 59.85933304 8.63599968 . 从 表4 表4 可以看出，表中的所有方法身体和头部两个类别的准确率要高于胳膊类和腿类。身体类的准确率最高，胳膊类的准确率最低。主要原因是身体大部分部位是衣服或盔甲，褶皱较多，特征较为明显（见 图1 图1 ）。部分胳膊类的特性与腿较为相似，容易被误分类。整体上本文方法相较于文献［ 7 7 ］都有很大的提升。 4.4 消融实验分析 2 为进一步评估该网络模型中每个组成模块对网络性能的影响，在兵马俑数据集分别进行三组对比实验。 （1）编码器结构：单尺度与多尺度对比。从 表5 表5 可以看出，多尺度模型比单尺度模型准确率高2.40%，这表明该模型编码器可以有效地提取多个尺度的细节特征。 （2）解码器结构：MLPs 与Folding-based进行对比，其中，MLPs输出通道数为［512，256，3］。从 表6 表6 可以看出，本文采用的折叠解码器比直接经过简单的MLPs准确率提升1.88%。为进一步证明该模型的有效性，将两个网络的收敛性进行了比较，结果如 图7 图7 所示。该网络在训练25轮后逐渐变得平稳，且损失值低于MLPs解码器。损失函数值越小，表明解码生成的点云与输入点云越相近。 （3）损失函数： <math id="M112"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992141&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992139&type= 5.07999992 3.72533321 与 <math id="M113"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo>-</mo><mi>N</mi></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992145&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992143&type= 17.27199936 3.80999994 进行对比。从 表7 表7 可以看出，仅通过自重建损失进行训练，得到89.47%的低分类准确率。当使用本文提出的联合损失时，准确率可提升3.86%。结果表明通过度量每层局部特征与编码获取的全局特征，可以使网络进一步捕获兵马俑碎片的潜在语义特征，从而提高分类准确率。 4.5 鲁棒性 2 为进一步验证该模型的鲁棒性，将大小在［ - 1.0，1.0］的随机噪声添加到输入点云中，当一个点替换为噪声点（ <math id="M114"><mi>n</mi><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992149&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=34992147&type= 10.41399956 2.79399991 ）时，该模型的准确率为92.13%，其中 nn 为噪声点数量。从 表8 表8 可以看出，当噪声数量高达100时，该模型仍然有很好的分类结果。表明该方法更适合真实场景数据集。 4.6 在Modelnet40公共数据集的结果分析 2 为评估该方法在点云表征学习方面的性能，接下来在Modelnet40公共数据集上对其进行实验测试。首先从上述预训练模型中提取ModelNet40数据集的全局特征；然后将其放入线性分类器进行训练，无需任何微调，得出分类结果。将本文方法与已有无监督表征学习方法进行比较，实验结果如 表9 表9 所示，其中， l -GAN的实验结果为文献［ 22 22 ］的复现结果。本文方法只使用ModelNet40作为训练数据，而 l -GAN ［ 19 19 ］ 和FoldingNet ［ 20 20 ］ 的训练数据是包含超过57 000个3D对象的ShapeNet数据集。尽管如此，本文方法仍比它们分别提高4.75%和3.62%。从定量结果可以看出，本文方法取得较好的分类性能，准确率为92.02%，分别比L2G和Multi-Task方法高1.38%和2.92%。 从 表10 表10 中可以看出，本文方法分类准确率分别比PointNet和PointNet++提高2.82%和1.32%。即使SO-Net输入点云个数为2 048，本文方法仍相比提高1.12%。结果表明本文方法获取的特征表示比一些监督表示更具辨别力。 5 结 论 1 本文提出一种无监督表征学习网络，应用于3D文物碎片分类的下游任务。首先通过层级结构的多尺度壳卷积编码器来学习点云模型不同区域之间的相关性。其次通过各层局部特征和全局特征之间的相似性度量以捕获模型的结构和语义信息。最后将学习到的点云表征应用于点云分类下游任务。实验结果表明，本文算法在兵马俑数据集和ModelNet40数据集的分类准确率分别为93.33%和92.02%。在ModelNet40数据集上，ShellNet比该无监督方法高1.08%；而在兵马俑碎块数据集上，该方法比ShellNet高0.89%。结果表明该方法更适合于兵马俑碎块分类，同时缩小了下游分类任务中无监督和有监督学习方法之间的差距。本文尝试将点云无监督表征学习网络应用于兵马俑碎片数据集，结果也验证了该方法的有效性。接下来将继续该方法扩展到更多的文物点云分析场景中。 参考文献 RASHEED N A ， NORDIN M J . Classification and reconstruction algorithms for the archaeological fragments ［J］. Journal of King Saud University-Computer and Information Sciences ， 2020 ， 32 （ 8 ）： 883 - 894 . doi: 10.1016/j.jksuci.2018.09.019 http://dx.doi.org/10.1016/j.jksuci.2018.09.019 Classification and reconstruction algorithms for the archaeological fragments 陆正杰 ， 李纯辉 ， 耿国华 ， 等 . 基于多特征描述子自适应权重的文物碎片分类 ［J］. 激光与光电子学进展 ， 2020 ， 57 （ 4 ）： 321 - 329 . doi: 10.3788/LOP57.041511 http://dx.doi.org/10.3788/LOP57.041511 基于多特征描述子自适应权重的文物碎片分类 LU Z J ， LI C H ， GENG G H ， et al . Classification of cultural fragments based on adaptive weights of multi-feature descriptions ［J］. Laser ＆ Optoelectronics Progress ， 2020 ， 57 （ 4 ）： 321 - 329 . （in Chinese） . doi: 10.3788/LOP57.041511 http://dx.doi.org/10.3788/LOP57.041511 Classification of cultural fragments based on adaptive weights of multi-feature descriptions CHEN X Z ， MA H M ， WAN J ， et al . Multi-view 3D object detection network for autonomous driving ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 6526 - 6534 . doi: 10.1109/cvpr.2017.691 http://dx.doi.org/10.1109/cvpr.2017.691 Multi-view 3D object detection network for autonomous driving 陈苑锋 . 视觉深度估计与点云建图研究进展 ［J］. 液晶与显示 ， 2021 ， 36 （ 6 ）： 896 - 911 . doi: 10.37188/CJLCD.2020-0047 http://dx.doi.org/10.37188/CJLCD.2020-0047 视觉深度估计与点云建图研究进展 CHEN Y F . Progress of visual depth estimation and point cloud mapping ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 6 ）： 896 - 911 . （in Chinese） . doi: 10.37188/CJLCD.2020-0047 http://dx.doi.org/10.37188/CJLCD.2020-0047 Progress of visual depth estimation and point cloud mapping WANG Q ， LIU S T ， CHANUSSOT J ， et al . Scene classification with recurrent attention of VHR remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 2 ）： 1155 - 1167 . doi: 10.1109/tgrs.2018.2864987 http://dx.doi.org/10.1109/tgrs.2018.2864987 Scene classification with recurrent attention of VHR remote sensing images GENG G H ， LIU J ， CAO X ， et al . Simplification method for 3D Terracotta Warrior fragments based on local structure and deep neural networks ［J］. Journal of the Optical Society of America A， Optics， Image Science， and Vision ， 2020 ， 37 （ 11 ）： 1711 - 1720 . doi: 10.1364/josaa.400571 http://dx.doi.org/10.1364/josaa.400571 Simplification method for 3D Terracotta Warrior fragments based on local structure and deep neural networks YANG K ， CAO X ， GENG G H ， et al . Classification of 3D terracotta warriors fragments based on geospatial and texture information ［J］. Journal of Visualization ， 2021 ， 24 （ 2 ）： 251 - 259 . doi: 10.1007/s12650-020-00710-6 http://dx.doi.org/10.1007/s12650-020-00710-6 Classification of 3D terracotta warriors fragments based on geospatial and texture information 鱼跃华 ， 张海波 ， 李昕 ， 等 . 基于数据增强的秦俑碎片深度分类模型 ［J/OL］. 激光与光电子学进展 ， 2021 ， doi： 10.3788/ lop59.1810010 http://dx.doi.org/10.3788/lop59.1810010 . 基于数据增强的秦俑碎片深度分类模型 YU Y H ， ZHANG H B ， LI X ， et al . Data Enhanced Depth Classification Model for Terra-Cotta Warriors Fragments ［J/OL］. Laser & Optoelectronics Progress ， 2021 ， doi： 10.3788/ lop59.1810010. http://dx.doi.org/10.3788/lop59.1810010. （in Chinese） Data Enhanced Depth Classification Model for Terra-Cotta Warriors Fragments GAO H J ， GENG G H ， ZENG S . Approach for 3D cultural relic classification based on a low-dimensional descriptor and unsupervised learning ［J］. Entropy （Basel， Switzerland） ， 2020 ， 22 （ 11 ）： 1290 . doi: 10.3390/e22111290 http://dx.doi.org/10.3390/e22111290 Approach for 3D cultural relic classification based on a low-dimensional descriptor and unsupervised learning YAO W M ， CHU T ， TANG W L ， et al . SPPD： a novel reassembly method for 3D terracotta warrior fragments based on fracture surface information ［J］. ISPRS International Journal of Geo-Information ， 2021 ， 10 （ 8 ）： 525 . doi: 10.3390/ijgi10080525 http://dx.doi.org/10.3390/ijgi10080525 SPPD： a novel reassembly method for 3D terracotta warrior fragments based on fracture surface information CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 77 - 85 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16 PointNet： deep learning on point sets for 3D classification and segmentation QI C R ， YI L ， SU H ， et al . Pointnet++： Deep hierarchical feature learning on point sets in a metric space ［J］. Advances in Neural Information Processing Systems ， 2017 ， 30 . Pointnet++： Deep hierarchical feature learning on point sets in a metric space ZHANG Z Y ， HUA B S ， YEUNG S K . ShellNet： efficient point cloud convolutional neural networks using concentric shells statistics ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 1607 - 1616 . doi: 10.1109/iccv.2019.00169 http://dx.doi.org/10.1109/iccv.2019.00169 ShellNet： efficient point cloud convolutional neural networks using concentric shells statistics LI J X ， CHEN B M ， LEE G H . SO-net： self-organizing network for point cloud analysis ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 9397 - 9406 . doi: 10.1109/cvpr.2018.00979 http://dx.doi.org/10.1109/cvpr.2018.00979 SO-net： self-organizing network for point cloud analysis 杨军 ， 党吉圣 . 采用深度级联卷积神经网络的三维点云识别与分割 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1187 - 1199 . doi: 10.3788/OPE.20202805.1187 http://dx.doi.org/10.3788/OPE.20202805.1187 采用深度级联卷积神经网络的三维点云识别与分割 YANG J ， DANG J S . Recognition and segmentation of three-dimensional point cloud based on deep cascade convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1187 - 1199 . （in Chinese） . doi: 10.3788/OPE.20202805.1187 http://dx.doi.org/10.3788/OPE.20202805.1187 Recognition and segmentation of three-dimensional point cloud based on deep cascade convolutional neural network 伍锡如 ， 薛其威 . 基于激光雷达的无人驾驶系统三维车辆检测 ［J］. 光学 精密工程 ， 2022 ， 30 （ 4 ）： 489 - 497 . doi: 10.37188/OPE.20223004.0489 http://dx.doi.org/10.37188/OPE.20223004.0489 基于激光雷达的无人驾驶系统三维车辆检测 WU X R ， XUE Q W . 3D vehicle detection for unmanned driving systerm based on lidar ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 4 ）： 489 - 497 . （in Chinese） . doi: 10.37188/OPE.20223004.0489 http://dx.doi.org/10.37188/OPE.20223004.0489 3D vehicle detection for unmanned driving systerm based on lidar LIU J ， CAO X ， ZHANG P C ， et al . AMS-net： an attention-based multi-scale network for classification of 3D terracotta warrior fragments ［J］. Remote Sensing ， 2021 ， 13 （ 18 ）： 3713 . doi: 10.3390/rs13183713 http://dx.doi.org/10.3390/rs13183713 AMS-net： an attention-based multi-scale network for classification of 3D terracotta warrior fragments 徐哲 ， 耿杰 ， 蒋雯 ， 等 . 联合训练生成对抗网络的半监督分类方法 ［J］. 光学 精密工程 ， 2021 ， 29 （ 5 ）： 1127 - 1135 . doi: 10.37188/OPE.20212905.1127 http://dx.doi.org/10.37188/OPE.20212905.1127 联合训练生成对抗网络的半监督分类方法 XU Z ， GENG J ， JIANG W ， et al . Co-training generative adversarial networks for semi-supervised classification method ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 5 ）： 1127 - 1135 . （in Chinese） . doi: 10.37188/OPE.20212905.1127 http://dx.doi.org/10.37188/OPE.20212905.1127 Co-training generative adversarial networks for semi-supervised classification method ACHLIOPTAS P ， DIAMANTI O ， MITLIAGKAS I ， et al . Learning representations and generative models for 3d point clouds ［C］. Conference on Computer Vision Theory and Applications （VISAPP） ， 27 - 29 ， 2020， Valletta， MALTA， USA. IEEE ， 2018： 421 - 428 . Learning representations and generative models for 3d point clouds YANG Y Q ， FENG C ， SHEN Y R ， et al . FoldingNet： point cloud auto-encoder via deep grid deformation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 206 - 215 . doi: 10.1109/cvpr.2018.00029 http://dx.doi.org/10.1109/cvpr.2018.00029 FoldingNet： point cloud auto-encoder via deep grid deformation LI C L ， ZAHEER M ， ZHANG Y ， et al . Point cloud GAN ［EB/OL］. 2018： arXiv ： 1810 . 05795 . https：//arxiv.org/abs/1810.05795 https://arxiv.org/abs/1810.05795 Point cloud GAN LIU X H ， HAN Z Z ， WEN X ， et al . L2G auto-encoder： understanding point clouds by local-to-global reconstruction with hierarchical self-attention ［C］. Proceedings of the 27th ACM International Conference on Multimedia. Nice France. New York， NY， USA ： ACM ， 2019 ： 989 - 997 . doi: 10.1145/3343031.3350960 http://dx.doi.org/10.1145/3343031.3350960 L2G auto-encoder： understanding point clouds by local-to-global reconstruction with hierarchical self-attention HASSANI K ， HALEY M . Unsupervised multi-task feature learning on point clouds ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 8159 - 8170 . doi: 10.1109/iccv.2019.00825 http://dx.doi.org/10.1109/iccv.2019.00825 Unsupervised multi-task feature learning on point clouds SCHROFF F ， KALENICHENKO D ， PHILBIN J . FaceNet： a unified embedding for face recognition and clustering ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA， USA . IEEE ， 2015 ： 815 - 823 . doi: 10.1109/cvpr.2015.7298682 http://dx.doi.org/10.1109/cvpr.2015.7298682 FaceNet： a unified embedding for face recognition and clustering KIHYUK Sohn . Improved deep metric learning with multi-class n-pair loss objective ［C］. 2016 Conference on Neural Information Processing Systems （NIPS） ， 5 - 10 ，2016， Barcelona ， SPAIN ， 2016： 1857 - 1865 . Improved deep metric learning with multi-class n-pair loss objective DU G G ， ZHOU M Q ， YIN C L ， et al . Classifying fragments of terracotta warriors using template-based partial matching ［J］. Multimedia Tools and Applications ， 2018 ， 77 （ 15 ）： 19171 - 19191 . doi: 10.1007/s11042-017-5396-0 http://dx.doi.org/10.1007/s11042-017-5396-0 Classifying fragments of terracotta warriors using template-based partial matching 10.37188/OPE.20223018.2241 TP391 A 1004-924X（2022）18-2241-12 刘杰,耿国华,田煜等.局部-整体双向推理的文物无监督表征学习[J].光学精密工程,2022,30(18):2241-2252. 刘杰,耿国华,田煜等.局部-整体双向推理的文物无监督表征学习[J].光学精密工程,2022,30(18):2241-2252. LIU Jie,GENG Guohua,TIAN Yu,et al.Unsupervised representation learning for cultural relics based on local-global bidirectional reasoning[J].Optics and Precision Engineering,2022,30(18):2241-2252. LIU Jie,GENG Guohua,TIAN Yu,et al.Unsupervised representation learning for cultural relics based on local-global bidirectional reasoning[J].Optics and Precision Engineering,2022,30(18):2241-2252. 国家重点研发计划项目（No.2019YFC1521103）；国家自然科学基金重点项目（No.61731015）；陕西省重点产业链项目（No.2019ZDLSF07-02，No.2019ZDLGY10-01）；陕西省重点研发项目（No.2022GY-331）；陕西省教育厅专项项目（No.19JK0842）；青海省重点研发与转化计划资助项目（No.2020-SF-140） 2022-03-27 2022-04-27 2022-09-25 2022-09-26 光学精密工程 18 30
查看原文
0
浏览量
34
下载量
0
CSCD
Alert me when the article has been cited
文章被引用时，请邮件提醒。
提交
工具集
下载
- 网络PDF下载
- WORD下载
- Meta-XML下载
参考文献导出
- BibTeX下载
- Endnote下载
- RefMan 下载
- NoteExpress下载
- NoteFirst下载
收藏
添加至我的专辑
关联资源
相关文章
面向点云识别网络的显著图生成
基于改进BiSeNet的实时图像语义分割
面向航天光学遥感复杂场景图像的舰船检测
面向小目标测量的通道注意力网络与系统设计
基于MODIS数据的青藏高原地表反射率重建方法研究
相关作者
梁奥
张浩
花海洋
任凤雷
杨璐
周海波
张诗雨
何昕
相关机构
中国科学院 光电信息处理重点实验室
中国科学院 沈阳自动化研究所
中国科学院 机器人与智能制造创新研究院
中国科学院大学
天津理工大学 天津市先进机电系统设计与智能控制重点实验室
0
回到顶部