Rotation-invariant 2D views-3D point clouds auto-encoder

旋转不变的2D视图-3D点云自编码器 Rotation-invariant 2D views-3D point clouds auto-encoder 1 first-author 刘贤颖（1998-），女，云南文山人，硕士研究生，2020年于中央民族大学获得学士学位， 主要从事3D点云分析方面的研究。E-mail： xying_liuu@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466187&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466186&type= 22.01332855 32.00399780 刘贤颖 （1998-），女，云南文山人，硕士研究生，2020年于中央民族大学获得学士学位， 主要从事3D点云分析方面的研究。E-mail： xying_liuu@163.com xying_liuu@163.com 1 corresp Email： qxwu@scut.edu.cn Email： qxwu@scut.edu.cn 吴秋遐（1983-），女，湖北松滋人，博士，副研究员，硕士生导师，2012年于华南理工大学获得博士学位，主要从事3D点云分析、生物特征识别、智能软件与智能系统等方面的研究。E-mail： qxwu@scut.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466190&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466194&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466192&type= 22.01333618 32.00400543 吴秋遐 （1983-），女，湖北松滋人，博士，副研究员，硕士生导师，2012年于华南理工大学获得博士学位，主要从事3D点云分析、生物特征识别、智能软件与智能系统等方面的研究。E-mail： qxwu@scut.edu.cn qxwu@scut.edu.cn 2 3 华南理工大学 软件学院，广东 广州 510006 华南理工大学 软件学院，广东 广州 510006 School of Software Engineering， South China University of Technology， Guangzhou 510006， China School of Software Engineering， South China University of Technology， Guangzhou 510006， China 华南理工大学 自动化科学与工程学院，广东 广州 510641 华南理工大学 自动化科学与工程学院，广东 广州 510641 School of Automation Science and Engineering， South China University of Technology， Guangzhou 510641， China School of Automation Science and Engineering， South China University of Technology， Guangzhou 510641， China 中国科学院 力学研究所，北京 100190 中国科学院 力学研究所，北京 100190 Institute of Mechanics， Chinese Academy of Sciences， Beijing 100190， China Institute of Mechanics， Chinese Academy of Sciences， Beijing 100190， China 点云的无监督表征学习对于理解和分析点云至关重要，基于三维重建的自动编码器是无监督学习中的重要架构。针对现有的自编码器存在旋转干扰和特征学习能力不足的问题，本文提出一个旋转不变的2D视图-3D点云自编码器。首先，设计局部融合全局的旋转不变特征转换策略。对于局部表示，利用手工设计特征对输入点云进行转换，生成旋转不变的点云表征；对于全局表示，提出一个基于主成分分析（Principal Component Analysis， PCA）的对齐模块，将旋转点云对齐同一姿态下，在补充全局信息的同时排除旋转干扰。然后，在编码器设计局部和非局部特征提取模块，充分提取点云的局部空间特征和非局部上下文相关性，并建模不同层次特征之间的语义一致性。最后，提出一个基于PCA对齐的2D-3D 重构的解码方法，重建对齐后的三维点云和二维视图，使编码器输出的点云表征集成来自3D点云和2D视图的丰富学习信号。实验结果表明：本算法在随机旋转的合成数据集ModelNet40和真实数据集ScanObjectNN上的识别精度分别为90.84%和89.02%，学习的点云表征在没有任何标签监督的情况下实现了良好的可辨别性，并且具有较好的旋转鲁棒性。 The unsupervised representation learning of point clouds is crucial for understanding and analyzing point clouds， and a 3D reconstruction-based autoencoder is an important architecture in unsupervised learning. To address the rotation interference and insufficient feature learning capability of existing autoencoders， this study proposes a rotation-invariant 2D views-3D point clouds autoencoder. First， a local fusion global rotation-invariant feature conversion strategy is designed. For the local representation， the input point clouds are transformed into handcrafted rotation-invariant features； for the global representation， an alignment module based on PCA is proposed to align the rotating point clouds under the same pose to exclude the rotation interference while complementing the global information. Then， for the encoder， the local and non-local module are designed to fully extract the local spatial features and non-local contextual correlations of the point cloud and model the semantic consistency between different levels of features. Finally， a PCA alignment-based decoding method for 2D-3D reconstruction is proposed for reconstructing the aligned 3D point clouds and 2D views such that the point-cloud representation output from the encoder integrates rich learning signals from the 3D point clouds and 2D views. Experiments demonstrate that the recognition accuracies of this algorithm are 90.84% and 89.02% on the randomly rotated synthetic dataset ModelNet40 and real dataset ScanObjectNN， respectively. Moreover， the learned point-cloud representations achieve good discriminability without label supervision and have a good rotational robustness. 三维点云 自编码器 表征学习 旋转不变性 three-dimensional point cloud auto-encoder representation learning rotational invariance 1 引 言 1 随着三维扫描技术的不断发展与快速普及，人们可以实现对真实物体表面进行点采样，这些采样数据称为三维点云。点云包含物体的坐标，法向量等基本信息，具有较高的灵活性和适用性，在建筑、机械、自动驾驶 ［ 1 1 ］ 等领域中有着重要的应用价值。近年来，借助广泛的监督信息，深度学习在点云分类、分割、目标检测等任务中取得了显著的成果 ［ 2 2 - 7 7 2-7 ］ 。然而，监督学习需要大量的人工标注来获取监督信息，同时限制模型的泛化能力。因此，无监督学习是获得通用点云表征的一个有吸引力的方向。另外，在现实工程应用中，点云不可避免发生旋转变换，呈现出任意的空间位置和姿态，导致模型性能急剧下降。因此，从未标注的数据中学习旋转鲁棒的通用点云表征是一个艰巨的挑战。 在深度学习中，自动编码器（Auto-encoder）是无监督学习点云表征的重要架构。现有的一些研究工作 ［ 8 8 - 14 14 8-14 ］ 在编解码器的结构上进行无监督的点云表征学习。典型的方法是将三维重建作为辅助任务，使用自动编码器将点云编码为特征，然后将特征解码重建点云。FoldingNet ［ 15 15 ］ 提出了一种折叠操作，将标准二维网格变形到点云表面，但是它的缺陷是特征学习能力较弱。为了获取更精细的点云特征，一些方法联合利用局部结构信息进行全局形状的重建 ［ 10 10 - 11 11 10-11 ］ 。文献［ 10 10 ］采用分层自注意力机制对局部区域内多个尺度的几何信息同时进行编码，通过局部到全局的重构来同时学习点云的局部和全局结构。文献［ 11 11 ］引入多角度分析来理解点云，通过语义局部自监督来学习局部几何和结构。除了对点云空间结构的学习，一些研究致力于挖掘点云自身潜在的语义信息 ［ 12 12 - 13 13 12-13 ］ ，通过对比度量的思想建模抽象的深层次信息，以学习点云潜在的语义信息。以上方法仅在点云的三维模态进行学习，这会使得模型的表达能力在一定程度上受到限制。为了学习点云多模态的信息，CrossPoint ［ 14 14 ］ 提出一种2D-3D的跨模态点云表征学习方法，但其需要提前准备好点云的二维图像数据，在实际应用中会增加大量的计算。 尽管以FoldingNet ［ 15 15 ］ 为主的一系列点云自编码器可以有效地学习点云表征，但它们大多是在预先对齐的合成数据集上进行评估的，而在实际应用中很难访问对齐良好的点云，一旦点云的姿态发生旋转变化，这些网络性能会急速下降。在无监督点云表征学习中，解决旋转干扰问题的一个直观方法是通过考虑所有可能的旋转来对训练数据进行扩充，再输入无监督网络进行训练。但由于点云旋转的搜索空间无穷大且深度网络的学习能力有限，深度网络无法适应任意的旋转，并且点云数据被旋转增强后，通过其形状挖掘语义信息将变得困难。一些研究人员提出了无监督学习中的旋转问题解决方案 ［ 8 8 - 9 9 8-9 ］ ，PPF-FoldNet ［ 8 8 ］ 使用基于手工制作的三维特征描述符组成的局部面片表示点云，并通过局部面片的重建实现无监督学习。这种通过局部邻域内边角关系构成的描述符严格刻画了点云局部旋转不变的特征。但由于丢失点云原始坐标信息，特征学习不充分，模型在下游任务的评估效果并不理想。ELGANet-U ［ 9 9 ］ 在设计局部旋转不变描述符的基础上增加了全局旋转不变信息，使用图卷积网络（Graph Convolution Networks， GCN）构成的对齐模块学习点云旋转不变的坐标，通过重建对齐后点云补充全局信息。但GCN的灵活性和可拓展性较差，文献［ 16 16 ］指出在缺乏标签监督的情况下，GCN的性能会有比较严重的下降，这会降低学习到的点云表征在下游任务中的性能。 针对上述问题，本文提出了一个旋转不变的2D视图-3D点云自编码器（Rotation-invariant 2D views-3D Point Clouds Auto-encoder， RI 2D-3D AE），极小化旋转影响并且同时利用点云及其视图充分提取信息。主要创新点和贡献有：（1）针对旋转问题，设计局部融合全局的旋转不变特征转换策略。对于局部表示，利用手工设计特征对输入点云进行转换，生成旋转不变的点云表征；对于全局表示，提出一个基于主成分分析的全局对齐模块（Principal Component Analysis Global Alignment， PCA-GA），将旋转点云对齐同一姿态下，在补充全局信息的同时排除旋转干扰。（2）针对编码器，设计局部和非局部特征提取模块（Local and Non-local Module， LNLM），充分提取点云的局部空间特征和非局部上下文相关性，并建模不同层次特征之间的语义一致性。（3）提出一个基于PCA 对齐的2D-3D 重构的解码方法，重建对齐后的三维点云和二维视图，使编码器输出的点云表征集成来自3D点云和2D视图的丰富学习信号。 2 旋转不变的点云自编码器 1 2.1　点云自编码器模型架构 2 本文提出的旋转不变的2D视图-3D点云自编码器如 图1 图1 所示，其主要包括旋转不变的局部和非局部特征编码器（Rotation-invariant Local and Non-local Encoder， RI-LNL Encoder）和基于主成分分析对齐的2D-3D重构解码器（PCA 2D-3D Reconstruction Decoder）。 在特征编码阶段，首先将点云转换为旋转不变的局部特征描述符，然后从局部和非局部聚合为输入点云的全局表征，并通过度量学习建模特征之间的语义一致性。在特征解码阶段，首先将点云进行全局对齐，对齐后的点云不受旋转干扰，然后通过两个重建分支分别重建对齐后的三维点云及其二维视图。 2.2　旋转不变的局部和非局部特征编码器 2 2 . 2 . 1　点云的局部旋转不变特征转换 3 编码器的输入是一个具有 <math id="M1"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466203&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466202&type= 3.30200005 2.87866688 =1 024个点的无序点云 <math id="M2"><mi mathvariant="bold-italic">P</mi><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>N</mi><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466207&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466205&type= 49.69933319 6.18066692 ，其对应的法向量集表示为 <math id="M3"><mo stretchy="false">{</mo><msub><mrow><mi mathvariant="bold-italic">n</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><msubsup><mrow><mo stretchy="false">}</mo></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466209&type= 18.28800011 4.74133301 。局部结构对点云表征学习至关重要，其包含点云的空间几何信息。大多数网络直接在原始点云坐标上学习局部特征，这很容易受到旋转的干扰。 受三维局部特征描述符PPF ［ 8 8 ］ 启发，本文设计了一个基于局部邻域中的相对距离和角度的旋转不变特征描述符来对点云进行特征转换，如 图2 图2 所示。与其他在单一坐标系下构建的特征描述符不同，本文在局部和全局坐标系中收集特征，使描述符具有更丰富的特征信息和更强的旋转鲁棒性。对于一个查询点 <math id="M4"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466563&type= 3.21733332 4.57200003 ，对应 k =64个近邻点 <math id="M5"><msub><mrow><mi mathvariant="bold-italic">N</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466221&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466219&type= 20.31999969 6.51933336 ， <math id="M6"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466226&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466224&type= 3.21733332 4.57200003 与其近邻点形成 k 个点对。为了描述点之间的相对位置，在每个点对 <math id="M7"><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466231&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466228&type= 11.51466751 4.82600021 上建立局部坐标系 <math id="M8"><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466237&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466234&type= 16.42533302 4.48733330 ： <math display="block" id="M9"><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">n</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466254&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466251&type= 10.58333302 3.72533321 ， <math display="block" id="M10"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>×</mo><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466260&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466257&type= 18.88066673 3.72533321 ， <math display="block" id="M11"><msub><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>×</mo><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466267&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466263&type= 19.13466644 3.72533321 ， 其中： <math id="M12"><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466275&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466271&type= 3.64066648 3.72533321 是 <math id="M13"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466298&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466279&type= 3.21733332 4.57200003 和 <math id="M14"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466306&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466302&type= 3.72533321 4.57200003 的距离向量。此外，考虑到点在点云全局中的位置，需要在点云全局坐标系中收集特征。本文使用的点云数据均进行了Z-Score标准化，因此将点（0，0）作为点云原点 <math id="M15"><mi>O</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466315&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466310&type= 2.96333337 2.87866688 ，该坐标不受旋转影响。随后，在局部坐标系下计算∠（ <math id="M16"><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">n</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466322&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466319&type= 8.21266651 4.14866638 ），∠（ <math id="M17"><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466329&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466325&type= 8.38199997 4.23333359 ），∠（ <math id="M18"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">n</mi></mrow><mrow><mi mathvariant="bold-italic">i</mi><mi mathvariant="bold-italic">j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466337&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466333&type= 8.04333401 4.14866638 ），∠（ <math id="M19"><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">n</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466345&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466342&type= 8.97466660 4.23333359 ），∠（ <math id="M20"><msub><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">n</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466350&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466348&type= 9.22866726 4.14866638 ）， <math id="M21"><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466356&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466353&type= 8.55133343 5.41866684 ，在全局坐标系下计算∠（ <math id="M22"><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>o</mi><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466361&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466360&type= 9.56733322 4.23333359 ）， <math id="M23"><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>o</mi><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466367&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466364&type= 9.05933285 4.65666676 ， <math id="M24"><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>o</mi><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466373&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466370&type= 8.97466660 5.41866684 ，其中角度描述符∠（ <math id="M25"><mo>·</mo><mo>,</mo><mo>·</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466379&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466376&type= 3.55599999 3.21733332 ）定义为两个向量之间的余弦相似度。则一个点对 <math id="M26"><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466387&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466383&type= 11.51466751 4.82600021 的旋转不变特征可以用这9个计算的描述符来表示。依次计算邻域内的 k 个点对，可以得到特征图 <math id="M27"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><msubsup><mrow><mo stretchy="false">}</mo></mrow><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>k</mi><mo>×</mo><mn mathvariant="normal">9</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466395&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466391&type= 33.27399826 4.74133301 ，用来描述 <math id="M28"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466563&type= 3.21733332 4.57200003 邻域内点的相对空间关系。 2 . 2 . 2　局部和非局部特征提取模块 3 为了进一步聚合局部领域内的空间几何信息，并学习长距离的上下文相关性，设计局部和非局部的特征提取模块，其结构如 图3 图3 所示。 LNLM首先对转换后的特征图 <math id="M29"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466419&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466416&type= 4.48733330 3.80999994 通过特征聚合层（Feature Aggregation， FA）得到点 <math id="M30"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466563&type= 3.21733332 4.57200003 的局部特征 <math id="M31"><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>a</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466490&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466488&type= 3.97933316 4.82600021 ，FA的计算过程如下式所示： <math display="block" id="M32"><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>a</mi></mrow></msubsup><mo>=</mo><munder><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo>_</mo><mi mathvariant="normal">P</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>≤</mo><mi>j</mi><mo>≤</mo><mi>K</mi></mrow></munder><mtext> </mtext><msup><mrow><mi>h</mi></mrow><mrow><mi>'</mi></mrow></msup><mo stretchy="false">(</mo><mi>h</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466437&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466434&type= 53.08599854 6.68866634 ， <math display="block" id="M33"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mn mathvariant="normal">1</mn><mi>d</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466440&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466438&type= 28.10933495 3.97933316 ， 其中： <math id="M34"><mi>h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466444&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466442&type= 1.94733346 2.79399991 和 <math id="M35"><msup><mrow><mi>h</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466447&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466446&type= 2.45533323 3.04800010 是多层感知机（Multi-layer Perceptron， MLP）。由于MLP只能独立处理每个转换特征 <math id="M36"><msub><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466452&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466449&type= 5.33400011 3.72533321 ，不能捕捉KNN邻域中各点的信息。因此使用卷积层聚合局部邻域信息得到聚合向量 <math id="M37"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466455&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466453&type= 2.79399991 3.72533321 ，其补充了邻域内其它点的信息。点云 <math id="M38"><mi mathvariant="bold-italic">P</mi><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466460&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466457&type= 18.11866570 6.09600019 的局部特征表示为 <math id="M39"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>a</mi></mrow></msup><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>a</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>N</mi><mo>×</mo><mn mathvariant="normal">128</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466479&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466462&type= 33.61266708 6.09600019 。 局部特征 <math id="M40"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>a</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466807&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466806&type= 3.97933316 3.04800010 仅关注欧几里得空间中的局部邻域，忽略了遥远但相似点之间的非局部相关性。DGCNN ［ 4 4 ］ 发现语义相似点的特征在特征值空间中的距离是相近的。沿着这个方向，对于 <math id="M41"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>a</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466807&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466806&type= 3.97933316 3.04800010 的每个特征向量 <math id="M42"><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>a</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466490&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466488&type= 3.97933316 4.82600021 ，搜索与其距离最近的 k 个特征向量，然后同样通过FA得到点 <math id="M43"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466563&type= 3.21733332 4.57200003 的非局部特征 <math id="M44"><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>b</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466501&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466498&type= 3.97933316 4.82600021 ，则点云 <math id="M45"><mi mathvariant="bold-italic">P</mi><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466505&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466503&type= 18.45733452 6.09600019 的非局部特征表示为 <math id="M46"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>b</mi></mrow></msup><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>b</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>N</mi><mo>×</mo><mn mathvariant="normal">128</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466509&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466507&type= 34.20533371 6.09600019 。 最后，连接 <math id="M47"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>a</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466807&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466806&type= 3.97933316 3.04800010 与 <math id="M48"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>b</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466813&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466810&type= 3.97933316 3.04800010 并通过MLP和池化层聚合为点云全局表征 <math id="M49"><mi mathvariant="bold-italic">g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466735&type= 2.28600001 3.64066648 。 2 . 2 . 3　局部-非局部-全局语义一致性建模 3 由于缺乏人工标签训练，无监督学习通常无法从点云中学习类别语义信息。为了增强网络学习到的点云表征，基于度量学习的思想建模局部-非局部-全局之间共享的语义知识，以挖掘点云自身潜在的具有区分性的语义信息。具体来说，一个点云 <math id="M50"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466686&type= 2.70933342 2.79399991 输入编码器得到三个特征：局部特征 <math id="M51"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>a</mi></mrow></msup><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>a</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466539&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466522&type= 20.57399940 6.09600019 ，非局部特征 <math id="M52"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>b</mi></mrow></msup><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>b</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466543&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466541&type= 20.57399940 6.09600019 ，全局特征向量 <math id="M53"><mi mathvariant="bold-italic">g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466735&type= 2.28600001 3.64066648 ，这三个不同抽象层次的特征在语义上是一致的，都属于点云 <math id="M54"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466686&type= 2.70933342 2.79399991 的类别并且区别于其他点云。由此构建语义一致性度量损失： <math display="block" id="M55"><mtable><mtr><mtd><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>=</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">[</mo><mn mathvariant="normal">1</mn><mo>+</mo></mtd></mtr><mtr><mtd><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi mathvariant="bold-italic">g</mi></mrow><mrow><mi>k</mi></mrow></msub><mtext> </mtext><mo>≠</mo><mtext> </mtext><mi mathvariant="bold-italic">g</mi></mrow></munder><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mi>s</mi><mi>ϕ</mi><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi>φ</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">g</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced><mo>-</mo><mi>s</mi><mi>ϕ</mi><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi>φ</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">g</mi></mrow></mfenced></mrow></mfenced></mrow><mo stretchy="false">]</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466550&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466549&type= 64.34667206 14.39333248 ， <math display="block" id="M56"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466552&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466551&type= 29.04066467 8.63599968 ， 其中： <math id="M57"><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466553&type= 2.20133328 3.64066648 和 <math id="M58"><mi>φ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466556&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466555&type= 2.37066650 3.72533321 是两个映射函数，负责将维度不一样的特征映射到相同的特征空间，通过MLP实现； <math id="M59"><mi>s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466558&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466557&type= 1.26999998 2.79399991 是一个常数值。 式（6） 式（6） 表示点云样本 <math id="M60"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466686&type= 2.70933342 2.79399991 中的一个点 <math id="M61"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466563&type= 3.21733332 4.57200003 的特征 <math id="M62"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><mo stretchy="false">{</mo><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>a</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>b</mi></mrow></msubsup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466567&type= 19.04999924 5.16466665 与 <math id="M63"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466686&type= 2.70933342 2.79399991 对应全局特征 <math id="M64"><mi mathvariant="bold-italic">g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466735&type= 2.28600001 3.64066648 的距离尽量小，而与其它点云样本的全局特征 <math id="M65"><msub><mrow><mi mathvariant="bold-italic">g</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466575&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466574&type= 3.13266683 4.57200003 的距离尽可能大； 式（7） 式（7） 表示对点云 <math id="M66"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466686&type= 2.70933342 2.79399991 中的每个点计算的度量损失进行求和，以此来捕获不同层次特征共享的底层语义知识。 2.3　基于主成分分析对齐的2D-3D重构解码器 2 2 . 3 . 1　基于主成分分析的全局对齐模块 3 解码器的目标是通过全局形状重建来学习全局结构。然而，当重建的目标点云受到旋转干扰，会极大地影响重建效果。本文设计PCA-GA，通过PCA学习点云的固有坐标帧，并将重建的目标点云对齐到由固有帧构成的新坐标系下，以生成旋转不变的点坐标，这保证了重建的旋转鲁棒性。 给定一个点云 <math id="M67"><mi mathvariant="bold-italic">P</mi><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>,</mo></mrow></msub><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>N</mi><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466578&type= 46.73600006 6.18066692 ，由于 <math id="M68"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466686&type= 2.70933342 2.79399991 不是方阵，无法为其定义特征值与特征向量。因此通过奇异值分解（Singular Value Decomposition， SVD）实现PCA算法。SVD分解后的右奇异矩阵，对应着PCA所需的主成分特征矩阵，代表从样本中提取到系统的主导模态。其公式如下： <math display="block" id="M69"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="bold-italic">c</mi></mrow></msup><mo>=</mo><mtext> </mtext><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi mathvariant="bold-italic">i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold-italic">n</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mo>-</mo><mover accent="true"><mi mathvariant="bold-italic">p</mi><mo>¯</mo></mover><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466598&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466582&type= 26.50066566 8.55133343 ， <math display="block" id="M70"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="bold-italic">c</mi></mrow></msup><mo>=</mo><mi mathvariant="bold-italic">U</mi><mi mathvariant="bold-italic">Σ</mi><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466601&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466599&type= 18.96533203 3.13266683 ， 其中： <math id="M71"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="bold-italic">c</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466603&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466602&type= 3.72533321 3.04800010 是原始点云 <math id="M72"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466686&type= 2.70933342 2.79399991 中心化的结果， <math id="M73"><mi mathvariant="bold-italic">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466608&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466606&type= 3.30200005 2.79399991 是左奇异矩阵， <math id="M74"><mi mathvariant="bold-italic">Σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466610&type= 2.79399991 2.79399991 是对角矩阵， <math id="M75"><mi mathvariant="bold-italic">V</mi><mo>=</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466631&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466628&type= 7.02733374 2.96333337 ［ <math id="M76"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466635&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466633&type= 13.37733269 4.14866638 ］是一个3×3的正交矩阵，代表从原始点云内提取中的固有坐标帧。对于同一个点云的所有旋转克隆，它们的固有坐标帧是相同的。为了实现旋转不变性，将点从原始模型转换为新建立的全局坐标系： <math display="block" id="M77"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="bold-italic">c</mi></mrow></msup><mo>·</mo><mi mathvariant="bold-italic">V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466638&type= 16.00200081 3.13266683 ， 其中， <math id="M78"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466691&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466690&type= 3.21733332 3.04800010 是旋转不变的点坐标。PCA-GA可以将无限旋转姿态对齐到固定姿态，同时保留原始点云信息，从根本上降低解码器对旋转点云的重建难度，为整个网络架构提供了旋转不变的全局信息。 2 . 3 . 2　2D视图-3D点云重建 3 当前的自动编码器大多仅在三维重建中学习全局结构，这会使得模型的表达能力在一定程度上受到限制。在现实世界中，三维物体的二维视图具有丰富的信号，人眼能够通过2D视图理解3D物体。由此可以推测，在点云无监督学习中，结合二维视图训练模型，可以增强网络编码能力，促进模型对3D世界的有效理解。受此启发，在PCA对齐的基础上，本文提出一个2D视图-3D点云重构的解码方法。 对于解码器输出的全局表征 <math id="M79"><mi mathvariant="bold-italic">g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466735&type= 2.28600001 3.64066648 ，设计两个分支执行不同的重建任务。在其中一个分支进行三维点云自重构，采用文献［ 8 8 ］中基于折叠的解码器 <math id="M80"><mi>D</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466652&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466650&type= 7.28133297 3.55599999 将标准2D网格变形为以全局表征 <math id="M81"><mi mathvariant="bold-italic">g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466735&type= 2.28600001 3.64066648 为条件的点云3D坐标 <math id="M82"><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466676&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466673&type= 3.38666677 3.72533321 ： <math display="block" id="M83"><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>=</mo><mi>D</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">g</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466677&type= 17.27199936 4.74133301 . 3D重建损失定义为倒角距离： <math display="block" id="M84"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">3</mn><mi mathvariant="normal">D</mi></mrow></msub><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>p</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></munder><mrow><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>x</mi><mo>∈</mo><mi>D</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">g</mi></mrow></mfenced></mrow></munder><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>x</mi><mo>-</mo><mi>p</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>+</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>x</mi><mo>∈</mo><mi>D</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">g</mi></mrow></mfenced></mrow></munder><mrow><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>p</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></munder><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>x</mi><mo>-</mo><mi>p</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466684&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466681&type= 67.14067078 7.87400007 . 注意，与其他解码器不同，解码器不直接重建输入点云 <math id="M85"><mi mathvariant="bold-italic">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466686&type= 2.70933342 2.79399991 ，而是经对齐后的旋转不变的点坐标 <math id="M86"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466691&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466690&type= 3.21733332 3.04800010 。 在另一个分支进行点云的视图重建任务：生成点云 <math id="M87"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466710&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466708&type= 3.21733332 3.04800010 的俯视图、侧视图和前视图，使用反卷积层在全局表征 <math id="M88"><mi mathvariant="bold-italic">g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466735&type= 2.28600001 3.64066648 基础上重建三个视图。由于生成的视图是二值图像，因此2D重建损失定义为二值交叉熵（Binary Cross-Entropy， BCE）： <math display="block" id="M89"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi mathvariant="normal">D</mi></mrow></msub><mo>=</mo><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">[</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mi>l</mi><mi>o</mi><mi>g</mi><mtext> </mtext><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mi>l</mi><mi>o</mi><mi>g</mi><mtext> </mtext><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466703&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466701&type= 72.55933380 8.63599968 ， 其中： <math id="M90"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466706&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466705&type= 2.96333337 3.72533321 是点云 <math id="M91"><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466710&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466708&type= 3.21733332 3.04800010 的一个视图， <math id="M92"><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466715&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466712&type= 2.87866688 4.57200003 是反卷积层输出的重建视图。 式（13） 式（13） 计算了一个视图的重建损失，在实际训练中需要重建三个视图。 2D重建分支不需要提前准备好2D图像，而是直接将点云投影到PCA-GA提取到的坐标系下，以生成点云在不同方向上的视图， 该投影过程的成本在时间和计算上都是微乎其微的。同时，PCA-GA提取到的三个坐标轴是点云信息量最大的维度，在该坐标轴下投影得到的点云视图尽可能保留了点云的主要信息，降低了模型学习2D视图信息的难度。 2.4　目标函数 2 结合编码器的语义一致性度量损失和解码器的2D-3D重建，得出点云自编码器的训练目标： <math display="block" id="M93"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">E</mi></mrow></msub><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">3</mn><mi mathvariant="normal">D</mi></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">2</mn><mi mathvariant="normal">D</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466733&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466716&type= 37.59199905 3.80999994 . 经过充分训练后，全局特征表示 <math id="M94"><mi mathvariant="bold-italic">g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466735&type= 2.28600001 3.64066648 可以用作点云的高维表示，并可用于下游应用。该表征保证了旋转不变性，更适用于具有旋转扰动的场景。此外，其以自我监督的方式集成了来自3D点云和2D视图的丰富学习信号。另外，由于三维重建分支是从二维网格折叠到三维点云的架构，视图重建任务在一定程度上能够促进三维点云的重建。 3 实验结果与分析 1 3.1　实验数据集 2 本文在合成数据集ModelNet40 ［ 17 17 ］ 、真实数据集ScanObjectNN ［ 18 18 ］ 中评估提出的网络。 ModelNet40包括来自40个人造对象类别的12 311个CAD模型，其中，9 843个CAD模型用于培训，2 468个模型用于测试。 ScanObjectNN是一个更真实、更具挑战性的3D点云数据集，它由从真实室内扫描中提取的对象组成。它包含来自15个类别的2 902个对象，其中2 319个用于训练，583个用于测试。ScanObjectNN有多个不同的变体，在本实验中使用常用的变体OBJ_BG（添加背景干扰和遮挡），以及难度最高的变体PB_T50_RS（添加平移和旋转扰动）。 3.2　实验设置 2 在无监督学习中，网络通过执行精心设计的训练任务，可以获得无标签的点云表征。衡量无监督学习质量的一个常见指标是生成表征的线性可分性。因此，本文使用线性支持向量机（Support Vector Mechine， SVM）分类器进行对象分类，作为评估特征表示能力的下游任务。具体来说，在对象分类实验中，采用OneVsRest策略，以linearSVM函数为内核，从自动编码器获得的全局特征中训练了一个线性SVM分类器。根据分类精度来评估的点云表征的可分辨性。 另外，为了有效评估网络的旋转鲁棒性，在三种情况下进行实验，分别为原始训练集和测试集（z/z），原始训练集和任意3D旋转增强的测试集（z/SO3），任意3D旋转增强的训练集和测试集（SO3/SO3）。 在实验中，使用ADAM optimizer在NVIDIA RTX 2080 Ti GPU上训练网络，初始学习率为0.000 1，批量大小为16。每20个epoch，学习率降低20%，模型训练200个epoch。 3.3　无监督点云分类结果分析 2 首先在合成数据集ModelNet40上测试RI 2D-3D AE，并与最先进的无监督方法进行比较，分类精度如 表1 表1 所示。 注： 加粗为最优结果 2 Method 2 Supervised 2 Input 2 Input Size 3 ModelNet40 z/z z/SO3 SO3/SO3 PointNet ［ 2 2 ］ Yes pc 1 024×3 89.20% 16.40% 75.50% PointNet++ ［ 3 3 ］ Yes pc 1 024×3 91.80% 18.40% 77.40% DGCNN ［ 4 4 ］ Yes pc 1 024×3 92.20% 20.60% 81.10% FoldingNet ［ 15 15 ］ No pc 2 048×3 88.40% 14.18% 41.13% PointGLR ［ 13 13 ］ No pc 1 024×3 92.14 % 14.34% 65.32% CrossPoint ［ 14 14 ］ No pc+img 2 048×3 91.20% 16.60% - PPF-FoldNet ［ 8 8 ］ No pc+n 2 048×6 54.66% 54.66% 54.66% ELGANet-U ［ 9 9 ］ No pc+n 1 024×6 88.70% 88.70% 88.70% Ours No pc+n 1 024×6 90.84% 90.84 % 90.84 % 从实验结果可以看出，在测试集随机旋转增强的情况下（z/SO3），常规的有监督方法 ［ 2 2 - 4 4 2-4 ］ 和无监督方法 ［ 13 13 - 15 15 13-15 ］ 的分类准确率出现了严重的衰减，当前效果最好的无监督方法PointGLR ［ 13 13 ］ 仅能取得14.34%的准确率，而本文提出的RI 2D-3D AE在不同的环境中始终保持优异的性能。对于旋转鲁棒的竞争方法，RI 2D-3D AE显著优于ModelNet40下的所有无监督竞争对手 ［ 8 8 - 9 9 8-9 ］ 。RI 2D-3D AE不仅保证了表征的旋转不变性，其所学习到的表征也有较高的可区分性，使分类准确率在三种情形下都达到了当前领先的水平。 另外，在引入旋转增强后，即在SO3/SO3情况下，对比常规的有监督方法，无监督方法的性能并没有很大的提升。DGCNN ［ 4 4 ］ 在训练集引入旋转增强后，分类准确率从20.60%上升到81.10%，而FoldingNet ［ 15 15 ］ 仅从14.18%上升到43.13%。这是由于无监督学习中目标函数旨在完成点云的重构，并不是直接作用在分类损失上，点云数据被旋转增强后，通过其形状挖掘语义信息将变得困难。在这种情形下，基于自重建的无监督方法的性能将出现明显衰减。因此在无监督学习中，数据增强不能解决旋转干扰问题。相比之下，RI 2D-3D AE在SO3/SO3情况下生成的表征仍然保持着最优的区分性。 考虑到ModelNet40中的对象是姿势相似且无噪声的CAD模型，与真实世界的数据有较大差距。为了证明RI 2D-3D AE具有推广到实际应用的能力，在真实数据集ScanObjectNN上评估模型，实验结果如 表2 表2 所示。可以看出，由于真实数据集中存在不少干扰因素，导致大多数方法的性能比其在 ModelNet40数据集上的出现一定程度的衰减。而RI 2D-3D AE在三种情况下依旧保持较高水平的表现，并且优于其他先进的无监督方法，证明了其表征学习方法的鲁棒性和实际应用价值。 注： 加粗为最优结果 2 Method 2 Input 3 OBJ_BG 3 PB_T50_RS z/z z/SO3 SO3/SO3 z/z z/SO3 SO3/SO3 FoldingNet ［ 15 15 ］ pc 66.21% 23.16% 35.16% 55.03% 21.85% 31.53% PointGLR ［ 13 13 ］ pc 87.20% 33.96% 60.38% 75.47% 30.12% 52.14% CrossPoint ［ 14 14 ］ pc+img 81.70% 25.13% - - - - PPF-FoldNet ［ 8 8 ］ pc+n 43.05% 43.05% 43.05% 46.67% 46.67% 46.67% ELGANet-U ［ 9 9 ］ pc+n 87.48% 87.48% 87.48% 76.47% 76.47% 76.47% Ours pc+n 89.02 % 89.02 % 89.02 % 78.39 % 78.39 % 78.39 % 3.4　消融实验 2 为了评估RI 2D-3D AE中各个模块和架构的贡献，将模块逐个分离来训练模型，并在z/SO3情况下的ScanObjectNN（OBJ_BG）数据集上评估线性SVM分类器。首先固定解码器为3D重建，验证编码器中的各个模块，实验结果如 表3 表3 所示。 注： 加粗为最优结果 Model <math id="M95"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>a</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466748&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466747&type= 3.38666677 2.62466669 <math id="M96"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>b</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466750&type= 3.38666677 2.62466669 <math id="M97"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466759&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466756&type= 6.77333355 3.21733332 <math id="M98"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mn>1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466780&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466762&type= 2.70933342 3.89466691 <math id="M99"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mn>2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466785&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466782&type= 2.70933342 3.89466691 ScanObjectNN A √ √ √ 73.93% B √ √ √ √ 86.11% C √ √ √ √ 87.14% D √ √ √ √ √ 87.48 % 基线模型A可以被视为FoldingNet ［ 15 15 ］ 的变体，该模型仅由在局部坐标系和全局坐标系中分别计算的特征描述符 <math id="M100"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466797&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466794&type= 3.13266683 4.57200003 ， <math id="M101"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466838&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466822&type= 3.13266683 4.57200003 ，以及局部特征学习 <math id="M102"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>a</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466807&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466806&type= 3.97933316 3.04800010 组成，分类精度较低。在增加非局部相关性特征 <math id="M103"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>b</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466813&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466810&type= 3.97933316 3.04800010 后（模型B），准确率较基线上升了12.18%，这有力证明了非局部特征学习模块的有效性。在增加局部-非局部-全局语义一致性损失 <math id="M104"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466819&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466816&type= 7.70466709 3.72533321 后（模型D），准确率较模型B上升1.37%。模型C去除了在全局坐标系中计算的特征描述符 <math id="M105"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466838&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466822&type= 3.13266683 4.57200003 ，准确率较模型D有所下降。结果说明，编码器的各个主要模块对提升点云全局表征能力均具有重要作用。 固定编码器，验证解码器中的各个模块的有效性，实验结果如 表4 表4 所示。从结果看，在加入全局对齐模块PCA-GA后（模型E），准确率较模型D上升了0.68%，说明PCA-GA能有效提升真实场景下的旋转鲁棒性。最后，加入2D视图重建模块得到完整的模型F，也就是本文提出的RI 2D-3D AE，在ScanObjectNN数据集上获得了显著的效果。 注： 加粗为最优结果 Model PCA-GA <math id="M106"><msub><mrow><mi>L</mi></mrow><mrow><mn>3</mn><mi mathvariant="normal">D</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466842&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466840&type= 4.48733330 3.21733332 <math id="M107"><msub><mrow><mi>L</mi></mrow><mrow><mn>2</mn><mi mathvariant="normal">D</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466846&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41466844&type= 4.48733330 3.21733332 ScanObjectNN D √ 87.48% E √ √ 88.16% F √ √ √ 89.02% 为了进一步验证点云2D视图在特征编码中的有效性，研究2D视图重建分支的贡献，使用不同视角的视图对模型进行训练，并在z/SO3情况下的ModelNet40中评估线性SVM分类器。实验结果如 表5 表5 所示。从结果看，即使使用单个方向上的2D视图，也可以产生更好的线性分类结果。相对于其它视图，俯视图对结果的提升最大，为了分析原因，部分点云对象及其视图可视化如 图4 图4 所示。 注： 加粗为最优结果 View Accuracy 0 View 89.91% Top 90.36% Left 90.11% Front 90.28% 3 Views 90.84 % 从 图4 图4 可以看出，一些点云的俯视图反映出了3D对象的大部分主要信息，另一些需要结合三个视图来推测原始点云。在点云自编码器中加入视图重建分支后，相当于建立起二维视图与三维对象的联系，引导编码器向特征信息更多的方向进行学习，增强网络编码能力。 3.5　可视化结果 2 为了更好地展示表征的可区分性，使用t-分布随机近邻嵌入（t-distributed Stochastic Neighbor Embedding， t-SNE）聚类对学到的点云表征进行可视化。首先FoldingNet ［ 15 15 ］ 在z/SO3情况下的ModelNet40上生成的部分类别表征可视化结果如 图5 图5 所示。可见在旋转干扰情况下，FoldingNet生成的各类别表征难以区分。 本文提出的RI 2D-3D AE可视化结果如 图6 图6 所示。即使在样本随机旋转的情况下，编码器生成的点云表征的类间距离仍较大，可区分性高，证明了表征具有良好的可区分性和旋转鲁棒性。 从 图6 图6 还看出，比较难区分的类别是Desk（浅蓝色）和Table（灰色），原因在于这两类物体特征高度相似，即使是人类也无法轻易区分。 图7 图7 为错误分类样本示例。本文提出的算法目前还不能区分这些高度相似的不同类别样本，这也是未来的一个优化方向。 4 结 论 1 本文针对现有点云自编码器存在的旋转干扰和特征提取不足问题，提出一个旋转不变的2D视图-3D点云自编码器。针对旋转干扰问题，对输入点云进行局部和全局的特征转换，将点云转换为旋转不变的特征表示。针对特征提取问题，设计局部和非局部特征提取模块，并建模不同层次特征的语义一致性，增强了表征的空间和语义信息；设计二维视图和三维点云重建任务，结合二维视图训练模型，可以增强网络编码能力，促进模型对3D世界的有效理解。实验结果证明，本算法在随机旋转的合成数据集ModelNet40和真实数据集ScanObjectNN上的识别精度分别为90.84%和89.02%，学习到的点云表征的可辨别性和旋转鲁棒性优于其他先进的无监督方法。 参考文献 GUO Y L ， WANG H Y ， HU Q Y ， et al . Deep learning for 3D point clouds： a survey ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 12 ）： 4338 - 4364 . doi: 10.1109/tpami.2020.3005434 http://dx.doi.org/10.1109/tpami.2020.3005434 Deep learning for 3D point clouds： a survey CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 77 - 85 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16 PointNet： deep learning on point sets for 3D classification and segmentation QI C R ， YI L ， SU H ， et al . Pointnet++： Deep hierarchical feature learning on point sets in a metric space ［J］. Advances in Neural Information Processing Systems ， 2017 ， 30 . Pointnet++： Deep hierarchical feature learning on point sets in a metric space WANG Y ， SUN Y B ， LIU Z W ， et al . Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 5 ）： 1 - 12 . doi: 10.1145/3326362 http://dx.doi.org/10.1145/3326362 Dynamic graph CNN for learning on point clouds 杨军 ， 党吉圣 . 采用深度级联卷积神经网络的三维点云识别与分割 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1187 - 1199 . doi: 10.3788/OPE.20202805.1187 http://dx.doi.org/10.3788/OPE.20202805.1187 采用深度级联卷积神经网络的三维点云识别与分割 YANG J ， DANG J S . Recognition and segmentation of three-dimensional point cloud based on deep cascade convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1187 - 1199 . （in Chinese） . doi: 10.3788/OPE.20202805.1187 http://dx.doi.org/10.3788/OPE.20202805.1187 Recognition and segmentation of three-dimensional point cloud based on deep cascade convolutional neural network 杨军 ， 李博赞 . 基于自注意力特征融合组卷积神经网络的三维点云语义分割 ［J］. 光学 精密工程 ， 2022 ， 30 （ 7 ）： 840 - 853 . doi: 10.37188/OPE.20223007.0840 http://dx.doi.org/10.37188/OPE.20223007.0840 基于自注意力特征融合组卷积神经网络的三维点云语义分割 YANG J ， LI B Z . Semantic segmentation of 3D point cloud based on self-attention feature fusion group convolutional neural network ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 7 ）： 840 - 853 . （in Chinese） . doi: 10.37188/OPE.20223007.0840 http://dx.doi.org/10.37188/OPE.20223007.0840 Semantic segmentation of 3D point cloud based on self-attention feature fusion group convolutional neural network 陈俊英 ， 白童垚 ， 赵亮 . 互注意力融合图像和点云数据的3D目标检测 ［J］. 光学 精密工程 ， 2021 ， 29 （ 9 ）： 2247 - 2254 . doi: 10.37188/OPE.20212909.2247 http://dx.doi.org/10.37188/OPE.20212909.2247 互注意力融合图像和点云数据的3D目标检测 CHEN J Y ， BAI T Y ， ZHAO L . 3D object detection based on fusion of point cloud and image by mutual attention ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 9 ）： 2247 - 2254 . （in Chinese） . doi: 10.37188/OPE.20212909.2247 http://dx.doi.org/10.37188/OPE.20212909.2247 3D object detection based on fusion of point cloud and image by mutual attention DENG H W ， BIRDAL T ， ILIC S . PPF-FoldNet： unsupervised learning of rotation invariant 3D local descriptors ［C］. Computer Vision-ECCV 2018 ， 2018 ： 602 - 618 . doi: 10.1007/978-3-030-01228-1_37 http://dx.doi.org/10.1007/978-3-030-01228-1_37 PPF-FoldNet： unsupervised learning of rotation invariant 3D local descriptors GU R B ， WU Q X ， LI Y Q ， et al . Enhanced local and global learning for rotation-invariant point cloud representation ［J］. IEEE MultiMedia ， 1906 ， PP（99）： 1. Enhanced local and global learning for rotation-invariant point cloud representation LIU X H ， HAN Z Z ， WEN X ， et al . L2G auto-encoder： understanding point clouds by local-to-global reconstruction with hierarchical self-attention ［C］. MM '19 ： Proceedings of the 27th ACM International Conference on Multimedia . 2019 ： 989 - 997 . doi: 10.1145/3343031.3350960 http://dx.doi.org/10.1145/3343031.3350960 L2G auto-encoder： understanding point clouds by local-to-global reconstruction with hierarchical self-attention HAN Z Z ， WANG X Y ， LIU Y S ， et al . Multi-angle point cloud-VAE： unsupervised feature learning for 3D point clouds from multiple angles by joint self-reconstruction and half-to-half prediction ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 10441 - 10450 . doi: 10.1109/iccv.2019.01054 http://dx.doi.org/10.1109/iccv.2019.01054 Multi-angle point cloud-VAE： unsupervised feature learning for 3D point clouds from multiple angles by joint self-reconstruction and half-to-half prediction XIE S N ， GU J T ， GUO D M ， et al . PointContrast： unsupervised pre-training for 3D point cloud understanding ［C］. Computer Vision-ECCV 2020 ， 2020 ： 574 - 591 . doi: 10.1007/978-3-030-58580-8_34 http://dx.doi.org/10.1007/978-3-030-58580-8_34 PointContrast： unsupervised pre-training for 3D point cloud understanding RAO Y M ， LU J W ， ZHOU J . Global-local bidirectional reasoning for unsupervised representation learning of 3D point clouds ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 5375 - 5384 . doi: 10.1109/cvpr42600.2020.00542 http://dx.doi.org/10.1109/cvpr42600.2020.00542 Global-local bidirectional reasoning for unsupervised representation learning of 3D point clouds AFHAM M ， DISSANAYAKE I ， DISSANAYAKE D ， et al . CrossPoint： self-supervised cross-modal contrastive learning for 3D point cloud understanding ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans ， LA， USA . IEEE ， 2022 ： 9892 - 9902 . doi: 10.1109/cvpr52688.2022.00967 http://dx.doi.org/10.1109/cvpr52688.2022.00967 CrossPoint： self-supervised cross-modal contrastive learning for 3D point cloud understanding YANG Y Q ， FENG C ， SHEN Y R ， et al . FoldingNet： point cloud auto-encoder via deep grid deformation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 206 - 215 . doi: 10.1109/cvpr.2018.00029 http://dx.doi.org/10.1109/cvpr.2018.00029 FoldingNet： point cloud auto-encoder via deep grid deformation LI Q M ， HAN Z C ， WU X M . Deeper insights into graph convolutional networks for semi-supervised learning ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2018 ， 32 （ 1 ）. doi: 10.1609/aaai.v32i1.11604 http://dx.doi.org/10.1609/aaai.v32i1.11604 Deeper insights into graph convolutional networks for semi-supervised learning WU Z R ， SONG S R ， KHOSLA A ， et al . 3D ShapeNets： a deep representation for volumetric shapes ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA， USA . IEEE ， 2015 ： 1912 - 1920 . doi: 10.1109/cvpr.2015.7298801 http://dx.doi.org/10.1109/cvpr.2015.7298801 3D ShapeNets： a deep representation for volumetric shapes UY M A ， PHAM Q H ， HUA B S ， et al . Revisiting point cloud classification： a new benchmark dataset and classification model on real-world data ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 1588 - 1597 . doi: 10.1109/iccv.2019.00167 http://dx.doi.org/10.1109/iccv.2019.00167 Revisiting point cloud classification： a new benchmark dataset and classification model on real-world data 10.37188/OPE.20233105.0656 TP391 A 1004-924X（2023）05-0656-11 刘贤颖,吴秋遐,康文雄等.旋转不变的2D视图-3D点云自编码器[J].光学精密工程,2023,31(05):656-666. 刘贤颖,吴秋遐,康文雄等.旋转不变的2D视图-3D点云自编码器[J].光学精密工程,2023,31(05):656-666. LIU Xianying,WU Qiuxia,KANG Wenxiong,et al.Rotation-invariant 2D views-3D point clouds auto-encoder[J].Optics and Precision Engineering,2023,31(05):656-666. LIU Xianying,WU Qiuxia,KANG Wenxiong,et al.Rotation-invariant 2D views-3D point clouds auto-encoder[J].Optics and Precision Engineering,2023,31(05):656-666. 广东省自然科学基金项目（No.2020A1515010558， No.2021A1515011972） 2022-07-27 2022-08-30 2023-03-10 2023-03-22 光学精密工程 5 31