融合NFFD与图卷积的单视图三维物体重建

融合NFFD与图卷积的单视图三维物体重建 Single-view 3D object reconstruction based on NFFD and graph convolution 1 2 corresp first-author E-mail： lianyuanfeng@cup.edu.cn E-mail： lianyuanfeng@cup.edu.cn 连远锋（1977-），男，吉林延吉人，博士，副教授，硕士生导师，2012年于北京航空航天大学获得博士学位，主要研究方向为图像处理与虚拟现实、机器视觉与机器人、深度学习与数字几何。E-mail:lianyuanfeng@cup.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784646&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784639&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784637&type= 22.01332855 32.00399780 连远锋 （1977-），男，吉林延吉人，博士，副教授，硕士生导师，2012年于北京航空航天大学获得博士学位，主要研究方向为图像处理与虚拟现实、机器视觉与机器人、深度学习与数字几何。E-mail: lianyuanfeng@cup.edu.cn lianyuanfeng@cup.edu.cn 1 裴守爽（1997-），男，河北唐山人，硕士研究生，2020 年于河北农业大学取得学士学位，主要研究方向为深度学习与三维重建。E-mail：peishoushuang@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784657&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784662&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784641&type= 22.01332855 32.00399780 裴守爽 （1997-），男，河北唐山人，硕士研究生，2020 年于河北农业大学取得学士学位，主要研究方向为深度学习与三维重建。E-mail： peishoushuang@163.com peishoushuang@163.com 1 中国石油大学（北京） 计算机科学与技术系，北京 102249 中国石油大学（北京） 计算机科学与技术系，北京 102249 Department of Computer Science and Technology， China University of Petroleum， Beijing 102249， China Department of Computer Science and Technology， China University of Petroleum， Beijing 102249， China 石油数据挖掘北京市重点实验室，北京 102249 石油数据挖掘北京市重点实验室，北京 102249 Beijing Key Laboratory of Petroleum Data Mining， Beijing 102249， China Beijing Key Laboratory of Petroleum Data Mining， Beijing 102249， China 为了解决复杂拓扑结构及非规则表面细节缺失等导致的单视图三维物体重建结果不准确问题，本文提出了一种融合非均匀有理B样条自由形变（NFFD）与图卷积神经网络的三维物体重建方法。首先，通过引入连接权重策略的控制点生成网络对2D视图进行特征学习，获得其控制点拓扑结构。然后，利用NURBS基函数对控制点坐标自适应特性建立点云模型轮廓间顶点的形变关系。最后，为增强细节信息，将混合注意力模块嵌入图卷积网络对形变后的点云位置进行调整，从而实现复杂拓扑结构和非规则表面的高效重建。在ShapeNet数据集的实验表明，CD指标平均值为3.79，EMD指标平均值为3.94，并在Pix3D真实场景数据集上取得较好重建效果。与已有的单视图点云三维重建方法比较，本文方法有效地提高了重建精度，具有较强的鲁棒性。 To address the issue of inaccurate single-view three-dimensional （3D） object reconstruction results caused by complex topological objects and the absence of irregular surface details， a novel single-view 3D object reconstruction method combining non-uniform rational B-spline free deformation with a graph convolution neural network is proposed. First， a control points generation network， which introduces the connection weight policy， is used for the feature learning of two-dimensional views to obtain their control points topology. Subsequently， the NURBS basis function is used to establish the deformation relationship between the vertex contours of the point cloud model. Finally， to enhance the details， a convolutional network embedded with a mixed attention module is used to adjust the position of the deformed point cloud to reconstruct complex topological structures and irregular surfaces efficiently. Experiments on ShapeNet data show that the average values of the CD and EMD indices are 3.79 and 3.94， respectively， and that good reconstruction is achieved on the Pix3D real scene dataset. In contrast to existing single view point cloud 3D reconstruction methods， the proposed method offers a higher reconstruction accuracy of 3D objects and demonstrates higher robustness. NURBS自由形变 三维重建 图卷积网络 混合注意力 控制点生成网络 NURBS-based free-form deformation 3D reconstruction graph convolution network mixed attention control points generation network 1 引　言 1 单视图三维物体重建技术广泛应用于姿态估计、形状检索、自动驾驶和增强现实等多种场景，成为计算机视觉领域的研究热点。由于物体单视图受观察视角影响导致几何信息缺失，使得恢复物体完整的三维结构非常具有挑战性。 近年来，基于深度学习的三维模型重建得到了广泛应用。根据重建对象的表示形式可分为网格、体素和点云 ［ 1 1 - 2 2 1-2 ］ 。基于网格 ［ 3 3 ］ 和体素 ［ 4 4 ］ 进行物体三维重建是利用网络学习二维图像到三维网格或三维体素块上的概率分布映射关系来表达三维几何形状。由于三维物体的网格表示形式存在复杂的拓扑关系，使得在利用同类形状模板进行变形过程中容易出现网格自交叉 ［ 5 5 ］ 。基于体素的物体表示形式可以直接实现卷积与池化操作，但受限于计算资源和分辨率等问题会丢失局部细节，难以处理高精度的模型 ［ 6 6 ］ 。一些工作 ［ 7 7 - 8 8 7-8 ］ 基于点云的不规则数据形式进行三维形状重建。Fan等 ［ 9 9 ］ 提出了一种基于点云的三维模型重建方法PSGN，通过定义倒角距离与空间距离等损失函数，取得了较好的重建精度。Zhang等 ［ 10 10 ］ 基于融合特征对内部点和外部点进行分类，并提出一种点云采样优化策略，使得重建点云的细节更为丰富。为了有效恢复物体单视图的遮挡区域，Yang等 ［ 11 11 ］ 将3D编码器-解码器结构与生成对抗网络结合，从单幅视图重建物体精细的三维结构，在合成数据集上得到较好的实验结果。 基于点云的三维重建方法中，三维模型中每个顶点的位置及其邻接关系可以通过拓扑图来表示，而图卷积网络（Graph Convolution Network，GCN）能够更好地在拓扑图上捕获隐含、非线性空间特征，因而采用GCN模型实现点云的三维重建得到了广泛应用 ［ 12 12 - 13 13 12-13 ］ 。Wang等 ［ 14 14 ］ 提出一种多阶段网格形变的三维重建方法Pixel2Mesh，通过图卷积神经网络精确预测三维模型中每个顶点的位置，实现网格的形变。在文献［ 14 14 ］基础上，Nguyen等 ［ 15 15 ］ 通过多尺度的编码器获得更为准确的图像特征，并将这些特征映射到随机点云的每个顶点实现模型重建。虽然上述方法在部分数据集上取得较好的结果，但仍存在由于局部纹理缺失、物体拓扑结构复杂等因素导致重建结果不准确的局限性。 由于点云具有可伸缩性和延展性，一些方法将自由形变（Free-Form Deformation， FFD）引入三维物体重建任务中。Kurenkov等 ［ 16 16 ］ 基于FFD模型，提出一种点云三维重建方法，利用网格体包围目标，并在网格上定义若干控制点，通过深度学习方法预测控制点偏移来实现三维重建。Pontes等 ［ 17 17 ］ 扩展了这种方法，并引入模型检索思想，根据输入的图像在数据库中查找与其最为相近的三维模型，然后经过自由形变技术得到最终模型。由于FFD模型对计算资源要求较高，任意控制点的坐标变化均会导致模型整体形变，文献［ 18 18 ］改进了FFD模型，提出NFFD （NURBS-based Free-Form Deformation）自由形变模型，增加了形变自由度，在一定程度上提升了自由形变的精度。 为了提升单视图三维物体重建精度，本文提出了一种融合NFFD与图卷积神经网络的三维重建方法。首先，通过引入连接权重策略的控制点生成网络对2D视图进行特征学习，获得其控制点拓扑结构。其次，利用NURBS基函数对控制点坐标自适应特性建立点云模型轮廓间顶点的形变关系。最后，为增强细节信息，将混合注意力模块嵌入图卷积网络对形变后的点云位置进行调整。通过以上两阶段的位置映射，实现复杂拓扑结构和非规则表面的高效重建。 2 融合NFFD与图卷积的单视图三维重建算法 1 本文提出的系统网络结构如 图1 图1 所示，包括控制点生成网络、NFFD自由形变和图卷积局部点云形变模块。首先将单幅图像输入到控制点生成网络获得三维模型的控制点，然后利用NFFD自由形变方法对模板模型进行调整，最后利用图卷积对局部点云进行调整，得到最终的三维点云重建结果。 2.1　控制点生成网络 2 为了利用单幅图像的特征信息生成准确的三维模型控制点，采用编码器-解码器-预测器机制，设计了一个对复杂三维模型结构具有良好表现力的控制点生成网络（Control Points Generation Network，CPGN），如 图2 图2 所示。编码器由卷积层和ReLU层组成，这里采用了多尺度的卷积层以获得不同层次的特征信息。解码器由反卷积层和ReLU层组成，利用步长为1的卷积代替pooling层，同样用步长为2的反卷积代替unpooling层，这种设计可以减少图像纹理信息的丢失。编码器中每一层的输出与相应的解码器输出通过矩阵加法相融合，以产生增强的特征。为了防止过拟合，加快收敛速度，预测器由卷积模块和两个全连接层组成，最后的一个全连接层实现维度变换，输出控制点坐标偏移量，并与初始控制点坐标相加，获得最终的控制点坐标。 2.2　NFFD自由形变模型 2 基于非均匀有理B样条曲面自由形变，采用非均匀控制点矩阵对曲面进行约束，能够有效提升模型形变精度 ［ 19 19 - 20 20 19-20 ］ 。NFFD方法形变过程描述如下： 首先根据输入图像的类别，从模型数据库选择模型点云，其中每个类别对应一种模型点云。建立 U、V、W 方向上的局部坐标系，定义模型点云顶点的三元组坐标，记为（ u ， v ， w ）。CPGN根据输入图像生成对应三维模型的控制点坐标形变量，并与初始控制点坐标相加，获得最终的控制点坐标。 初始控制点在各个方向上均匀分布，设在 U、V、W 三个方向上分别有 L、M、N 个控制点，已知坐标系原点为 E ，则初始控制点 p ijk 的坐标满足如下公式： <math display="block" id="M1"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi><mi>j</mi><mi>k</mi></mrow></msub><mo>=</mo><mi>E</mi><mo>+</mo><mfenced separators="|"><mrow><mfrac><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></mfrac></mrow></mfenced><mi>U</mi><mo>+</mo><mfenced separators="|"><mrow><mfrac><mrow><mi>j</mi></mrow><mrow><mi>M</mi></mrow></mfrac></mrow></mfenced><mi>V</mi><mo>+</mo><mfenced separators="|"><mrow><mfrac><mrow><mi>k</mi></mrow><mrow><mi>N</mi></mrow></mfrac></mrow></mfenced><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784700&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784697&type= 57.15000153 9.22866726 . 设 p ijk 为最终的控制点坐标，形变后点云模型的顶点坐标由 公式（2） 公式（2） 定义： <math display="block" id="M2"><mtable><mtr><mtd><mi>X</mi><mo stretchy="false">(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>,</mo><mi>w</mi><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>L</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>M</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi><mi>j</mi><mi>k</mi></mrow></msub><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi><mi>j</mi><mi>k</mi></mrow></msub><msub><mrow><mi>B</mi></mrow><mrow><mi>i</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>j</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>k</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><mi>w</mi><mo stretchy="false">)</mo></mrow></mrow></mrow></mrow><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>L</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>M</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>B</mi></mrow><mrow><mi>i</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>j</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>k</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><mi>w</mi><mo stretchy="false">)</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi><mi>j</mi><mi>k</mi></mrow></msub></mrow></mrow></mrow></mrow></mfrac></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784712&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784719&type= 63.50000000 24.80733490 ， 其中： <math id="M3"><mo stretchy="false">(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>,</mo><mi>w</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784728&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784722&type= 13.37733269 3.55599999 为模型顶点的初始位置， <math id="M4"><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi><mi>j</mi><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784730&type= 6.01133299 3.72533321 为控制点的权重值， <math id="M5"><msub><mrow><mi>B</mi></mrow><mrow><mi>i</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>j</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784745&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784750&type= 24.97666740 4.14866638 和 <math id="M6"><msub><mrow><mi>B</mi></mrow><mrow><mi>k</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><mi>w</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784760&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784757&type= 12.78466606 4.14866638 是B样条基函数。以 U 方向为例，其表达式为： <math display="block" id="M7"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>B</mi></mrow><mrow><mi>i</mi><mo>,</mo><mn mathvariant="normal">0</mn></mrow></msub><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>≤</mo><mi>u</mi><mo>≤</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mi>e</mi><mi>l</mi><mi>s</mi><mi>e</mi></mtd></mtr></mtable></mrow></mfenced></mtd></mtr><mtr><mtd><msub><mrow><mi>B</mi></mrow><mrow><mi>i</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>u</mi><mo>-</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi><mo>+</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub><mo>-</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfrac><msub><mrow><mi>B</mi></mrow><mrow><mi>i</mi><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><mo>+</mo><mfrac><mrow><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi><mo>+</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><mi>u</mi></mrow><mrow><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi><mo>+</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfrac><msub><mrow><mi>B</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784782&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784766&type= 94.40332794 20.82799911 . 通常，B样条基函数的次数与控制点影响的区域正相关。在 U、V、W 三个方向上，B样条基函数的次数满足以下条件： <math display="block" id="M8"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mn mathvariant="normal">2</mn><mo>≤</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>≤</mo><mo stretchy="false">(</mo><mi>L</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">2</mn><mo>≤</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>≤</mo><mo stretchy="false">(</mo><mi>M</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">2</mn><mo>≤</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>≤</mo><mo stretchy="false">(</mo><mi>N</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784788&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784785&type= 29.04066467 16.34066582 ， 其中： <math id="M9"><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784792&type= 2.62466669 3.72533321 ， <math id="M10"><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784803&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784801&type= 2.62466669 3.72533321 ， <math id="M11"><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784824&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784816&type= 2.62466669 3.72533321 分别为 U ， V ， W 方向上B样条基函数的次数。B样条基函数由节点向量多项式构成， U、V、W 三个方向上的节点向量满足非递减性质，定义为： <math display="block" id="M12"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mi mathvariant="bold-italic">U</mi><mo>=</mo><mo stretchy="false">(</mo><msub><mrow><mi>u</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>u</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>e</mi></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mi>e</mi><mo>=</mo><mi>L</mi><mo>+</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mi mathvariant="bold-italic">V</mi><mo>=</mo><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo>=</mo><mi>M</mi><mo>+</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mi mathvariant="bold-italic">W</mi><mo>=</mo><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>w</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>g</mi></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mi>g</mi><mo>=</mo><mi>N</mi><mo>+</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784828&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784826&type= 62.65333176 16.51000023 . 以 U 方向为例，设 <math id="M13"><mi>u</mi><mi>'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784844&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784843&type= 2.62466669 3.30200005 是一个单调递增序列，共有 r +1项。其中， <math id="M14"><mi>u</mi><msub><mrow><mi>'</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784848&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784846&type= 10.49866676 4.23333359 ， <math id="M15"><mi>u</mi><msub><mrow><mi>'</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784851&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784837&type= 10.24466610 4.23333359 ，当 i 介于1与 r- 1之间， <math id="M16"><mi>u</mi><msub><mrow><mi>'</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784870&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784868&type= 3.38666677 4.23333359 表达式可定义为： <math display="block" id="M17"><mi>u</mi><msub><mrow><mi>'</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi>u</mi><msub><mrow><mi>'</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>r</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784863&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784860&type= 22.52133369 7.87400007 . 则 <math id="M18"><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784873&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784865&type= 2.62466669 3.72533321 的表达式定义为： <math display="block" id="M19"><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mi>i</mi><mo>=</mo><mn mathvariant="normal">0,1</mn><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mtd></mtr><mtr><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mtd><mtd><mi>i</mi><mo>=</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><mi>j</mi><mo>,</mo><mi>j</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>L</mi><mo>-</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mi>i</mi><mo>=</mo><mi>L</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>L</mi><mo>+</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784888&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784875&type= 64.85466003 15.57866764 ， 其中， <math id="M20"><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784882&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784880&type= 6.51933336 3.97933316 满足如下表达式： <math display="block" id="M21"><mtable columnalign="left"><mtr><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo>=</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>j</mi><mo>×</mo><mi>t</mi><mo>+</mo><mo>⌊</mo><mi>j</mi><mo>×</mo><mi>t</mi><mi mathvariant="normal">」</mi><mo stretchy="false">)</mo><msubsup><mrow><mi>u</mi></mrow><mrow><mo>⌊</mo><mi>j</mi><mo>×</mo><mi>t</mi><mi mathvariant="normal">」</mi></mrow><mrow><mi>'</mi></mrow></msubsup><mo>+</mo></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><mi>j</mi><mo>×</mo><mi>t</mi><mo>-</mo><mo>⌊</mo><mi>j</mi><mo>×</mo><mi>t</mi><mi mathvariant="normal">」</mi><mo stretchy="false">)</mo><msubsup><mrow><mi>u</mi></mrow><mrow><mo>⌊</mo><mi>j</mi><mo>×</mo><mi>t</mi><mi mathvariant="normal">」</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>'</mi></mrow></msubsup></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784903&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784899&type= 56.38800049 10.83733368 ， <math display="block" id="M22"><mi>t</mi><mo>=</mo><mfrac><mrow><mi>r</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>L</mi><mo>-</mo><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784909&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784906&type= 23.28333473 8.89000034 ， 其中： L 是控制点数目， <math id="M23"><mo>⌊</mo><mi>j</mi><mo>×</mo><mi>t</mi><mi mathvariant="normal">」</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784919&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784911&type= 12.61533356 3.97933316 表示对 j×t 进行向下取整。 2.3　图卷积点云形变模块 2 图卷积点云形变模块的网络结构如 图3 图3 所示，特征提取分为两路，首先采用ResNet-50提取输入图像的 m 维特征信息，并将NFFD形变点云映射到输入图像特征的feature maps。设三维空间点 <math id="M24"><mi>P</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>z</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784923&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784931&type= 15.57866764 3.97933316 ，其对应的图像上点的像素坐标为（ u ， v ），则有： <math display="block" id="M25"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mi>u</mi><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>x</mi></mrow></msub><mo>×</mo><mfrac><mrow><mi>x</mi></mrow><mrow><mi>z</mi></mrow></mfrac><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>x</mi></mrow></msub></mtd></mtr><mtr><mtd><mi>v</mi><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>×</mo><mfrac><mrow><mi>y</mi></mrow><mrow><mi>z</mi></mrow></mfrac><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>y</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784926&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784933&type= 26.07733345 18.45733452 ， 其中： <math id="M26"><msub><mrow><mi>f</mi></mrow><mrow><mi>x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784945&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784940&type= 2.37066650 4.57200003 、 <math id="M27"><msub><mrow><mi>f</mi></mrow><mrow><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784960&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784947&type= 2.28600001 4.57200003 为相机焦距， <math id="M28"><msub><mrow><mi>c</mi></mrow><mrow><mi>x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784956&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784962&type= 2.70933342 3.72533321 、 <math id="M29"><msub><mrow><mi>c</mi></mrow><mrow><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784968&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784966&type= 2.62466669 3.72533321 为主点偏移。然后采用多层感知器（MLP）提取NFFD形变点云的特征，并将这些特征级联，获得特征信息的组合。近年来，不同的注意力机制 ［ 21 21 - 25 25 21-25 ］ 被应用到深度学习的具体任务当中，取得良好的表现。为了增强特征集成，采用混合注意力模块对这些特征进行处理。这里混合注意力模块包含空间注意力、通道注意力与自注意力三部分。 空间注意力模块有助于改善局部特征表示。设输入特征为 X ，经过三个步长为1的卷积后，获得三个特征向量，分别为 A 、 B 、 C 。将 A 的转置矩阵与矩阵 B 相乘，再与矩阵 C 相乘，最终与输入特征 X 相加，获得输出特征 <math id="M30"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784991&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784989&type= 3.80999994 3.72533321 。空间注意力模块的表达式为： <math display="block" id="M31"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mo stretchy="false">[</mo><mi mathvariant="bold-italic">C</mi><mo>⊗</mo><mo stretchy="false">(</mo><msup><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>⊗</mo><mi mathvariant="bold-italic">B</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>⊕</mo><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784996&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29784993&type= 41.23266602 4.74133301 . 通道注意力模块能有效提取通道间有用的信息。输入特征 Y 经过与自身两次矩阵相乘后，再与自身相加获得输出特征。通道注意力模块的表达式为： <math display="block" id="M32"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mo stretchy="false">[</mo><mi mathvariant="bold-italic">Y</mi><mo>⊗</mo><mo stretchy="false">(</mo><msup><mrow><mi mathvariant="bold-italic">Y</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>⊗</mo><mi mathvariant="bold-italic">Y</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>⊕</mo><mi mathvariant="bold-italic">Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785006&type= 42.33333206 4.74133301 . 自注意力模块能获取各点的全局特征。输入特征 Z 经过三个步长为1的卷积后，分别获得特征 D 、 E 、 F 。将矩阵 D 转置并与矩阵 E 相乘，最终与矩阵 F 相乘，获得输出特征 <math id="M33"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785012&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785011&type= 3.80999994 3.72533321 。自注意力模块的表达式为： <math display="block" id="M34"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>=</mo><mi mathvariant="bold-italic">F</mi><mo>⊗</mo><mo stretchy="false">(</mo><msup><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>⊗</mo><mi mathvariant="bold-italic">E</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785020&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785019&type= 31.32666588 4.74133301 . 最终输出的特征信息 <math id="M35"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785022&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785036&type= 5.33400011 3.72533321 满足如下公式： <math display="block" id="M36"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⊕</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>⊕</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785045&type= 29.37933159 4.40266657 ， 其中， <math id="M37"><mo>⊕</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785050&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785027&type= 3.72533321 3.47133350 表示两个矩阵对应元素相加。为了充分利用特征信息，图卷积网络同时关注全局特征和局部临近点特征信息。图卷积模块包含多层图卷积操作，每一层的图卷积操作的定义如下： <math display="block" id="M38"><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>=</mo><mi>h</mi><mfenced separators="|"><mrow><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>∈</mo><mi>F</mi></mrow></munder><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>j</mi><mi>k</mi></mrow></msub><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>+</mo><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>∈</mo><mi>F</mi></mrow></munder><mrow><mi>Q</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mrow></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785065&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785051&type= 55.88000107 10.92199993 ， <math display="block" id="M39"><mi mathvariant="bold-italic">Q</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>q</mi><mo>∈</mo><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow></munder><mrow><mfrac><mrow><mi>w</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">q</mi><mo>-</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mo stretchy="false">|</mo><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">|</mo></mrow></mfrac></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785069&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785052&type= 39.62400055 9.82133293 ， 其中： <math id="M40"><msubsup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785075&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785071&type= 6.34999990 4.82600021 为第 i+ 1层的第 k 个输出向量； <math id="M41"><msub><mrow><mi>w</mi></mrow><mrow><mi>j</mi><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785059&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785057&type= 4.48733330 3.72533321 为权重； <math id="M42"><msub><mrow><mi>b</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785094&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785081&type= 2.96333337 3.72533321 指的是该点的偏置； F 是第 i 层所有特征向量的集合，特征向量 <math id="M43"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785097&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785086&type= 1.94733346 4.57200003 属于 F ； <math id="M44"><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785091&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785098&type= 9.56733322 4.91066647 表示 <math id="M45"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785112&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785092&type= 1.94733346 4.57200003 所有的临近点，通过比较特征向量的 <math id="M46"><msub><mrow><mi mathvariant="normal">L</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785123&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785115&type= 3.64066648 3.64066648 距离来选择临近点； <math id="M47"><mi>Q</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785121&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785119&type= 9.22866726 4.91066647 能够学习临近点之间特征差异的权重 w ，通过全连接层实现； <math id="M48"><mi>h</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785139&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785128&type= 7.78933382 3.55599999 是非线性激活函数，这里选择的是leaky ReLU激活函数，在输出层，特征向量经过全连接层后获得最终的点云坐标。 2.4　损失函数 2 为实现对点云的位置进行预测，采用EMD、CD、等距先验损失与对称损失作为模型训练的损失函数，具体定义如下： 2 . 4 . 1　Earth mover’s distance（EMD） 3 EMD被定义为集合中的元素 p 到集合 <math id="M49"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785144&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785143&type= 3.97933316 3.72533321 中所有元素距离的最小和，公式如下： <math display="block" id="M50"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">E</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">D</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>σ</mi><mo>:</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>→</mo><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></mrow></munder><munder><mo movablelimits="false">∑</mo><mrow><mi>p</mi><mo>∈</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></munder><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>p</mi><mo>-</mo><mi>σ</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785154&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785136&type= 59.26666260 7.45066643 ， 其中： <math id="M51"><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785152&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785157&type= 3.38666677 3.72533321 表示重建点云， <math id="M52"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785161&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785168&type= 3.97933316 3.72533321 表示GroundTruth（GT）真实点云， <math id="M53"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785163&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785177&type= 1.69333339 2.79399991 表示双射关系。 2 . 4 . 2　倒角距离（CD） 3 倒角距离（CD）用于衡量两组点云之间的距离。形式上被定义为： <math display="block" id="M54"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">D</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>∈</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></munder><mrow><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>∈</mo><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></mrow></munder><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo></mrow></mtd></mtr><mtr><mtd><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>∈</mo><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></mrow></munder><mrow><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>∈</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></munder><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785181&type= 56.38800049 18.20333290 其中：公式中第一项表示 <math id="M55"><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785201&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785199&type= 3.38666677 3.72533321 中任意一点到 <math id="M56"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785207&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785204&type= 3.97933316 3.72533321 的最小距离之和，第二项表示 <math id="M57"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785193&type= 3.97933316 3.72533321 中任意一点到 <math id="M58"><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785196&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785195&type= 3.38666677 3.72533321 的最小距离之和。 2 . 4 . 3　等距先验损失 3 设 <math id="M59"><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785233&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785221&type= 3.38666677 3.72533321 为重建点云， s 为 <math id="M60"><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785233&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785221&type= 3.38666677 3.72533321 中任意一点， <math id="M61"><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>s</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>s</mi></mrow><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>s</mi></mrow><mrow><mi>z</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785237&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785235&type= 17.01799965 4.65666676 是 s 的第 i 个临近点。经过高斯滤波后， s 的位置随之改变，以 x 坐标为例，满足如下公式： <math display="block" id="M62"><msubsup><mrow><mi>s</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>'</mi></mrow></msubsup><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi></mrow></munder><mrow><mi>f</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>s</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>×</mo><msubsup><mrow><mi>s</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785227&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785226&type= 26.67000008 6.60400009 ， <math display="block" id="M63"><mi>f</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>s</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn><mi mathvariant="normal">π</mi><msup><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><mfrac><mrow><mo stretchy="false">(</mo><msubsup><mrow><mi>s</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>-</mo><msub><mrow><mi>s</mi></mrow><mrow><mi>x</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mn mathvariant="normal">2</mn><msup><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785260&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785245&type= 48.25999832 9.82133293 . 等距先验损失定义如下： <math display="block" id="M64"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi></mrow></msub><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">D</mi></mrow></msub><mo stretchy="false">(</mo><mi>S</mi><mi>'</mi><mo>,</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785251&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785248&type= 27.00866890 4.65666676 ， 其中： <math id="M65"><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785255&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785254&type= 3.38666677 3.72533321 为初始点云， <math id="M66"><mi>S</mi><mi>'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785273&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785270&type= 2.87866688 3.30200005 为经过高斯滤波的点云。引入等距先验损失函数，能够使相邻的点相互靠近。 2 . 4 . 4　对称损失 3 为了使形变过程中的点云模型保持对称性，引入点云的对称损失函数，即： <math display="block" id="M67"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">y</mi><mi mathvariant="normal">m</mi></mrow></msub><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">D</mi></mrow></msub><mo stretchy="false">(</mo><mi>M</mi><mo stretchy="false">(</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785291&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785275&type= 36.99933624 4.48733330 ， 其中， <math id="M68"><mi>M</mi><mo stretchy="false">(</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785281&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785278&type= 10.66800022 4.48733330 为镜面反射变换。 2 . 4 . 5　归一化 3 总损失函数为上述各项损失函数之和： <math display="block" id="M69"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">m</mi></mrow></msub><mo>=</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">D</mi></mrow></msub><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">E</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">D</mi></mrow></msub><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi></mrow></msub><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">y</mi><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785285&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785283&type= 61.72200012 3.80999994 ， 其中： <math id="M70"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785310&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785287&type= 2.87866688 3.72533321 、 <math id="M71"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785314&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785320&type= 2.87866688 3.72533321 、 <math id="M72"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785326&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785315&type= 2.87866688 3.72533321 与 <math id="M73"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785328&type= 2.87866688 3.72533321 分别表示各项损失函数的系数。这里， <math id="M74"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785351&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785343&type= 2.87866688 3.72533321 的值为0.25， <math id="M75"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785367&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785365&type= 2.87866688 3.72533321 的值为0.35， <math id="M76"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785372&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785355&type= 2.87866688 3.72533321 的值为0.25， <math id="M77"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785374&type= 2.87866688 3.72533321 的值为0.15。 3 实验结果与讨论 1 3.1　模型训练细节 2 在所有的实验中，模型输入均为RGB彩色图像，输出顶点数为2 048的三维点云。同时，为了端到端训练图卷积网络，在实验中使用了Adam优化器 ［ 26 26 ］ ，学习率初始化为5×10 - 5 。模型的迭代次数为50个epoch，批量大小（Batchsize）为32。所有实验均在NVIDIA GeForce GTX1080Ti GPU上使用开源机器学习框架Pytorch实现。 3.2　实验数据和评价标准 2 为评估本文所提算法的重建性能，使用了ShapeNet ［ 27 27 ］ 合成数据集和Pix3D ［ 28 28 ］ 真实场景数据集进行实验。ShapeNet中共有13个模型类别，共51 300个3D模型，将部分遮挡或截断的数据排除，并按照4：1的比例随机划分训练集与测试集。同样对Pix3D数据集做了预处理，用提供的背景遮罩信息去除无用背景并将物体移动至中心位置，最终将图像缩放或裁剪至224×224作为输入图像。 此外，本文使用IoU（Intersection-over-Union）、CD和EMD作为实验结果的衡量指标。IoU表示网络重建的3D体素形状与真实体素形状的交并比，这里采用与PSGN ［ 9 9 ］ 相同的体素生成方法。CD与EMD表示两个点云之间的差异性，这里对GT点云进行采样，生成顶点数为2 048的点云模型，并与本文重建点云进行对比。 3.3　损失函数分析 2 对本文提出的损失函数设计策略的鲁棒性进行验证如 图4 图4 所示， 图4 图4 （a）展示了损失函数在不同训练集上的效果对比。通过对比可知，在三种不同的训练集上，损失函数在训练中总体保持不断下降的趋势，训练集的损失函数在前20次epoch中下降较为迅速，而在第40次之后总体趋于稳定，可知本文方法具有较高的鲁棒性。进一步， 图4 图4 （b）展示了图卷积点云形变过程中损失函数收敛情况。通过 图4 图4 （b）可以看到图卷积形变阶段网络收敛结果较好，表明模型具有较好的三维重建效果。 1,2; 3.4　实验结果定性比较 2 图5 图5 展示了本文方法与3D-LMNet ［ 29 29 ］ 、Occupancy networks ［ 30 30 ］ 、DISN ［ 31 31 ］ 与PSGN在lamp、phone与monitor数据集上的重建结果对比。通过观察可以发现，本文方法在不同数据集下的重建精度均高于其他方法。对于不同的几何结构都有良好的表达能力，并保留更多细节。 图6 图6 展示了本文方法和Pixel2Mesh ［ 14 14 ］ 、DISN、PSGN方法在bench与airplane数据集上对比结果。为了更好地展示对比效果，这里选取三种不同的Pixel2Mesh模型。可以看出，在非孔洞的airplane模型中，VGG-Pixel2Mesh重建效果与本文方法差别不大，优于其他两种Pixel2Mesh方法；在有孔洞的模型中，本文方法明显具有更好的重建效果，能够更准确地表达物体的拓扑结构。 为了进一步展示本文方法的三维重建效果，在rifle、monitor和chair数据集上与VGG-Pixel2Mesh、Occupancy networks、DISN和PSGN四种方法进行比较。如 图7 图7 所示，本文方法在rifle与monitor数据集上的重建效果要优于其他方法，更加接近GT。在chair数据集中，本文重建效果与Pixel2Mesh、Occupancy networks和DISN相近，均取得较好的重建效果。但本文重建的点云模型分布更加均匀，细节更加准确，视觉效果更好。在 图7 图7 中，Occupancy networks方法对第四幅输入图像的重建效果较好。但总体来看，本文重建效果的细节更加准确。 3.5　实验结果定量比较 2 为了定量分析本文的方法和其他方法的差异， 表1 表1 展示了在ShapeNet数据集中的重建精度对比。将评价指标缩放100倍，与PSGN、3D-LMNet和pix2point ［ 32 32 ］ 方法比较，在CD评价指标上，本文方法在airplane等13个类别上取得了更高的重建精度；同样在EMD评价指标上，本文方法在所有类别均优于其他方法。在平均重建精度上，CD和EMD比其他方法均有较大的提高。 2 Item 4 CD 4 EMD PSGN 3D-LMNet Pix2point Ours PSGN 3D-LMNet Pix2point Ours Airplane 3.74 3.34 3.29 2.35 6.38 4.77 3.82 2.65 Bench 4.63 4.55 4.59 3.34 5.88 4.99 4.31 3.45 Cabinet 6.98 6.09 6.07 4.45 6.04 6.35 4.94 4.28 Car 5.20 4.55 4.39 3.32 4.87 4.10 3.61 2.91 Chair 6.39 6.41 6.48 3.41 9.63 8.01 6.45 3.53 Lamp 6.33 7.10 6.58 4.85 16.17 15.80 8.45 6.13 Monitor 6.15 6.40 6.39 4.49 7.59 7.13 5.94 4.15 Phone 4.56 4.63 4.27 3.46 5.07 5.43 3.77 3.43 Rifle 2.91 2.75 2.89 2.33 8.48 6.08 4.25 3.72 Sofa 6.98 5.85 5.85 4.13 7.42 5.65 5.03 3.81 Speaker 8.75 8.10 8.39 5.61 8.70 9.15 7.37 5.05 Table 6.00 6.05 6.26 4.03 8.40 7.82 6.05 4.29 Vessel 4.38 4.37 4.55 3.52 6.18 5.68 4.89 3.86 Mean 5.62 5.40 5.38 3.79 7.75 7.00 5.30 3.94 进一步地，我们对比了本文方法与PSGN、3D-R2N2在不同类别中IoU的差异。从 表2 表2 可以看出，本文方法在airplane等8个类别中IoU较高，PSGN在sofa与speaker类别中IoU较高。3D-R2N2在5视图重建下，在cabinet、car与phone类别取得最好表现。但在平均IoU上，本文比3D-R2N2在5视图下提升7.7%，比PSGN提升6.25%。 2 Item 2 PSGN 3 3D-R2N2 2 Ours 1view 3views 5views Airplane 0.601 0.513 0.549 0.561 0.71 Bench 0.550 0.421 0.502 0.527 0.69 Cabinet 0.771 0.716 0.763 0.772 0.74 Car 0.831 0.798 0.829 0.836 0.66 Chair 0.544 0.466 0.533 0.550 0.67 Lamp 0.462 0.381 0.415 0.421 0.61 Monitor 0.552 0.468 0.545 0.565 0.68 Phone 0.749 0.661 0.732 0.754 0.72 Rifle 0.604 0.544 0.593 0.600 0.71 Sofa 0.708 0.628 0.690 0.706 0.68 Speaker 0.737 0.662 0.708 0.717 0.73 Table 0.606 0.513 0.564 0.580 0.65 Vessel 0.611 0.513 0.596 0.610 0.63 Mean 0.640 0.560 0.617 0.631 0.68 3.6　消融实验 2 3 . 6 . 1　图卷积模块消融实验 3 本文2.3节利用图卷积模块对NFFD重建点云模型进行调整。为了验证该方法的有效性，这里将图卷积模块替换为普通的全连接层，并对模型进行训练与测试。使用CD与EMD两个指标来衡量生成点云的质量，测试结果如 表3 表3 所示。 2 Item 2 CD 2 Deviation 2 EMD 2 Deviation FC GCN FC GCN Airplane 2.54 2.35 +0.19 2.68 2.65 +0.03 Bench 3.39 3.34 +0.05 3.51 3.45 +0.06 Cabinet 4.48 4.45 +0.03 4.13 4.28 -0.15 Car 3.43 3.32 +0.11 3.03 2.91 +0.12 Chair 3.73 3.41 +0.32 3.67 3.53 +0.14 Lamp 4.76 4.85 -0.09 5.76 6.13 -0.37 Monitor 4.56 4.49 +0.07 4.55 4.15 +0.40 Phone 3.74 3.46 +0.28 3.51 3.43 +0.08 Rifle 2.45 2.33 +0.12 3.93 3.72 +0.21 Sofa 4.17 4.13 +0.04 4.05 3.81 +0.24 Speaker 5.82 5.61 +0.21 4.78 5.05 -0.27 Table 3.97 4.03 -0.06 4.43 4.29 +0.14 Vessel 3.67 3.52 +0.15 3.95 3.86 +0.09 Mean 3.90 3.79 +0.11 4.00 3.94 +0.06 从 表3 表3 可以发现，加入图卷积模块后，CD与EMD在大部分数据集上均有一定提升，但在部分数据集略有下降。其中，CD平均提升0.11，EMD平均提升0.06。对于CD指标，chair数据集提升0.32；对于EMD指标，monitor数据集提升0.40。由此可知，引入图卷积模块可以有效提升点云的重建精度。 为了验证NFFD点云映射图像特征图的有效性，针对bench数据集，去除图卷积模块的NFFD点云映射图像特征图，并重新训练网络。经过测试，未添加映射操作，CD评价指标为3.348 6，添加点云映射图像特征图操作后，CD评价指标为3.342 0，验证了点云映射图像特征图的有效性。 为了验证NFFD形变网络性能，在bench、monitor与phone数据集上训练并测试评价指标。如 表4 表4 所示，加入图卷积模块后，不同数据集的评价指标均有提升，CD指标平均提升0.35，EMD指标平均提升0.52。由此证明所提出的图卷积模块对点云坐标具有良好的预测性。 2 Item 2 CD 2 Deviation 2 EMD 2 Deviation NFFD GCN NFFD GCN Bench 3.72 3.34 +0.38 4.08 3.45 +0.63 Monitor 4.68 4.49 +0.19 4.87 4.15 +0.72 Phone 3.94 3.46 +0.48 3.66 3.43 +0.23 Mean 4.11 3.76 +0.35 4.20 3.68 +0.52 3 . 6 . 2　损失函数消融实验 3 为了验证本文采用损失函数的有效性，选取不同的损失函数组合，并对模型进行重新训练，基于bench、rifle与vessel数据集，测试结果如 表5 表5 所示。观察 表5 表5 可知，采用全部损失函数后，CD指标取得较好表现，超过其他两种策略，且对不同数据集均有效，提高了模型的泛化性能。 Item Remove isometric prior loss Remove symmetry loss All loss Bench 3.362 5 3.356 8 3.344 6 Rifle 2.349 1 2.345 9 2.332 7 Vessel 3.574 9 3.544 2 3.526 1 Mean 3.095 5 3.082 3 3.067 8 3 . 6 . 3　控制点生成网络消融实验 3 为了验证CPGN设计合理性，我们将CPGN解码器中步长为1的卷积替换为平均池化，将反卷积替换为反池化，并重新训练网络。测试过程中，随机选取bench数据集80幅图像，分别用两种网络生成控制点，采用NFFD方法进行三维重建。其中，卷积-反卷积CPGN的CD指标平均值为3.69，而池化-反池化CPGN的CD指标平均值为3.93，比卷积-反卷积CPGN减少约6.50%。由此说明本文CPGN的网络结构设计的合理性。 进一步，与文献［ 33 33 ］的控制点生成网络对比，以car数据集为例，随机选取100幅图像进行测试。通过对比，CPGN效果更好，评价指标CD与EMD的数值更小，比文献［ 33 33 ］的控制点生成网络提升3.81%。 3 . 6 . 4　混合注意力模块消融实验 3 为了验证2.3节图卷积网络中混合注意力模块的作用，本节去除混合注意力模块，重新训练网络。以bench数据集为例，添加混合注意力模块后，模型的收敛效果更好，局部细节得到一定提升，更加接近GT点云，如 图8 图8 所示。 3.7　真实场景三维重建 2 本文选取了Pix3D数据集中真实场景下的图像进行了三维重建，以验证所提出方法的适应性和泛化能力。 图9 图9 展示了本文方法对于不同场景的重建效果。如 图9 图9 所示，本文方法在包含椅子、桌子与沙发三个类别的真实场景中达到较好的三维重建效果。 4 结　论 1 本文提出了一种融合NFFD与图卷积的点云三维重建网络。设计了控制点生成网络对2D视图进行特征学习，获得其控制点拓扑结构。为了实现高质量的3D点云重建模型，利用NURBS基函数对控制点坐标自适应特性建立点云模型轮廓间顶点的形变关系，并在此基础上将混合注意力模块嵌入图卷积网络对形变后的点云位置进行调整。在ShapeNet数据集的实验表明，CD指标平均值为3.79，EMD指标平均值为3.94，本文所提出的方法提升了单视图的三维重建结果，能够从不同角度保持重建的一致性。未来将优化图卷积网络模型，进一步提高点云重建精度。 参考文献 JIN Y W ， JIANG D Q ， CAI M . 3D reconstruction using deep learning： a survey ［J］. Communications in Information and Systems ， 2020 ， 20 （ 4 ）： 389 - 413 . doi: 10.4310/cis.2020.v20.n4.a1 http://dx.doi.org/10.4310/cis.2020.v20.n4.a1 3D reconstruction using deep learning： a survey FAHIM G ， AMIN K ， ZARIF S . Single-View 3D reconstruction： a Survey of deep learning methods ［J］. Computers & Graphics ， 2021 ， 94 ： 164 - 190 . doi: 10.1016/j.cag.2020.12.004 http://dx.doi.org/10.1016/j.cag.2020.12.004 Single-View 3D reconstruction： a Survey of deep learning methods HENDERSON P ， FERRARI V . Learning single-image 3D reconstruction by generative modelling of shape， pose and shading ［J］. International Journal of Computer Vision ， 2020 ， 128 （ 4 ）： 835 - 854 . doi: 10.1007/s11263-019-01219-8 http://dx.doi.org/10.1007/s11263-019-01219-8 Learning single-image 3D reconstruction by generative modelling of shape， pose and shading CHOY C B ， XU D F ， GWAK J ， et al . 3 D-R 2 N 2： A unified approach for single and multi-view 3 D object reconstruction ［M］. Computer Vision – ECCV 2016 . Cham ： Springer International Publishing ， 2016 ： 628 - 644 . doi: 10.1007/978-3-319-46484-8_38 http://dx.doi.org/10.1007/978-3-319-46484-8_38 3D-R2N2： A unified approach for single and multi-view 3D object reconstruction 李雷 ， 徐浩 ， 吴素萍 . 基于DDPG的三维重建模糊概率点推理 ［J］. 自动化学报 ， 2022 ， 48 （ 4 ）： 1105 - 1118 . 基于DDPG的三维重建模糊概率点推理 LI L ， XU H ， WU S P . Fuzzy Probability Points Reasoning for 3D Reconstruction via Deep Deterministic Policy Gradient ［J］. Acta Automatica Sinica ， 2022 ， 48 （ 4 ）： 1105 - 1118 . （in Chinese） Fuzzy Probability Points Reasoning for 3D Reconstruction via Deep Deterministic Policy Gradient 夏清 ， 李帅 ， 郝爱民 ， 等 . 基于深度学习的数字几何处理与分析技术研究进展 ［J］. 计算机研究与发展 ， 2019 ， 56 （ 1 ）： 155 - 182 . 基于深度学习的数字几何处理与分析技术研究进展 XIA Q ， LI S ， HAO A M ， et al . Deep learning for digital geometry processing and analysis： a review ［J］. Journal of Computer Research and Development ， 2019 ， 56 （ 1 ）： 155 - 182 . （in Chinese） Deep learning for digital geometry processing and analysis： a review CHENG Q Q ， SUN P Y ， YANG C S ， et al . A morphing-Based 3D point cloud reconstruction framework for medical image processing ［J］. Computer Methods and Programs in Biomedicine ， 2020 ， 193 ： 105495 . doi: 10.1016/j.cmpb.2020.105495 http://dx.doi.org/10.1016/j.cmpb.2020.105495 A morphing-Based 3D point cloud reconstruction framework for medical image processing JIN P ， LIU S L ， LIU J H ， et al . Weakly-supervised single-view dense 3D point cloud reconstruction via differentiable renderer ［J］. Chinese Journal of Mechanical Engineering ， 2021 ， 34 ： 93 . doi: 10.1186/s10033-021-00615-x http://dx.doi.org/10.1186/s10033-021-00615-x Weakly-supervised single-view dense 3D point cloud reconstruction via differentiable renderer FAN H Q ， SU H ， GUIBAS L . A point set generation network for 3D object reconstruction from a single image ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 2463 - 2471 . doi: 10.1109/cvpr.2017.264 http://dx.doi.org/10.1109/cvpr.2017.264 A point set generation network for 3D object reconstruction from a single image ZHANG S F ， LIU J ， LIU Y H ， et al . DIMNet： Dense implicit function network for 3D human body reconstruction ［J］. Computers & Graphics ， 2021 ， 98 ： 1 - 10 . doi: 10.1016/j.cag.2021.04.035 http://dx.doi.org/10.1016/j.cag.2021.04.035 DIMNet： Dense implicit function network for 3D human body reconstruction YANG B ， ROSA S ， MARKHAM A ， et al . Dense 3D object reconstruction from a single depth view ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2019 ， 41 （ 12 ）： 2820 - 2834 . doi: 10.1109/tpami.2018.2868195 http://dx.doi.org/10.1109/tpami.2018.2868195 Dense 3D object reconstruction from a single depth view WU Z H ， PAN S R ， CHEN F W ， et al . A comprehensive survey on graph neural networks ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2021 ， 32 （ 1 ）： 4 - 24 . doi: 10.1109/tnnls.2020.2978386 http://dx.doi.org/10.1109/tnnls.2020.2978386 A comprehensive survey on graph neural networks VALSESIA D ， FRACASTORO G ， MAGLI E . Learning localized representations of point clouds with graph-convolutional generative adversarial networks ［J］. IEEE Transactions on Multimedia ， 2021 ， 23 ： 402 - 414 . doi: 10.1109/tmm.2020.2976627 http://dx.doi.org/10.1109/tmm.2020.2976627 Learning localized representations of point clouds with graph-convolutional generative adversarial networks WANG N Y ， ZHANG Y D ， LI Z W ， et al . Pixel2Mesh： generating 3D mesh models from single RGB images ［C］. Proceedings of the European conference on computer vision（ECCV） . 2008 ： 52 - 67 . Pixel2Mesh： generating 3D mesh models from single RGB images NGUYEN D ， CHOI S ， KIM W ， et al . GraphX-convolution for point cloud deformation in 2D-to-3D conversion ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2019： 8627 - 8636 . doi: 10.1109/iccv.2019.00872 http://dx.doi.org/10.1109/iccv.2019.00872 GraphX-convolution for point cloud deformation in 2D-to-3D conversion KURENKOV A ， JI J W ， GARG A ， et al . DeformNet： free-form deformation network for 3D shape reconstruction from a single image ［C］. 2018 IEEE Winter Conference on Applications of Computer Vision . 1215，2018 ， Lake Tahoe ， NV， USA . IEEE ， 2018 ： 858 - 866 . doi: 10.1109/wacv.2018.00099 http://dx.doi.org/10.1109/wacv.2018.00099 DeformNet： free-form deformation network for 3D shape reconstruction from a single image PONTES J K ， KONG C ， SRIDHARAN S ， et al . Image 2 Mesh ： A Learning Framework for Single Image 3 D Reconstruction ［M］. Computer Vision-ACCV 2018 . Cham ： Springer International Publishing ， 2019 ： 365 - 381 . doi: 10.1007/978-3-030-20887-5_23 http://dx.doi.org/10.1007/978-3-030-20887-5_23 Image2Mesh： A Learning Framework for Single Image 3D Reconstruction LAMOUSIN H J ， WAGGENSPACK N N . NURBS-based free-form deformations ［J］. IEEE Computer Graphics and Applications ， 1994 ， 14 （ 6 ）： 59 - 65 . doi: 10.1109/38.329096 http://dx.doi.org/10.1109/38.329096 NURBS-based free-form deformations TAO J ， SUN G ， SI J Z ， et al . A robust design for a winglet based on NURBS-FFD method and PSO algorithm ［J］. Aerospace Science and Technology ， 2017 ， 70 ： 568 - 577 . doi: 10.1016/j.ast.2017.08.040 http://dx.doi.org/10.1016/j.ast.2017.08.040 A robust design for a winglet based on NURBS-FFD method and PSO algorithm ORAZI L ， REGGIANI B . Point inversion for triparametric NURBS ［J］. International Journal on Interactive Design and Manufacturing （IJIDeM） ， 2021 ， 15 （ 1 ）： 55 - 61 . doi: 10.1007/s12008-020-00719-z http://dx.doi.org/10.1007/s12008-020-00719-z Point inversion for triparametric NURBS 孟月波 ， 金丹 ， 刘光辉 ， 等 . 共享核空洞卷积与注意力引导FPN文本检测 ［J］. 光学 精密工程 ， 2021 ， 29 （ 8 ）： 1955 - 1967 . doi: 10.37188/OPE.20212908.1955 http://dx.doi.org/10.37188/OPE.20212908.1955 共享核空洞卷积与注意力引导FPN文本检测 MENG Y B ， JIN D ， LIU G H ， et al . Text detection with kernel-sharing dilated convolutions and attention-guided FPN ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 8 ）： 1955 - 1967 . （in Chinese） . doi: 10.37188/OPE.20212908.1955 http://dx.doi.org/10.37188/OPE.20212908.1955 Text detection with kernel-sharing dilated convolutions and attention-guided FPN 李经宇 ， 杨静 ， 孔斌 ， 等 . 基于注意力机制的多尺度车辆行人检测算法 ［J］. 光学 精密工程 ， 2021 ， 29 （ 6 ）： 1448 - 1458 . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448 基于注意力机制的多尺度车辆行人检测算法 LI J Y ， YANG J ， KONG B ， et al . Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1448 - 1458 . （in Chinese） . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448 Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism 蔡体健 ， 彭潇雨 ， 石亚鹏 ， 等 . 通道注意力与残差级联的图像超分辨率重建 ［J］. 光学 精密工程 ， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142 通道注意力与残差级联的图像超分辨率重建 CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142 Channel attention and residual concatenation network for image super-resolution 秦传波 ， 宋子玉 ， 曾军英 ， 等 . 联合多尺度和注意力-残差的深度监督乳腺癌分割 ［J］. 光学 精密工程 ， 2021 ， 29 （ 4 ）： 877 - 895 . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877 联合多尺度和注意力-残差的深度监督乳腺癌分割 QIN C B ， SONG Z Y ， ZENG J Y ， et al . Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 877 - 895 . （in Chinese） . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877 Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals MA J Y ， ZHANG H ， YI P ， et al . SCSCN： a separated channel-spatial convolution net with attention for single-view reconstruction ［J］. IEEE Transactions on Industrial Electronics ， 2020 ， 67 （ 10 ）： 8649 - 8658 . doi: 10.1109/tie.2019.2950866 http://dx.doi.org/10.1109/tie.2019.2950866 SCSCN： a separated channel-spatial convolution net with attention for single-view reconstruction KINGMA D P ， BA J . Adam： a method for stochastic optimization ［EB/OL］. 2014： arXiv ： 1412 .6980［cs.LG］. https：//arxiv.org/abs/1412.6980 https://arxiv.org/abs/1412.6980 Adam： a method for stochastic optimization CHANG A X ， FUNKHOUSER T A ， GUIBAS L J ， et al . ShapeNet： an information-rich 3D model repository ［J］. CoRR ， 2015 ， abs/1512. 03012 . ShapeNet： an information-rich 3D model repository SUN X Y ， WU J J ， ZHANG X M ， et al . Pix3D： dataset and methods for single-image 3D shape modeling ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 2974 - 2983 . doi: 10.1109/cvpr.2018.00314 http://dx.doi.org/10.1109/cvpr.2018.00314 Pix3D： dataset and methods for single-image 3D shape modeling MANDIKAL P ， MURTHY N ， AGARWAL M ， et al . 3D-LMNet： latent embedding matching for accurate and diverse 3D point cloud reconstruction from a single image ［C］. Proceedings of the British Machine Vision Conference， New York ： Springer ， 2018 . 55 - 56 ． 3D-LMNet： latent embedding matching for accurate and diverse 3D point cloud reconstruction from a single image MESCHEDER L ， OECHSLE M ， NIEMEYER M ， et al . Occupancy networks： learning 3D reconstruction in function space ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 4455 - 4465 . doi: 10.1109/cvpr.2019.00459 http://dx.doi.org/10.1109/cvpr.2019.00459 Occupancy networks： learning 3D reconstruction in function space XU Q G ， WANG W Y ， CEYLAN D ， et al . DISN： deep implicit surface network for high-quality single-view 3D reconstruction ［J］. Advances in Neural Information Processing Systems ， 2019 ， 32 ： 492 - 502 . DISN： deep implicit surface network for high-quality single-view 3D reconstruction AFIFI A J ， MAGNUSSON J ， SOOMRO T A ， et al . Pixel2point： 3D object reconstruction from a single image using CNN and initial sphere ［J］. IEEE Access ， 2020 ， 9 ： 110 - 121 . doi: 10.1109/access.2020.3046951 http://dx.doi.org/10.1109/access.2020.3046951 Pixel2point： 3D object reconstruction from a single image using CNN and initial sphere JACK D ， PONTES J K ， SRIDHARAN S ， et al . Learning free-form deformations for 3D object reconstruction ［C］. Computer Vision-ACCV 2018 ， 2019 ： 317 - 333 . doi: 10.1007/978-3-030-20890-5_21 http://dx.doi.org/10.1007/978-3-030-20890-5_21 Learning free-form deformations for 3D object reconstruction 10.37188/OPE.20223010.1189 TP391 A 1004-924X（2022）10-1189-14 连远锋,裴守爽,胡伟.融合NFFD与图卷积的单视图三维物体重建[J].光学精密工程,2022,30(10):1189-1202. 连远锋,裴守爽,胡伟.融合NFFD与图卷积的单视图三维物体重建[J].光学精密工程,2022,30(10):1189-1202. LIAN Yuanfeng,PEI Shoushuang,HU Wei.Single-view 3D object reconstruction based on NFFD and graph convolution[J].Optics and Precision Engineering,2022,30(10):1189-1202. LIAN Yuanfeng,PEI Shoushuang,HU Wei.Single-view 3D object reconstruction based on NFFD and graph convolution[J].Optics and Precision Engineering,2022,30(10):1189-1202. 国家自然科学基金资助项目（No.61972353）；中国石油天然气集团有限公司-中国石油大学（北京）战略合作科技专项：“一带一路”海外长输管道完整性关键技术研究与应用项目（No.2006A10401006） 2021-11-10 2021-12-08 2022-05-25 2022-06-21 光学精密工程 10 30