Adaptive octree 3D image reconstruction based on plane patch

基于平面补丁的自适应八叉树三维图像重建 Adaptive octree 3D image reconstruction based on plane patch 1 2 corresp first-author E-mail： 798199284@qq.com E-mail： 798199284@qq.com 姚　程（1991-），男，吉林长春人，博士研究生，2016年于中国科学院大学获得硕士学位，主要从事机器视觉方面的研究。E-mail： 798199284@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425368&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425372&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425393&type= 22.01333237 32.00401306 姚　程 （1991-），男，吉林长春人，博士研究生，2016年于中国科学院大学获得硕士学位，主要从事机器视觉方面的研究。E-mail： 798199284@qq.com 798199284@qq.com 1 2 马彩文（1971-），博士，研究员，博士生导师，现为西安光学精密机械研究所所长，主要从事空天光学、光电工程等领域的研究。E-mail： cwma@opt.ac.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425399&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425407&type= 22.01333618 32.00399780 马彩文 （1971-），博士，研究员，博士生导师，现为西安光学精密机械研究所所长，主要从事空天光学、光电工程等领域的研究。E-mail： cwma@opt.ac.cn cwma@opt.ac.cn 中国科学院 西安光学精密机械研究所，陕西 西安 710119 中国科学院 西安光学精密机械研究所，陕西 西安 710119 Xi'an Institute of Optics and Precision Mechanics， Chinese Academy of Sciences， Xi'an 710119， China Xi'an Institute of Optics and Precision Mechanics， Chinese Academy of Sciences， Xi'an 710119， China 中国科学院大学，北京 100049 中国科学院大学，北京 100049 University of Chinese Academy of Sciences， Beijing 100049， China University of Chinese Academy of Sciences， Beijing 100049， China 提出了一种基于平面补丁的自适应八叉树卷积神经网络（Octree Convolutional Neural Networks，O-CNN），用于进行有效的三维形状编码和解码。不同于基于体素或基于八叉树的卷积神经网络（Convolutional Neural Networks，CNN），以相同的分辨率表示具有体素的三维形状，O-CNN可自适应地表示具有不同层次的八叉树节点的三维形状，并使用平面补丁对每个八叉树节点内的三维形状进行建模。依据这种自适应表示设计了一种用于编码和解码三维形状的自适应O-CNN编码器和解码器。自适应O-CNN编码器将平面补丁法线和位移作为输入，仅在每个级别的八叉树节点上执行三维卷积操作，而自适应O-CNN解码器则推断每个层次的八叉树节点的形状占有率和细分状态，并估计每个最佳叶八叉树节点的平面法线和位移。通过对单个图像的形状预测验证了自适应O-CNN的生成任务的效率和有效性，倒角距离误差为0.274，低于OctGen的倒角距离误差0.294，取得了更好的重建效果。作为3D形状分析和生成的通用框架，基于平面补丁的自适应O-CNN不仅减少了内存和计算成本，而且比现有的3D-CNN方法具有更好的形状生成能力。 In this study， an adaptive octree convolutional neural network based on plane patches is proposed for effective 3D shape encoding and decoding. Unlike volume-based or octree-based convolutional neural network （CNN） methods， which represent 3D shapes with the same voxel resolution， the proposed method can use planes and adaptively represent the 3D shapes of octree nodes with different levels. The patch models the 3D shape within each octree node， whereby the patch-based adaptive representation is utilized in the proposed adaptive patch octree convolutional neural network （O-CNN） encoder and decoder for the encoding and decoding of 3D shapes. The adaptive patch O-CNN encoder takes the plane patch normal and displacement as input and performs three-dimensional convolution on the octree nodes of each level， whereas the adaptive patch O-CNN decoder infers each level. The shape occupancy rate and subdivision state of the octree node as well as the best plane normal and displacement of each leaf octree node are estimated. As a general framework for 3D shape analysis and generation， adaptive patch O-CNN not only reduces memory and computational costs but also exhibits better shape generation capabilities than existing 3D-CNN methods. Shape prediction is performed using a single image to verify the efficiency and effectiveness of the generation task of the adaptive O-CNN. The chamfer distance error is 0.274， which is lower than that of OctGen （0.294）， resulting in a better reconstruction effect. 计算机视觉 三维重建 卷积神经网络 神经网络 computer vision three-dimensional reconstruction convolutional neural network neural network 1 引　言 1 三维图像重建是计算机视觉领域一个热门的研究方向。传统方法处理复杂形状的能力非常有限，需要花费大量时间和经历才能获得可接受的重建结果。随着三维数据规模的快速增长，借助机器学习的方法从大型三维数据集中学习形状空间，并通过学习到的特征进行三维图像重建已经成为一种发展趋势 ［ 1 1 - 4 4 1-4 ］ 。 基于机器学习的三维重建中，三维形状的表示是一个关键问题，它直接影响到学习网络的结构和生成三维图像的质量。目前，最常用的三维重建框架有稀疏体素表示，这种表示方式是基于二维图像的扩展，非常适合现有的深度学习框架 ［ 5 5 - 7 7 5-7 ］ 。然而，它存在数据存储量大、计算成本高的缺点，而且无法获得高分辨率图像。随着PointNet的发展，三维点云表示成为用于形状分析和生成的表示形式 ［ 8 8 ］ 。但是，其输出质量受点数限制，并且从点云中提取高质量曲面需要额外的处理。作为计算机图形学中最常用的三维格式，多边形网格最近已用于基于学习的形状生成中，该方法可以通过使模板网格变形或找到2D到3D映射的神经网络直接预测表面补丁或网格 ［ 9 9 - 11 11 9-11 ］ 。但是，预定义的网格拓扑和模板网格的规则镶嵌生成的形状质量不高，尤其是对于不规则和复杂的形状 ［ 12 12 ］ 。 综上所述，在体素化一个三维空间中的模型时，需要对每一个存储信息的点求梯度，在计算过程中发现梯度不为0的地方只存在于表面。因此，利用O-CNN将计算限制在模型表面，但是重建出来的形体表面不够平滑。本文提出了一种基于自适应八叉树的卷积神经网络（Octree Convolutional Neural Network， CNN）。自适应O-CNN基于一种以补丁为导向的自适应八叉树形状表示形式，该形式根据估计的简单补丁的近似误差，将体素自适应地拆分为八叉树所包含的局部形状。自适应O-CNN的解码器可预测八叉树节点的占用概率，推导每个级别上每个非空八叉树节点的局部补丁，并分割其标签表面差的近似八叉树节点。它产生了一个自适应八叉树，在非空八叉树节点上的估计局部补丁是预测形状的多尺度自适应表示。除解码器外，还开发了一种用于自适应八叉树的高效3D编码器，用于形状分类和3D自动编码。 与现有的基于八叉树的CNN相比，自适应O-CNN继承了基于八叉树的CNN的优势，同时将数据量为 <math id="M1"><msup><mrow><mi>n</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425414&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425400&type= 2.96333337 3.04800010 的问题简化为 <math id="M2"><mi>C</mi><msup><mrow><mi>n</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425434&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425419&type= 5.50333309 3.04800010 ，在大量数据集进行训练的前提下，对于单图像进行同样规模的三维重建，存储效率高、计算成本低。 2 相关研究 1 3D解码器是基于学习的形状生成任务的关键，可以根据其形状表示进行分类。 2.1　基于体素的解码器 2 布洛克等提出了基于体素的变分自编码器重构3D形状，并使用经过训练的潜在代码进行形状分类 ［ 13 13 ］ 。Choy等结合了3D体积自动编码器的功能和长短期记忆技术，可从中重建体积网格单视图或多视图图像 ［ 14 14 ］ 。生成对抗网络被引入基于体素的形状生成和重构中，采用了不同的改善策略。然而，体素表示存在的分辨率较低的问题 ［ 15 15 ］ 。 2.2　基于稀疏体素的解码器 2 Häne等提出基于八叉树的表示，它比形状预测的体素表示具有更高的效率和更高的分辨率 ［ 16 16 ］ 。Riegler等在深度融合中使用基于八叉树的解码器 ［ 17 17 ］ ，实现了256 3 甚至更高的分辨率输出。自适应O-CNN则进一步提高了基于八叉树的CNN网络的效率和预测准确性 ［ 18 18 ］ 。 2.3　基于点的解码器 2 Charles等设计PointSetGen用以从单个图像预测点坐标 ［ 19 19 ］ 。倒角距离和地球移动器的距离用作损失函数，以补偿预测值与真实物体之间的偏差。生成的点云近似于预期的形状。最近，Achlioptas等改用GAN技术来改善点云生成 ［ 20 20 - 21 21 20-21 ］ 。 2.4　八叉树技术 2 八叉树技术通过将三维空间细分为8个八叉树节点来递归划分。它是许多计算机图形应用程序的核心技术，例如渲染、形状重构和碰撞检测。常用的八叉树的分割取决于内部形状，执行分割直到达到最大树深度为止，通常会均匀采样。由于形状信号在空间中分布不均匀，因此可以将自适应采样策略与八叉树集成在一起，进一步减小八叉树的大小。Frisken等提出了基于八叉树的自适应距离场，在距离场包含精细细节的区域中保持高采样率，而在场平滑变化的区域中则保持低采样率 ［ 22 22 - 23 23 22-23 ］ 。本文提出的补丁引导自适应八叉树遵循此自适应原理，并使用局部补丁的拟合误差来指导分割。 3 基于补丁的自适应八叉树 1 本文引入了基于补丁的自适应八叉树。对于给定曲面 S ，从其外轮廓开始将三维图像分为8个等大的立方体空间，对于八叉树节点 O ，将 <math id="M3"><msub><mrow><mi>S</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425543&type= 3.89466691 3.72533321 表示受八叉树细分立方体约束的 S 的局部表面。如果 <math id="M4"><msub><mrow><mi>S</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425543&type= 3.89466691 3.72533321 不为空，可以用一个简单的表面近似表示 <math id="M5"><msub><mrow><mi>S</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425518&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425504&type= 3.89466691 3.72533321 ，本文选择最简单的平面来建立八叉树。依据 式（1） 式（1） 建立与真实平面 <math id="M6"><msub><mrow><mi>S</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425543&type= 3.89466691 3.72533321 具有最小近似误差的最佳平面 P 。 <math display="block" id="M7"><munder><mrow><munder><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">z</mi><mi mathvariant="normal">e</mi></mrow><mrow><mi>n</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>,</mo><mi>d</mi><mo>∈</mo><mi>R</mi></mrow></munder></mrow><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>n</mi></mrow></mfenced><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder><msup><mrow><munder><mo>∫</mo><mrow><mi>p</mi><mo>∈</mo><msub><mrow><mi>S</mi></mrow><mrow><mi>o</mi></mrow></msub></mrow></munder><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi mathvariant="bold-italic">n</mi><mo>·</mo><mi>p</mi><mo>+</mo><mi>d</mi></mrow></mfenced></mrow></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mi mathvariant="normal">d</mi><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425459&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425457&type= 41.99466705 11.00666618 ， 其中： n 是平面的单位法向量， <math id="M8"><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425713&type= 2.20133328 2.79399991 是平面的偏移量， P 平面方程为： <math id="M9"><mi>n</mi><mo>·</mo><mi>p</mi><mo>+</mo><mi>d</mi><mo>=</mo><mn mathvariant="normal">0</mn><mo>,</mo><mi>n</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425476&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425473&type= 29.71800041 3.89466691 。为了使法线方向与基础平面法线方向一致，核对 n 与 <math id="M10"><msub><mrow><mi>S</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425543&type= 3.89466691 3.72533321 的平均法线之间的角度是否小于90°，如果不是则将 n 和 d 同时乘以 - 1。 <math id="M11"><msub><mrow><mi>P</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425496&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425495&type= 4.14866638 3.72533321 表示为受 O 所在的立方体区域约束的 P 的平面补丁。局部形状近似补丁的质量 <math id="M12"><msub><mrow><mi>δ</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425535&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425533&type= 3.64066648 3.72533321 根据 <math id="M13"><msub><mrow><mi>P</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425515&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425513&type= 4.14866638 3.72533321 和 <math id="M14"><msub><mrow><mi>S</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425518&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425504&type= 3.89466691 3.72533321 之间的豪斯多夫距离确定，即： <math display="block" id="M15"><msub><mrow><mi>δ</mi></mrow><mrow><mi>O</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">d</mi><mi mathvariant="normal">i</mi><msub><mrow><mi mathvariant="normal">s</mi></mrow><mrow><mi mathvariant="normal">H</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>O</mi></mrow></msub><mo>,</mo><msub><mrow><mi>S</mi></mrow><mrow><mi>O</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425522&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425520&type= 28.36333466 4.48733330 ， 式中 <math id="M16"><mi mathvariant="normal">d</mi><mi mathvariant="normal">i</mi><msub><mrow><mi mathvariant="normal">s</mi></mrow><mrow><mi mathvariant="normal">H</mi></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="normal">*</mi><mo>,</mo><mi mathvariant="normal">*</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425530&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425528&type= 14.47799969 4.06400013 为求两个平面的豪斯多夫距离。豪斯多夫距离用于描述两组点集之间的相似程度，它是两个点集之间距离的一种定义形式。 改进后的八叉树划分规则为：对于任何不在最大深度级别的子节点 O ，如果 <math id="M17"><msub><mrow><mi>S</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425543&type= 3.89466691 3.72533321 不为空且 <math id="M18"><msub><mrow><mi>δ</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425535&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425533&type= 3.64066648 3.72533321 大于预定义阈值 <math id="M19"><mover accent="true"><mi>δ</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425576&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425561&type= 1.94733346 3.72533321 ，则对它进行继续细分，遵循此规则，可以生成补丁引导的自适应八叉树。所有非空子节点上的补丁对输入的三维形状进行了良好的近似，它们与输入形状之间的豪斯多夫距离以 <math id="M20"><mover accent="true"><mi>δ</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425572&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425557&type= 1.94733346 3.72533321 为阈值。 <math id="M21"><mover accent="true"><mi>δ</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425576&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425561&type= 1.94733346 3.72533321 的选取需要兼顾平面的近似效果、计算的复杂度和时间。如果阈值过小，计算的时间和复杂度会上升；如果阈值过大，则不能获得一个较好的近似平面。根据以上原则，逐步测试确定了最优阈值，即 <math id="M22"><mover accent="true"><mi>δ</mi><mo>̂</mo></mover><mo>=</mo><mfrac><mrow><mroot><mrow><mn mathvariant="normal">3</mn></mrow><mrow/></mroot></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mi>h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425566&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425579&type= 15.32466698 8.29733276 ，其中 h 是八叉树中最长网络的长度。 基于平面补丁的自适应八叉树建立的三维模型如 图1 图1 所示。由于八叉树具有自适应性，平面补丁呈现不同的大小。为了更好地进行可视化，通过二维线性输入来说明三维自适应八叉树的原理，如 图2 图2 所示。很明显，二维自适应四叉树占用的内存要少得多，线段的集合可以较好地近似输入图形。由于存在近似误差，相邻非空叶八叉树节点的局部补丁之间是有缝隙的。为了填补这些空隙，可以采用表面重建和多边形修复技术。 4 自适应八叉树神经网络 1 三维CNN的主要组件包括编码器和解码器，对形状的生成及分类等任务至关重要 ［ 24 24 - 25 25 24-25 ］ 。由于八叉树和自适应八叉树的主要区别在于细分规则，八叉树的高效GPU实现已直接移植到自适应八叉树上。 4.1　自适应O-CNN的3D解码器 2 基于八叉树的卷积神经网络是将稀疏信号表面存储在非空八叉树中，并将CNN限制在八叉树内。在八叉树的每个层次中，每个八叉树节点都有其改组后的索引值。混合后的索引值按升序排序并存储在连续的数组中。给定一个八叉树节点的散乱键的索引值，可以计算出其相邻的八叉树节点的索引值，并检索相应的邻域信息，这对于实现高效的卷积操作至关重要。为了获得八叉树两个连续节点层次之间的父子对应关系，并标记出空的八叉树节点，通过一个索引数组记录八叉树的节点信息。在八叉树上常见的CNN操作有卷积和池化，其计算方法类似于体素CNN。不过，基于八叉树的CNN操作只在八叉树叶节点处进行卷积。从最下端叶节点开始计算，逐步向上进行CNN。当卷积操作的步长为1时，数据以不变的分辨率处理，保持在当前的八叉树级别；当卷积操作步长大于1时，数据被压缩，沿着叶节点至父节点的方向压缩。 基于八叉树的编码器结构如 图3 图3 所示。将基于八叉树的卷积移植到基于自适应表面的八叉树三维编码器中。GPU中自适应八叉树数据存储、卷积和池化操作与基于八叉树的卷积神经网络相同 ［ 26 26 ］ 。与八叉树不同，自适应八叉树输入信号出现在所有的八叉树节点处，而不仅仅是在最下端叶结点处；计算同时从不同层的叶节点开始，得到不同层的特征，最后组装在一起。 在基于八叉树的CNN中，形状信息存储在最底层叶节点中，而基于自适应的八叉树则利用所有估计的局部平面作为输入信号。对于局部平面 P <math id="M23"><mo stretchy="false">(</mo><mi>n</mi><mo>·</mo><mi>p</mi><mo>+</mo><mi>d</mi><mo>=</mo><mn mathvariant="normal">0</mn><mo>,</mo><mi>n</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425624&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425623&type= 32.85066605 4.23333359 的 <math id="M24"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425865&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425863&type= 1.18533325 2.79399991 级八叉树的节点 O ，设置了一个四通道输入信号 <math id="M25"><mo stretchy="false">(</mo><mi>n</mi><mo>,</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425638&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425645&type= 10.41399956 4.65666676 。这里 <math id="M26"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425652&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425640&type= 1.52400005 2.79399991 是 O 的中心点， <math id="M27"><msup><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo>=</mo><mi>d</mi><mo>-</mo><mi>n</mi><mo>⋅</mo><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425657&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425655&type= 20.74333191 3.04800010 ，它与 <math id="M28"><mi>n</mi><mo>⋅</mo><mfenced separators="|"><mrow><mi>x</mi><mo>-</mo><mi>c</mi></mrow></mfenced><mo>+</mo><msup><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425662&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425674&type= 30.64933395 3.97933316 是同一个平面方程。这里使用 <math id="M29"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425842&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425841&type= 3.55599999 3.97933316 而不是 <math id="M30"><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425713&type= 2.20133328 2.79399991 ，因为 <math id="M31"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425689&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425672&type= 3.55599999 3.97933316 受 <math id="M32"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425874&type= 1.18533325 2.79399991 级网格大小的限制，它是一个相对值，而 <math id="M33"><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425713&type= 2.20133328 2.79399991 的范围很大，因为 <math id="M34"><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425713&type= 2.20133328 2.79399991 是从原点到平面的距离。对于空的子八叉树节点，其输入信号设置为（0，0，0，0）。 自适应O-CNN的3D编码器将自适应八叉树作为输入，在八叉树的每一层，对这一层所有叶节点上的特征应用一系列卷积算子和ReLU，卷积核由这些八叉树节点共享。然后，通过池化将第 <math id="M35"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425874&type= 1.18533325 2.79399991 级处理过的特征下采样到第（ <math id="M36"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425874&type= 1.18533325 2.79399991 - 1）级，并通过逐元素最大操作与第（ <math id="M37"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425874&type= 1.18533325 2.79399991 - 1）级的特征融合。这些新特征可以进一步处理并与第（ <math id="M38"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425874&type= 1.18533325 2.79399991 - 2）级、第（ <math id="M39"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425865&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425863&type= 1.18533325 2.79399991 - 3）级的特征融合，直到最顶层。在实现中，最粗糙的级别设置为2，第2级的八叉树节点强制为满，使所有特征都具有相同的维度。 图3 图3 为自适应O-CNN 3D编码器架构。 4.2　自适应O-CNN的3D解码器 2 本文设计了一个3D解码器来生成自适应八叉树，其结构如 图4 图4 所示。在每层八叉树，训练一个神经网络来预测每个八叉树节点的补丁近似状态——空的、表面良好近似和表面较差近似，并回归局部补丁参数，带有标签表面近似的八叉树节点会被细分，其中的特征通过反卷积操作传递给它们的子节点。当八叉树节点内的表面近似误差小于 <math id="M40"><mover accent="true"><mi>δ</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425764&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425732&type= 1.94733346 3.72533321 时，补丁形状可以近似真实表面，网络在这些八叉树节点处停止细分，并将它们作为当前八叉树级别的叶节点。以这种递归方式预测自适应八叉树，直到深度达到最大值。 预测模块中，用于预测的神经网络由“FC+BN+ReLU+FC”操作组成。其中，BN代表批标准化，FC代表全连接层。该模块在自适应八叉树的同一级别的所有八叉树节点之间共享。预测模块的输出包括补丁近似状态和平面补丁参数 <math id="M41"><mfenced separators="|"><mrow><mi mathvariant="bold-italic">n</mi><mo>,</mo><msubsup><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425774&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425759&type= 10.66800022 4.48733330 。通过补丁近似状态来确定八叉树是否需要细分，同时也用于计算八叉树的反卷积算子。 自适应O-CNN解码器的损失函数包括结构损失和补丁损失。结构损失 <math id="M42"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425779&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425762&type= 7.11199999 3.72533321 测量预测的八叉树结构与其真实值之间的差异。由于八叉树节点状态是3类分类，使用交叉熵损失函数来定义结构损失。将 <math id="M43"><msub><mrow><mi>H</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425777&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425782&type= 3.80999994 3.72533321 表示为八叉树 <math id="M44"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425874&type= 1.18533325 2.79399991 层的交叉熵，结构损失是所有层交叉熵的加权和，即： <math display="block" id="M45"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>l</mi><mo>=</mo><mn mathvariant="normal">2</mn></mrow><mrow><msub><mrow><mi>l</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></mrow></munderover></mstyle><mrow><mfrac><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfrac><msub><mrow><mi>H</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425799&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425797&type= 25.65399933 9.31333351 ， 式中： <math id="M46"><msub><mrow><mi>n</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425802&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425801&type= 2.70933342 3.72533321 是预测八叉树第 <math id="M47"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425874&type= 1.18533325 2.79399991 层的八叉树节点， <math id="M48"><msub><mrow><mi>l</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425810&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425807&type= 4.74133301 3.72533321 是最大深度， <math id="M49"><msub><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425832&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425830&type= 3.72533321 3.72533321 是每个层定义的权重。与编码器类似，八叉树的最顶层是2并且充满了八叉树节点，所以 <math id="M50"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425865&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425863&type= 1.18533325 2.79399991 从2开始。这里将 <math id="M51"><msub><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425832&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425830&type= 3.72533321 3.72533321 设置为1。 <math id="M52"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425835&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425833&type= 6.85799980 3.72533321 测量每个级别中所有子八叉树节点的平面参数和实际物体之间的平方距离误差，即： <math display="block" id="M53"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>l</mi><mo>=</mo><mn mathvariant="normal">4</mn></mrow><mrow><msub><mrow><mi>l</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></mrow></munderover></mstyle><mrow><mfrac><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow><mrow><msup><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msubsup><mrow><mi>n</mi></mrow><mrow><mi>l</mi></mrow><mrow><mi>'</mi></mrow></msubsup></mrow></munderover></mstyle><mrow><mi>λ</mi><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><mover><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mo>¯</mo></mover></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><msubsup><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo>-</mo><mover><mrow><msubsup><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></mrow><mo>¯</mo></mover></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425817&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425837&type= 64.09266663 9.31333351 ， 式中： <math id="M54"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425820&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425818&type= 2.62466669 3.72533321 和 <math id="M55"><msubsup><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425842&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425841&type= 3.55599999 3.97933316 是预测参数， <math id="M56"><mover><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425845&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425854&type= 2.62466669 4.31799984 和 <math id="M57"><mover><mrow><msubsup><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></mrow><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425849&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425847&type= 3.55599999 4.06400013 是真实值， <math id="M58"><msup><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425855&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425851&type= 3.64066648 3.97933316 是预测八叉树第 <math id="M59"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425874&type= 1.18533325 2.79399991 层的子八叉树节点， <math id="M60"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425861&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425860&type= 1.77800000 2.79399991 设置为0.2。当八叉树级别超过4时使用自适应八叉树，因此 <math id="M61"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425865&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425863&type= 1.18533325 2.79399991 的初值设为4。对于在真实数据中不存在的错误生成的八叉树节点，它们没有补丁损失，仅考虑结构损失。 由于预测平面应该通过八叉树节点，否则违反了平面块在八叉树节点内的假设，这里添加约束 <math id="M62"><mfenced open="|" close="|" separators="|"><mrow><msup><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup></mrow></mfenced><mo><</mo><mfrac><mrow><mroot><mrow><mn mathvariant="normal">3</mn></mrow><mrow/></mroot></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><msub><mrow><mi>h</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425869&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425867&type= 19.64266586 8.29733276 。式中， <math id="M63"><msub><mrow><mi>h</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425873&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425871&type= 2.70933342 3.72533321 是 <math id="M64"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425874&type= 1.18533325 2.79399991 级八叉树节点的网格尺寸。 5 实　验 1 5.1　自动编码器 2 自动编码器技术能够学习输入图像的紧凑表示，并通过解码器从潜在代码中恢复信号。本文采用自适应O-CNN编码器和解码器来形成3D自动编码器，在GTX 1080，8 G内存的条件下进行测试。在ShapeNet Core v2数据集上训练了该3D自动编码器，其中包含来自13个类别的39 715个3D模型 ［ 6 6 ， 27 27 ］ 。训练和测试拆分规则与AtlasNet中使用的规则相同。自适应八叉树的最大深度为7，即体素分辨率为128 3［ 28 28 ］ 。 通过测量3D模型与其真实形状之间的倒角距离来评估解码形状的质量。 <math id="M65"><msub><mrow><mi>S</mi></mrow><mrow><mi>g</mi></mrow></msub><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425888&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425887&type= 19.04999924 6.18066692 表示真实点云，神经网络预测的点 <math id="M66"><mi>S</mi><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><mover accent="true"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mo>̂</mo></mover></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425880&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425889&type= 17.69533348 7.11199999 ， <math id="M67"><msub><mrow><mi>S</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425899&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425882&type= 3.38666677 3.72533321 和 <math id="M68"><mi>S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425903&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425901&type= 2.20133328 2.79399991 之间的倒角距离定义为： <math display="block" id="M69"><mi>D</mi><mo stretchy="false">(</mo><msub><mrow><mi>S</mi></mrow><mrow><mi>g</mi></mrow></msub><mo>,</mo><mi>S</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msub><mrow><mi>S</mi></mrow><mrow><mi>g</mi></mrow></msub></mrow></munder><mrow><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mover accent="true"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow><mo>̂</mo></mover><mo>∈</mo><mi>S</mi></mrow></munder></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425905&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425904&type= 33.86666870 9.22866726 . 因为3D自动解码器输出一个补丁引导的自适应八叉树，为了计算倒角距离，从估计的平面补丁中均匀地采样一组密集点。首先，将包含在自适应八叉树的非空叶节点中的平面补丁细分为128 3 的分辨率，然后在每个细分的平面块上随机采样一个点，形成输出点云。对于真实的密集点云，也在128 3 的分辨率下进行均匀采样。 质量测量结果如 表1 表1 所示。本文还与两种最先进的3D自动编码器方法进行了比较，其中AtlasNet生成一组网格补丁作为形状的近似值，PointSetGen（PSG）生成点云输出。与预测125个网格块的AtlasNet相比，自适应O-CNN自动编码器实现了最佳质量。需要注意的是，本文应用的评价标准为倒角距离，AtlasNet的损失函数就是倒角距离，而自适应O-CNN自动编码器的结构损失函数和补丁损失函数并没有用到此函数，仍然取得了较好的成果。与PSG相比，自适应O-CNN和AtlasNet的质量要好得多。 方　法 平均值 （倒角距离 <math id="M70"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425960&type= 2.20133328 2.37066650 1 000） 飞机 （倒角距离 <math id="M71"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425960&type= 2.20133328 2.37066650 1 000） 汽车 （倒角距离 <math id="M72"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425960&type= 2.20133328 2.37066650 1 000） 桌子 （倒角距离 <math id="M73"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425960&type= 2.20133328 2.37066650 1 000） 椅子 （倒角距离 <math id="M74"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425960&type= 2.20133328 2.37066650 1 000） PSG ［ 19 19 ］ 1.607 5 1.11 1.59 1.83 1.9 AtlasNet（125） ［ 8 8 ］ 1.487 5 1.15 1.56 1.69 1.55 自适应八叉树卷积神经网络 1.235 1.19 0.96 1.14 1.65 自适应O-CNN在某些类别中的表现比AtlasNet差，例如飞机和椅子，如 图5 图5 所示。在这些类别中模型相对较薄的部分，例如飞机的机翼、椅子的扶手以及枪管，自适应O-CNN与原始形状有较大的几何偏差。AtlasNet的偏差较小，但它用单个补丁或凌乱的补丁来近似部分实体，有的结构完全丢失，很难甚至不可能定义这些区域的内部和外部。相反，自适应O-CNN使用基于八叉树的结构损失和补丁损失进行训练，具有更好的效果。 3D自动编码器可用于恢复几何形状的缺失部分并处理输入噪声。这里进行了一个形状完成任务来证明自适应O-CNN的有效性。从ShapeNet Core v2数据集中选择汽车类别作为地面实况数据。每辆车随机选择3到5个视图并从这些视图中采样密集点。在每个视图上还随机裁剪一些区域以模拟孔洞，并略微扰动点位置以模拟扫描噪声。这些视图组合在一起作为不完整和嘈杂的数据。在这个合成数据集上训练了基于自适应O-CNN的自动编码器，以不完整的形状作为输入，以相应的完整形状作为目标。作为参考，还在该数据集上训练了基于O-CNN的自动编码器。所有网络中八叉树的最大深度设置为7。自适应O-CNN的结果更接近真实情况，而八叉树卷积神经网络却未能填补一些漏洞。 5.2　从单个图像重建形状 2 从2D图像重建3D形状是计算机视觉和图形学中一个重要的课题。随着3D深度学习技术的发展，从单个图像推断3D形状的任务在研究界引起了广泛关注。这里对自适应O-CNN的这项任务进行了实验，并与最先进的方法进行了比较，即AtlasNet和PointSetGen（PSG） ［ 8 8 ， 19 19 ， 28 28 ］ ，真实3D形状来自ShapeNet Core v2，每个对象都是从24个视角渲染的，背景是透明的。在与OctGen进行比较时，由于OctGen仅在具有128 3 分辨率八叉树的汽车类别上进行了训练，因此自适应O-CNN也在具有相同分辨率的汽车数据集上进行了训练。测试在GTX 1080，8G内存的条件下进行。对于图像编码器，AtlasNet使用了ResNet18，OctGen使用了经典的LeNet。 实验得到了预测点与从PointSetGen、AtlasNet的原始网格采样的点之间的倒角距离，如 表2 表2 所示。Groueix等随机选择了260个形状（每个类别20个）来形成测试数据库 ［ 8 8 ］ 。为了与PointSet-Gen进行比较，他们运行了ICP算法对齐来自PointSetGen和AtlasNet的预测点与真实物体点云。注意ICP对齐后，倒角距离误差略有改善。此外，还运行了ICP算法来使自适应O-CNN编码器的结果与真实情况保持一致。我们的方法在13个类别中的8个类别上实现了最佳性能，特别是对于具有大平坦区域的对象。单图像三维重建的测试结果见 表2 表2 ，表中的数值为倒角距离乘以1 000。如汽车和橱柜，自适应O-CNN的输出在视觉上更平滑。对于 图6 图6 最后一行的翻盖手机图像，所有方法的重建质量都相对低于其他输入图像，因为翻盖手机在训练数据集中是很少见的。 方 法 平均值 （倒角距离 <math id="M75"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425960&type= 2.20133328 2.37066650 1 000） 飞机 （倒角距离 <math id="M76"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425960&type= 2.20133328 2.37066650 1 000） 汽车 （倒角距离 <math id="M77"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425960&type= 2.20133328 2.37066650 1 000） 桌子 （倒角距离 <math id="M78"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425960&type= 2.20133328 2.37066650 1 000） 椅子 （倒角距离 <math id="M79"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=28425960&type= 2.20133328 2.37066650 1 000） PSG ［ 18 18 ］ 5.567 5 3.36 8.63 3.93 6.35 AtlasNet（125） ［ 6 6 ］ 4.46 2.54 4.18 4.35 6.77 自适应八叉树卷积神经网络 3.642 5 2.45 1.8 4.19 6.13 为了计算OctGen输出的倒角距离，从边界八叉树节点中密集采样点进行评估。基于面片的自适应O-CNN具有比OctGen更低的倒角距离误差，两者分别为0.274与0.294。三维重建视觉结果如 图6 图6 所示。与OctGen相比，自适应O-CNN能够保留更多的结构细节，生成的表面补丁更接近于实际形状，尤其是较为平整的区域。 6 结　论 1 本文提出了一种用于3D编码和解码的自适应O-CNN，其编码器和解码器继承了补丁引导的自适应八叉树结构的自适应性和重建质量。在典型的3D学习任务（包括3D自动编码以及图像的表面预测）上，与包括基于八叉树的CNN等先进的方法相比，基于平面补丁的自适应O-CNN不仅减少了内存和计算成本，而且具有更好的形状生成能力。单个图像的形状预测结果验证了自适应O-CNN的效率和有效性，倒角距离误差为0.274，低于OctGen的倒角距离误差0.294，重建效果更好。 参考文献 范丽丽 ， 赵宏伟 ， 赵浩宇 ， 等 . 基于深度卷积神经网络的目标检测研究综述 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1152 - 1164 . 基于深度卷积神经网络的目标检测研究综述 FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese） Survey of target detection based on deep convolutional neural networks LUN Z L ， GADELHA M ， KALOGERAKIS E ， et al . 3D shape reconstruction from sketches via multi-view convolutional networks ［C］. 2017 International Conference on 3D Vision （3DV）. 1012，2017 ， Qingdao， China. IEEE ， 2017 ： 67 - 77 . doi: 10.1109/3dv.2017.00018 http://dx.doi.org/10.1109/3dv.2017.00018 3D shape reconstruction from sketches via multi-view convolutional networks 潘仙张 ， 张石清 ， 郭文平 . 多模深度卷积神经网络应用于视频表情识别 [J]. 光学 精密工程 , 2019 , 27 ( 4 ): 963 - 970 . doi: 10.3788/ope.20192704.0963 http://dx.doi.org/10.3788/ope.20192704.0963 多模深度卷积神经网络应用于视频表情识别 PAN X ZH , ZHANG SH Q , GUO W P . Video-based facial expression recognition using multimodal deep convolutional neural networks [J]. Opt. Precision Eng. , 2019 , 27 ( 4 ): 963 - 970 . (in Chinese) . doi: 10.3788/ope.20192704.0963 http://dx.doi.org/10.3788/ope.20192704.0963 Video-based facial expression recognition using multimodal deep convolutional neural networks NIU Z J ， LIU W ， ZHAO J Y ， et al . DeepLab-based spatial feature extraction for hyperspectral image classification ［J］. IEEE Geoscience and Remote Sensing Letters ， 2019 ， 16 （ 2 ）： 251 - 255 . doi: 10.1109/lgrs.2018.2871507 http://dx.doi.org/10.1109/lgrs.2018.2871507 DeepLab-based spatial feature extraction for hyperspectral image classification WU J J ， ZHANG C K ， XUE T F ， et al . Learning a probabilistic latent space of object shapes via 3D generative-adversarial modeling ［C］. NIPS'16 ： Proceedings of the 30th International Conference on Neural Information Processing Systems . 2016 ： 82 - 90 . doi: 10.48550/arXiv.1610.07584 http://dx.doi.org/10.48550/arXiv.1610.07584 Learning a probabilistic latent space of object shapes via 3D generative-adversarial modeling WU Z R ， SONG S R ， KHOSLA A ， et al . 3D ShapeNets： a deep representation for volumetric shapes ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . 712，2015 ， Boston， MA， USA . IEEE ， 2015 ： 1912 - 1920 . doi: 10.1109/cvpr.2015.7298801 http://dx.doi.org/10.1109/cvpr.2015.7298801 3D ShapeNets： a deep representation for volumetric shapes BRONSTEIN M M ， BRUNA J ， LECUN Y ， et al . Geometric deep learning： going beyond euclidean data ［J］. IEEE Signal Processing Magazine ， 2017 ， 34 （ 4 ）： 18 - 42 . doi: 10.1109/msp.2017.2693418 http://dx.doi.org/10.1109/msp.2017.2693418 Geometric deep learning： going beyond euclidean data GROUEIX T ， FISHER M ， KIM V G ， et al . AtlasNet： a papier-mché approach to learning 3D surface generation ［EB/OL］. 2018： arXiv ： 1802 .05384［cs.CV］. https：//arxiv.org/abs/1802.05384 https://arxiv.org/abs/1802.05384 AtlasNet： a papier-mché approach to learning 3D surface generation KATO H ， USHIKU Y ， HARADA T . Neural 3D mesh renderer ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 3907 - 3916 . doi: 10.1109/cvpr.2018.00411 http://dx.doi.org/10.1109/cvpr.2018.00411 Neural 3D mesh renderer 吴笑天 ， 杨航 ， 孙兴龙 . 基于区域选择网络的图像复原及其在计算成像中的应用 ［J］. 光学 精密工程 ， 2021 ， 29 （ 4 ）： 864 - 876 . doi: 10.37188/OPE.20212904.0864 http://dx.doi.org/10.37188/OPE.20212904.0864 基于区域选择网络的图像复原及其在计算成像中的应用 WU X T ， YANG H ， SUN X L . Image restoring method based on region selection network and its application in computational imaging ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 864 - 876 . （in Chinese） . doi: 10.37188/OPE.20212904.0864 http://dx.doi.org/10.37188/OPE.20212904.0864 Image restoring method based on region selection network and its application in computational imaging ATTENE M ， CAMPEN M ， KOBBELT L . Polygon mesh repairing ［J］. ACM Computing Surveys ， 2013 ， 45 （ 2 ）： 1 - 33 . doi: 10.1145/2431211.2431214 http://dx.doi.org/10.1145/2431211.2431214 Polygon mesh repairing BOSCAINI D ， MASCI J ， MELZI S ， et al . Learning class-specific descriptors for deformable shapes using localized spectral convolutional networks ［J］. Computer Graphics Forum ， 2015 ， 34 （ 5 ）： 13 - 23 . doi: 10.1111/cgf.12693 http://dx.doi.org/10.1111/cgf.12693 Learning class-specific descriptors for deformable shapes using localized spectral convolutional networks BROCK A ， LIM T ， RITCHIE J M ， et al . Generative and discriminative voxel modeling with convolutional neural networks ［EB/OL］. 2016： arXiv ： 1608 .04236［cs.CV］. https：//arxiv.org/abs/1608.04236 https://arxiv.org/abs/1608.04236 Generative and discriminative voxel modeling with convolutional neural networks CHOY C B ， XU D F ， GWAK J ， et al . 3D-R2N2： a unified approach for single and multi-view 3D object reconstruction ［C］. Computer Vision-ECCV 2016 ， 2016 ： 628 - 644 . doi: 10.1007/978-3-319-46484-8_38 http://dx.doi.org/10.1007/978-3-319-46484-8_38 3D-R2N2： a unified approach for single and multi-view 3D object reconstruction GRAHAM B . Sparse 3D convolutional neural networks ［C］. Proceedings ofthe British Machine Vision Conference 2015. Swansea. British Machine Vision Association ， 2015 ： 150 .1-150. 9 . doi: 10.5244/c.29.150 http://dx.doi.org/10.5244/c.29.150 Sparse 3D convolutional neural networks HANE C ， TULSIANI S ， MALIK J . Hierarchical surface prediction ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 6 ）： 1348 - 1361 . doi: 10.1109/tpami.2019.2896296 http://dx.doi.org/10.1109/tpami.2019.2896296 Hierarchical surface prediction FUHRMANN S ， GOESELE M . Floating scale surface reconstruction ［J］. ACM Transactions on Graphics ， 2014 ， 33 （ 4 ）： 1 - 11 . doi: 10.1145/2601097.2601163 http://dx.doi.org/10.1145/2601097.2601163 Floating scale surface reconstruction DENG J ， DONG W ， SOCHER R ， et al . ImageNet： a large-scale hierarchical image database ［C］. 2009 IEEE Conference on Computer Vision and Pattern Recognition . 2025，2009 ， Miami ， FL， USA . IEEE ， 2009 ： 248 - 255 . doi: 10.1109/cvpr.2009.5206848 http://dx.doi.org/10.1109/cvpr.2009.5206848 ImageNet： a large-scale hierarchical image database CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 77 - 85 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16 PointNet： deep learning on point sets for 3D classification and segmentation ACHLIOPTAS P ， DIAMANTI O ， MITLIAGKAS I ， et al . Learning representations and generative models for 3D point clouds ［C］. ICML ， 2017 . Learning representations and generative models for 3D point clouds GOODFELLOW I ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial networks ［J］. Communications of the ACM ， 2020 ， 63 （ 11 ）： 139 - 144 . doi: 10.1145/3422622 http://dx.doi.org/10.1145/3422622 Generative adversarial networks GOLTS A ， SCHECHNER Y Y . Image compression optimized for 3D reconstruction by utilizing deep neural networks ［J］. Journal of Visual Communication and Image Representation ， 2021 ， 79 ： 103208 . doi: 10.1016/j.jvcir.2021.103208 http://dx.doi.org/10.1016/j.jvcir.2021.103208 Image compression optimized for 3D reconstruction by utilizing deep neural networks FRISKEN S F ， PERRY R N ， ROCKWOOD A P ， et al . Adaptively sampled distance fields： a general representation of shape for computer graphics ［C］. Proceedings of the 27th annual conference on Computer graphics and interactive techniques - SIGGRAPH '00. Not Known. New York ： ACM Press ， 2000 ： 249 - 254 . doi: 10.1145/344779.344899 http://dx.doi.org/10.1145/344779.344899 Adaptively sampled distance fields： a general representation of shape for computer graphics KINGMA D P ， WELLING M . Auto-encoding variational Bayes ［EB/OL］. arXiv preprint arXiv ： 1312 . 6114 ， 2013 . https：//arxiv.org/abs/1312.6114v10 https://arxiv.org/abs/1312.6114v10 Auto-encoding variational Bayes BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615 SegNet： a deep convolutional encoder-decoder architecture for image segmentation BESL P J ， MCKAY N D . A method for registration of 3-D shapes ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1992 ， 14 （ 2 ）： 239 - 256 . doi: 10.1109/34.121791 http://dx.doi.org/10.1109/34.121791 A method for registration of 3-D shapes CHANG A X ， FUNKHOUSER T ， GUIBAS L ， et al . ShapeNet： an information-rich 3D model repository ［EB/OL］. arXiv preprint arXiv ： 1512 . 03012 v 1 ， 2015 . https：//arxiv.org/abs/1512.03012 https://arxiv.org/abs/1512.03012 ShapeNet： an information-rich 3D model repository LIN C H ， KONG C ， LUCEY S . Learning efficient point cloud generation for dense 3D object reconstruction ［EB/OL］. 2017： arXiv ： 1706 .07036［cs.CV］. https：//arxiv.org/abs/1706.07036 https://arxiv.org/abs/1706.07036 Learning efficient point cloud generation for dense 3D object reconstruction 10.37188/OPE.20223009.1113 TP394.1 TH691.9 A 1004-924X（2022）09-1113-10 姚程,马彩文.基于平面补丁的自适应八叉树三维图像重建[J].光学精密工程,2022,30(09):1113-1122. 姚程,马彩文.基于平面补丁的自适应八叉树三维图像重建[J].光学精密工程,2022,30(09):1113-1122. YAO Cheng,MA Caiwen.Adaptive octree 3D image reconstruction based on plane patch[J].Optics and Precision Engineering,2022,30(09):1113-1122. YAO Cheng,MA Caiwen.Adaptive octree 3D image reconstruction based on plane patch[J].Optics and Precision Engineering,2022,30(09):1113-1122. 吉林省自然科学基金资助项目（No.20150520059JH） 2021-10-30 2021-12-31 2022-05-10 2022-05-26 光学精密工程 9 30