融合NFFD与图卷积的单视图三维物体重建

连远锋; 裴守爽; 胡伟

doi:10.37188/OPE.20223010.1189

您当前的位置：

首页 >

文章列表页 >

融合NFFD与图卷积的单视图三维物体重建

信息科学 | 更新时间：2022-06-21

- 融合NFFD与图卷积的单视图三维物体重建
- Single-view 3D object reconstruction based on NFFD and graph convolution
- 光学精密工程 2022年30卷第10期页码：1189-1202
- 作者机构：
  
  1.中国石油大学（北京）计算机科学与技术系，北京 102249
  2.石油数据挖掘北京市重点实验室，北京 102249
- 作者简介：
  
  [ "连远锋（1977-），男，吉林延吉人，博士，副教授，硕士生导师，2012年于北京航空航天大学获得博士学位，主要研究方向为图像处理与虚拟现实、机器视觉与机器人、深度学习与数字几何。E-mail:lianyuanfeng@cup.edu.cn" ]
  [ "裴守爽（1997-），男，河北唐山人，硕士研究生，2020 年于河北农业大学取得学士学位，主要研究方向为深度学习与三维重建。E-mail：peishoushuang@163.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(61972353);中国石油天然气集团有限公司-中国石油大学（北京）战略合作科技专项：“一带一路”海外长输管道完整性关键技术研究与应用项目(2006A10401006)
- DOI：10.37188/OPE.20223010.1189
  中图分类号： TP391
- 收稿日期：2021-11-10，
  
  修回日期：2021-12-08，
  
  纸质出版日期：2022-05-25
- 稿件说明：
移动端阅览
连远锋,裴守爽,胡伟.融合NFFD与图卷积的单视图三维物体重建[J].光学精密工程,2022,30(10):1189-1202.

LIAN Yuanfeng,PEI Shoushuang,HU Wei.Single-view 3D object reconstruction based on NFFD and graph convolution[J].Optics and Precision Engineering,2022,30(10):1189-1202.
连远锋,裴守爽,胡伟.融合NFFD与图卷积的单视图三维物体重建[J].光学精密工程,2022,30(10):1189-1202. DOI： 10.37188/OPE.20223010.1189.

LIAN Yuanfeng,PEI Shoushuang,HU Wei.Single-view 3D object reconstruction based on NFFD and graph convolution[J].Optics and Precision Engineering,2022,30(10):1189-1202. DOI： 10.37188/OPE.20223010.1189.

摘要

为了解决复杂拓扑结构及非规则表面细节缺失等导致的单视图三维物体重建结果不准确问题，本文提出了一种融合非均匀有理B样条自由形变（NFFD）与图卷积神经网络的三维物体重建方法。首先，通过引入连接权重策略的控制点生成网络对2D视图进行特征学习，获得其控制点拓扑结构。然后，利用NURBS基函数对控制点坐标自适应特性建立点云模型轮廓间顶点的形变关系。最后，为增强细节信息，将混合注意力模块嵌入图卷积网络对形变后的点云位置进行调整，从而实现复杂拓扑结构和非规则表面的高效重建。在ShapeNet数据集的实验表明，CD指标平均值为3.79，EMD指标平均值为3.94，并在Pix3D真实场景数据集上取得较好重建效果。与已有的单视图点云三维重建方法比较，本文方法有效地提高了重建精度，具有较强的鲁棒性。

Abstract

To address the issue of inaccurate single-view three-dimensional （3D） object reconstruction results caused by complex topological objects and the absence of irregular surface details， a novel single-view 3D object reconstruction method combining non-uniform rational B-spline free deformation with a graph convolution neural network is proposed. First， a control points generation network， which introduces the connection weight policy， is used for the feature learning of two-dimensional views to obtain their control points topology. Subsequently， the NURBS basis function is used to establish the deformation relationship between the vertex contours of the point cloud model. Finally， to enhance the details， a convolutional network embedded with a mixed attention module is used to adjust the position of the deformed point cloud to reconstruct complex topological structures and irregular surfaces efficiently. Experiments on ShapeNet data show that the average values of the CD and EMD indices are 3.79 and 3.94， respectively， and that good reconstruction is achieved on the Pix3D real scene dataset. In contrast to existing single view point cloud 3D reconstruction methods， the proposed method offers a higher reconstruction accuracy of 3D objects and demonstrates higher robustness.

关键词

Keywords

references

JIN Y W ， JIANG D Q ， CAI M . 3D reconstruction using deep learning： a survey ［J］. Communications in Information and Systems ， 2020 ， 20 （ 4 ）： 389 - 413 . doi: 10.4310/cis.2020.v20.n4.a1 http://dx.doi.org/10.4310/cis.2020.v20.n4.a1

FAHIM G ， AMIN K ， ZARIF S . Single-View 3D reconstruction： a Survey of deep learning methods ［J］. Computers & Graphics ， 2021 ， 94 ： 164 - 190 . doi: 10.1016/j.cag.2020.12.004 http://dx.doi.org/10.1016/j.cag.2020.12.004

HENDERSON P ， FERRARI V . Learning single-image 3D reconstruction by generative modelling of shape， pose and shading ［J］. International Journal of Computer Vision ， 2020 ， 128 （ 4 ）： 835 - 854 . doi: 10.1007/s11263-019-01219-8 http://dx.doi.org/10.1007/s11263-019-01219-8

CHOY C B ， XU D F ， GWAK J ， et al . 3 D-R 2 N 2： A unified approach for single and multi-view 3 D object reconstruction ［M］. Computer Vision – ECCV 2016 . Cham ： Springer International Publishing ， 2016 ： 628 - 644 . doi: 10.1007/978-3-319-46484-8_38 http://dx.doi.org/10.1007/978-3-319-46484-8_38

李雷，徐浩，吴素萍 . 基于DDPG的三维重建模糊概率点推理［J］. 自动化学报， 2022 ， 48 （ 4 ）： 1105 - 1118 .

LI L ， XU H ， WU S P . Fuzzy Probability Points Reasoning for 3D Reconstruction via Deep Deterministic Policy Gradient ［J］. Acta Automatica Sinica ， 2022 ， 48 （ 4 ）： 1105 - 1118 . （in Chinese）

夏清，李帅，郝爱民，等 . 基于深度学习的数字几何处理与分析技术研究进展［J］. 计算机研究与发展， 2019 ， 56 （ 1 ）： 155 - 182 .

XIA Q ， LI S ， HAO A M ， et al . Deep learning for digital geometry processing and analysis： a review ［J］. Journal of Computer Research and Development ， 2019 ， 56 （ 1 ）： 155 - 182 . （in Chinese）

CHENG Q Q ， SUN P Y ， YANG C S ， et al . A morphing-Based 3D point cloud reconstruction framework for medical image processing ［J］. Computer Methods and Programs in Biomedicine ， 2020 ， 193 ： 105495 . doi: 10.1016/j.cmpb.2020.105495 http://dx.doi.org/10.1016/j.cmpb.2020.105495

JIN P ， LIU S L ， LIU J H ， et al . Weakly-supervised single-view dense 3D point cloud reconstruction via differentiable renderer ［J］. Chinese Journal of Mechanical Engineering ， 2021 ， 34 ： 93 . doi: 10.1186/s10033-021-00615-x http://dx.doi.org/10.1186/s10033-021-00615-x

FAN H Q ， SU H ， GUIBAS L . A point set generation network for 3D object reconstruction from a single image ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 2463 - 2471 . doi: 10.1109/cvpr.2017.264 http://dx.doi.org/10.1109/cvpr.2017.264

ZHANG S F ， LIU J ， LIU Y H ， et al . DIMNet： Dense implicit function network for 3D human body reconstruction ［J］. Computers & Graphics ， 2021 ， 98 ： 1 - 10 . doi: 10.1016/j.cag.2021.04.035 http://dx.doi.org/10.1016/j.cag.2021.04.035

YANG B ， ROSA S ， MARKHAM A ， et al . Dense 3D object reconstruction from a single depth view ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2019 ， 41 （ 12 ）： 2820 - 2834 . doi: 10.1109/tpami.2018.2868195 http://dx.doi.org/10.1109/tpami.2018.2868195

WU Z H ， PAN S R ， CHEN F W ， et al . A comprehensive survey on graph neural networks ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2021 ， 32 （ 1 ）： 4 - 24 . doi: 10.1109/tnnls.2020.2978386 http://dx.doi.org/10.1109/tnnls.2020.2978386

VALSESIA D ， FRACASTORO G ， MAGLI E . Learning localized representations of point clouds with graph-convolutional generative adversarial networks ［J］. IEEE Transactions on Multimedia ， 2021 ， 23 ： 402 - 414 . doi: 10.1109/tmm.2020.2976627 http://dx.doi.org/10.1109/tmm.2020.2976627

WANG N Y ， ZHANG Y D ， LI Z W ， et al . Pixel2Mesh： generating 3D mesh models from single RGB images ［C］. Proceedings of the European conference on computer vision（ECCV） . 2008 ： 52 - 67 .

NGUYEN D ， CHOI S ， KIM W ， et al . GraphX-convolution for point cloud deformation in 2D-to-3D conversion ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2019： 8627 - 8636 . doi: 10.1109/iccv.2019.00872 http://dx.doi.org/10.1109/iccv.2019.00872

KURENKOV A ， JI J W ， GARG A ， et al . DeformNet： free-form deformation network for 3D shape reconstruction from a single image ［C］. 2018 IEEE Winter Conference on Applications of Computer Vision . 1215，2018 ， Lake Tahoe ， NV， USA . IEEE ， 2018 ： 858 - 866 . doi: 10.1109/wacv.2018.00099 http://dx.doi.org/10.1109/wacv.2018.00099

PONTES J K ， KONG C ， SRIDHARAN S ， et al . Image 2 Mesh ： A Learning Framework for Single Image 3 D Reconstruction ［M］. Computer Vision-ACCV 2018 . Cham ： Springer International Publishing ， 2019 ： 365 - 381 . doi: 10.1007/978-3-030-20887-5_23 http://dx.doi.org/10.1007/978-3-030-20887-5_23

LAMOUSIN H J ， WAGGENSPACK N N . NURBS-based free-form deformations ［J］. IEEE Computer Graphics and Applications ， 1994 ， 14 （ 6 ）： 59 - 65 . doi: 10.1109/38.329096 http://dx.doi.org/10.1109/38.329096

TAO J ， SUN G ， SI J Z ， et al . A robust design for a winglet based on NURBS-FFD method and PSO algorithm ［J］. Aerospace Science and Technology ， 2017 ， 70 ： 568 - 577 . doi: 10.1016/j.ast.2017.08.040 http://dx.doi.org/10.1016/j.ast.2017.08.040

ORAZI L ， REGGIANI B . Point inversion for triparametric NURBS ［J］. International Journal on Interactive Design and Manufacturing （IJIDeM）， 2021 ， 15 （ 1 ）： 55 - 61 . doi: 10.1007/s12008-020-00719-z http://dx.doi.org/10.1007/s12008-020-00719-z

孟月波，金丹，刘光辉，等 . 共享核空洞卷积与注意力引导FPN文本检测［J］. 光学精密工程， 2021 ， 29 （ 8 ）： 1955 - 1967 . doi: 10.37188/OPE.20212908.1955 http://dx.doi.org/10.37188/OPE.20212908.1955

MENG Y B ， JIN D ， LIU G H ， et al . Text detection with kernel-sharing dilated convolutions and attention-guided FPN ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 8 ）： 1955 - 1967 . （in Chinese） . doi: 10.37188/OPE.20212908.1955 http://dx.doi.org/10.37188/OPE.20212908.1955

李经宇，杨静，孔斌，等 . 基于注意力机制的多尺度车辆行人检测算法［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1448 - 1458 . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448

LI J Y ， YANG J ， KONG B ， et al . Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1448 - 1458 . （in Chinese） . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448

蔡体健，彭潇雨，石亚鹏，等 . 通道注意力与残差级联的图像超分辨率重建［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

秦传波，宋子玉，曾军英，等 . 联合多尺度和注意力-残差的深度监督乳腺癌分割［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 877 - 895 . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

QIN C B ， SONG Z Y ， ZENG J Y ， et al . Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 877 - 895 . （in Chinese） . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

MA J Y ， ZHANG H ， YI P ， et al . SCSCN： a separated channel-spatial convolution net with attention for single-view reconstruction ［J］. IEEE Transactions on Industrial Electronics ， 2020 ， 67 （ 10 ）： 8649 - 8658 . doi: 10.1109/tie.2019.2950866 http://dx.doi.org/10.1109/tie.2019.2950866

KINGMA D P ， BA J . Adam： a method for stochastic optimization ［EB/OL］. 2014： arXiv ： 1412 .6980［cs.LG］. https：//arxiv.org/abs/1412.6980 https://arxiv.org/abs/1412.6980

CHANG A X ， FUNKHOUSER T A ， GUIBAS L J ， et al . ShapeNet： an information-rich 3D model repository ［J］. CoRR ， 2015 ， abs/1512. 03012 .

SUN X Y ， WU J J ， ZHANG X M ， et al . Pix3D： dataset and methods for single-image 3D shape modeling ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 2974 - 2983 . doi: 10.1109/cvpr.2018.00314 http://dx.doi.org/10.1109/cvpr.2018.00314

MANDIKAL P ， MURTHY N ， AGARWAL M ， et al . 3D-LMNet： latent embedding matching for accurate and diverse 3D point cloud reconstruction from a single image ［C］. Proceedings of the British Machine Vision Conference， New York ： Springer ， 2018 . 55 - 56 ．

MESCHEDER L ， OECHSLE M ， NIEMEYER M ， et al . Occupancy networks： learning 3D reconstruction in function space ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 4455 - 4465 . doi: 10.1109/cvpr.2019.00459 http://dx.doi.org/10.1109/cvpr.2019.00459

XU Q G ， WANG W Y ， CEYLAN D ， et al . DISN： deep implicit surface network for high-quality single-view 3D reconstruction ［J］. Advances in Neural Information Processing Systems ， 2019 ， 32 ： 492 - 502 .

AFIFI A J ， MAGNUSSON J ， SOOMRO T A ， et al . Pixel2point： 3D object reconstruction from a single image using CNN and initial sphere ［J］. IEEE Access ， 2020 ， 9 ： 110 - 121 . doi: 10.1109/access.2020.3046951 http://dx.doi.org/10.1109/access.2020.3046951

JACK D ， PONTES J K ， SRIDHARAN S ， et al . Learning free-form deformations for 3D object reconstruction ［C］. Computer Vision-ACCV 2018 ， 2019 ： 317 - 333 . doi: 10.1007/978-3-030-20890-5_21 http://dx.doi.org/10.1007/978-3-030-20890-5_21

浏览量

1401

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

MEMS振镜式结构光三维重建综述

复杂坡面拟合的异源点云配准及三维地形精细重建

强环境噪声下的双目视觉受电弓轨旁异常检测

基于双投射结构光系统的多尺度点云融合

双路混合注意力的跨层次特征聚合图像增强