增强点云局部显著性特征的细粒度语义分割网

张坤; 张丽婷; 王晓红; 朱亚薇; 周昆鹏

doi:10.37188/OPE.20233102.0288

您当前的位置：

首页 >

文章列表页 >

增强点云局部显著性特征的细粒度语义分割网

信息科学 | 更新时间：2023-02-08

- 增强点云局部显著性特征的细粒度语义分割网
- Fine-grained semantic segmentation network for enhancing local salient of laser point clouds
- 光学精密工程 2023年31卷第2期页码：288-299
- 作者机构：
  
  河北科技大学信息科学与工程学院，河北石家庄 050000
- 作者简介：
  
  [ "张坤（1982-），女，河北石家庄人，副教授，硕士生导师，2016年于燕山大学获得博士学位，主要从事：人工智能和机器视觉方面的研究。E-mail：euphkun@163.com" ]
  [ "张丽婷（1995-），女，河北张家口人，硕士研究生，主要从事三维点云方向研究。E-mail：zhangliting0817@163.com" ]
  [ "王晓红（1966-），女，河北保定人，教授，硕士生导师，主要从事计算机视觉、3s（GIS，GPS，RS）技术的研究。E-mail：feifeiwangxiaohong@126.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(61963031);河北省技术创新引导计划资助项目(21470302D);河北省高等学校科学技术研究资助项目(ZD2020176)
- DOI：10.37188/OPE.20233102.0288
  中图分类号： TP394.1;TH691.9
- 收稿日期：2022-06-28，
  
  修回日期：2022-08-03，
  
  纸质出版日期：2023-01-25
- 稿件说明：
移动端阅览
张坤,张丽婷,王晓红等.增强点云局部显著性特征的细粒度语义分割网[J].光学精密工程,2023,31(02):288-299.

ZHANG Kun,ZHANG Liting,WANG Xiaohong,et al.Fine-grained semantic segmentation network for enhancing local salient of laser point clouds[J].Optics and Precision Engineering,2023,31(02):288-299.
张坤,张丽婷,王晓红等.增强点云局部显著性特征的细粒度语义分割网[J].光学精密工程,2023,31(02):288-299. DOI： 10.37188/OPE.20233102.0288.

ZHANG Kun,ZHANG Liting,WANG Xiaohong,et al.Fine-grained semantic segmentation network for enhancing local salient of laser point clouds[J].Optics and Precision Engineering,2023,31(02):288-299. DOI： 10.37188/OPE.20233102.0288.

摘要

点云细粒度语义分割，即物体部件分割，在机械臂控制、智能化装配、物体检测等工业生产中有着重要的应用价值。然而由于点云数据形式散乱，导致物体部件边界处几何特征不明显且计算困难，从而致使细粒度分割精度较低，难以满足生产需求。针对点云的部件级分割，本文提出了增强点云局部显著性特征的细粒度语义分割网，网络中构建了局部数据上下文信息，提高细粒度分割精度。本网络建立了利用几何曲率改进的的最远点采样算法，增强点云局部数据子集特征计算能力；创建多尺度高维特征提取器，提取不同尺度的高维特征；在点云特征计算过程中使用seq2seq的方式，引入注意力机制，融合不同尺度的高维特征，进而获取细粒度语义分割的上下文信息。最终使得细粒度分割精度得到了有效提高，尤其是对边界处的分割效果提升显著。实验结果表明，本网络在ShapeNet Part数据集上的总体交并比达到了85.2%，准确率达到95.6%，且具有一定泛化能力。该方法对三维物体的细粒度语义分割具有重要的意义。

Abstract

Point cloud fine-grained semantic segmentation， that is， object component segmentation， has important applications in industrial production， such as manipulator control， intelligent assembly， and object detection. However， due to the scattered form of point cloud data， the geometric features at the boundary of object parts are not obvious and the calculation process is difficult， resulting in the low precision of fine-grained segmentation， which makes it difficult to meet the production needs. For point cloud segmentation at the component level， this paper proposes a fine-grained semantic segmentation network to enhance the local saliency of point clouds. In the network， the context information of local data is constructed to improve the precision of fine-grained segmentation. The network establishes an improved farthest-point sampling algorithm using geometric curvature to enhance the feature computing ability of a local data subset of the point cloud and to create a multiscale high-dimensional feature extractor for extracting the high-dimensional features of different scales. In the process of computing the point cloud features， seq2seq was used， the attention mechanism was introduced， and the high-dimensional features of different scales were fused to obtain the context information of fine-grained semantic segmentation. Finally， the fine-grained segmentation accuracy was improved， particularly for the segmentation effect at the boundary.The experimental results show that the overall intersection and merging ratio of this network on the ShapeNet part dataset achieves 85.2%， while the accuracy rate achieves 95.6%. The network also has a certain generalization ability. This method is of great significance in the fine-grained semantic segmentation of three-dimensional objects.

关键词

Keywords

references

史健锋，高治明，王阿川 . 结合ASPP与改进HRNet的多尺度图像语义分割方法研究［J］. 液晶与显示， 2021 ， 36 （ 11 ）： 1497 - 1505 . doi: 10.37188/CJLCD.2021-0093 http://dx.doi.org/10.37188/CJLCD.2021-0093

SHI J F ， GAO ZH M ， WANG A CH . Multi-scale image semantic segmentation based on ASPP and improved HRNet ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 11 ）： 1497 - 1505 . （in Chinese） . doi: 10.37188/CJLCD.2021-0093 http://dx.doi.org/10.37188/CJLCD.2021-0093

陈境焕 . 基于深层神经网络的三维点云细粒度分割算法研究［D］. 广州：广东工业大学， 2020 ： 22 - 23 . doi: 10.26420/physmedrehabilint.2021.1190 http://dx.doi.org/10.26420/physmedrehabilint.2021.1190

CHEN J H . Research on Fine-grained Segmentation Algorithm of 3 D Point Cloud Based on Deep Neural Network ［D］. Guangzhou ： Guangdong University of Technology ， 2020 ： 22 - 23 . （in Chinese） . doi: 10.26420/physmedrehabilint.2021.1190 http://dx.doi.org/10.26420/physmedrehabilint.2021.1190

QI C R ， YI L ， SU H ， et al . PointNet++： deep hierarchical feature learning on point sets in a metric space ［EB/OL］. 2017 ： arXiv ： 1706 . 02413 . https：//arxiv.org/abs/1706.02413 https://arxiv.org/abs/1706.02413

YE X Q ， LI J M ， HUANG H X ， et al . 3D recurrent neural networks with context fusion for point cloud semantic segmentation ［C］. Computer Vision - ECCV 2018 ： 15th European Conference， Munich， Germany ， 814，2018 ， Proceedings ， Part VII. New York： ACM， 2018 ： 415 - 430 . doi: 10.1007/978-3-030-01234-2_25 http://dx.doi.org/10.1007/978-3-030-01234-2_25

伍锡如，薛其威 . 基于激光雷达的无人驾驶系统三维车辆检测［J］. 光学精密工程， 2022 ， 30 （ 4 ）： 489 - 497 . doi: 10.37188/OPE.20223004.0489 http://dx.doi.org/10.37188/OPE.20223004.0489

WU X R ， XUE Q W . 3D vehicle detection for unmanned driving systerm based on lidar ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 4 ）： 489 - 497 . （in Chinese） . doi: 10.37188/OPE.20223004.0489 http://dx.doi.org/10.37188/OPE.20223004.0489

沈言善，王阿川 . 基于深度学习的遥感图像地物分割方法［J］. 液晶与显示， 2021 ， 36 （ 5 ）： 733 - 740 . doi: 10.37188/CJLCD.2020-0294 http://dx.doi.org/10.37188/CJLCD.2020-0294

SHEN Y SH ， WANG A CH . Remote sensing image feature segmentation method based on deep learning ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 5 ）： 733 - 740 . （in Chinese） . doi: 10.37188/CJLCD.2020-0294 http://dx.doi.org/10.37188/CJLCD.2020-0294

BENINI S ， KHAN K ， LEONARDI R ， et al . FASSEG： a FAce semantic SEGmentation repository for face image analysis ［J］. Data in Brief ， 2019 ， 24 ： 103881 . doi: 10.1016/j.dib.2019.103881 http://dx.doi.org/10.1016/j.dib.2019.103881

WU Y C ， RIVENSON Y ， ZHANG Y B ， et al . Extended depth-of-field in holographic imaging using deep-learning-based autofocusing and phase recovery ［J］. Optica ， 2018 ， 5 （ 6 ）： 704 . doi: 10.1364/optica.5.000704 http://dx.doi.org/10.1364/optica.5.000704

吴庆华，蔡琼捷思，黎志昂，等 . 扩展高斯图像聚类的缺失点云配准［J］. 光学精密工程， 2021 ， 29 （ 5 ）： 1199 - 1206 . doi: 10.37188/OPE.20212905.1199 http://dx.doi.org/10.37188/OPE.20212905.1199

WU Q H ， CAI Q ， LI ZH A ， et al . Registration of losing point cloud based on clustering extended Gaussian image ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 5 ）： 1199 - 1206 . （in Chinese） . doi: 10.37188/OPE.20212905.1199 http://dx.doi.org/10.37188/OPE.20212905.1199

郭保青，谢光非 . 基于N3D＿DIOU的图像与点云融合目标检测算法［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2703 - 2713 . doi: 10.37188/OPE.20212911.2703 http://dx.doi.org/10.37188/OPE.20212911.2703

GUO B Q ， XIE G F . Object detection algorithm based on image and point cloud fusion with N3D＿DIOU ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2703 - 2713 . （in Chinese） . doi: 10.37188/OPE.20212911.2703 http://dx.doi.org/10.37188/OPE.20212911.2703

JING H ， YOU S . Point Cloud Labeling using 3D Convolutional Neural Network ［C］. International Conference on Pattern Recognition. IEEE ， 2017 . doi: 10.1109/icpr.2016.7900038 http://dx.doi.org/10.1109/icpr.2016.7900038

TCHAPMI L ， CHOY C ， ARMENI I ， et al . SEGCloud： semantic segmentation of 3D point clouds ［C］. 2017 International Conference on 3D Vision （3DV）. 1012，2017 ， Qingdao， China. IEEE ， 2018 ： 537 - 547 . doi: 10.1109/3dv.2017.00067 http://dx.doi.org/10.1109/3dv.2017.00067

MAO J G ， XUE Y J ， NIU M Z ， et al . Voxel transformer for 3D object detection ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 1017，2021 ， Montreal， QC， Canada. IEEE ， 2022 ： 3144 - 3153 . doi: 10.1109/iccv48922.2021.00315 http://dx.doi.org/10.1109/iccv48922.2021.00315

LAWIN F J ， DANELLJAN M ， TOSTEBERG P ， et al . Deep projective 3D semantic segmentation ［EB/OL］. 2017 ： arXiv ： 1705 . 03428 . https：//arxiv.org/abs/1705.03428 https://arxiv.org/abs/1705.03428 . doi: 10.1007/978-3-319-64689-3_8 http://dx.doi.org/10.1007/978-3-319-64689-3_8

TATARCHENKO M ， PARK J ， KOLTUN V ， et al . Tangent convolutions for dense prediction in 3D ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 3887 - 3896 . doi: 10.1109/cvpr.2018.00409 http://dx.doi.org/10.1109/cvpr.2018.00409

WU B C ， ZHOU X Y ， ZHAO S C ， et al . SqueezeSegV2： improved model structure and unsupervised domain adaptation for road-object segmentation from a LiDAR point cloud ［C］. 2019 International Conference on Robotics and Automation （ICRA） . New York ： ACM ， 2019 ： 4376 - 4382 . doi: 10.1109/icra.2019.8793495 http://dx.doi.org/10.1109/icra.2019.8793495

XU C F ， WU B C ， WANG Z N ， et al . SqueezeSegV 3： Spatially-adaptive Convolution for Efficient Point-cloud Segmentation ［M］. Cham ： Springer International Publishing ， 2020 . doi: 10.1007/978-3-030-58604-1_1 http://dx.doi.org/10.1007/978-3-030-58604-1_1

WEI X ， YU R X ， SUN J . View-GCN： view-based graph convolutional network for 3D shape analysis ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1847 - 1856 . doi: 10.1109/cvpr42600.2020.00192 http://dx.doi.org/10.1109/cvpr42600.2020.00192

CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 77 - 85 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16

JIANG X ， MA X H . Dynamic graph CNN with attention module for 3D hand pose estimation ［J］. Advances in Neural Networks – ISNN 2019 ， 2019 . doi: 10.1007/978-3-030-22796-8_10 http://dx.doi.org/10.1007/978-3-030-22796-8_10

THOMAS H ， QI C R ， DESCHAUD J E ， et al . KPConv： flexible and deformable convolution for point clouds ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 6410 - 6419 . doi: 10.1109/iccv.2019.00651 http://dx.doi.org/10.1109/iccv.2019.00651

KAWANO K ， KOIDE S ， IMAMURA C . Seq2seq fingerprint with byte-pair encoding for predicting changes in protein stability upon single point mutation ［J］. IEEE/ACM Transactions on Computational Biology and Bioinformatics ， 2020 ， 17 （ 5 ）： 1762 - 1772 .

XIE S N ， LIU S N ， CHEN Z Y ， et al . Attentional ShapeContextNet for point cloud recognition ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 4606 - 4615 . doi: 10.1109/cvpr.2018.00484 http://dx.doi.org/10.1109/cvpr.2018.00484

浏览量

1006

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多分支残差注意力网络的水下图像增强

半监督式野生动物夜间目标端到端检测

基于注意力机制的宽波段小目标实时去模糊

融合全局信息与双域注意力机制的光学遥感飞机目标检测

基于MA-DETR的SAR图像飞机目标检测