Saliency maps for point cloud recognition models

LIANG Ao; ZHANG Hao; HUA Haiyang

您当前的位置：

首页 >

文章列表页 >

Saliency maps for point cloud recognition models

更新时间：2023-01-03

- Saliency maps for point cloud recognition models
- Optics and Precision Engineering Pages: 1-15(2023)
- 作者机构：
  
  1.中国科学院光电信息处理重点实验室，辽宁沈阳 110016
  2.中国科学院沈阳自动化研究所，辽宁沈阳 110016
  3.中国科学院机器人与智能制造创新研究院，辽宁沈阳 110169
  4.中国科学院大学，北京 100049
- 作者简介：
  
  E-mail： c3ill@sia.cn
- 基金信息：
- DOI：
  CLC： TP394.1;TH691.9
- Received：29 August 2022，
  
  Revised：26 September 2022，
  
  Published Online：03 January 2023，
- 稿件说明：
移动端阅览
梁奥,张浩,花海洋.面向点云识别网络的显著图生成[J].光学精密工程,

LIANG Ao,ZHANG Hao,HUA Haiyang.Saliency maps for point cloud recognition models[J].Optics and Precision Engineering,
梁奥,张浩,花海洋.面向点云识别网络的显著图生成[J].光学精密工程, DOI：10.37188/OPE.XXXXXXXX.0001

LIANG Ao,ZHANG Hao,HUA Haiyang.Saliency maps for point cloud recognition models[J].Optics and Precision Engineering, DOI：10.37188/OPE.XXXXXXXX.0001

摘要

点云结构上的特殊性质，导致解释其深度模型学习特征的结果存在困难。提出了一种获得点云目标识别模型显著图的方法，首先在点云空间中随机释放若干自由因子并输入到模型中，然后根据设计的贡献度评价指标，基于梯度下降使骨干网络输出的池化特征尽可能偏离目标点云识别过程中输出的池化特征并更新因子位置。迭代后的因子无法参与识别过程，其对模型的预测“零贡献”，将目标点云中的点移动到这些因子的位置后对识别结果的影响与丢弃该点完全相同。点的移动过程可微，最后可根据梯度信息获得显著图。本文的方法在ModelNet40数据集上生成PointNet模型的显著图，相较于用点云中心生成显著图的方法，理论依据更强且适用的数据集更多。移动点至“零贡献”因子位置后对模型的影响较移动点至点云中心与丢弃点更相似。按本文的方法丢弃点使模型精度下降得更快，在仅丢弃100个点的情况下，模型的overall accuracy（OA）由90.4%下降至81.1%。同时经DGCNN和PointMLP评估，该显著性结果具有良好的通用性。该方法生成的显著性分数精度更高，且由模型驱动不含任何假设，适用于绝大多数点云识别模型和数据集，其显著性分析结果对目标识别网络的搭建与数据增强具有指导意义。

Abstract

The particular properties of the point cloud structure lead to difficulties in interpreting the features learned from Deep Neural Networks（DNNs）. A method is proposed to obtain the saliency maps for point cloud target recognition models. First， a number of free factors are randomly released in the point cloud space and input to the model. Then， based on the designed contribution evaluation index， the pooled features output by the backbone are made to deviate as much as possible from the pooled features output by the target point cloud recognition process by gradient descent and the factor positions are updated. The iterated factors do not participate in the recognition process and contribute "zero" to the prediction of the model. Moving the points in the target point cloud to the positions of these factors has exactly the same effect on the recognition result as dropping the points. The process of moving the points is differentiable， and finally the saliency maps can be obtained from the gradient information. We generate saliency maps for PointNet on ModelNet40 with the proposed method， which has a stronger theoretical basis and is applicable to more datasets than the method using point cloud center to generate saliency maps. The effect of shifting points to the no-contribution factor position is more similar to dropping points than shifting points to the center of point cloud. Dropping points by the saliency scores in this paper makes the model accuracy drop faster， and the overall accuracy （OA） of the model reduces from 90.4% to 81.1% with only 100 points dropped. Meanwhile， the saliency scores have good generality as also evaluated on DGCNN and PointMLP. The proposed method generates significance scores with higher precision and is applicable to most point cloud recognition models as is driven by the model without any assumptions. The results of its saliency analysis are instructive for the construction of target recognition networks and data augmentation.

关键词

Keywords

references

RAJ T ， HASHIM F H ， HUDDIN A B ， et al . A survey on LiDAR scanning mechanisms ［J］. Electronics ， 2020 ， 9 （ 5 ）： 741 .

MEHENDALE N ， NEOGE S . Review on lidar technology ［J］. SSRN Electronic Journal ， 2020 ： 3604309 .

FEI B ， YANG W D ， CHEN W M ， et al . Comprehensive review of deep learning-based 3D point cloud completion processing and analysis ［EB/OL］. 2022 ： arXiv ： 2203 . 03311 . https：//arxiv.org/abs/2203.03311 https://arxiv.org/abs/2203.03311

ZAMANAKOS G ， TSOCHATZIDIS L ， AMANATIADIS A ， et al . A comprehensive survey of LIDAR-based 3D object detection methods with deep learning for autonomous driving ［J］. Computers & Graphics ， 2021 ， 99 ： 153 - 181 .

QIAN R ， LAI X ， LI X R . 3D object detection for autonomous driving： a survey ［J］. Pattern Recognition ， 2022 ， 130 ： 108796 .

RORIZ R ， CABRAL J ， GOMES T . Automotive LiDAR technology： a survey ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2022 ， 23 （ 7 ）： 6282 - 6297 .

GUPTA A ， WATSON S ， YIN H J . 3D point cloud feature explanations using gradient-based methods ［C］// 2020 International Joint Conference on Neural Networks （IJCNN） . Glasgow ， UK . IEEE ， 2020 ： 1 - 8 .

CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 77 - 85 .

QI C R ， YI L ， SU H ， et al . PointNet++： deep hierarchical feature learning on point sets in a metric space ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . New York ： ACM ， 2017 ： 5105 - 5114 .

ZHAO H S ， JIANG L ， FU C W ， et al . PointWeb： enhancing local neighborhood features for point cloud processing ［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach， CA， USA . IEEE ， 2019 ： 5560 - 5568 .

MA X ， QIN C ， YOU H X ， et al . Rethinking network design and local geometry in point cloud： a simple residual MLP framework ［EB/OL］. 2022 ： arXiv ： 2202 . 07123 . https：//arxiv.org/abs/2202.07123 https://arxiv.org/abs/2202.07123

QIAN G C ， LI Y C ， PENG H W ， et al . PointNeXt： revisiting PointNet++ with improved training and scaling strategies ［EB/OL］. 2022 ： arXiv ： 2206 . 04670 . https：//arxiv.org/abs/2206.04670 https://arxiv.org/abs/2206.04670

YANG J C ， ZHANG Q ， FANG R Y ， et al . Adversarial attack and defense on point sets ［EB/OL］. 2019 ： arXiv ： 1902 . 10899 . https：//arxiv.org/abs/1902.10899 https://arxiv.org/abs/1902.10899

TAN H X ， KOTTHAUS H . Surrogate model-based explainability methods for point cloud NNs ［C］// 2022 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV） . Waikoloa ， HI， USA . IEEE ， 2022 ： 2927 - 2936 .

TAGHANAKI S A ， LUO J L ， ZHANG R ， et al . RobustPointSet： a dataset for benchmarking robustness of point cloud classifiers ［EB/OL］. 2020 ： arXiv ： 2011 . 11572 . https：//arxiv.org/abs/2011.11572 https://arxiv.org/abs/2011.11572

ZHANG Y ， TIŇO P ， LEONARDIS A ， et al . A survey on neural network interpretability ［J］. IEEE Transactions on Emerging Topics in Computational Intelligence ， 2021 ， 5 （ 5 ）： 726 - 742 . doi: 10.1109/tetci.2021.3100641 http://dx.doi.org/10.1109/tetci.2021.3100641

SCHINAGL D ， KRISPEL G ， POSSEGGER H ， et al . OccAM's laser： occlusion-based attribution maps for 3D object detectors on LiDAR data ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans， LA， USA . IEEE ， 2022 ： 1131 - 1140 .

ZHENG T H ， CHEN C Y ， YUAN J S ， et al . PointCloud saliency maps ［C］// 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . Seoul ， Korea （South） . IEEE ， 2019 ： 1598 - 1606 .

LV D K ， YING X X ， CUI Y J ， et al . Research on the technology of LIDAR data processing ［C］// 2017 First International Conference on Electronics Instrumentation & Information Systems （EIIS） . Harbin ， China . IEEE ， 2017 ： 1 - 5 .

BELLO S A ， YU S S ， WANG C ， et al . Review： deep learning on 3D point clouds ［J］. Remote Sensing ， 2020 ， 12 （ 11 ）： 1729 .

BAI S ， BAI X ， ZHOU Z C ， et al . GIFT： a real-time and scalable 3D shape search engine ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 5023 - 5032 .

SU H ， MAJI S ， KALOGERAKIS E ， et al . Multi-view convolutional neural networks for 3D shape recognition ［C］// 2015 IEEE International Conference on Computer Vision . Santiago， Chile . IEEE ， 2015 ： 945 - 953 . doi: 10.1109/iccv.2015.114 http://dx.doi.org/10.1109/iccv.2015.114

QI C R ， SU H ， NIEßNER M ， et al . Volumetric and multi-view CNNs for object classification on 3D data ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 5648 - 5656 . doi: 10.1109/cvpr.2016.609 http://dx.doi.org/10.1109/cvpr.2016.609

MATURANA D ， SCHERER S . 3D Convolutional Neural Networks for landing zone detection from LiDAR ［C］// 2015 IEEE International Conference on Robotics and Automation . Seattle， WA ， USA . IEEE ， 2015 ： 3471 - 3478 .

MATURANA D ， SCHERER S . VoxNet： a 3D Convolutional Neural Network for real-time object recognition ［C］// 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS） . Hamburg ， Germany . IEEE ， 2015 ： 922 - 928 . doi: 10.1109/iros.2015.7353481 http://dx.doi.org/10.1109/iros.2015.7353481

WU Z R ， SONG S R ， KHOSLA A ， et al . 3D ShapeNets： a deep representation for volumetric shapes ［C］// 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA， USA . IEEE ， 2015 ： 1912 - 1920 .

WANG C ， CHENG M ， SOHEL F ， et al . NormalNet： a voxel-based CNN for 3D object classification and retrieval ［J］. Neurocomputing ， 2019 ， 323 ： 139 - 147 .

LI J X ， CHEN B M ， LEE G H . SO-net： self-organizing network for point cloud analysis ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 9397 - 9406 .

ZHANG W X ， XIAO C X . PCAN： 3D attention map learning using contextual information for point cloud based retrieval ［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach， CA， USA . IEEE ， 2019 ： 12428 - 12437 .

KLOKOV R ， LEMPITSKY V . Escape from cells： deep kd-networks for the recognition of 3D point cloud models ［C］// 2017 IEEE International Conference on Computer Vision . Venice， Italy . IEEE ， 2017 ： 863 - 872 .

WANG C ， SAMARI B ， SIDDIQI K . Local spectral graph convolution for point set feature learning ［EB/OL］. 2018 ： arXiv ： 1803 . 05827 . https：//arxiv.org/abs/1803.05827 https://arxiv.org/abs/1803.05827

ZHAO H S ， JIANG L ， JIA J Y ， et al . Point transformer ［C］// 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal， QC， Canada . IEEE ， 2021 ： 16239 - 16248 .

ENGEL N ， BELAGIANNIS V ， DIETMAYER K . Point transformer ［J］. IEEE Access ， 2021 ， 9 ： 134826 - 134840 .

GUO M H ， CAI J X ， LIU Z N ， et al . PCT： Point cloud transformer ［J］. Computational Visual Media ， 2021 ， 7 （ 2 ）： 187 - 199 . doi: 10.1007/s41095-021-0229-5 http://dx.doi.org/10.1007/s41095-021-0229-5

PANG Y T ， WANG W X ， TAY F E H ， et al . Masked autoencoders for point cloud self-supervised learning ［EB/OL］. 2022 ： arXiv ： 2203 . 06604 . https：//arxiv.org/abs/2203.06604 https://arxiv.org/abs/2203.06604

LIPTON Z C . The mythos of model interpretability： In machine learning， the concept of interpretability is both important and slippery ［J］. Queue ， 2018 ， 16 （ 3 ）： 31 - 57 .

RUDIN C . Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead ［J］. Nature Machine Intelligence ， 2019 ， 1 （ 5 ）： 206 - 215 .

KIM J ， HUA B S ， NGUYEN D T ， et al . Minimal adversarial examples for deep learning on 3D point clouds ［C］// 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal， QC， Canada . IEEE ， 2021 ： 7777 - 7786 .

DOSOVITSKIY A ， BROX T . Inverting visual representations with convolutional networks ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ，： 4829 - 4837 .

MAHENDRAN A ， VEDALDI A . Understanding deep image representations by inverting them ［C］// 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA， USA . IEEE ，： 5188 - 5196 .

ERHAN D ， BENGIO Y ， COURVILLE A ， et al . Visualizing higher-layer features of a deep network ［J］. University of Montreal ， 2009 ， 1341 （ 3 ）： 1 .

NGUYEN A ， DOSOVITSKIY A ， YOSINSKI J ， et al . Synthesizing the preferred inputs for neurons in neural networks via deep generator networks ［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems . New York ： ACM ， 2016 ： 3395 - 3403 .

YOSINSKI J ， CLUNE J ， NGUYEN A ， et al . Understanding neural networks through deep visualization ［EB/OL］. 2015 ： arXiv ： 1506 . 06579 . https：//arxiv.org/abs/1506.06579 https://arxiv.org/abs/1506.06579

ADLER P ， FALK C ， FRIEDLER S A ， et al . Auditing black-box models for indirect influence ［J］. Knowledge and Information Systems ， 2018 ， 54 （ 1 ）： 95 - 122 .

KÁDÁR Á ， CHRUPAŁA G ， ALISHAHI A . Representation of linguistic form and function in recurrent neural networks ［J］. Computational Linguistics ， 2017 ， 43 （ 4 ）： 761 - 780 .

LI J W ， MONROE W ， JURAFSKY D . Understanding neural networks through representation erasure ［EB/OL］. 2016 ： arXiv ： 1612 . 08220 . https：//arxiv.org/abs/1612.08220 https://arxiv.org/abs/1612.08220

SIMONYAN K ， VEDALDI A ， ZISSERMAN A . Deep inside convolutional networks： visualising image classification models and saliency maps ［EB/OL］. 2013 ： arXiv ： 1312 . 6034 . https：//arxiv.org/abs/1312.6034 https://arxiv.org/abs/1312.6034

SMILKOV D ， THORAT N ， KIM B ， et al . SmoothGrad： removing noise by adding noise ［EB/OL］. 2017 ： arXiv ： 1706 . 03825 . https：//arxiv.org/abs/1706.03825 https://arxiv.org/abs/1706.03825

SUNDARARAJAN M ， TALY A ， YAN Q Q . Axiomatic attribution for deep networks ［C］// Proceedings of the 34th International Conference on Machine Learning - Volume 70 . New York ： ACM ， 2017 ： 3319 - 3328 .

ZHOU B L ， KHOSLA A ， LAPEDRIZA A ， et al . Learning deep features for discriminative localization ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 2921 - 2929 . doi: 10.1109/cvpr.2016.319 http://dx.doi.org/10.1109/cvpr.2016.319

KRISHNAN R ， SIVAKUMAR G ， BHATTACHARYA P . Extracting decision trees from trained neural networks ［J］. Pattern Recognition ， 1999 ， 32 （ 12 ）： 1999 - 2009 .

YANG C L ， RANGARAJAN A ， RANKA S . Global model interpretation via recursive partitioning ［C］// 2018 IEEE 20th International Conference on High Performance Computing and Communications； IEEE 16th International Conference on Smart City； IEEE 4th International Conference on Data Science and Systems. Exeter ， UK . IEEE ， 2018 ： 1563 - 1570 .

SETIONO R ， LIU H . Understanding neural networks via rule extraction ［C］// Proceedings of the 14th international joint conference on Artificial intelligence ， 1995 ， 1 ： 480 - 485 .

RIBEIRO M T ， SINGH S ， GUESTRIN C . “why should I trust You？”： explaining the predictions of any classifier ［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining . San Francisco， California， USA . New York ： ACM ， 2016 ： 1135 - 1144 . doi: 10.1145/2939672.2939778 http://dx.doi.org/10.1145/2939672.2939778

LIU D ， YU R ， SU H . Extending adversarial attacks and defenses to deep 3D point cloud classifiers ［C］// 2019 IEEE International Conference on Image Processing . Taipei ， China . IEEE ， 2019 ： 2279 - 2283 .

WANG Y ， SUN Y B ， LIU Z W ， et al . Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 5 ）： 146 . doi: 10.1145/3326362 http://dx.doi.org/10.1145/3326362

LOSHCHILOV I ， HUTTER F . SGDR： stochastic gradient descent with warm restarts ［EB/OL］. 2016 ： arXiv ： 1608 . 03983 . https：//arxiv.org/abs/1608.03983 https://arxiv.org/abs/1608.03983

Views

791

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Saliency maps for point cloud recognition models

Scene recognition for 3D point clouds： a review

Computed tomography image segmentation of cell pole piece via strip attention mechanism

YOLOv8 model-based additive manufacturing micro porosity defect detection and its dimension measurement

3DRes-ViT knee osteoarthritis classification model based on multimodal fusion

Related Author

LIANG Ao

HUA Haiyang

Wen HAO

Wenjing ZHANG

Wei LIANG

Zhaolin XIAO

Haiyan JIN

LIU Zefang

Related Institution

School of Computer Science and Engineering， Xi'an University of Technology

Shaanxi Key Laboratory for Network Computing and Security Technology

ICT Research Center， Key Laboratory of Optoelectronic Technology and Systems of Ministry of Education， Chongqing University

College of Optoelectronic Engineering， Chongqing University

Project Management Center， Equipment Department of Rocket Force

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰