Camera pose estimation based on 2D image and 3D point cloud fusion

ZHOU Jia-le; ZHU Bing; WU Zhi-lu

doi:10.37188/OPE.20223022.2901

您当前的位置：

首页 >

文章列表页 >

Camera pose estimation based on 2D image and 3D point cloud fusion

Information Sciences | 更新时间：2022-11-24

- Camera pose estimation based on 2D image and 3D point cloud fusion
- Optics and Precision Engineering Vol. 30, Issue 22, Pages: 2901-2912(2022)
- 作者机构：
  
  哈尔滨工业大学电子与信息工程学院，黑龙江哈尔滨 150001
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223022.2901
  CLC： TP394.1;TH691.9
- Received：21 March 2022，
  
  Revised：07 April 2022，
  
  Published：25 November 2022
- 稿件说明：
移动端阅览
周佳乐,朱兵,吴芝路.融合二维图像和三维点云的相机位姿估计[J].光学精密工程,2022,30(22):2901-2912.

ZHOU Jia-le,ZHU Bing,WU Zhi-lu.Camera pose estimation based on 2D image and 3D point cloud fusion[J].Optics and Precision Engineering,2022,30(22):2901-2912.
周佳乐,朱兵,吴芝路.融合二维图像和三维点云的相机位姿估计[J].光学精密工程,2022,30(22):2901-2912. DOI： 10.37188/OPE.20223022.2901.

ZHOU Jia-le,ZHU Bing,WU Zhi-lu.Camera pose estimation based on 2D image and 3D point cloud fusion[J].Optics and Precision Engineering,2022,30(22):2901-2912. DOI： 10.37188/OPE.20223022.2901.

摘要

为了准确地在特定三维真实环境中，通过单目相机获取的RGB图像来估计相机的六自由度位姿，本文结合已知的二维图像及三维点云信息，提出了基于稠密场景回归的多阶段相机位姿估计方法。首先，将深度图像信息与传统运动结构恢复（Structure From Motion， SFM）算法相结合，构建单目相机位姿估计数据集；其次，本文首次将深度图像检索引入2D-3D匹配点的构建当中，通过所提的位姿优化函数对位姿解算加以优化，提出多阶段相机位姿估计方法；最后为提升位姿估计的性能，将ResNet网络结构用于图像的稠密场景坐标回归，使得所提方法的位姿估计精度大幅度提升。实验结果表明：对于给定的位姿误差阈值5 cm/5°，在公开数据集7scenes下的位姿估计准确率均值为82.7%，在自建数据集下的准确率为94.8%。与现有的其他相机位姿估计算法相比，本文所提方法不论在自建数据集还是公开数据集下的位姿估计精度均有提升。

Abstract

This paper presents an estimation algorithm for the six degree-of-freedom camera pose obtained from a single RGB image in a specific environment using a combination of the known image and point cloud information. Specifically， we propose a multi-stage camera pose estimation algorithm based on dense scene regression. First， the camera pose estimation dataset is composed by combining the depth image information and Structure from Motion （SFM） algorithm. Then， for the first time， we introduce depth image retrieval into the construction of two- and three-dimensional （2D-3D） matching points. Using the proposed pose optimization function， a multi-stage camera pose estimation method is proposed. The ResNet network considerably improves the pose estimation accuracy. Experimental results indicate that the pose estimation accuracy is 82.7% on average in the open dataset 7 scenes， and 94.8% in our own dataset （estimated poses falling within the threshold of 5 cm/5°）. Compared with other camera pose estimation methods， our method has better pose estimation accuracy for both our and public datasets.

关键词

Keywords

references

SVÄRM L ， ENQVIST O ， OSKARSSON M ， et al . Accurate localization and pose estimation for large 3D models ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus ， OH ， USA . IEEE ， 2014 ： 532 - 539 . doi: 10.1109/cvpr.2014.75 http://dx.doi.org/10.1109/cvpr.2014.75

LIU L ， LI H D ， DAI Y C . Efficient global 2D-3D matching for camera localization in a large-scale 3D map ［C］. 2017 IEEE International Conference on Computer Vision . Venice， Italy . IEEE ， 2017 ： 2391 - 2400 . doi: 10.1109/iccv.2017.260 http://dx.doi.org/10.1109/iccv.2017.260

VAKHITOV A ， COLOMINA L F ， AGUDO A ， et al . Uncertainty-aware camera pose estimation from points and lines ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 4657 - 4666 . doi: 10.1109/cvpr46437.2021.00463 http://dx.doi.org/10.1109/cvpr46437.2021.00463

YU L ， FU X F ， XU H N ， et al . High-precision camera pose estimation and optimization in a large-scene 3D reconstruction system ［J］. Measurement Science and Technology ， 2020 ， 31 （ 8 ）： 085401 . doi: 10.1088/1361-6501/ab816c http://dx.doi.org/10.1088/1361-6501/ab816c

KENDALL A ， GRIMES M ， CIPOLLA R . PoseNet： a convolutional network for real-time 6-DOF camera relocalization ［C］. 2015 IEEE International Conference on Computer Vision . Santiago， Chile . IEEE ， 2015 ： 2938 - 2946 . doi: 10.1109/iccv.2015.336 http://dx.doi.org/10.1109/iccv.2015.336

SATTLER T ， ZHOU Q J ， POLLEFEYS M ， et al . Understanding the limitations of CNN-based absolute camera pose regression ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 3297 - 3307 . doi: 10.1109/cvpr.2019.00342 http://dx.doi.org/10.1109/cvpr.2019.00342

CHEN Z T ， JACOBSON A ， SÜNDERHAUF N ， et al . Deep learning features at scale for visual place recognition ［C］. 2017 IEEE International Conference on Robotics and Automation . Singapore . IEEE ， 2017 ： 3223 - 3230 .

LI Q ， ZHU J S ， CAO R ， et al . Relative geometry-aware Siamese neural network for 6DOF camera relocalization ［J］. Neurocomputing ， 2021 ， 426 ： 134 - 146 . doi: 10.1016/j.neucom.2020.09.071 http://dx.doi.org/10.1016/j.neucom.2020.09.071

TANG S T ， TANG C Z ， HUANG R ， et al . Learning camera localization via dense scene matching ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 1831 - 1841 .

刘东生，陈建林，费点，等 . 基于深度相机的大场景三维重建［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 234 - 243 . doi: 10.3788/ope.20202801.0234 http://dx.doi.org/10.3788/ope.20202801.0234

LIU D SH ， CHEN J L ， FEI D ， et al . Three-dimensional reconstruction of large-scale scene based on depth camera ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 234 - 243 . （in Chinese） . doi: 10.3788/ope.20202801.0234 http://dx.doi.org/10.3788/ope.20202801.0234

RUBLEE E ， RABAUD V ， KONOLIGE K ， et al . ORB： an efficient alternative to SIFT or SURF ［C］. 2011 International Conference on Computer Vision . Barcelona， Spain . IEEE ， 2011 ： 2564 - 2571 . doi: 10.1109/iccv.2011.6126544 http://dx.doi.org/10.1109/iccv.2011.6126544

BRACHMANN E ， KRULL A ， NOWOZIN S ， et al . DSAC-differentiable RANSAC for camera localization ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 2492 - 2500 . doi: 10.1109/cvpr.2017.267 http://dx.doi.org/10.1109/cvpr.2017.267

DONG S Y ， FAN Q N ， WANG H ， et al . Robust neural routing through space partitions for camera relocalization in dynamic indoor environments ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 8540 - 8550 .

SHOTTON J ， GLOCKER B ， ZACH C ， et al . Scene coordinate regression forests for camera relocalization in RGB-D images ［C］. 2013 IEEE Conference on Computer Vision and Pattern Recognition ， 2013 ： 2930 - 2937 .

BRACHMANN E ， ROTHER C . Learning less is more-6D camera localization via 3D surface regression ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 4654 - 4662 . doi: 10.1109/cvpr.2018.00489 http://dx.doi.org/10.1109/cvpr.2018.00489

SARLIN P E ， UNAGAR A ， LARSSON M ， et al . Back to the feature： learning robust camera localization from pixels to pose ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 3246 - 3256 . doi: 10.1109/cvpr46437.2021.00326 http://dx.doi.org/10.1109/cvpr46437.2021.00326

许凌志，符钦伟，陶卫，等 . 基于三维模型的单目车辆位姿估计［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1346 - 1355 . doi: 10.37188/OPE.20212906.1346 http://dx.doi.org/10.37188/OPE.20212906.1346

XU L ZH ， FU Q W ， TAO W ， et al . Monocular vehicle pose estimation based on 3D model ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1346 - 1355 . （in Chinese） . doi: 10.37188/OPE.20212906.1346 http://dx.doi.org/10.37188/OPE.20212906.1346

陈仁文，袁婷婷，黄文斌，等 . 卷积神经网络在驾驶员姿态估计上的应用［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 813 - 821 . doi: 10.37188/OPE.20212904.0813 http://dx.doi.org/10.37188/OPE.20212904.0813

CHEN R W ， YUAN T T ， HUANG W B ， et al . Driver pose estimation using convolutional neural networks ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 813 - 821 . （in Chinese） . doi: 10.37188/OPE.20212904.0813 http://dx.doi.org/10.37188/OPE.20212904.0813

LI X T ， WANG S Z ， ZHAO Y ， et al . Hierarchical scene coordinate classification and regression for visual localization ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 11980 - 11989 .

YANG L W ， BAI Z Q ， TANG C Z ， et al . SANet： scene agnostic network for camera localization ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 42 - 51 .

Views

1485

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Binocular vision SLAM with fused point and line features in weak texture environment

Adaptive feature matching network for object occlusion

A visual SLAM algorithm based on adaptive inertial navigation assistant feature matching

Infrared-visible video automatic registration with contour feature matching

Improved fast Image registration algorithm based on ORB and RANSAC fusion

Related Author

ZHANG Zhaoxiang

GONG Kun

XU Xin

CHEN Xiaoqing

XU Yuelei

MAO Lin

SU Hongyang

YANG Dawei

Related Institution

National Innovation Institute of Defense Technology， Academy of Military Science

Unmanned System Research Institute， Northwestern Polytechnical University

School of Electromechanical Engineering， Dalian Minzu University

Geography Space Information Institute， Information Engineering University

University of Chinese Academy of Sciences

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰