A visual SLAM algorithm based on adaptive inertial navigation assistant feature matching

JIA Xiaoxue; ZHAO Dongqing; ZHANG Letian; XIAO Guorui; XU Qing

doi:10.37188/OPE.20233105.0621

您当前的位置：

首页 >

文章列表页 >

A visual SLAM algorithm based on adaptive inertial navigation assistant feature matching

Three-dimensional topographic mapping | 更新时间：2023-03-22

- A visual SLAM algorithm based on adaptive inertial navigation assistant feature matching
- Optics and Precision Engineering Vol. 31, Issue 5, Pages: 621-630(2023)
- 作者机构：
  
  信息工程大学地理空间信息研究所，河南郑州 450001
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233105.0621
  CLC： TP391.4
- Received：27 May 2022，
  
  Revised：05 July 2022，
  
  Published：10 March 2023
- 稿件说明：
移动端阅览
贾晓雪,赵冬青,张乐添等.基于自适应惯导辅助特征匹配的视觉SLAM算法[J].光学精密工程,2023,31(05):621-630.

JIA Xiaoxue,ZHAO Dongqing,ZHANG Letian,et al.A visual SLAM algorithm based on adaptive inertial navigation assistant feature matching[J].Optics and Precision Engineering,2023,31(05):621-630.
贾晓雪,赵冬青,张乐添等.基于自适应惯导辅助特征匹配的视觉SLAM算法[J].光学精密工程,2023,31(05):621-630. DOI： 10.37188/OPE.20233105.0621.

JIA Xiaoxue,ZHAO Dongqing,ZHANG Letian,et al.A visual SLAM algorithm based on adaptive inertial navigation assistant feature matching[J].Optics and Precision Engineering,2023,31(05):621-630. DOI： 10.37188/OPE.20233105.0621.

摘要

为提高视觉同步定位与建图系统的定位、建图精度，克服传统算法中特征匹配搜索半径为固定值导致视觉里程计在高动态运动时特征误匹配率高的问题，本文提出一种搜索半径自适应的惯导辅助图像特征匹配方法。该方法首先对双目相机左右两帧图像进行特征提取与匹配，并获取地图点三维坐标，然后通过预积分惯性测量单元的量测值预测相机位姿，再根据误差传播定律计算预测位姿的协方差，最后利用预测位姿将地图点投影至图像得到对应像素坐标，从而根据像素坐标中误差确定地图点最有可能出现的区域半径。实验结果表明，该方法可有效缩小特征匹配的搜索半径，显著提高图像特征匹配的准确度，使跟踪线程位姿精度提高约38.09%，系统整体位姿精度提高约16.38%。该方法可为每个特征点提供自适应区域约束，提高特征点匹配的准确度，进而提升系统位姿估计精度，构建更高精度的稠密地图。

Abstract

This paper proposes a feature-matching algorithm based on an adaptive search radius to improve the accuracy of SLAM localization and mapping. This method can overcome the problem in which the search radius of feature matching is fixed in the traditional algorithm， leading to a high mismatching rate of the visual odometer in high dynamic motion. The algorithm first extracts and matches the features of the left and right images of the binocular camera and obtains the three-dimensional coordinates of the map points. Second， the camera pose is predicted by the measured values of the pre-integral inertial measurement unit. Then， the covariance of the predicted pose is calculated according to the error propagation law. Finally， the predicted pose is used to project the map points to the image to get the corresponding pixel coordinates. According to the error in pixel coordinates， the most likely radius of the map point is determined. Experimental results show that this method can effectively reduce the search radius of feature matching and significantly improve the accuracy of image feature matching. The position and pose accuracy of the tracking thread in the ORB-SLAM3 system is improved by approximately 38.09%， and the system's whole position and pose accuracy is improved by approximately 16.38%. This method can provide an adaptive region constraint for each feature point， improve the accuracy of feature point matching， improve the precision of position and pose estimation of the whole SLAM system， and build a more accurate dense map.

关键词

Keywords

references

邸凯昌，万文辉，赵红颖，等 . 视觉SLAM技术的进展与应用［J］. 测绘学报， 2018 ， 47 （ 6 ）： 770 - 779 . doi: 10.11947/j.AGCS.2018.20170652 http://dx.doi.org/10.11947/j.AGCS.2018.20170652

DI K C ， WAN W H ， ZHAO H Y ， et al . Progress and applications of visual SLAM ［J］. Acta Geodaetica et Cartographica Sinica ， 2018 ， 47 （ 6 ）： 770 - 779 . （in Chinese） . doi: 10.11947/j.AGCS.2018.20170652 http://dx.doi.org/10.11947/j.AGCS.2018.20170652

KROMBACH N ， DROESCHEL D ， HOUBEN S ， et al . Feature-based visual odometry prior for real-time semi-dense stereo SLAM ［J］. Robotics and Autonomous Systems ， 2018 ， 109 ： 38 - 58 . doi: 10.1016/j.robot.2018.08.002 http://dx.doi.org/10.1016/j.robot.2018.08.002

成怡，白佳琪，修春波 . RGB-D视觉SLAM算法的改进及应用［J］. 光学精密工程， 2017 ， 15 （ 10 ）： 160 - 166 .

CHENG Y ， BAI J Q ， XIU C B . Improvement and application of RGB-D vision SLAM algorithm ［J］. Opt. Precision Eng. ， 2017 ， 15 （ 10 ）： 160 - 166 . （in Chinese）

黄平，曹镇，王欢 . 基于环形特征匹配的双目视觉里程计［J］. 光学学报， 2021 ， 41 （ 15 ）： 166 - 176 .

HUANG P ， CAO Z ， WANG H . Stereo visual odometry based on ring feature matching ［J］. Acta Optica Sinica ， 2021 ， 41 （ 15 ）： 166 - 176 . （in Chinese）

王才东，刘丰阳，李志航，等 . 基于双目视觉特征点匹配的图像拼接方法研究［J］. 激光与光电子学进展， 2021 ， 58 （ 12 ）： 357 - 365 .

WANG C D ， LIU F Y ， LI Z H ， et al . Research on image mosaic method based on binocular vision feature point matching ［J］. Laser ＆ Optoelectronics Progress ， 2021 ， 58 （ 12 ）： 357 - 365 . （in Chinese）

HONG S ， KIM J . Selective image registration for efficient visual SLAM on planar surface structures in underwater environment ［J］. Autonomous Robots ， 2019 ， 43 （ 7 ）： 1665 - 1679 . doi: 10.1007/s10514-018-09824-1 http://dx.doi.org/10.1007/s10514-018-09824-1

蔡浩原，赵晟霖，崔松叶，等 . 动态磁场校准的九轴惯性融合［J］. 光学精密工程， 2020 ， 28 （ 9 ）： 2007 - 2016 . doi: 10.37188/OPE.20202809.2007 http://dx.doi.org/10.37188/OPE.20202809.2007

CAI H Y ， ZHAO S L ， CUI S Y ， et al . Nine-axis inertial fusion method based on dynamic magnetic field calibration ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 9 ）： 2007 - 2016 . （in Chinese） . doi: 10.37188/OPE.20202809.2007 http://dx.doi.org/10.37188/OPE.20202809.2007

潘林豪，田福庆，应文健，等 . 融合双目视觉与惯导信息的高效视觉里程计算法［J］. 计算机应用研究， 2021 ， 38 （ 6 ）： 1739 - 1743， 1769 .

PAN L H ， TIAN F Q ， YING W J ， et al . Efficient visual odometry algorithm combining stereo vision and inertial navigation information ［J］. Application Research of Computers ， 2021 ， 38 （ 6 ）： 1739 - 1743， 1769 . （in Chinese）

吴建清，宋修广 . 同步定位与建图技术发展综述［J］. 山东大学学报（工学版）， 2021 ， 51 （ 5 ）： 16 - 31 .

WU J Q ， SONG X G . Review on development of simultaneous localization and mapping technology ［J］. Journal of Shandong University （Engineering Science）， 2021 ， 51 （ 5 ）： 16 - 31 . （in Chinese）

MASIERO A ， VETTORE A . Improved feature matching for mobile devices with IMU ［J］. Sensors （Basel， Switzerland）， 2016 ， 16 （ 8 ）： E1243 . doi: 10.3390/s16081243 http://dx.doi.org/10.3390/s16081243

吴斌，王旭日 . 惯性导航辅助图像特征匹配方法研究［J］. 激光与光电子学进展， 2020 ， 57 （ 10 ）： 346 - 354 . doi: 10.3788/lop57.101509 http://dx.doi.org/10.3788/lop57.101509

WU B ， WANG X R . Inertial navigation aided image feature matching method ［J］. Laser ＆ Optoelectronics Progress ， 2020 ， 57 （ 10 ）： 346 - 354 . （in Chinese） . doi: 10.3788/lop57.101509 http://dx.doi.org/10.3788/lop57.101509

GUAN Q ， WEI G L ， WANG Y ， et al . A dual-mode automatic switching feature points matching algorithm fusing IMU data ［J］. Measurement ， 2021 ， 185 ： 110043 . doi: 10.1016/j.measurement.2021.110043 http://dx.doi.org/10.1016/j.measurement.2021.110043

GUAN Q ， WEI G L ， WANG L C ， et al . A novel feature points tracking algorithm in terms of IMU-aided information fusion ［J］. IEEE Transactions on Industrial Informatics ， 2021 ， 17 （ 8 ）： 5304 - 5313 . doi: 10.1109/tii.2020.3024079 http://dx.doi.org/10.1109/tii.2020.3024079

张一，姜挺，江刚武，等 . 适用于高精度同时定位与地图构建的均衡化亚像素ORB特征提取方法［J］. 光学精密工程， 2018 ， 26 （ 10 ）： 2575 - 2583 . doi: 10.3788/ope.20182610.2575 http://dx.doi.org/10.3788/ope.20182610.2575

ZHANG Y ， JIANG T ， JIANG G W ， et al . Uniform distributed subpixel ORB feature extraction method for high-precision SLAM ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 10 ）： 2575 - 2583 . （in Chinese） . doi: 10.3788/ope.20182610.2575 http://dx.doi.org/10.3788/ope.20182610.2575

CAMPOS C ， ELVIRA R ， RODRÍGUEZ J J G ， et al . ORB-SLAM3： an accurate open-source library for visual， visual-inertial， and multimap SLAM ［J］. IEEE Transactions on Robotics ， 2021 ， 37 （ 6 ）： 1874 - 1890 . doi: 10.1109/tro.2021.3075644 http://dx.doi.org/10.1109/tro.2021.3075644

LUPTON T ， SUKKARIEH S . Visual-inertial-aided navigation for high-dynamic motion in built environments without initial conditions ［J］. IEEE Transactions on Robotics ， 2012 ， 28 （ 1 ）： 61 - 76 . doi: 10.1109/tro.2011.2170332 http://dx.doi.org/10.1109/tro.2011.2170332

FORSTER C ， CARLONE L ， DELLAERT F ， et al . On-Manifold Preintegration Theory for Fast and Accurate Visual-Inertial Navigation ［J］. IEEE Transactions on Robotics ， 33 （ 1 ）： 1 - 21 . doi: 10.1109/tro.2016.2597321 http://dx.doi.org/10.1109/tro.2016.2597321

BURRI M ， NIKOLIC J ， GOHL P ， et al . The EuRoC micro aerial vehicle datasets ［J］. The International Journal of Robotics Research ， 2016 ， 35 （ 10 ）： 1157 - 1163 . doi: 10.1177/0278364915620033 http://dx.doi.org/10.1177/0278364915620033

SCHUBERT D ， GOLL T ， DEMMEL N ， et al . The TUM VI benchmark for evaluating visual-inertial odometry ［C］. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Madrid ， Spain . IEEE ， 2018 ： 1680 - 1687 . doi: 10.1109/iros.2018.8593419 http://dx.doi.org/10.1109/iros.2018.8593419

Views

1002

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

LightDiffu DCE： low light image enhancement based on light intensity diffusion

Multi-level feature fusion for camera pose regression

Real-time super-resolution for infrared dynamic object video based on airborne platform

A Transformer-based visual tracker via knowledge distillation

Specral-spatial classification of hyperspectral imagery with hybrid architecture of 3D-CNN and Transformer

Related Author

YAN Guanghui

WU Baijing

MA Long

SI Junwen

ZHOU Ziwei

ZHU Deyan

XU Jiayi

AO Yongqi

Related Institution

School of Electronics & Information Engineering， Lanzhou Jiaotong University

College of Computer and Software Engineeringng，University of Science and Technology Liaoning

College of Astronautics， Nanjing University of Aeronautics and Astronautics

Key Laboratory of Space Photoelectric Detection and Sensing of Industry and Information Technology， Nanjing University of Aeronautics and Astronautics

School of Communication and Information Engineering， Xi’an University of Posts and Telecommunications

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰