基于自适应惯导辅助特征匹配的视觉SLAM算法

贾晓雪; 赵冬青; 张乐添; 肖国锐; 徐青

doi:10.37188/OPE.20233105.0621

您当前的位置：

首页 >

文章列表页 >

基于自适应惯导辅助特征匹配的视觉SLAM算法

三维地形测绘 | 更新时间：2023-03-22

- 基于自适应惯导辅助特征匹配的视觉SLAM算法
- A visual SLAM algorithm based on adaptive inertial navigation assistant feature matching
- 光学精密工程 2023年31卷第5期页码：621-630
- 作者机构：
  
  信息工程大学地理空间信息研究所，河南郑州 450001
- 作者简介：
  
  [ "贾晓雪（1997-），女，河南郑州人，硕士研究生，2020年于河南理工大学获得学士学位，主要从事视觉惯性同步定位与建图方面的研究。E-mail： jia_xiao_xue@163.com" ]
  [ "赵冬青（1976-），男，湖北十堰人，教授，硕士生导师，2007年于解放军信息工程大学获得博士学位，主要从事卫星导航，室内定位以及多传感器融合定位技术的研究。E-mail：dongqingtree@qq.com" ]
- 基金信息：
  
  国家自然科学基金项目(41774037;41904039)
- DOI：10.37188/OPE.20233105.0621
  中图分类号： TP391.4
- 收稿日期：2022-05-27，
  
  修回日期：2022-07-05，
  
  纸质出版日期：2023-03-10
- 稿件说明：
移动端阅览
贾晓雪,赵冬青,张乐添等.基于自适应惯导辅助特征匹配的视觉SLAM算法[J].光学精密工程,2023,31(05):621-630.

JIA Xiaoxue,ZHAO Dongqing,ZHANG Letian,et al.A visual SLAM algorithm based on adaptive inertial navigation assistant feature matching[J].Optics and Precision Engineering,2023,31(05):621-630.
贾晓雪,赵冬青,张乐添等.基于自适应惯导辅助特征匹配的视觉SLAM算法[J].光学精密工程,2023,31(05):621-630. DOI： 10.37188/OPE.20233105.0621.

JIA Xiaoxue,ZHAO Dongqing,ZHANG Letian,et al.A visual SLAM algorithm based on adaptive inertial navigation assistant feature matching[J].Optics and Precision Engineering,2023,31(05):621-630. DOI： 10.37188/OPE.20233105.0621.

摘要

为提高视觉同步定位与建图系统的定位、建图精度，克服传统算法中特征匹配搜索半径为固定值导致视觉里程计在高动态运动时特征误匹配率高的问题，本文提出一种搜索半径自适应的惯导辅助图像特征匹配方法。该方法首先对双目相机左右两帧图像进行特征提取与匹配，并获取地图点三维坐标，然后通过预积分惯性测量单元的量测值预测相机位姿，再根据误差传播定律计算预测位姿的协方差，最后利用预测位姿将地图点投影至图像得到对应像素坐标，从而根据像素坐标中误差确定地图点最有可能出现的区域半径。实验结果表明，该方法可有效缩小特征匹配的搜索半径，显著提高图像特征匹配的准确度，使跟踪线程位姿精度提高约38.09%，系统整体位姿精度提高约16.38%。该方法可为每个特征点提供自适应区域约束，提高特征点匹配的准确度，进而提升系统位姿估计精度，构建更高精度的稠密地图。

Abstract

This paper proposes a feature-matching algorithm based on an adaptive search radius to improve the accuracy of SLAM localization and mapping. This method can overcome the problem in which the search radius of feature matching is fixed in the traditional algorithm， leading to a high mismatching rate of the visual odometer in high dynamic motion. The algorithm first extracts and matches the features of the left and right images of the binocular camera and obtains the three-dimensional coordinates of the map points. Second， the camera pose is predicted by the measured values of the pre-integral inertial measurement unit. Then， the covariance of the predicted pose is calculated according to the error propagation law. Finally， the predicted pose is used to project the map points to the image to get the corresponding pixel coordinates. According to the error in pixel coordinates， the most likely radius of the map point is determined. Experimental results show that this method can effectively reduce the search radius of feature matching and significantly improve the accuracy of image feature matching. The position and pose accuracy of the tracking thread in the ORB-SLAM3 system is improved by approximately 38.09%， and the system's whole position and pose accuracy is improved by approximately 16.38%. This method can provide an adaptive region constraint for each feature point， improve the accuracy of feature point matching， improve the precision of position and pose estimation of the whole SLAM system， and build a more accurate dense map.

关键词

Keywords

references

邸凯昌，万文辉，赵红颖，等 . 视觉SLAM技术的进展与应用［J］. 测绘学报， 2018 ， 47 （ 6 ）： 770 - 779 . doi: 10.11947/j.AGCS.2018.20170652 http://dx.doi.org/10.11947/j.AGCS.2018.20170652

DI K C ， WAN W H ， ZHAO H Y ， et al . Progress and applications of visual SLAM ［J］. Acta Geodaetica et Cartographica Sinica ， 2018 ， 47 （ 6 ）： 770 - 779 . （in Chinese） . doi: 10.11947/j.AGCS.2018.20170652 http://dx.doi.org/10.11947/j.AGCS.2018.20170652

KROMBACH N ， DROESCHEL D ， HOUBEN S ， et al . Feature-based visual odometry prior for real-time semi-dense stereo SLAM ［J］. Robotics and Autonomous Systems ， 2018 ， 109 ： 38 - 58 . doi: 10.1016/j.robot.2018.08.002 http://dx.doi.org/10.1016/j.robot.2018.08.002

成怡，白佳琪，修春波 . RGB-D视觉SLAM算法的改进及应用［J］. 光学精密工程， 2017 ， 15 （ 10 ）： 160 - 166 .

CHENG Y ， BAI J Q ， XIU C B . Improvement and application of RGB-D vision SLAM algorithm ［J］. Opt. Precision Eng. ， 2017 ， 15 （ 10 ）： 160 - 166 . （in Chinese）

黄平，曹镇，王欢 . 基于环形特征匹配的双目视觉里程计［J］. 光学学报， 2021 ， 41 （ 15 ）： 166 - 176 .

HUANG P ， CAO Z ， WANG H . Stereo visual odometry based on ring feature matching ［J］. Acta Optica Sinica ， 2021 ， 41 （ 15 ）： 166 - 176 . （in Chinese）

王才东，刘丰阳，李志航，等 . 基于双目视觉特征点匹配的图像拼接方法研究［J］. 激光与光电子学进展， 2021 ， 58 （ 12 ）： 357 - 365 .

WANG C D ， LIU F Y ， LI Z H ， et al . Research on image mosaic method based on binocular vision feature point matching ［J］. Laser ＆ Optoelectronics Progress ， 2021 ， 58 （ 12 ）： 357 - 365 . （in Chinese）

HONG S ， KIM J . Selective image registration for efficient visual SLAM on planar surface structures in underwater environment ［J］. Autonomous Robots ， 2019 ， 43 （ 7 ）： 1665 - 1679 . doi: 10.1007/s10514-018-09824-1 http://dx.doi.org/10.1007/s10514-018-09824-1

蔡浩原，赵晟霖，崔松叶，等 . 动态磁场校准的九轴惯性融合［J］. 光学精密工程， 2020 ， 28 （ 9 ）： 2007 - 2016 . doi: 10.37188/OPE.20202809.2007 http://dx.doi.org/10.37188/OPE.20202809.2007

CAI H Y ， ZHAO S L ， CUI S Y ， et al . Nine-axis inertial fusion method based on dynamic magnetic field calibration ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 9 ）： 2007 - 2016 . （in Chinese） . doi: 10.37188/OPE.20202809.2007 http://dx.doi.org/10.37188/OPE.20202809.2007

潘林豪，田福庆，应文健，等 . 融合双目视觉与惯导信息的高效视觉里程计算法［J］. 计算机应用研究， 2021 ， 38 （ 6 ）： 1739 - 1743， 1769 .

PAN L H ， TIAN F Q ， YING W J ， et al . Efficient visual odometry algorithm combining stereo vision and inertial navigation information ［J］. Application Research of Computers ， 2021 ， 38 （ 6 ）： 1739 - 1743， 1769 . （in Chinese）

吴建清，宋修广 . 同步定位与建图技术发展综述［J］. 山东大学学报（工学版）， 2021 ， 51 （ 5 ）： 16 - 31 .

WU J Q ， SONG X G . Review on development of simultaneous localization and mapping technology ［J］. Journal of Shandong University （Engineering Science）， 2021 ， 51 （ 5 ）： 16 - 31 . （in Chinese）

MASIERO A ， VETTORE A . Improved feature matching for mobile devices with IMU ［J］. Sensors （Basel， Switzerland）， 2016 ， 16 （ 8 ）： E1243 . doi: 10.3390/s16081243 http://dx.doi.org/10.3390/s16081243

吴斌，王旭日 . 惯性导航辅助图像特征匹配方法研究［J］. 激光与光电子学进展， 2020 ， 57 （ 10 ）： 346 - 354 . doi: 10.3788/lop57.101509 http://dx.doi.org/10.3788/lop57.101509

WU B ， WANG X R . Inertial navigation aided image feature matching method ［J］. Laser ＆ Optoelectronics Progress ， 2020 ， 57 （ 10 ）： 346 - 354 . （in Chinese） . doi: 10.3788/lop57.101509 http://dx.doi.org/10.3788/lop57.101509

GUAN Q ， WEI G L ， WANG Y ， et al . A dual-mode automatic switching feature points matching algorithm fusing IMU data ［J］. Measurement ， 2021 ， 185 ： 110043 . doi: 10.1016/j.measurement.2021.110043 http://dx.doi.org/10.1016/j.measurement.2021.110043

GUAN Q ， WEI G L ， WANG L C ， et al . A novel feature points tracking algorithm in terms of IMU-aided information fusion ［J］. IEEE Transactions on Industrial Informatics ， 2021 ， 17 （ 8 ）： 5304 - 5313 . doi: 10.1109/tii.2020.3024079 http://dx.doi.org/10.1109/tii.2020.3024079

张一，姜挺，江刚武，等 . 适用于高精度同时定位与地图构建的均衡化亚像素ORB特征提取方法［J］. 光学精密工程， 2018 ， 26 （ 10 ）： 2575 - 2583 . doi: 10.3788/ope.20182610.2575 http://dx.doi.org/10.3788/ope.20182610.2575

ZHANG Y ， JIANG T ， JIANG G W ， et al . Uniform distributed subpixel ORB feature extraction method for high-precision SLAM ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 10 ）： 2575 - 2583 . （in Chinese） . doi: 10.3788/ope.20182610.2575 http://dx.doi.org/10.3788/ope.20182610.2575

CAMPOS C ， ELVIRA R ， RODRÍGUEZ J J G ， et al . ORB-SLAM3： an accurate open-source library for visual， visual-inertial， and multimap SLAM ［J］. IEEE Transactions on Robotics ， 2021 ， 37 （ 6 ）： 1874 - 1890 . doi: 10.1109/tro.2021.3075644 http://dx.doi.org/10.1109/tro.2021.3075644

LUPTON T ， SUKKARIEH S . Visual-inertial-aided navigation for high-dynamic motion in built environments without initial conditions ［J］. IEEE Transactions on Robotics ， 2012 ， 28 （ 1 ）： 61 - 76 . doi: 10.1109/tro.2011.2170332 http://dx.doi.org/10.1109/tro.2011.2170332

FORSTER C ， CARLONE L ， DELLAERT F ， et al . On-Manifold Preintegration Theory for Fast and Accurate Visual-Inertial Navigation ［J］. IEEE Transactions on Robotics ， 33 （ 1 ）： 1 - 21 . doi: 10.1109/tro.2016.2597321 http://dx.doi.org/10.1109/tro.2016.2597321

BURRI M ， NIKOLIC J ， GOHL P ， et al . The EuRoC micro aerial vehicle datasets ［J］. The International Journal of Robotics Research ， 2016 ， 35 （ 10 ）： 1157 - 1163 . doi: 10.1177/0278364915620033 http://dx.doi.org/10.1177/0278364915620033

SCHUBERT D ， GOLL T ， DEMMEL N ， et al . The TUM VI benchmark for evaluating visual-inertial odometry ［C］. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Madrid ， Spain . IEEE ， 2018 ： 1680 - 1687 . doi: 10.1109/iros.2018.8593419 http://dx.doi.org/10.1109/iros.2018.8593419

浏览量

1002

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

LightDiffu-DCE：基于光照强度扩散的低光照图像增强

多级图特征融合引导相机位姿回归

基于机载的红外动态目标视频实时超分辨率重建

基于知识蒸馏的Transformer视觉跟踪器

3D-CNN与Transformer混合结构的高光谱图像空谱联合分类