基于逆深度滤波的双目折反射全景相机动态SLAM系统

张裕; 张越; 张宁; 吕耀文; 徐熙平

doi:10.37188/OPE.20223011.1282

您当前的位置：

首页 >

文章列表页 >

基于逆深度滤波的双目折反射全景相机动态SLAM系统

现代应用光学 | 更新时间：2022-06-21

- 基于逆深度滤波的双目折反射全景相机动态SLAM系统
- Dynamic SLAM of binocular catadioptric panoramic camera based on inverse depth filter
- 光学精密工程 2022年30卷第11期页码：1282-1289
- 作者机构：
  
  长春理工大学光电工程学院，吉林长春 130022
- 作者简介：
  
  [ "张　裕（1992-），男，河南遂平人，博士研究生， 2015年于长春理工大学获得学士学位，2018年于内蒙古农业大学获得硕士学位，主要从事机器视觉及视觉SLAM方面的研究。E-mail： zhangyu@mails.cust.edu.cn" ]
  [ "徐熙平（1969-），男，吉林长春人，教授，博士生导师，1993年、1999年于长春光学精密机械学院分别获得学士、硕士学位，2004年于长春理工大学获得博士学位，主要从事光电检测技术与质量控制方面的研究。E-mail： xxp@cust.edu.cn" ]
- 基金信息：
  
  国家自然科学基金青年科学基金资助项目(61803045);吉林省科技发展计划项目(20200201010JC)
- DOI：10.37188/OPE.20223011.1282
  中图分类号： TP242.2
- 收稿日期：2021-09-29，
  
  修回日期：2021-12-06，
  
  纸质出版日期：2022-06-10
- 稿件说明：
移动端阅览
张裕,张越,张宁等.基于逆深度滤波的双目折反射全景相机动态SLAM系统[J].光学精密工程,2022,30(11):1282-1289.

ZHANG Yu,ZHANG Yue,ZHANG Ning,et al.Dynamic SLAM of binocular catadioptric panoramic camera based on inverse depth filter[J].Optics and Precision Engineering,2022,30(11):1282-1289.
张裕,张越,张宁等.基于逆深度滤波的双目折反射全景相机动态SLAM系统[J].光学精密工程,2022,30(11):1282-1289. DOI： 10.37188/OPE.20223011.1282.

ZHANG Yu,ZHANG Yue,ZHANG Ning,et al.Dynamic SLAM of binocular catadioptric panoramic camera based on inverse depth filter[J].Optics and Precision Engineering,2022,30(11):1282-1289. DOI： 10.37188/OPE.20223011.1282.

摘要

为了在复杂的动态环境下能够准确地估计折反射全景相机的位姿，提出一种基于逆深度滤波的双目折反射全景相机动态SLAM系统。分析了双目折反射全景相机系统，在球面进行三角化计算出空间点的深度信息。采用一种基于贝叶斯滤波的逆深度滤波器，对动态地图点进行剔除，只使用静态地图点对折反射全景相机进行位姿估计，可以在动态环境下得到精确的相机位姿估计结果。分别在低动态环境和高动态环境下进行了实验，实验结果表明，在高动态环境中，传统的SLAM系统计算的轨迹出现漂移，而基于逆深度滤波的双目折反射全景相机动态SLAM系统始终可以稳定运行。所提方法在两段高动态环境下的绝对轨迹误差的均方根误差分别为0.52 m和0.56 m，精度比传统的全景SLAM系统提升了96.35%。

Abstract

To achieve accurate pose estimation of a catadioptric panoramic camera in complex dynamic environments， this study proposed a binocular catadioptric panoramic camera simultaneous localization and mapping （SLAM） system for dynamic environments based on an inverse depth filter. The binocular catadioptric panoramic camera system was analyzed， and the depth information of space points was calculated through the process of triangulation on a sphere. An inverse depth filter based on Bayesian filtering was used to eliminate dynamic map points， whereby only static map points were then used to estimate the poses of the camera. Accurate pose estimation results were obtained in dynamic environments. More specifically， experiments were conducted in both low and high dynamic environments， where results showed that when the trajectory calculated by traditional SLAM system drifted， the dynamic SLAM system based on inverse depth filtering was always executed in a stable manner. The root mean square errors of the absolute trajectory error of our method in the two groups of highly dynamic environments are 0.52 m and 0.56 m， respectively. The accuracy is up to 96.35% higher than that of the traditional panoramic SLAM system.

关键词

Keywords

references

TAKETOMI T ， UCHIYAMA H ， IKEDA S . Visual SLAM algorithms： a survey from 2010 to 2016 ［J］. IPSJ Transactions on Computer Vision and Applications ， 2017 ， 9 （ 1 ）： 1 - 11 . doi: 10.1186/s41074-017-0027-2 http://dx.doi.org/10.1186/s41074-017-0027-2

FUENTES-PACHECO J ， RUIZ-ASCENCIO J ， RENDÓN-MANCHA J M . Visual simultaneous localization and mapping： a survey ［J］. Artificial Intelligence Review ， 2015 ， 43 （ 1 ）： 55 - 81 . doi: 10.1007/s10462-012-9365-8 http://dx.doi.org/10.1007/s10462-012-9365-8

SUN Y X ， LIU M ， MENG M Q H . Improving RGB-D SLAM in dynamic environments： a motion removal approach ［J］. Robotics and Autonomous Systems ， 2017 ， 89 ： 110 - 122 . doi: 10.1016/j.robot.2016.11.012 http://dx.doi.org/10.1016/j.robot.2016.11.012

CADENA C ， CARLONE L ， CARRILLO H ， et al . Past， present， and future of simultaneous localization and mapping： toward the robust-perception age ［J］. IEEE Transactions on Robotics ， 2016 ， 32 （ 6 ）： 1309 - 1332 . doi: 10.1109/TRO.2016.2624754 http://dx.doi.org/10.1109/TRO.2016.2624754

WANG S B ， YUE J G ， DONG Y C ， et al . Real-time omnidirectional visual SLAM with semi-dense mapping ［C］. 2018 IEEE Intelligent Vehicles Symposium . 2630，2018 ， Changshu， China . IEEE ， 2018 ： 695 - 700 . doi: 10.1109/ivs.2018.8500460 http://dx.doi.org/10.1109/ivs.2018.8500460

ENGEL J ， KOLTUN V ， CREMERS D . Direct sparse odometry ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 3 ）： 611 - 625 . doi: 10.1109/tpami.2017.2658577 http://dx.doi.org/10.1109/tpami.2017.2658577

MATSUKI H ， STUMBERG LVON ， USENKO V ， et al . Omnidirectional DSO： direct sparse odometry with fisheye cameras ［J］. IEEE Robotics and Automation Letters ， 2018 ， 3 （ 4 ）： 3693 - 3700 . doi: 10.1109/lra.2018.2855443 http://dx.doi.org/10.1109/lra.2018.2855443

VALIENTE D ， GIL A ， FERNÁNDEZ L ， et al . A comparison of EKF and SGD applied to a view-based SLAM approach with omnidirectional images ［J］. Robotics and Autonomous Systems ， 2014 ， 62 （ 2 ）： 108 - 119 . doi: 10.1016/j.robot.2013.11.009 http://dx.doi.org/10.1016/j.robot.2013.11.009

VALIENTE D ， GHAFFARI JADIDI M ， VALLS MIRÓ J ， et al . Information-based view initialization in visual SLAM with a single omnidirectional camera ［J］. Robotics and Autonomous Systems ， 2015 ， 72 ： 93 - 104 . doi: 10.1016/j.robot.2015.05.005 http://dx.doi.org/10.1016/j.robot.2015.05.005

CHENG J Y ， WANG C Q ， MENG M Q H . Robust visual localization in dynamic environments based on sparse motion removal ［J］. IEEE Transactions on Automation Science and Engineering ， 2020 ， 17 （ 2 ）： 658 - 669 . doi: 10.1109/tase.2019.2940543 http://dx.doi.org/10.1109/tase.2019.2940543

CARUSO D ， ENGEL J ， CREMERS D . Large-scale direct SLAM for omnidirectional cameras ［C］. 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. 282，2015 ， Hamburg， Germany. IEEE ， 2015 ： 141 - 148 . doi: 10.1109/iros.2015.7353366 http://dx.doi.org/10.1109/iros.2015.7353366

MUR-ARTAL R ， TARDOS J . Probabilistic semi-dense mapping from highly accurate feature-based monocular SLAM ［C］. Robotics： Science and Systems XI. Robotics ： Science and Systems Foundation ， 2015 . doi: 10.1109/tro.2015.2463671 http://dx.doi.org/10.1109/tro.2015.2463671

LI S L ， LEE D . RGB-D SLAM in dynamic environments using static point weighting ［J］. IEEE Robotics and Automation Letters ， 2017 ， 2 （ 4 ）： 2263 - 2270 . doi: 10.1109/lra.2017.2724759 http://dx.doi.org/10.1109/lra.2017.2724759

XIAO L H ， WANG J G ， QIU X S ， et al . Dynamic-SLAM： semantic monocular visual localization and mapping based on deep learning in dynamic environment ［J］. Robotics and Autonomous Systems ， 2019 ， 117 ： 1 - 16 . doi: 10.1016/j.robot.2019.03.012 http://dx.doi.org/10.1016/j.robot.2019.03.012

BRASCH N ， BOZIC A ， LALLEMAND J ， et al . Semantic monocular SLAM for highly dynamic environments ［C］. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. 15，2018 ， Madrid， Spain. IEEE ， 2018 ： 393 - 400 . doi: 10.1109/iros.2018.8593828 http://dx.doi.org/10.1109/iros.2018.8593828

MEI C ， RIVES P . Single view point omnidirectional camera calibration from planar grids ［C］. Proceedings 2007 IEEE International Conference on Robotics and Automation . 1014，2007 ， Rome， Italy . IEEE ， 2007 ： 3945 - 3950 . doi: 10.1109/robot.2007.364084 http://dx.doi.org/10.1109/robot.2007.364084

李勤文，倪首军，王志乾，等 . 非公共视场双目相机位姿标定［J］. 光学精密工程， 2020 ， 28 （ 12 ）： 2737 - 2744 . doi: 10.37188/OPE.20202812.2737 http://dx.doi.org/10.37188/OPE.20202812.2737

LI Q W ， NI SH J ， WANG ZH Q ， et al . Calibration of binocular camera with non-common field of view ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 12 ）： 2737 - 2744 . （in Chinese） . doi: 10.37188/OPE.20202812.2737 http://dx.doi.org/10.37188/OPE.20202812.2737

束安，裴浩东，周姗姗，等 . 非合作航天器的立体视觉位姿测量［J］. 光学精密工程， 2021 ， 29 （ 3 ）： 493 - 502 . doi: 10.37188/OPE.20212903.0493 http://dx.doi.org/10.37188/OPE.20212903.0493

SHU A ， PEI H D ， ZHOU SH SH ， et al . Stereo measurement of position and attitude of non-cooperative spacecraft ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 3 ）： 493 - 502 . （in Chinese） . doi: 10.37188/OPE.20212903.0493 http://dx.doi.org/10.37188/OPE.20212903.0493

FORSTER C ， PIZZOLI M ， SCARAMUZZA D . SVO： fast semi-direct monocular visual odometry ［C］. 2014 IEEE International Conference on Robotics and Automation. May 31 - June 7 ， 2014 ， Hong Kong， China. IEEE ， 2014： 15 - 22 . doi: 10.1109/icra.2014.6906584 http://dx.doi.org/10.1109/icra.2014.6906584

VOGIATZIS G ， HERNÁNDEZ C . Video-based， real-time multi-view stereo ［J］. Image and Vision Computing ， 2011 ， 29 （ 7 ）： 434 - 441 . doi: 10.1016/j.imavis.2011.01.006 http://dx.doi.org/10.1016/j.imavis.2011.01.006

MARIOTTINI G L ， PRATTICHIZZO D . Image-based visual servoing with central catadioptric cameras ［J］. The International Journal of Robotics Research ， 2008 ， 27 （ 1 ）： 41 - 56 . doi: 10.1177/0278364907084320 http://dx.doi.org/10.1177/0278364907084320

SCHÖNBEIN M ， GEIGER A . Omnidirectional 3D reconstruction in augmented Manhattan worlds ［C］. 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems . 1418，2014 ， Chicago ， IL ， USA . IEEE ， 2014 ： 716 - 723 . doi: 10.1109/iros.2014.6942637 http://dx.doi.org/10.1109/iros.2014.6942637

张裕，徐熙平，张宁，等 . 基于折反射全景相机的视觉里程计研究［J］. 光子学报， 2021 ， 50 （ 4 ）： 190 - 198 . doi: 10.3788/gzxb20215004.0415002 http://dx.doi.org/10.3788/gzxb20215004.0415002

ZHANG Y ， XU X P ， ZHANG N ， et al . Research on visual odometry based on catadioptric panoramic camera ［J］. Acta Photonica Sinica ， 2021 ， 50 （ 4 ）： 190 - 198 . （in Chinese） . doi: 10.3788/gzxb20215004.0415002 http://dx.doi.org/10.3788/gzxb20215004.0415002

浏览量

406

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据