RGB-D SLAM method of dynamic scene based on instance segmentation and optical flow

WANG Chenggen; SHI Jinlong; ZHU Haowei; BAI Suqin; SUN Yunhan; LU Jiawen; HUANG Shucheng

doi:10.37188/OPE.20243206.0857

您当前的位置：

首页 >

文章列表页 >

RGB-D SLAM method of dynamic scene based on instance segmentation and optical flow

Information Sciences | 更新时间：2024-03-31

- RGB-D SLAM method of dynamic scene based on instance segmentation and optical flow
- Optics and Precision Engineering Vol. 32, Issue 6, Pages: 857-867(2024)
- 作者机构：
  
  1.江苏科技大学计算机学院，江苏镇江 212000
  2.南京大学计算机软件新技术国家重点实验室，江苏南京 210046
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20243206.0857
  CLC： TP394.1;TH691.9
- Received：07 September 2023，
  
  Revised：14 November 2023，
  
  Published：25 March 2024
- 稿件说明：
移动端阅览
王成根,史金龙,诸皓伟等.基于实例分割与光流的动态场景RGB-D SLAM[J].光学精密工程,2024,32(06):857-867.

WANG Chenggen,SHI Jinlong,ZHU Haowei,et al.RGB-D SLAM method of dynamic scene based on instance segmentation and optical flow[J].Optics and Precision Engineering,2024,32(06):857-867.
王成根,史金龙,诸皓伟等.基于实例分割与光流的动态场景RGB-D SLAM[J].光学精密工程,2024,32(06):857-867. DOI： 10.37188/OPE.20243206.0857.

WANG Chenggen,SHI Jinlong,ZHU Haowei,et al.RGB-D SLAM method of dynamic scene based on instance segmentation and optical flow[J].Optics and Precision Engineering,2024,32(06):857-867. DOI： 10.37188/OPE.20243206.0857.

摘要

为了提高动态场景RGB-D SLAM中相机位姿精度，基于实例分割与光流算法，提出一种高精度RGB-D SLAM方法。首先，通过实例分割算法检测出场景中的物体，删除非刚性物体并构造语义地图。接着，通过光流信息计算运动残差，检测场景中动态刚性物体，并在语义地图中追踪这些动态刚性物体。然后，删除每一帧中非刚性物体和动态刚性物体上的动态特征点，利用其他稳定的特征点优化相机位姿。最后，通过TSDF模型重建静态背景，并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明，本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明，保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明，本文方法在动态场景中重建结果优于当前先进的工作，平均重建误差为0.042 m。代码开源在

https：//github.com/wawcg/dy_wcg

https://github.com/wawcg/dy_wcg

。

Abstract

A new method for improving the accuracy of camera pose estimation in RGB-D SLAM of dynamic scenes was proposed. This method was based on instance segmentation and optical flow. The first step was to detect objects in the scene using instance segmentation， eliminate non-rigid objects， and construct a semantic map. The second step involved calculating motion residuals through optical flow information， detecting dynamic rigid objects， and tracking them in the semantic map. Next， dynamic feature points on non-rigid objects and dynamic rigid objects in each frame were removed， and the camera pose was optimized using stable feature points. Finally， the static background was reconstructed using the TSDF model， and the dynamic rigid objects were displayed as point clouds. Tests conducted on the TUM and Bonn datasets demonstrate that Compared with the most advanced work ACEFusion， the method proposed in this article improves camera accuracy by approximately 43%. The results show that retaining feature points of dynamic rigid objects in a static state can significantly improve camera pose estimation results. The dense mapping experiments show that our method outperforms better in dynamic 3D reconstruction， the average reconstruction error is 0.042 m. Our code is available at

https：//github.com/wawcg/dy_wcg

https://github.com/wawcg/dy_wcg

关键词

Keywords

references

张裕，张越，张宁，等 . 基于逆深度滤波的双目折反射全景相机动态SLAM系统［J］. 光学精密工程， 2022 ， 30 （ 11 ）： 1282 - 1289 . doi: 10.37188/ope.20223011.1282 http://dx.doi.org/10.37188/ope.20223011.1282

ZHANG Y ， ZHANG Y ， ZHANG N ， et al . Dynamic SLAM of binocular catadioptric panoramic camera based on inverse depth filter ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 11 ）： 1282 - 1289 . （in Chinese） . doi: 10.37188/ope.20223011.1282 http://dx.doi.org/10.37188/ope.20223011.1282

郭道亮 . 可变形物体的全局非刚性配准与重建［D］. 天津：天津大学， 2018 .

GUO D L . Global Non - Rigid Registration and Reconstruction of Deformable Objects ［D］. Tianjin ： Tianjin University ， 2018 . （in Chinese）

NEWCOMBE R A ， FOX D ， SEITZ S M . DynamicFusion： reconstruction and tracking of non-rigid scenes in real-time ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston ， MA， USA . IEEE ， 2015 ： 343 - 352 . doi: 10.1109/cvpr.2015.7298631 http://dx.doi.org/10.1109/cvpr.2015.7298631

刘东生，陈建林，费点，等 . 基于深度相机的大场景三维重建［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 234 - 243 . doi: 10.3788/ope.20202801.0234 http://dx.doi.org/10.3788/ope.20202801.0234

LIU D S ， CHEN J L ， FEI D ， et al . Three-dimensional reconstruction of large-scale scene based on depth camera ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 234 - 243 . （in Chinese） . doi: 10.3788/ope.20202801.0234 http://dx.doi.org/10.3788/ope.20202801.0234

MUR-ARTAL R ， TARDÓS J D . ORB-SLAM2： an open-source SLAM system for monocular， stereo， and RGB-D cameras ［J］. IEEE Transactions on Robotics ， 2017 ， 33 （ 5 ）： 1255 - 1262 . doi: 10.1109/tro.2017.2705103 http://dx.doi.org/10.1109/tro.2017.2705103

MUR-ARTAL R ， MONTIEL J M M ， TARDÓS J D . ORB-SLAM： a versatile and accurate monocular SLAM system ［J］. IEEE Transactions on Robotics ， 2015 ， 31 （ 5 ）： 1147 - 1163 . doi: 10.1109/tro.2015.2463671 http://dx.doi.org/10.1109/tro.2015.2463671

CAMPOS C ， ELVIRA R ， RODRÍGUEZ J J G ， et al . ORB-SLAM3： an accurate open-source library for visual， visual-inertial， and multimap SLAM ［J］. IEEE Transactions on Robotics ， 2021 ， 37 （ 6 ）： 1874 - 1890 . doi: 10.1109/tro.2021.3075644 http://dx.doi.org/10.1109/tro.2021.3075644

AAD G ， ANDUAGA XS ， ANTONELLI S ， et al . The ATLAS experiment at the CERN large hadron collider ［J］. 2008 .

GIRSHICK R ， DONAHUE J ， DARRELL T ， et al . Rich feature hierarchies for accurate object detection and semantic segmentation ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus ， OH ， USA . IEEE ， 2014 ： 580 - 587 . doi: 10.1109/cvpr.2014.81 http://dx.doi.org/10.1109/cvpr.2014.81

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. Venice ， Italy . IEEE ， 2017 ： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

WANG X L ， ZHANG R F ， KONG T ， et al . SOLOv2： Dynamic and Fast Instance Segmentation ［EB/OL］. 2020 ： arXiv ： 2003 . 10152 . http：//arxiv.org/abs/2003.10152 http://arxiv.org/abs/2003.10152

WANG X L ， KONG T ， SHEN C H ， et al . SOLO ： Segmenting Objects by Locations ［M］. Computer Vision – ECCV 2020 . Cham ： Springer International Publishing ， 2020 ： 649 - 665 . doi: 10.1007/978-3-030-58523-5_38 http://dx.doi.org/10.1007/978-3-030-58523-5_38

SUN D Q ， YANG X D ， LIU M Y ， et al . PWC-net： CNNs for optical flow using pyramid， warping， and cost volume ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 8934 - 8943 . doi: 10.1109/cvpr.2018.00931 http://dx.doi.org/10.1109/cvpr.2018.00931

TEED Z ， DENG J . RAFT ： Recurrent All - Pairs Field Transforms for Optical Flow ［M］. Computer Vision – ECCV 2020 . Cham ： Springer International Publishing ， 2020 ： 402 - 419 . doi: 10.1007/978-3-030-58536-5_24 http://dx.doi.org/10.1007/978-3-030-58536-5_24

CHO K ， VAN MERRIENBOER B ， BAHDANAU D ， et al . On the Properties of Neural Machine Translation： Encoder-Decoder Approaches ［EB/OL］. 2014 ： arXiv ： 1409 . 1259 . http：//arxiv.org/abs/1409.1259 http://arxiv.org/abs/1409.1259 . doi: 10.3115/v1/w14-4012 http://dx.doi.org/10.3115/v1/w14-4012

IZADI S ， KIM D ， HILLIGES O ， et al . KinectFusion： Real-Time 3D reconstruction and interaction using a moving depth camera ［C］. Proceedings of the 24th annual ACM symposium on User interface software and technology. Santa Barbara California USA . ACM ， 2011 ： 559 - 568 . doi: 10.1145/2047196.2047270 http://dx.doi.org/10.1145/2047196.2047270

NEWCOMBE R A ， IZADI S ， HILLIGES O ， et al . KinectFusion： Real-Time dense surface mapping and tracking ［C］. 2011 10th IEEE International Symposium on Mixed and Augmented Reality. Basel ， Switzerland . IEEE ， 2011 ： 127 - 136 . doi: 10.1109/ismar.2011.6092378 http://dx.doi.org/10.1109/ismar.2011.6092378

NIEßNER M ， ZOLLHÖFER M ， IZADI S ， et al . Real-time 3D reconstruction at scale using voxel hashing ［J］. ACM Transactions on Graphics ， 2013 ， 32 （ 6 ）： 1 - 11 . doi: 10.1145/2508363.2508374 http://dx.doi.org/10.1145/2508363.2508374

RUNZ M ， BUFFIER M ， AGAPITO L . MaskFusion： Real-Time recognition， tracking and reconstruction of multiple moving objects ［C］. 2018 IEEE International Symposium on Mixed and Augmented Reality （ISMAR）. Munich ， Germany . IEEE ， 2018 ： 10 - 20 . doi: 10.1109/ismar.2018.00024 http://dx.doi.org/10.1109/ismar.2018.00024

WHELAN T ， LEUTENEGGER S ， SALAS MORENO R ， et al . ElasticFusion： dense SLAM without a pose graph ［C］. Robotics： Science and Systems XI. Robotics ： Science and Systems Foundation ， 2015 ， 11 （ 3 ）.

BESCOS B ， FÁCIL J M ， CIVERA J ， et al . DynaSLAM： tracking， mapping， and inpainting in dynamic scenes ［J］. IEEE Robotics and Automation Letters ， 2018 ， 3 （ 4 ）： 4076 - 4083 . doi: 10.1109/lra.2018.2860039 http://dx.doi.org/10.1109/lra.2018.2860039

XU B B ， LI W B ， TZOUMANIKAS D ， et al . MID-Fusion： octree-based object-level multi-instance dynamic SLAM ［C］. 2019 International Conference on Robotics and Automation （ICRA）. Montreal ， QC， Canada . IEEE ， 2019 ： 5231 - 5237 . doi: 10.1109/icra.2019.8794371 http://dx.doi.org/10.1109/icra.2019.8794371

RUSINKIEWICZ S ， LEVOY M . Efficient variants of the ICP algorithm ［C］. Proceedings Third International Conference on 3-D Digital Imaging and Modeling. Quebec City ， QC， Canada . IEEE ， 2002 ： 145 - 152 .

WU W X ， GUO L ， GAO H L ， et al . YOLO-SLAM： a semantic SLAM system towards dynamic environment with geometric constraint ［J］. Neural Computing and Applications ， 2022 ， 34 （ 8 ）： 6011 - 6026 . doi: 10.1007/s00521-021-06764-3 http://dx.doi.org/10.1007/s00521-021-06764-3

KIM D S ， FIGUEROA K W ， LI K W ， et al . Profiling of dynamically changed gene expression in dorsal root Ganglia post peripheral nerve injury and a critical role of injury-induced glial fibrillary acidic protein in maintenance of pain behaviors ［J］. Pain ， 2009 ， 143 （ 1/2 ）： 114 - 122 . doi: 10.1016/j.pain.2009.02.006 http://dx.doi.org/10.1016/j.pain.2009.02.006

ALCANTARILLA P F ， YEBES J J ， ALMAZÁN J ， et al . On combining visual SLAM and dense scene flow to increase the robustness of localization and mapping in dynamic environments ［C］. 2012 IEEE International Conference on Robotics and Automation. Saint Paul ， MN ， USA . IEEE ， 2012 ： 1290 - 1297 . doi: 10.1109/icra.2012.6224690 http://dx.doi.org/10.1109/icra.2012.6224690

ZHANG T W ， ZHANG H Y ， LI Y ， et al . FlowFusion： dynamic dense RGB-D SLAM based on optical flow ［C］. 2020 IEEE International Conference on Robotics and Automation （ICRA）. Paris ， France . IEEE ， 2020 ： 7322 - 7328 . doi: 10.1109/icra40945.2020.9197349 http://dx.doi.org/10.1109/icra40945.2020.9197349

LIN W B ， ZHENG C W ， YONG J H ， et al . OcclusionFusion： occlusion-aware motion estimation for real-time dynamic 3D reconstruction ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans ， LA， USA . IEEE ， 2022 ： 1726 - 1735 . doi: 10.1109/cvpr52688.2022.00178 http://dx.doi.org/10.1109/cvpr52688.2022.00178

SCARSELLI F ， GORI M ， TSOI A C ， et al . The graph neural network model ［J］. IEEE Transactions on Neural Networks ， 2009 ， 20 （ 1 ）： 61 - 80 . doi: 10.1109/tnn.2008.2005605 http://dx.doi.org/10.1109/tnn.2008.2005605

BUJANCA M ， LENNOX B ， LUJÁN M . ACEFusion-accelerated and energy-efficient semantic 3D reconstruction of dynamic scenes ［C］. 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Kyoto ， Japan . IEEE ， 2022 ： 11063 - 11070 . doi: 10.1109/iros47612.2022.9981591 http://dx.doi.org/10.1109/iros47612.2022.9981591

STURM J ， ENGELHARD N ， ENDRES F ， et al . A benchmark for the evaluation of RGB-D SLAM Systems ［C］. 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems. Vilamoura-Algarve ， Portugal . IEEE ， 2012 ： 573 - 580 . doi: 10.1109/iros.2012.6385773 http://dx.doi.org/10.1109/iros.2012.6385773

PALAZZOLO E ， BEHLEY J ， LOTTES P ， et al . ReFusion： 3D Reconstruction in dynamic environments for RGB-D cameras exploiting residuals ［C］. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， China . IEEE ， 2019 ： 7855 - 7862 . doi: 10.1109/iros40897.2019.8967590 http://dx.doi.org/10.1109/iros40897.2019.8967590

LORENSEN W E ， CLINE H E . Marching cubes： a high resolution 3D surface construction algorithm ［J］. ACM SIGGRAPH Computer Graphics ， 1987 ， 21 （ 4 ）： 163 - 169 . doi: 10.1145/37402.37422 http://dx.doi.org/10.1145/37402.37422

TARG S ， ALMEIDA D ， LYMAN K . Resnet in ResNet： Generalizing Residual Architectures ［EB/OL］. 2016 ： arXiv ： 1603 . 08029 . http：//arxiv.org/abs/1603.08029 http://arxiv.org/abs/1603.08029

SCONA R ， JAIMEZ M ， PETILLOT Y R ， et al . StaticFusion： background reconstruction for dense RGB-D SLAM in dynamic environments ［C］. 2018 IEEE International Conference on Robotics and Automation （ICRA）. Brisbane ， QLD ， Australia . IEEE ， 2018 ： 3849 - 3856 . doi: 10.1109/icra.2018.8460681 http://dx.doi.org/10.1109/icra.2018.8460681

WONG Y S ， LI C J ， NIEßNER M ， et al . RigidFusion： RGB-D scene reconstruction with rigidly-moving objects ［J］. Computer Graphics Forum ， 2021 ， 40 （ 2 ）： 511 - 522 . doi: 10.1111/cgf.142651 http://dx.doi.org/10.1111/cgf.142651

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Segmentation network for metastatic lymph nodes of head and neck tumors

Spatial information adaptive regulation and feature alignment for infrared methane instance segmentation

Multi-stage frame alignment video super- resolution network

Vehicle pressure line detection based on improved Mask R-CNN + LaneNet

Design and application of fast matching method based on support points expansion

Related Author

ZHOU Zhongwei

DANG Pei

PENG Caiyue

XUE Jiawen

SHI Daozong

ZHOU Tao

ZHUANG Hong

ZHANG Yinhui

Related Institution

College of Computer Science and Engineering， North Minzu University

Key Laboratory of Image and Graphics Intelligent Processing of State Ethnic Affairs Commission， North Minzu University

College of Oral Cavity， Ningxia Medical University

Faculty of Mechatronics and Electrical Engineering， Kunming University of Science and Technology

Faculty of Mechanical and Electrical Engineering， Kunming University of Science and Technology

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰