航天器部件的精细分割和稳定跟踪

邵亚东; 邵远斌; 武奥迪; 万雪

doi:10.37188/OPE.20233122.3383

您当前的位置：

首页 >

文章列表页 >

航天器部件的精细分割和稳定跟踪

信息科学 | 更新时间：2023-11-28

- 航天器部件的精细分割和稳定跟踪
- Fine segmentation and stable tracking of spacecraft components
- 光学精密工程 2023年31卷第22期页码：3383-3394
- 作者机构：
  
  1.中国科学院大学计算机科学与技术学院，北京 100049
  2.中国科学院大学航空宇航学院，北京 100049
  3.中国科学院空间应用工程与技术中心，北京 100094
  4.中国科学院太空应用重点实验室，北京 100094
- 作者简介：
  
  [ "邵亚东（1994-），男，河南汝州人，博士研究生，2018年于北京化工大学获得学士学位,并于同年至今就读于中国科学院大学计算机科学与技术学院，主要从事针对空间非合作目标在轨服务领域内的计算机视觉方面的研究。E-mail: shaoyadong18@csu.ac.cn" ]
  [ "万雪（1988-），女，湖北武汉人，博士，研究员，博士生导师，分别于2010年、2012年在武汉大学获得学士、硕士学位，2015年在帝国理工学院获得博士学位，主要从事针对空间非合作目标在轨服务、行星探索等领域内的计算机视觉方面的研究。 E-mail: wanxue@csu.ac.cn" ]
- 基金信息：
  
  月面人机共融非合作环境感知理论与技术(T203211)
- DOI：10.37188/OPE.20233122.3383
  中图分类号：
扫描看全文
邵亚东,邵远斌,武奥迪等.航天器部件的精细分割和稳定跟踪[J].光学精密工程,2023,31(22):3383-3394.

SHAO Yadong,SHAO Yuanbin,WU Aodi,et al.Fine segmentation and stable tracking of spacecraft components[J].Optics and Precision Engineering,2023,31(22):3383-3394.
邵亚东,邵远斌,武奥迪等.航天器部件的精细分割和稳定跟踪[J].光学精密工程,2023,31(22):3383-3394. DOI： 10.37188/OPE.20233122.3383.

SHAO Yadong,SHAO Yuanbin,WU Aodi,et al.Fine segmentation and stable tracking of spacecraft components[J].Optics and Precision Engineering,2023,31(22):3383-3394. DOI： 10.37188/OPE.20233122.3383.

摘要

为了实现在轨服务过程中对于没有靶标的部件进行操作，需要精细地分割出相关部件，并对其在时序上进行稳定地跟踪。对于部件的精细分割，本文首先基于航天器部件实例分割数据集对实例分割网络Mask RCNN进行了训练，然后在其掩膜分割分支上添加一个优化模块对部件分割结果进行优化。对于部件跟踪，本文首先在Quit_trihard损失的基础上提出分层加权五元组损失，然后利用该损失在航天器部件重识别数据集上对有关重识别网络进行训练，最后将得到的重识别网路嵌入Deep OC SORT跟踪算法以实现对航天器部件的稳定跟踪。实验结果表明：经过掩膜优化后，在部件实例分割测试集上相关实例分割算法的分割精度可提升至84.90 mAP；使用改进后的损失进行部件重识别，在部件重识别测试集上的识别成功率提高至76.86%，同时相关跟踪算法在部件跟踪测试集上的跟踪成功率升至89.38%。因此，本文提出的方法基本可以满足航天器部件的精细分割和稳定跟踪。

Abstract

In order to realize the operation of components without cooperation markers in on-orbit services, it is necessary to segment the area of the relevant components finely and then track them stably. For the refinement segmentation of components, firstly, the instance segmentation network, Mask RCNN, is trained on the spacecraft component instance segmentation dataset, and secondly a mask refinement module is added to its mask segmentation branch to optimize the component segmentation results. As to component tracking, a hierarchical weighted quintuple loss based on the Quit_trihard loss is proposed to train a re-identification network on the component re-identification dataset, and then the re-identification network trained before is embedded into the Deep OC SORT tracking algorithm for stable component tracking. The experimental results show that after mask optimization, the component segmentation accuracy of the relevant instance segmentation algorithm on the component segmentation test set can be improved to 84.90 mAP; by using the improved loss, the identification success rate on the component re-identification test set is improved to 76.86%, and the tracking success rate of the correlation tracking algorithm on the component tracking test set is improved to 89.38%. Therefore, the method proposed in this paper can basically satisfy the fine segmentation and stable tracking of spacecraft components.

关键词

航天器部件分割部件跟踪

Keywords

spacecraftcomponent segmentationcomponent tracking

references

FLORESABAD A ， MA O ， PHAM K ,et al. A review of space robotics technologies for on-orbit servicing［J］. Progress in Aerospace Sciences， 2014， 68： 1-26. doi: 10.1016/j.paerosci.2014.03.002http://dx.doi.org/10.1016/j.paerosci.2014.03.002

苏丽，孙雨鑫，苑守正. 基于深度学习的实例分割研究综述［J］. 智能系统学报， 2022， 17（1）： 16-31. doi: 10.11992/tis.202109043http://dx.doi.org/10.11992/tis.202109043

SU L， SUN Y X， YUAN S Z. A survey of instance segmentation research based on deep learning［J］. CAAI Transactions on Intelligent Systems， 2022， 17（1）： 16-31.（in Chinese）. doi: 10.11992/tis.202109043http://dx.doi.org/10.11992/tis.202109043

REDMON J， FARHADI A. YOLOv3： an incremental improvement［J］. arXiv preprint arXiv：1804.02767.， 2018.

HURTIK P， MOLEK V， HULA J， et al. Poly-YOLO： higher speed， more precise detection and instance segmentation for YOLOv3［J］. Neural Computing and Applications， 2022， 34（10）： 8275-8290. doi: 10.1007/s00521-021-05978-9http://dx.doi.org/10.1007/s00521-021-05978-9

REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. doi: 10.1109/tpami.2016.2577031http://dx.doi.org/10.1109/tpami.2016.2577031

HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 22-29， 2017， Venice， Italy. IEEE， 2017： 2980-2988. doi: 10.1109/iccv.2017.322http://dx.doi.org/10.1109/iccv.2017.322

CAI Z W， VASCONCELOS N. Cascade R-CNN： high quality object detection and instance segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（5）： 1483-1498. doi: 10.1109/tpami.2019.2956516http://dx.doi.org/10.1109/tpami.2019.2956516

LIU S， JIA J Y， FIDLER S， et al. SGN： sequential grouping networks for instance segmentation［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 22-29， 2017， Venice， Italy. IEEE， 2017： 3516-3524. doi: 10.1109/iccv.2017.378http://dx.doi.org/10.1109/iccv.2017.378

GAO N Y， SHAN Y H， WANG Y P， et al. SSAP： single-shot instance segmentation with affinity pyramid［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）.27-2，2019， Seoul， Korea （South）. IEEE， 2020： 642-651. doi: 10.1109/iccv.2019.00073http://dx.doi.org/10.1109/iccv.2019.00073

REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.27-30， 2016， Las Vegas， NV， USA. IEEE， 2016： 779-788. doi: 10.1109/cvpr.2016.91http://dx.doi.org/10.1109/cvpr.2016.91

WANG X L， KONG T， SHEN C H， et al. SOLO： segmenting objects by locations［C］. Computer Vision-ECCV 2020： 16th European Conference， Glasgow， UK，23-28， 2020， Proceedings， Part XVIII. New York： ACM， 2020： 649-665. doi: 10.1007/978-3-030-58523-5_38http://dx.doi.org/10.1007/978-3-030-58523-5_38

WANG X， ZHANG R， KONG T， et al. SOLOv2： Dynamic and Fast Instance Segmentation［EB/OL］. 2020： arXiv： 2003.10152. https：//arxiv.org/abs/2003.10152.pdfhttps://arxiv.org/abs/2003.10152.pdf

BEWLEY A， GE Z Y， OTT L， et al. Simple online and realtime tracking［C］. 2016 IEEE International Conference on Image Processing （ICIP）.25-28， 2016， Phoenix， AZ， USA. IEEE， 2016： 3464-3468. doi: 10.1109/icip.2016.7533003http://dx.doi.org/10.1109/icip.2016.7533003

CAO J K， PANG J M， WENG X S， et al. Observation-centric SORT： rethinking sort for robust multi-object tracking［C］. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.17-24， 2023， Vancouver， BC， Canada. IEEE， 2023： 9686-9696. doi: 10.1109/cvpr52729.2023.00934http://dx.doi.org/10.1109/cvpr52729.2023.00934

WOJKE N， BEWLEY A， PAULUS D. Simple online and realtime tracking with a deep association metric［C］. 2017 IEEE International Conference on Image Processing （ICIP）.17-20， 2017， Beijing， China. IEEE， 2018： 3645-3649. doi: 10.1109/icip.2017.8296962http://dx.doi.org/10.1109/icip.2017.8296962

MAGGIOLINO G， AHMAD A， CAO J K， et al. Deep OC-Sort： multi-pedestrian tracking by adaptive re-identification［C］. 2023 IEEE International Conference on Image Processing （ICIP）.8-11， 2023， Kuala Lumpur， Malaysia. IEEE， 2023： 3025-3029. doi: 10.1109/icip49359.2023.10222576http://dx.doi.org/10.1109/icip49359.2023.10222576

CHENG H K， CHUNG J， TAI Y W， et al. CascadePSP： toward class-agnostic and very high-resolution segmentation via global and local refinement［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.13-19， 2020， Seattle， WA， USA. IEEE， 2020： 8887-8896. doi: 10.1109/cvpr42600.2020.00891http://dx.doi.org/10.1109/cvpr42600.2020.00891

ZHAI Q， HUANG R， CHENG H， et al. Learning quintuplet loss for large-scale visual geolocalization［J］. IEEE MultiMedia， 2020， 27（3）： 34-43. doi: 10.1109/mmul.2020.2996941http://dx.doi.org/10.1109/mmul.2020.2996941

BOLYA D， ZHOU C， XIAO F Y， et al. YOLACT： Real-Time instance segmentation［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）.27-2，2019， Seoul， Korea （South）. IEEE， 2020： 9156-9165. doi: 10.1109/iccv.2019.00925http://dx.doi.org/10.1109/iccv.2019.00925

HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.27-30， 2016， Las Vegas， NV， USA. IEEE， 2016： 770-778. doi: 10.1109/cvpr.2016.90http://dx.doi.org/10.1109/cvpr.2016.90

CHENG T H， WANG X G， CHEN S Y， et al. Sparse instance activation for real-time instance segmentation［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.18-24， 2022， New Orleans， LA， USA. IEEE， 2022： 4423-4432. doi: 10.1109/cvpr52688.2022.00439http://dx.doi.org/10.1109/cvpr52688.2022.00439

LIU Z， LIN Y T， CAO Y， et al. Swin Transformer： hierarchical vision transformer using shifted windows［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）.10-17， 2021， Montreal， QC， Canada. IEEE， 2022： 9992-10002. doi: 10.1109/iccv48922.2021.00986http://dx.doi.org/10.1109/iccv48922.2021.00986

SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： a unified embedding for face recognition and clustering［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.7-12， 2015， Boston， MA， USA. IEEE， 2015： 815-823. doi: 10.1109/cvpr.2015.7298682http://dx.doi.org/10.1109/cvpr.2015.7298682

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

刚性航天器的预定义时间滑模控制

光纤光栅与增量极限学习机的航天器结构重构

空间热开关在航天器热控制中的应用与发展