Fine segmentation and stable tracking of spacecraft components

SHAO Yadong; SHAO Yuanbin; WU Aodi; WAN Xue

doi:10.37188/OPE.20233122.3383

您当前的位置：

首页 >

文章列表页 >

Fine segmentation and stable tracking of spacecraft components

Information Sciences | 更新时间：2023-11-28

- Fine segmentation and stable tracking of spacecraft components
- Optics and Precision Engineering Vol. 31, Issue 22, Pages: 3383-3394(2023)
- 作者机构：
  
  1.中国科学院大学计算机科学与技术学院，北京 100049
  2.中国科学院大学航空宇航学院，北京 100049
  3.中国科学院空间应用工程与技术中心，北京 100094
  4.中国科学院太空应用重点实验室，北京 100094
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233122.3383
  CLC： V19;TP391.4
- Received：14 June 2023，
  
  Revised：12 July 2023，
  
  Published：25 November 2023
- 稿件说明：
移动端阅览
邵亚东,邵远斌,武奥迪等.航天器部件的精细分割和稳定跟踪[J].光学精密工程,2023,31(22):3383-3394.

SHAO Yadong,SHAO Yuanbin,WU Aodi,et al.Fine segmentation and stable tracking of spacecraft components[J].Optics and Precision Engineering,2023,31(22):3383-3394.
邵亚东,邵远斌,武奥迪等.航天器部件的精细分割和稳定跟踪[J].光学精密工程,2023,31(22):3383-3394. DOI： 10.37188/OPE.20233122.3383.

SHAO Yadong,SHAO Yuanbin,WU Aodi,et al.Fine segmentation and stable tracking of spacecraft components[J].Optics and Precision Engineering,2023,31(22):3383-3394. DOI： 10.37188/OPE.20233122.3383.

摘要

为了实现在轨服务过程中对于没有靶标的部件进行操作，需要精细地分割出相关部件，并对其在时序上进行稳定地跟踪。对于部件的精细分割，本文首先基于航天器部件实例分割数据集对实例分割网络Mask RCNN进行了训练，然后在其掩膜分割分支上添加一个优化模块对部件分割结果进行优化。对于部件跟踪，本文首先在Quit_trihard损失的基础上提出分层加权五元组损失，然后利用该损失在航天器部件重识别数据集上对有关重识别网络进行训练，最后将得到的重识别网路嵌入Deep OC SORT跟踪算法以实现对航天器部件的稳定跟踪。实验结果表明：经过掩膜优化后，在部件实例分割测试集上相关实例分割算法的分割精度可提升至84.90 mAP；使用改进后的损失进行部件重识别，在部件重识别测试集上的识别成功率提高至76.86%，同时相关跟踪算法在部件跟踪测试集上的跟踪成功率升至89.38%。因此，本文提出的方法基本可以满足航天器部件的精细分割和稳定跟踪。

Abstract

In order to realize the operation of components without cooperation markers in on-orbit services

it is necessary to segment the area of the relevant components finely and then track them stably. For the refinement segmentation of components

firstly

the instance segmentation network

Mask RCNN

is trained on the spacecraft component instance segmentation dataset

and secondly a mask refinement module is added to its mask segmentation branch to optimize the component segmentation results. As to component tracking

a hierarchical weighted quintuple loss based on the Quit_trihard loss is proposed to train a re-identification network on the component re-identification dataset

and then the re-identification network trained before is embedded into the Deep OC SORT tracking algorithm for stable component tracking. The experimental results show that after mask optimization

the component segmentation accuracy of the relevant instance segmentation algorithm on the component segmentation test set can be improved to 84.90 mAP; by using the improved loss

the identification success rate on the component re-identification test set is improved to 76.86%

and the tracking success rate of the correlation tracking algorithm on the component tracking test set is improved to 89.38%. Therefore

the method proposed in this paper can basically satisfy the fine segmentation and stable tracking of spacecraft components.

关键词

Keywords

references

FLORESABAD A ， MA O ， PHAM K , et al . A review of space robotics technologies for on-orbit servicing ［J］. Progress in Aerospace Sciences ， 2014 ， 68 ： 1 - 26 . doi: 10.1016/j.paerosci.2014.03.002 http://dx.doi.org/10.1016/j.paerosci.2014.03.002

苏丽，孙雨鑫，苑守正 . 基于深度学习的实例分割研究综述［J］. 智能系统学报， 2022 ， 17 （ 1 ）： 16 - 31 . doi: 10.11992/tis.202109043 http://dx.doi.org/10.11992/tis.202109043

SU L ， SUN Y X ， YUAN S Z . A survey of instance segmentation research based on deep learning ［J］. CAAI Transactions on Intelligent Systems ， 2022 ， 17 （ 1 ）： 16 - 31 . （in Chinese） . doi: 10.11992/tis.202109043 http://dx.doi.org/10.11992/tis.202109043

REDMON J ， FARHADI A . YOLOv3： an incremental improvement ［J］. arXiv preprint arXiv ： 1804 .02767.， 2018.

HURTIK P ， MOLEK V ， HULA J ， et al . Poly-YOLO： higher speed， more precise detection and instance segmentation for YOLOv3 ［J］. Neural Computing and Applications ， 2022 ， 34 （ 10 ）： 8275 - 8290 . doi: 10.1007/s00521-021-05978-9 http://dx.doi.org/10.1007/s00521-021-05978-9

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322

CAI Z W ， VASCONCELOS N . Cascade R-CNN： high quality object detection and instance segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 5 ）： 1483 - 1498 . doi: 10.1109/tpami.2019.2956516 http://dx.doi.org/10.1109/tpami.2019.2956516

LIU S ， JIA J Y ， FIDLER S ， et al . SGN： sequential grouping networks for instance segmentation ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 3516 - 3524 . doi: 10.1109/iccv.2017.378 http://dx.doi.org/10.1109/iccv.2017.378

GAO N Y ， SHAN Y H ， WANG Y P ， et al . SSAP： single-shot instance segmentation with affinity pyramid ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 27-2，2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 642 - 651 . doi: 10.1109/iccv.2019.00073 http://dx.doi.org/10.1109/iccv.2019.00073

REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： unified， real-time object detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 27 - 30 ， 2016， Las Vegas， NV， USA. IEEE ， 2016： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91

WANG X L ， KONG T ， SHEN C H ， et al . SOLO： segmenting objects by locations ［C］. Computer Vision-ECCV 2020 ： 16th European Conference， Glasgow， UK ， 23 - 28 ， 2020， Proceedings， Part XVIII. New York ： ACM ， 2020： 649 - 665 . doi: 10.1007/978-3-030-58523-5_38 http://dx.doi.org/10.1007/978-3-030-58523-5_38

WANG X ， ZHANG R ， KONG T ， et al . SOLOv 2： Dynamic and Fast Instance Segmentation ［EB/OL］. 2020 ： arXiv ： 2003 . 10152 . https：//arxiv.org/abs/2003.10152.pdf https://arxiv.org/abs/2003.10152.pdf

BEWLEY A ， GE Z Y ， OTT L ， et al . Simple online and realtime tracking ［C］. 2016 IEEE International Conference on Image Processing （ICIP） . 25 - 28 ， 2016， Phoenix， AZ， USA. IEEE ， 2016： 3464 - 3468 . doi: 10.1109/icip.2016.7533003 http://dx.doi.org/10.1109/icip.2016.7533003

CAO J K ， PANG J M ， WENG X S ， et al . Observation-centric SORT： rethinking sort for robust multi-object tracking ［C］. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 17 - 24 ， 2023， Vancouver， BC， Canada. IEEE ， 2023： 9686 - 9696 . doi: 10.1109/cvpr52729.2023.00934 http://dx.doi.org/10.1109/cvpr52729.2023.00934

WOJKE N ， BEWLEY A ， PAULUS D . Simple online and realtime tracking with a deep association metric ［C］. 2017 IEEE International Conference on Image Processing （ICIP） . 17 - 20 ， 2017， Beijing， China. IEEE ， 2018： 3645 - 3649 . doi: 10.1109/icip.2017.8296962 http://dx.doi.org/10.1109/icip.2017.8296962

MAGGIOLINO G ， AHMAD A ， CAO J K ， et al . Deep OC-Sort： multi-pedestrian tracking by adaptive re-identification ［C］. 2023 IEEE International Conference on Image Processing （ICIP） . 8 - 11 ， 2023， Kuala Lumpur， Malaysia. IEEE ， 2023： 3025 - 3029 . doi: 10.1109/icip49359.2023.10222576 http://dx.doi.org/10.1109/icip49359.2023.10222576

CHENG H K ， CHUNG J ， TAI Y W ， et al . CascadePSP： toward class-agnostic and very high-resolution segmentation via global and local refinement ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 8887 - 8896 . doi: 10.1109/cvpr42600.2020.00891 http://dx.doi.org/10.1109/cvpr42600.2020.00891

ZHAI Q ， HUANG R ， CHENG H ， et al . Learning quintuplet loss for large-scale visual geolocalization ［J］. IEEE MultiMedia ， 2020 ， 27 （ 3 ）： 34 - 43 . doi: 10.1109/mmul.2020.2996941 http://dx.doi.org/10.1109/mmul.2020.2996941

BOLYA D ， ZHOU C ， XIAO F Y ， et al . YOLACT： Real-Time instance segmentation ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 27-2，2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 9156 - 9165 . doi: 10.1109/iccv.2019.00925 http://dx.doi.org/10.1109/iccv.2019.00925

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 27 - 30 ， 2016， Las Vegas， NV， USA. IEEE ， 2016： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

CHENG T H ， WANG X G ， CHEN S Y ， et al . Sparse instance activation for real-time instance segmentation ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 18 - 24 ， 2022， New Orleans， LA， USA. IEEE ， 2022： 4423 - 4432 . doi: 10.1109/cvpr52688.2022.00439 http://dx.doi.org/10.1109/cvpr52688.2022.00439

LIU Z ， LIN Y T ， CAO Y ， et al . Swin Transformer： hierarchical vision transformer using shifted windows ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . 10 - 17 ， 2021， Montreal， QC， Canada. IEEE ， 2022： 9992 - 10002 . doi: 10.1109/iccv48922.2021.00986 http://dx.doi.org/10.1109/iccv48922.2021.00986

SCHROFF F ， KALENICHENKO D ， PHILBIN J . FaceNet： a unified embedding for face recognition and clustering ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 7 - 12 ， 2015， Boston， MA， USA. IEEE ， 2015： 815 - 823 . doi: 10.1109/cvpr.2015.7298682 http://dx.doi.org/10.1109/cvpr.2015.7298682

Views

769

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Predefined-time sliding mode control for rigid spacecraft

Spacecraft structure reconstruction with fiber bragg grating and incremental extreme learning machine

Applications and development of space heat switches in spacecraft thermal control

Related Author

Hua-yang SAI

Zhen-bang XU

Shuai HE

En-yang ZHANG

Chao QIN

Fu-sheng ZHANG

Lei ZHANG

Yang ZHAO

Related Institution

CAS Key Laboratory of On-orbit Manufacturing and Integration for Space Optics System， Changchun Institute of Optics， Fine Mechanics and Physics， CAS

University of Chinese Academy of Sciences

Materials and Optoelectronics Research Center， University of Chinese Academy of Sciences

Beijing Institute of Spacecraft System Engineering

College of Control Science and Engineering， Shandong University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰