Adaptive feature matching network for object occlusion

MAO Lin; SU Hongyang; YANG Dawei

doi:10.37188/OPE.20233122.3345

您当前的位置：

首页 >

文章列表页 >

Adaptive feature matching network for object occlusion

Information Sciences | 更新时间：2023-11-28

- Adaptive feature matching network for object occlusion
- Optics and Precision Engineering Vol. 31, Issue 22, Pages: 3345-3356(2023)
- 作者机构：
  
  大连民族大学机电工程学院，辽宁大连 116600
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233122.3345
  CLC： TP391.41
- Received：26 April 2023，
  
  Revised：06 June 2023，
  
  Published：25 November 2023
- 稿件说明：
移动端阅览
毛琳,苏宏阳,杨大伟.针对目标遮挡的自适应特征匹配网络[J].光学精密工程,2023,31(22):3345-3356.

MAO Lin,SU Hongyang,YANG Dawei.Adaptive feature matching network for object occlusion[J].Optics and Precision Engineering,2023,31(22):3345-3356.
毛琳,苏宏阳,杨大伟.针对目标遮挡的自适应特征匹配网络[J].光学精密工程,2023,31(22):3345-3356. DOI： 10.37188/OPE.20233122.3345.

MAO Lin,SU Hongyang,YANG Dawei.Adaptive feature matching network for object occlusion[J].Optics and Precision Engineering,2023,31(22):3345-3356. DOI： 10.37188/OPE.20233122.3345.

摘要

针对目标跟踪中常见的目标遮挡问题，提出一种自适应特征匹配网络。该网络通过计算查询帧与记忆帧像素级相似度，将目标和背景相似度关系进行编码，获得像素级相似度矩阵，并通过将查询帧与记忆帧分头的方式，实现多维度相似性计算，以关注查询帧中更多区域，并通过计算的相似度矩阵，对记忆帧进行自适应特征加权，以此来提高目标跟踪的精度和鲁棒性。此外，特征记忆网络可以对记忆帧进行挑选和保存，为特征匹配提供额外表观信息，使网络隐性学习目标运动趋势，进而实现更好的跟踪结果。实验结果表明，该方法在GOT-10k，LaSOT等数据集上表现良好，在GOT-10k数据集上，本文所提出的算法与STMTrack算法相比，

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=50591471&type=

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=50591470&type=

4.91066647

2.37066650

值提升1.8%。根据可视化结果显示，本文算法在目标遮挡、消失等挑战中，具有更强的鲁棒性。

Abstract

An adaptive feature-matching network is proposed to solve the common problem of object occlusion in object tracking. By calculating the pixel-level similarity between the query and memory frames， the network encodes the similarity relationship between an object and its background and obtains a pixel-level similarity matrix. By separating the query and memory frames， the network calculates the multi-dimensional similarity to focus on more areas in the query frame and adaptively weighs the memory frame through the calculated similarity matrix to improve the accuracy and robustness of object tracking. Additionally， the feature memory network selects and saves the memory frames， provides additional apparent information for feature matching， and allows the network to implicitly learn the moving trend of an object to achieve better tracking results. Experimental results show that this method performs well on GOT-10k， LaSOT， and other datasets. On GOT-10k datasets， compared with the STMTrack algorithm， the value of the proposed algorithm is improved by 1.8%. The visualization results show that the proposed algorithm is more robust in meeting the challenges of object occlusion and disappearance.

关键词

Keywords

references

DANELLJAN M ， BHAT G ， KHAN F S ， et al . ATOM： accurate tracking by overlap maximization ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 4655 - 4664 . doi: 10.1109/cvpr.2019.00479 http://dx.doi.org/10.1109/cvpr.2019.00479

DANELLJAN M ， VAN GOOL L ， TIMOFTE R . Probabilistic regression for visual tracking ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 7181 - 7190 . doi: 10.1109/cvpr42600.2020.00721 http://dx.doi.org/10.1109/cvpr42600.2020.00721

LI B ， YAN J J ， WU W ， et al . High performance visual tracking with siamese region proposal network ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 8971 - 8980 . doi: 10.1109/cvpr.2018.00935 http://dx.doi.org/10.1109/cvpr.2018.00935

FAN H ， LING H B . Siamese cascaded region proposal networks for Real-Time visual tracking ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 7944 - 7953 . doi: 10.1109/cvpr.2019.00814 http://dx.doi.org/10.1109/cvpr.2019.00814

LI B ， WU W ， WANG Q ， et al . SiamRPN： evolution of siamese visual tracking with very deep networks ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 4277 - 4286 . doi: 10.1109/cvpr.2019.00441 http://dx.doi.org/10.1109/cvpr.2019.00441

WANG Q ， ZHANG L ， BERTINETTO L ， et al . Fast online object tracking and segmentation： a unifying approach ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 1328 - 1338 . doi: 10.1109/cvpr.2019.00142 http://dx.doi.org/10.1109/cvpr.2019.00142

LUKEŽIČ A ， MATAS J ， KRISTAN M . D3S-A discriminative single shot segmentation tracker ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 7131 - 7140 . doi: 10.1109/cvpr42600.2020.00716 http://dx.doi.org/10.1109/cvpr42600.2020.00716

XIE F ， WANG C Y ， WANG G T ， et al . Correlation-Aware deep tracking ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 18 - 24 ， 2022， New Orleans， LA， USA. IEEE ， 2022： 8741 - 8750 . doi: 10.1109/cvpr52688.2022.00855 http://dx.doi.org/10.1109/cvpr52688.2022.00855

CUI Y T ， JIANG C ， WANG L M ， et al . MixFormer： End-To-End tracking with iterative mixed attention ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 18 - 24 ， 2022， New Orleans， LA， USA. IEEE ， 2022： 13598 - 13608 . doi: 10.1109/cvpr52688.2022.01324 http://dx.doi.org/10.1109/cvpr52688.2022.01324

OH S W ， LEE J Y ， XU N ， et al . Video object segmentation using Space-Time memory networks ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 9225 - 9234 . doi: 10.1109/iccv.2019.00932 http://dx.doi.org/10.1109/iccv.2019.00932

XIE H Z ， YAO H X ， ZHOU S C ， et al . Efficient regional memory network for video object segmentation ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 20 - 25 ， 2021， Nashville， TN， USA. IEEE ， 2021： 1286 - 1295 . doi: 10.1109/cvpr46437.2021.00134 http://dx.doi.org/10.1109/cvpr46437.2021.00134

PAUL M ， DANELLJAN M ， VAN GOOL L ， et al . Local memory attention for fast video semantic segmentation ［C］. 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. 27-1，2021 ， Prague， Czech Republic. IEEE ， 2021 ： 1102 - 1109 . doi: 10.1109/iros51168.2021.9636192 http://dx.doi.org/10.1109/iros51168.2021.9636192

WANG H ， WANG W N ， LIU J . Temporal memory attention for video semantic segmentation ［C］. 2021 IEEE International Conference on Image Processing （ICIP） . 19 - 22 ， 2021， Anchorage， AK， USA. IEEE ， 2021： 2254 - 2258 . doi: 10.1109/icip42928.2021.9506731 http://dx.doi.org/10.1109/icip42928.2021.9506731

FU Z H ， LIU Q J ， FU Z H ， et al . STMTrack： Template-Free visual tracking with Space-Time memory networks ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 20 - 25 ， 2021， Nashville， TN， USA. IEEE ， 2021： 13769 - 13778 . doi: 10.1109/cvpr46437.2021.01356 http://dx.doi.org/10.1109/cvpr46437.2021.01356

XU Y D ， WANG Z Y ， LI Z X ， et al . SiamFC++： towards robust and accurate visual tracking with target estimation guidelines ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12549 - 12556 . doi: 10.1609/aaai.v34i07.6944 http://dx.doi.org/10.1609/aaai.v34i07.6944

MAYER C ， DANELLJAN M ， BHAT G ， et al . Transforming model prediction for tracking ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 18 - 24 ， 2022， New Orleans， LA， USA. IEEE ， 2022： 8721 - 8730 . doi: 10.1109/cvpr52688.2022.00853 http://dx.doi.org/10.1109/cvpr52688.2022.00853

ZHOU Z K ， PEI W J ， LI X ， et al . Saliency-Associated object tracking ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . 10 - 17 ， 2021， Montreal， QC， Canada. IEEE ， 2022： 9846 - 9855 . doi: 10.1109/iccv48922.2021.00972 http://dx.doi.org/10.1109/iccv48922.2021.00972

BHAT G ， DANELLJAN M ， VAN GOOL L ， et al . Know Your Surroundings ： Exploiting Scene Information for object Tracking ［M］. Computer Vision - ECCV 2020 . Cham ： Springer International Publishing ， 2020 ： 205 - 221 . doi: 10.1007/978-3-030-58592-1_13 http://dx.doi.org/10.1007/978-3-030-58592-1_13

YU Y C ， XIONG Y L ， HUANG W L ， et al . Deformable siamese attention networks for visual object tracking ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 6727 - 6736 . doi: 10.1109/cvpr42600.2020.00676 http://dx.doi.org/10.1109/cvpr42600.2020.00676

ZHANG Z P ， PENG H W ， FU J L ， et al . Ocean ： Object - Aware Anchor - Free Tracking ［M］. Computer Vision - ECCV 2020 . Cham ： Springer International Publishing ， 2020 ： 771 - 787 . doi: 10.1007/978-3-030-58589-1_46 http://dx.doi.org/10.1007/978-3-030-58589-1_46

BHAT G ， JOHNANDER J ， DANELLJAN M ， et al . Unveiling the Power of Deep Tracking ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 493 - 509 . doi: 10.1007/978-3-030-01216-8_30 http://dx.doi.org/10.1007/978-3-030-01216-8_30

CHEN Z D ， ZHONG B N ， LI G R ， et al . SiamBAN： target-aware tracking with Siamese box adaptive network ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2022 ： 1 - 17 . doi: 10.1109/tpami.2022.3195759 http://dx.doi.org/10.1109/tpami.2022.3195759

WANG N ， ZHOU W G ， WANG J ， et al . Transformer meets tracker： exploiting temporal context for robust visual tracking ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 20 - 25 ， 2021， Nashville， TN， USA. IEEE ， 2021： 1571 - 1580 . doi: 10.1109/cvpr46437.2021.00162 http://dx.doi.org/10.1109/cvpr46437.2021.00162

BHAT G ， DANELLJAN M ， VAN GOOL L ， et al . Learning discriminative model prediction for tracking ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 6181 - 6190 . doi: 10.1109/iccv.2019.00628 http://dx.doi.org/10.1109/iccv.2019.00628

VOIGTLAENDER P ， LUITEN J ， TORR P H S ， et al . Siam R-CNN： visual tracking by re-detection ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 13 - 19 ， 2020， Seattle， WA， USA. IEEE ， 2020： 6577 - 6587 . doi: 10.1109/cvpr42600.2020.00661 http://dx.doi.org/10.1109/cvpr42600.2020.00661

YAN B ， PENG H W ， FU J L ， et al . Learning Spatio-Temporal transformer for visual tracking ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . 10 - 17 ， 2021， Montreal， QC， Canada. IEEE ， 2022： 10428 - 10437 . doi: 10.1109/iccv48922.2021.01028 http://dx.doi.org/10.1109/iccv48922.2021.01028

ZHANG Z P ， LIU Y H ， WANG X ， et al . Learn to Match： automatic matching network design for visual tracking ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . 10 - 17 ， 2021， Montreal， QC， Canada. IEEE ， 2022： 13319 - 13328 . doi: 10.1109/iccv48922.2021.01309 http://dx.doi.org/10.1109/iccv48922.2021.01309

Views

241

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Binocular vision SLAM with fused point and line features in weak texture environment

A visual SLAM algorithm based on adaptive inertial navigation assistant feature matching

Camera pose estimation based on 2D image and 3D point cloud fusion

Restoration of blurred infrared image by adaptive double edge method

Infrared-visible video automatic registration with contour feature matching

Related Author

ZHANG Zhaoxiang

GONG Kun

XU Xin

CHEN Xiaoqing

XU Yuelei

ZHANG Letian

XIAO Guorui

XU Qing

Related Institution

National Innovation Institute of Defense Technology， Academy of Military Science

Unmanned System Research Institute， Northwestern Polytechnical University

Geography Space Information Institute， Information Engineering University

College of Electronic and Information Engineering， Harbin Institute of Technology

Infrared Detection Technology Research & Development Center of CASC

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰