基于孪生网络的航天器部件追踪

基于孪生网络的航天器部件追踪 Siamese network based satellite component tracking 1 2 3 first-author 孙运达（1995-），男，河北承德人，硕士研究生，2018年于北京交通大学获得学士学位，主要从事机器视觉方面的研究。E-mail： sunyunda18@csu.ac.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183661&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183663&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183662&type= 22.01333237 32.00400543 孙运达 （1995-），男，河北承德人，硕士研究生，2018年于北京交通大学获得学士学位，主要从事机器视觉方面的研究。E-mail： sunyunda18@csu.ac.cn sunyunda18@csu.ac.cn 1 2 3 corresp E-mail： wanxue@csu.ac.cn E-mail： wanxue@csu.ac.cn 万　雪（1988-），女，湖北武汉人，研究员，硕士生导师，2015年于英国帝国理工大学获得博士学位，主要从事计算机视觉算法研究。E-mail：wanxue@csu.ac.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183665&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183667&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183666&type= 22.01332855 32.00400543 万　雪 （1988-），女，湖北武汉人，研究员，硕士生导师，2015年于英国帝国理工大学获得博士学位，主要从事计算机视觉算法研究。E-mail： wanxue@csu.ac.cn wanxue@csu.ac.cn 1 2 3 中国科学院大学，北京 100049 中国科学院大学，北京 100049 University of Chinese Academy of Sciences， Beijing 100049， China University of Chinese Academy of Sciences， Beijing 100049， China 中国科学院 空间应用工程与技术中心，北京 100094 中国科学院 空间应用工程与技术中心，北京 100094 Technology and Engineering Center for Space Utilization， Chinese Academy of Sciences， Beijing 100094， China Technology and Engineering Center for Space Utilization， Chinese Academy of Sciences， Beijing 100094， China 中国科学院 太空应用重点实验室，北京 100094 中国科学院 太空应用重点实验室，北京 100094 Key Laboratory of Space Utilization， Chinese Academy of Sciences， Beijing 100094， China Key Laboratory of Space Utilization， Chinese Academy of Sciences， Beijing 100094， China 为了满足空间任务实施过程中对航天器部件的精细定位需求，针对相同类别部件易出现的混淆问题，本文提出了一种基于孪生网络结构的航天器部件追踪算法。首先通过神经网络模型将航天器部件追踪问题描述为基于数据驱动的航天器部件相似性度量问题，以改进AlexNet网络结构为孪生单元设计本文所用孪生网络模型。其次，使用公开大型数据集GOT-10k训练孪生网络，以随机梯度下降作为网络优化方法，提升网络表征能力。最后针对航天器同类部件外观相似造成的定位混淆问题，提出一种结合运动时序特征的追踪策略，提高了追踪精度。以ESA公开的航天器视频数据作为测试数据，验证所提出算法性能，实验结果表明：本文所提出算法在未使用航天器相关数据训练的条件下，当部件定位框与部件真值图像面积重合度为50%时，航天器部件的追踪成功率能够达到93.4%，速度达到38FPS，基本满足航天器部件追踪稳定可靠、精度高、抗干扰能力强等要求。 In order to meet the requirements for precise positioning of spacecraft components during the implementation of space missions， this paper proposes a spacecraft component tracking algorithm based on the Siamese network structure for the confusion problem of similar components. Firstly， the space craft component tracking problem is modeled as a data-driven spacecraft component similarity measurement problem via the neural network. This paper designed a Siamese network by improving the structure of the AlexNet network as the Siamese unit. Secondly， a large public dataset GOT-10k is used to train the Siamese network. Stochastic gradient descent is used as a network optimization method to improve the network representation ability. Finally， aiming at the positioning confusion caused by the similar appearance of the similar parts of the spacecraft， a tracking strategy combining the characteristics of the motion sequence is proposed to improve the tracking accuracy. The spacecraft video data published by ESA is used as testing data to verify the performance of the proposed algorithm. The experimental results show that the proposed algorithm， without using spacecraft-related data for training， achieves the tracking success rate of the spacecraft components 93.4% in the speed of 38FPS when the area of the part positioning frame and the true value image of the part coincide is 50%. This demonstrate that the proposed method is able to meet the requirements of stable and reliable tracking of spacecraft components， high precision， and strong anti-interference ability. 孪生网络 目标追踪 航天器部件 深度学习 siamese network object tracking spacecraft component deep learning 1 引　言 1 自1957年第一颗人造卫星升空一来，据不完全统计，全世界共执行4000余次发射任务。各类航天器在科研、国防、商业等领域发挥着越来越重要的作用的同时也让空间环境变得愈发复杂，复杂的空间环境增加了空间任务的危险性。在航天器的在轨维修，交会对接等空间任务中，能否快速、准确地感知和定位航天器直接决定任务的成败。而对航天器的感知最终往往集中在其某个部件上，因此，持续跟踪人造卫星部件是保证空间任务顺利完成的基础 ［ 1 1 ］ 。 在图像或视频中持续准确提取视觉目标的提取方法主要手段之一是目标跟踪。目标跟踪，其任务是在给定某视频序列中获取特定运动目标并连续获取它随时间形成的目标轨迹 ［ 2 2 - 5 5 2-5 ］ 。 视觉目标跟踪（Visual Object Tracking），本文所指均为单目标视觉跟踪，其任务是在给定某视频序列初始帧的目标尺寸与位置的条件下，预测后续视频帧中该目标的尺寸与位置 ［ 2 2 ］ 。作为计算机视觉领域的基础问题之一，视觉目标追踪在移动机器人，自动驾驶，人机交互，视频监控等领域具有非常广阔的应用前景 ［ 6 6 - 8 8 6-8 ］ 。传统的目标跟踪算法分为两大类：生成模型（generative）方法和判别（discriminative）模型方法 ［ 2 2 ］ 。受深度学习强大特征提取能力的驱动，在两大追踪框架下又派生出许多非常优秀的方法。 生成模型方法专注对目标本身的刻画，通过构建目标模型以预测视频序列中目标的位置，比较突出的算法有对动态系统的状态序列进行先行最小方差估计的卡尔曼滤波算法 ［ 9 9 ］ ；利用梯度优化方法实现快速目标定位的mean-shift算法 ［ 10 10 ］ 等等。判别类方法更关注于目标和背景的区别，以此区分目标和背景，以训练好的分类器寻找最优目标区域。判别类方法中比较典型的有Sam Hare等人利用SVM构建目标分类器以实现目标跟踪的Struck算法 ［ 11 11 ］ ；Kalal等人提出的跟踪-学习-检测（Tracking-Learning-Detection）TLD算法 ［ 12 12 ］ 。Bolme等人在2010年将相关滤波引入目标跟踪领域，提出MOSSE方法 ［ 13 13 ］ 。在MOSSE的基础上，Henriques J.F在相关滤波中加入岭回归和循环位移的密集采样提出KCF算法 ［ 14 14 ］ 。Martin Danelljan通过忽略位移样本的边界部分提出SRDCF ［ 15 15 ］ ，缓解边界效应问题。训练数据的极大丰富，一些学者提出了基于深度特征或者深度学习的方法，SeungHoon Hong 等人结合卷积神经网络与支持向量机提出了CNN-SVM算法 ［ 16 16 ］ 。Bertinetto等人利用端到端的训练方式采用孪生网络结构提出了一种新颖的目标跟踪网络SiamFC ［ 17 17 ］ 。 目前，太空场景下针对人造卫星部件目标的追踪算法尚不完善，主要原因有以下几点：从数据层面上看，主要原因是太空场景下，可获取的样本数量不足，无法满足机器学习特别是深度学习对数据的大量需求；从场景本身看，太空场景中的航天器运动自由无序，存在大量旋转、形变、尺度变化的情况，且航天器同类部件较为相似易混淆视觉感知，导致同一个目标在不同光强下差异很大，不同目标在同一场景下差异较小，以上存在种种问题都对目标跟踪算法提出相当大的挑战。 2 孪生神经网络 1 2.1　孪生网络结构 2 孪生网络结构（Siamese Network），如 图1 图1 所示，具有相同权重的两个神经网络可以将不同的输入映射到相同的特征空间，在该特征空间中可以度量两个输入的相似程度。孪生网络的两个输入 <math id="M1"><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183675&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183674&type= 8.29733276 4.14866638 ，两个输入分别输入两个神经网络，神经网络将其映射到相同特征空间 <math id="M2"><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183671&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183670&type= 2.45533323 2.79399991 中，得到输出 <math id="M3"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183673&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183672&type= 6.51933336 4.57200003 。以特征编码距离衡量其相似性，则 <math id="M4"><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183675&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183674&type= 8.29733276 4.14866638 的距离 <math id="M5"><mi>d</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183679&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183678&type= 14.05466747 4.48733330 定义如 公式（1） 公式（1） ， <math id="M6"><mi>d</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183679&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183678&type= 14.05466747 4.48733330 越小则表示输入越相似。 <math display="block" id="M7"><mi>d</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><msubsup><mrow><mfenced open="‖" close="" separators="|"><mrow><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>-</mo><mfenced open="" close="‖" separators="|"><mrow><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow></mfenced></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183682&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183680&type= 46.05867004 6.85799980 . 孪生网络结构对网络输入相似性的度量是非语义的，这种相似度量的思想与模板匹配思想类似，因此使用当前数量大，监督信息丰富的大型数据集训练孪生网络结构，提升网络对目标的表征能力，可以缓解空间目标数据不足的问题。 如 图2 图2 ，该网络结构的训练过程可以理解为学习一个网络模型，该网络模型使得真实正样本的输入到预测为正样本的距离远远小于预测为负样本的距离。 2.2　孪生网络结构设计 2 若 图1 图1 中网络输入为图像数据，则可度量两个输入图像的相似度，找出最相似位置，将航天器部件追踪问题描述为一个基于孪生神经网络的相似性度量问题。即学习一个目标函数 <math id="M8"><mi>f</mi><mo stretchy="false">(</mo><mi>z</mi><mo>,</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183689&type= 11.09133339 3.80999994 ，找到当前待搜索图像 <math id="M9"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183692&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183691&type= 2.03200006 2.79399991 中与搜索目标 <math id="M10"><mi>z</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183695&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183694&type= 1.69333339 2.79399991 最相似的位置，且该位置与目标真值所在位置距离尽可能小。本文以卷积神经网络描述目标函数 <math id="M11"><mi>f</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183697&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183696&type= 1.10066664 3.64066648 。Krizhevsky等人设计的AlexNet ［ 18 18 ］ 是一个用作图像分类的神经网络，具有比较优秀的特征提取能力，基于此本文提出了一个AlexNet的改进版本，使其适应目标追踪任务。改进的AlexNet相比原网络具有以下区别，改进后的网络结构与原网络结构对比如 表1 表1 所示。 层 AlexNet 改进AlexNet 输入 224×224×3 255×255×3 127×127×3 卷积层1 48×11×11×3×2 padding = 0 96×11×11×3 Batch Normalization padding=0 卷积层2 128×5×5×48×2 padding=2 256×5×5×96 Batch Normalization padding=0 卷积层3 192×3×3×128 padding=1 384×3×3×256 Batch Normalization padding=0 卷积层4 192×3×3×192 padding=1 384×3×3×384 Batch Normalization padding=0 卷积层5 128×3×3×192 padding=1 256×3×3×384 Batch Normalization padding=0 全连接层6（相关计算层6） 2 048×2 6×6×256 22×22×256 全连接层7 2 048×2 分类层 1 000 （1） AlexNet为了实现图像分类功能，在网络最后使用两个全连接层与一个分类层。改进Alexnet网络去掉了这三层只保留其特征提取能力。 （2）为提升网络的表征能力，缓解网络训练中的过拟合现象，在前四层卷积操作之后激活函数之前对特征图进行批归一化计算即BN（Batch Normalization），防止网络对于明显相应不敏感。 （3）原始AlexNet使用Padding计算以补全特征图尺寸，但这一操作会使目标区域趋向于集中在图像中心造成误差，所以在本网络结构中去掉Padding计算。 （4）为令改进AlexNet可以度量网络输入的相关性，在完成网络输入的特征提取过程即前五层卷积层后，增加相关计算层，该层将经特征提取后的搜索图像特征图与模板图像特征图进行卷积，得到两者相似性响应。 （5）由于本文改进的网络结构为全卷积网络，因此对网络输入图片的尺寸没有要求，因此可以满足目标模板与待追踪图像尺寸不同的需求。 需要指出的是，在逻辑上孪生网络结构是并行的两个输入对应两个相同的网络，在实际算法实现中是两个输入串行输入到同一个网络得到结果。 3 基于孪生神经网络的目标追踪 1 3.1　结合前后时序的目标追踪 2 基于上述描述，本论文所提出算法主要包含算法的前向过程与网络的训练过程，前向流程图如 图3 图3 ， <math id="M12"><mi>z</mi><mo>,</mo><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183701&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183700&type= 5.50333309 3.21733332 分别表示追踪目标与待搜索图像。 <math id="M13"><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183779&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183778&type= 2.20133328 3.64066648 表示神经网络特征提取过程，由特征图到追踪结果的计算过程记为 h ， R 表示目标相对上一帧的位移。算法的前向过程可被描述为 公式（2） 公式（2） 。算法的训练过程是指使用大型训练数据集进行网络训练，提升网络特征表示能力的过程。 <math display="block" id="M14"><mi>R</mi><mo>=</mo><mi>f</mi><mo stretchy="false">(</mo><mi>z</mi><mo>,</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mi>h</mi><mo stretchy="false">(</mo><mi>ϕ</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo>,</mo><mi>ϕ</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183705&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183704&type= 46.39733505 3.80999994 . 计算过程 h 的描述如式（3）~ 式（7） 式（7） ，本文所使用网络 <math id="M15"><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183779&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183778&type= 2.20133328 3.64066648 为全卷积神经网络，不需要目标图像尺寸与待搜索图像具有同样尺寸，使待搜索图像具有更大的尺寸，令目标图像在待搜索图像上进行平移窗口的相似计算得到相似相应图 s_map 。此处的计算过程被描述为一个互相关运算，计算过程如 公式（3） 公式（3） 和 图4 图4 。经互相关计算后的特征图尺寸为17×17，进行16倍上采样得到272×272尺寸的相似相应图，以保持尺寸与输入图像相近，利于后续目标位置映射。 <math display="block" id="M16"><mi mathvariant="normal">s</mi><mo>_</mo><mi>m</mi><mi>a</mi><mi>p</mi><mo>=</mo><mi mathvariant="normal">u</mi><mi>p</mi><mi>s</mi><mi>a</mi><mi>m</mi><mi>p</mi><mi>l</mi><mi>e</mi><mo stretchy="false">(</mo><mi>ϕ</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mi mathvariant="normal">*</mi><mi>ϕ</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183713&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183712&type= 49.86866760 3.72533321 . 依据 公式（3） 公式（3） 中的相似相应图，获取其响应值最大位置的坐标与上一时刻k的目标位置作差，得到目标在相应图上相对上一帧的位移 <math id="M17"><mi mathvariant="normal">R</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183719&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183718&type= 3.30200005 3.21733332 。 <math display="block" id="M18"><msub><mrow><msup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow><mrow><mi mathvariant="normal">k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mi>s</mi><mo>_</mo><mi>m</mi><mi>a</mi><msub><mrow><mi>p</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>-</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mi>s</mi><mo>_</mo><mi>m</mi><mi>a</mi><msub><mrow><mi>p</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183721&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183720&type= 73.23667145 4.91066647 . 本论文中输入待搜索图像 x 尺寸为255×255，将 <math id="M19"><msubsup><mrow><mi>R</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183723&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183722&type= 7.28133297 3.97933316 经过网络反向运算可以得到目标在待搜索图像上相对上一帧的位移 <math id="M20"><msub><mrow><mi>R</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183725&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183724&type= 7.28133297 3.72533321 ，计算过程如 公式（5） 公式（5） 其中strdide表示在网络前向特征提取过程中总步长，在本文为8，即表示在17*17的相似相应图中相邻1个像素则在255×255图像中相邻8个像素。 <math display="block" id="M21"><msub><mrow><mi>R</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mfrac><mrow><msubsup><mrow><mi>R</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>'</mi></mrow></msubsup></mrow><mrow><mn mathvariant="normal">16</mn></mrow></mfrac><mo>×</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mo>×</mo><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183727&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183726&type= 40.63999939 7.53533268 ， 其中：σ表示时序信息，追踪过程中，为提升算法速度，本文所提出方法结合追踪的时序信息：在 k+1 时刻的待搜索图像 <math id="M22"><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183745&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183744&type= 6.60400009 3.72533321 以 k 时刻目标尺寸与位置 <math id="M23"><msub><mrow><mi>R</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>,</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>,</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183731&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183730&type= 25.23066711 4.74133301 的中心 <math id="M24"><mo stretchy="false">(</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183734&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183732&type= 10.07533360 4.74133301 为 <math id="M25"><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183745&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183744&type= 6.60400009 3.72533321 的图像中心，尺寸为C，并在输入网络前将 <math id="M26"><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183745&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183744&type= 6.60400009 3.72533321 尺寸调整为255×255。 <math display="block" id="M27"><mi>σ</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>C</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow><mrow><mn mathvariant="normal">255</mn></mrow></mfrac><mo>,</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mroot><mrow><mfrac><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">3</mn><msub><mrow><mi>w</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>+</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>+</mo><mn mathvariant="normal">3</mn><msub><mrow><mi>h</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">4</mn><msub><mrow><mi>w</mi></mrow><mrow><mi>k</mi></mrow></msub><msub><mrow><mi>h</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfrac></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183740&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183739&type= 66.97133636 9.90600014 ， 尺寸C与上一帧目标尺寸相关，自适应调整搜索区域为上一帧目标尺寸的4倍以上。 公式（5） 公式（5） 的提出，保证了追踪过程的前后时序关联，从而避免了航天器同类部件对追踪过程的干扰。定义目标位置为 pos ，则最终预测的目标位置为： <math display="block" id="M28"><mi>p</mi><mi>o</mi><msub><mrow><mi>s</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi>p</mi><mi>o</mi><msub><mrow><mi>s</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>+</mo><msub><mrow><mi>R</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183743&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183742&type= 32.59666443 4.57200003 ， 为了得到更加准确的追踪结果，待搜索图像 <math id="M29"><msub><mrow><mi>x</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183745&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183744&type= 6.60400009 3.72533321 使用多个尺度下的相似计算结果，选取最高相应作为追踪结果，尺度因子 <math id="M30"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183747&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183746&type= 1.18533325 2.79399991 为 <math id="M31"><mn mathvariant="normal">1.037</mn><mtext> </mtext><msup><mrow><mn mathvariant="normal">5</mn></mrow><mrow><mo stretchy="false">[</mo><mo>-</mo><mn mathvariant="normal">2</mn><mo>,</mo><mo>-</mo><mn mathvariant="normal">0.5,1</mn><mo stretchy="false">]</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183749&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183748&type= 23.11400032 3.04800010 。 3.2　网络训练 2 网络训练目的是提高 公式（3） 公式（3） 中 <math id="M32"><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183779&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183778&type= 2.20133328 3.64066648 的特征提取与判别能力，以判别方法对正负样本进行网络训练，定义正样本的概率如 公式（8） 公式（8） ： <math display="block" id="M33"><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><mo>-</mo><mi>v</mi></mrow></msup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183752&type= 26.33133125 7.87400007 . 同理，负样本的概率如 公式（9） 公式（9） ： <math display="block" id="M34"><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><mi>v</mi></mrow></msup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183756&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183754&type= 32.93532944 7.87400007 . 为评估网络训练过程中当前网络模型的性能，计算交叉熵，使用logistic loss作为孪生网络结构的损失函数，如 公式（10） 公式（10） ，并使用误差反向传播的方式训练网络： <math display="block" id="M35"><mi>l</mi><mo stretchy="false">(</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>+</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mo>-</mo><mi>y</mi><mi>v</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183758&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183757&type= 45.97399902 3.80999994 ， 上 式（10） 式（10） 中 <math id="M36"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183764&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183763&type= 1.86266661 2.79399991 表示样本-搜索图像的实际值， <math id="M37"><mi>y</mi><mo>∈</mo><mo stretchy="false">{</mo><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183762&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183761&type= 22.18266678 3.80999994 表示该位置的标注真值。训练过程中，利用全卷积网络的性质：包含模板图像和较大的搜索图像。通过窗口滑动方式，将产生许多有效的样本，这些样本构成了一个以 <math id="M38"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183764&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183763&type= 1.86266661 2.79399991 值为基础的图 <math id="M39"><mi>D</mi><mo>→</mo><mi>R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183766&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183765&type= 10.32933331 2.79399991 。定义图 <math id="M40"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183768&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183767&type= 2.79399991 2.79399991 的损失为图中点损失的平均值，即有： <math display="block" id="M41"><mi>L</mi><mo stretchy="false">(</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>D</mi></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi>u</mi><mo>∈</mo><mi>D</mi></mrow></munder><mrow><mi>l</mi><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">[</mo><mi>u</mi><mo stretchy="false">]</mo><mo>,</mo><mi>v</mi><mo stretchy="false">[</mo><mi>u</mi><mo stretchy="false">]</mo><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183771&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183770&type= 50.79999924 8.63599968 . 对图 <math id="M42"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183773&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183772&type= 2.79399991 2.79399991 中的每一点 <math id="M43"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183775&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183774&type= 1.86266661 2.79399991 都需要一个真值标注 <math id="M44"><mi>y</mi><mo stretchy="false">[</mo><mi>u</mi><mo stretchy="false">]</mo><mo>∈</mo><mo stretchy="false">{</mo><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183777&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183776&type= 28.78666496 3.80999994 ，网络 <math id="M45"><mi>ϕ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183779&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183778&type= 2.20133328 3.64066648 中的卷积核参数 <math id="M46"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183782&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183780&type= 1.77800000 2.79399991 在实验中以pytorch框架通过随机梯度下降法最小化 公式（11） 公式（11） 所描述问题得到（12）： <math display="block" id="M47"><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>θ</mi></mrow></munder><mo>=</mo><munder><mrow><mi>E</mi></mrow><mrow><mo stretchy="false">(</mo><mi>z</mi><mo>,</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></munder><mi>L</mi><mo stretchy="false">(</mo><mi>y</mi><mo>,</mo><mi>f</mi><mo stretchy="false">(</mo><mi>z</mi><mo>,</mo><mi>x</mi><mo>;</mo><mi>θ</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183784&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183783&type= 50.12266922 5.24933338 . 训练过程中忽略所跟踪目标的具体类别，并在不破坏图像长宽比的情况下对每帧图像中跟踪目标的长宽比进行归一化。通过判断得分图中每一点距离目标中心c的距离与E（以中心c为圆点，与网络步长 <math id="M48"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183785&type= 1.69333339 2.79399991 相关）的大小关系，来决定改点为正样本还是负样本，划分方式如（13）。 <math display="block" id="M49"><mi>y</mi><mo stretchy="false">[</mo><mi>u</mi><mo stretchy="false">]</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mo>+</mo><mn mathvariant="normal">1</mn><mtext>    </mtext><mi mathvariant="normal">i</mi><mi mathvariant="normal">f</mi><mtext>   </mtext><mi>k</mi><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi>u</mi><mo>-</mo><mi>c</mi><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mo>≤</mo><mi>E</mi></mtd></mtr><mtr><mtd><mo>-</mo><mn mathvariant="normal">1</mn><mtext>    </mtext><mi>o</mi><mi>t</mi><mi>h</mi><mi>e</mi><mi>r</mi><mi>w</mi><mi>i</mi><mi>s</mi><mi>e</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183788&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183787&type= 47.58266449 8.97466660 . 由于正负样本分布的不平衡，对正负样本的损失进行加权融合，以提高网络训练性能，防止不平衡的样本主导整个训练过程。 4 实验设计与结果 1 4.1　网络训练数据 2 训练数据采用中科院自动化所开放的GOT-10k数据集 ［ 19 19 ］ ，该数据集是由中国科学院自动化研究所发布的目标跟踪数据集，目标均为在现实世界中移动的物体，场景为通用场景。目标跟踪问题本质上是对类别不敏感的图像二分类问题，本论文使用无数据泄露的方式，从GOT-10k训练集中随机选取500段视频作为训练数据，训练数据中不包含空间目标数据。训练网络的特征提取能力与判别目标与背景的能力。成功解决了航天器数据不足的问题。 测试数据选用ESA开放的人造卫星仿真视频。本论文所使用训练数据集与不存在与测试数据集交叉的数据，即不存在数据泄露现象。因此本实验可以验证本论文所提出的基于公开数据驱动进行航天器部件追踪的思路。本文所跟踪目标分别为卫星太阳能帆板与卫星主体。 图5 图5 图6所示是测试数据中所跟踪的卫星主体及太阳能帆板示例图。 图7 图7 是所选取测试视频的据部分数据，在这段视频中，图a和d存在卫星整体的大幅度改变及目标遮挡现象，图a和b存在较大的光照条件变化，图a和c存在较大幅度的目标旋转。本文所提出算法分别实现对卫星太阳能帆板以及卫星主体部分的跟踪，对以上所提到的挑战均具有较好的鲁棒性。 4.2　实验结果与精度评定 2 为评估算法跟踪的精度，以跟踪结果与真实标注结果的交并比作为评价指标衡量算法的性能。将跟踪结果与真实结果的交并比定义如 公式（14） 公式（14） ： <math display="block" id="M50"><mi mathvariant="normal">I</mi><mi mathvariant="normal">O</mi><msub><mrow><mi mathvariant="normal">U</mi></mrow><mrow><mi mathvariant="normal">交</mi><mi mathvariant="normal">并</mi><mi mathvariant="normal">比</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">结</mi><mi mathvariant="normal">果</mi></mrow></msub><mo>⋂</mo><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">真</mi><mi mathvariant="normal">值</mi></mrow></msub></mrow><mrow><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">结</mi><mi mathvariant="normal">果</mi><mo>⋃</mo></mrow></msub><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">真</mi><mi mathvariant="normal">值</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183799&type= 35.98332977 9.14400005 . 公式（14） 公式（14） 中，如跟踪结果与真实标注结果重合度越高，则IOU（Intersection Over Union）值越高，反之则越小。对视频序列每帧图片计算算法结果与人工标注的交并比，如 公式（14） 公式（14） 取平均值其中res表示每帧图像的算法结果与针织标注的交并比，计算追踪平均重合率，其定义如 公式（15） 公式（15） ： <math display="block" id="M51"><mi mathvariant="normal">I</mi><mi mathvariant="normal">O</mi><msub><mrow><mi mathvariant="normal">U</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>=</mo><mfrac><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>∈</mo><mi>r</mi><mi>e</mi><mi>s</mi></mrow></munder><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">O</mi><msub><mrow><mi mathvariant="normal">U</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow><mrow><mi mathvariant="normal">视</mi><mi mathvariant="normal">频</mi><mi mathvariant="normal">帧</mi><mi mathvariant="normal">数</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183802&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19183801&type= 32.68133163 11.34533310 ， 为实现本文所提出算法，本文搭建如 表2 表2 所示实验环境作为算法运行与测试环境。 设备名称 版本号/设备型号 CPU Intel（R） Xeon（R） Gold 5115 CPU @ 2.40GHz GPU RTX 3090 TITANV 内存 220GB 操作系统版本 Ubuntu 18.04.5 LTS CUDA版本 CUDA 11.0 Python版本 Python 3.8.5 Pytorch版本 Pytorch 1.7.1 实验过程中，测试视频数据仅给出第一帧图像中目标的位置，经训练后的算法模型仅使用这一帧样本实现对整个测试视频中目标的预测。计算预测结果与标注真值的交并比，并以该交并比作为追踪成功与否的阈值，可绘制追踪成功率曲线。 图7 图7 展示了对航天器太阳能帆板及主体的跟踪结果图。 如 图8 图8 所示，本文所提出算法对航天器太阳能帆板的跟踪结果较为稳定，可以较为准确的跟踪航天器右侧帆板，由于搜索策略侧重于上一帧目标所在位置，有效避免了算法将航天器左侧太阳能帆板误识别为跟踪目标。本文所提出算法对航天器主体跟踪结果较为准确，克服了航天器舱体旋转，光照变化，外观变化的多种挑战，没有出现目标丢失的现象。 使用基于交并比的追踪成功率评价本方法，为得到更加客观的评估效果，本实验与当前应用较为广泛的KCF与Staple算法进行分类别对比，分别对比其对太阳能帆板与舱体的追踪精度得到追踪成功率曲线，如 图9 图9 和 图10 图10 ，算法速度为38FPS。图中红色表示本方法，黄色表示KCF算法，蓝色表示Staple算法，由图可知本文提出方法完全包裹了另外两个对比算法。左侧图表示为舱体追踪曲线，右侧图为太阳能帆板追踪曲线，本文提出提出方法在舱体与太阳能帆板追踪结果交并比达到57.2%与73.1%，平均精度为66.86%，在重合率为50%的情况下，追踪成功率达到93.4%。远远优于KCF与Staple。 5 结　论 1 本文针对航天器部件追踪问题提出基于孪生网络的部件追踪算法，设计基于改进AlexNet的孪生网络结构将部件模板与待搜索图片映射到相同的特征空间，映射结果相似度最高处为追踪结果。在追踪过程中采用以上一帧追踪结果为中心进行搜索的策略，在ESA开源的公开视频数据上验证，在追踪结果与真值重合率50%的条件下，追踪成功率达到93.4%，速度达到38FPS，基本满足空间任务所需。 参考文献 CHEN B ， CAO J W ， PARRA A ， et al . Satellite pose estimation with deep landmark regression and nonlinear pose refinement ［C］. 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW） . 2728，2019 ， Seoul ， Korea （South） . IEEE ， 2019 ： 2816 - 2824 . Satellite pose estimation with deep landmark regression and nonlinear pose refinement You S ， Zhu H ， Li M ， et al . A Review of Visual Trackers and Analysis of its Application to Mobile Robot ［EB/OL］ arXiv： 1910.09761 ， 2019 . A Review of Visual Trackers and Analysis of its Application to Mobile Robot LI B ， WU W ， WANG Q ， et al . SiamRPN++： evolution of Siamese visual tracking with very deep networks ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 1520，2019 ， Long Beach， CA， USA . IEEE ， 2019 ： 4277 - 4286 . SiamRPN++： evolution of Siamese visual tracking with very deep networks MARVASTI-ZADEH S M ， CHENG L ， GHANEI-YAKHDAN H ， et al . Deep learning for visual tracking： a comprehensive survey ［J］. IEEE Transactions on Intelligent Transportation Systems ， 6478 ， PP（ 99 ）： 1 - 26 . Deep learning for visual tracking： a comprehensive survey ZOU Z X ， SHI Z W ， GUO Y H ， et al . Object detection in 20 years： a survey ［EB/OL］. arXiv： 1905.05005 ， 2019 . Object detection in 20 years： a survey 赵浩光 ， 王平 ， 董超 ， 等 . 结合多尺度视觉显著性的舰船目标检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 6 ）： 1395 - 1403 . 结合多尺度视觉显著性的舰船目标检测 ZHAO H G ， WANG P ， DONG CH ， et al . Ship detection based on the multi-scale visual saliency model ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1395 - 1403 . （in Chinese） Ship detection based on the multi-scale visual saliency model 谷雨 ， 刘俊 ， 沈宏海 ， 等 . 基于改进多尺度分形特征的红外图像弱小目标检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 6 ）： 1375 - 1386 . 基于改进多尺度分形特征的红外图像弱小目标检测 GU Y ， LIU J ， SHEN H H ， et al . Infrared dim-small target detection based on an improved multiscale fractal feature ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1375 - 1386 . （in Chinese） Infrared dim-small target detection based on an improved multiscale fractal feature 王建林 ， 付雪松 ， 黄展超 ， 等 . 改进YOLOv2卷积神经网络的多类型合作目标检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 1 ）： 251 - 260 . 改进YOLOv2卷积神经网络的多类型合作目标检测 WANG J L ， FU X S ， HUANG ZH CH ， et al . Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 251 - 260 . （in Chinese） Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network BAR-SHALOM Y ， FORTMANN T E ， CABLE P G . Tracking and data association ［J］. The Journal of the Acoustical Society of America ， 1990 ， 87 （ 2 ）： 918 - 919 . Tracking and data association COMANICIU D ， MEER P . Mean shift： a robust approach toward feature space analysis ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2002 ， 24 （ 5 ）： 603 - 619 . Mean shift： a robust approach toward feature space analysis HARE S ， GOLODETZ S ， SAFFARI A ， et al . Struck： structured output tracking with kernels ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 10 ）： 2096 - 2109 . Struck： structured output tracking with kernels KALAL Z ， MIKOLAJCZYK K ， MATAS J . Tracking-learning-detection ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2012 ， 34 （ 7 ）： 1409 - 1422 . Tracking-learning-detection BOLME D S ， BEVERIDGE J R ， DRAPER B A ， et al . Visual object tracking using adaptive correlation filters ［C］. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition . 1318，2010 ， San Francisco， CA， USA . IEEE ， 2010 ： 2544 - 2550 . Visual object tracking using adaptive correlation filters HENRIQUES J F ， CASEIRO R ， MARTINS P ， et al . High-speed tracking with kernelized correlation filters ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 3 ）： 583 - 596 . High-speed tracking with kernelized correlation filters DANELLJAN M ， HÄGER G ， KHAN F S ， et al . Learning spatially regularized correlation filters for visual tracking ［C］. 2015 IEEE International Conference on Computer Vision （ICCV） . 713，2015 ， Santiago， Chile . IEEE ， 2015 ： 4310 - 4318 . Learning spatially regularized correlation filters for visual tracking HONG S ， YOU T ， KWAK S ， et al . Online Tracking by Learning Discriminative Saliency Map with Convolutional Neural Network ［C］. 2015 Proceedings of the 32 nd International Conference on Machine Learning， Lille， France ， 2015 . JMLR： W&CP ，2015： 597 - 606 . Online Tracking by Learning Discriminative Saliency Map with Convolutional Neural Network BERTINETTO L ， VALMADRE J ， HENRIQUES J F ， et al . Fully-convolutional Siamese networks for object tracking ［C］. Computer Vision - ECCV 2016 Workshops ， 2016 ： 850 - 865 . Fully-convolutional Siamese networks for object tracking KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［J］. Communications of the ACM ， 2017 ， 60 （ 6 ）： 84 - 90 . ImageNet classification with deep convolutional neural networks HUANG L H ， ZHAO X ， HUANG K Q . GOT-10k： a large high-diversity benchmark for generic object tracking in the wild ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 5 ）： 1562 - 1577 . GOT-10k： a large high-diversity benchmark for generic object tracking in the wild TP394.1 TH691.9 A 1004-924X（XXXX）XX-0001-09 孙运达,万雪,李盛阳.基于孪生网络的航天器部件追踪[J].光学精密工程,DOI:10.37188/OPE..0001 孙运达,万雪,李盛阳.基于孪生网络的航天器部件追踪[J].光学精密工程,DOI:10.37188/OPE..0001 SUN Yun-da,WAN Xue,LI Sheng-yang.Siamese network based satellite component tracking[J].Optics and Precision Engineering,DOI:10.37188/OPE..0001 SUN Yun-da,WAN Xue,LI Sheng-yang.Siamese network based satellite component tracking[J].Optics and Precision Engineering,DOI:10.37188/OPE..0001 中国科学院重点部署项目（No.Y9030971WY） 2021-04-29 2021-05-28 2021-08-25 光学精密工程