Survey of person re-identification based on human skeleton information

基于人体骨架信息的行人再识别研究综述 Survey of person re-identification based on human skeleton information 1 first-author 贾梦瑜（1999-），女，河北保定人，硕士研究生，2021年于宝鸡文理学院获得学士学位，主要从事行人重识别、步态识别方面的研究。E-mail：15533 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010804&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010809&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010807&type= 22.01332855 32.00400543 贾梦瑜 （1999-），女，河北保定人，硕士研究生，2021年于宝鸡文理学院获得学士学位，主要从事行人重识别、步态识别方面的研究。E-mail：15533 1 corresp E-mail： jkzhang0314@imust.edu.cn E-mail： jkzhang0314@imust.edu.cn 张继凯（1988-），男，河北石家庄人，博士，讲师，2017年于燕山大学获得工学博士学位，主要从事智能人机交互、行人步态识别以及计算机图形学等方面的研究。E-mail：jkzhang0314@imust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010822&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010815&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010812&type= 22.01332855 32.00399780 张继凯 （1988-），男，河北石家庄人，博士，讲师，2017年于燕山大学获得工学博士学位，主要从事智能人机交互、行人步态识别以及计算机图形学等方面的研究。E-mail： jkzhang0314@imust.edu.cn jkzhang0314@imust.edu.cn 1 2 内蒙古科技大学 信息工程学院，内蒙古 包头 014010 内蒙古科技大学 信息工程学院，内蒙古 包头 014010 School of Information Engineering， Inner Mongolia University of；Science & Technology， Baotou 014010， China School of Information Engineering， Inner Mongolia University of；Science & Technology， Baotou 014010， China 内蒙古工业大学，内蒙古 呼和浩特 010051 内蒙古工业大学，内蒙古 呼和浩特 010051 Institute of Information Engineering， Inner Mongolia University of；Technology， Hohhot 010051， China Institute of Information Engineering， Inner Mongolia University of；Technology， Hohhot 010051， China 行人再识别的主要任务是利用计算机视觉从不同的摄像机中检索出相同身份的人，对特定的行人进行匹配和检索，此研究可以广泛应用于智能视频监控、智能安保等领域。相比于其他易受改变的人体外观特征，提取人的骨架信息作为鉴别特征更具有鲁棒性。为了了解该领域的发展现状，辅助该领域的研究者们进行更深入的探索，本文重点研究了基于人体骨架信息的行人再识别方法，根据算法包含的特征信息，将其分为独立式和混合式，混合式除人体骨架信息外还分别包括RGB-D图像特征和步态特征，之后对不同方法进行了比较，其次在主要数据集上对不同方法进行了评估，最后对此研究的问题与挑战进行了总结并对未来发展趋势进行了展望。 The goal of person re-identification， a computer vision task， is to accurately match individuals across different camera views in a multi-camera surveillance system. This has broad applications in intelligent video surveillance， security， and other fields. Human skeleton information is a more robust discriminative feature compared to other human appearance features that can be easily changed. This paper primarily focuses on a pedestrian recognition method based on human body skeleton information to gain a deeper understanding of the current status of development in this field and assist researchers in further exploration. The proposed algorithm can be divided into independent and hybrid subtypes， where the hybrid subtype also includes RGB-D image and gait features in addition to the human body skeleton information. The different subtypes of the algorithm are subsequently compared and evaluated on established datasets. Finally， the problems and challenges of this study are summarized， and future development trends are proposed. 行人再识别 骨架信息 RGB-D图像 步态特征 person re-identification skeleton information RGB-D images gait feature 1 引 言 1 行人再识别（Re-ID） ［ 1 1 - 2 2 1-2 ］ 是一项具有挑战性的任务，因为存在时空对齐，图像分辨率，人体姿态改变，异物遮挡等问题 ［ 3 3 - 8 8 3-8 ］ ，这些都导致了最终识别结果的不确定性。为了解决这些问题，越来越多的研究人员选择使用人体骨架信息，该鉴别特征不仅使最终的识别结果更具有鲁棒性，而且基于骨架的数据在背景适应性、抗光变化、噪声和最小计算成本等方面更为优越。另外基于三维骨架的表示 ［ 9 9 ］ 能够对人体关节之间的关系进行建模，并编码全身结构，即可以充分利用深度学习技术对骨架信息进行深层的网络建模，从而用于Re-ID。 本文对近几年基于人体骨架信息的行人再识别算法进行研究，首先根据包含特征的种类个数，将其分为独立式和混合式。独立式即只包含人体骨架这单一特征，混合式除人体骨架信息外还分别包括RGB-D图像特征和步态特征。独立式的方法不需要额外进行特征融合，计算量较小；而混合式的方法能够将人体骨架特征和其他特征的互补性发挥出来，各种方式的优缺点如 表1 表1 所示。 类别 优点 缺点 独立式 1.不需要特征融合 2.细化骨架关节点信息 1.表征单一 2.骨架建模复杂 3.对协变量因素高度敏感，降低了帧鉴别能力 混合式 1.更适应复杂环境 2.泛化能力强 1.多特征容易产生错误积累 2.需要特征融合方法，特征融合计算量大 除此之外，本文将各类代表算法根据不同的标准进行分类归纳，如根据算法的类型分为表征学习，度量学习，基于模型；根据包含骨架的全局和局部表示分为全局特征和局部特征；根据处理数据的类型分为基于图像和基于视频；另外还有空间信息，时间信息等，汇总表如 表2 表2 所示。从表中可以看到，随着研究的不断深入和发展，算法中提取到的特征信息逐渐增多，最终得到的结果更适用于复杂多变的环境和场景要求。 续表2　代表算法中包含的特征汇总表 文献 时间 表征学习 度量学习 基于模型 全局特征 局部特征 基于图像 基于视频 空间信息 时间信息 ［ 29 29 ］ 2012 √ √ √ ［ 12 12 ］ 2014 √ √ √ ［ 76 76 ］ 2014 √ √ √ √ √ ［ 36 36 ］ 2014 √ √ √ √ √ √ √ ［ 32 32 ］ 2015 √ √ √ √ ［ 25 25 ］ 2015 √ √ √ √ √ ［ 31 31 ］ 2016 √ √ √ √ ［ 37 37 ］ 2016 √ √ √ √ √ √ 文献 时间 表征学习 度量学习 基于模型 全局特征 局部特征 基于图像 基于视频 空间信息 时间信息 ［ 77 77 ］ 2017 √ √ √ √ ［ 18 18 ］ 2017 √ √ √ √ √ ［ 14 14 ］ 2017 √ √ √ √ ［ 15 15 ］ 2017 √ √ √ √ √ ［ 43 43 ］ 2017 √ √ √ √ ［ 35 35 ］ 2017 √ √ √ √ √ ［ 19 19 ］ 2017 √ √ √ √ √ √ √ √ ［ 26 26 ］ 2017 √ √ √ √ √ ［ 24 24 ］ 2018 √ √ √ √ √ ［ 16 16 ］ 2019 √ √ √ √ √ ［ 44 44 ］ 2019 √ √ √ √ √ √ √ ［ 27 27 ］ 2019 √ √ √ √ √ ［ 34 34 ］ 2019 √ √ √ √ √ √ √ √ ［18］ 2020 √ √ √ √ √ ［ 40 40 ］ 2020 √ √ √ √ √ √ √ ［ 70 70 ］ 2020 √ √ √ √ √ √ ［ 22 22 ］ 2020 √ √ √ √ √ ［ 71 71 ］ 2020 √ √ √ √ √ √ √ √ ［ 13 13 ］ 2021 √ √ √ √ √ ［ 21 21 ］ 2021 √ √ √ √ √ 综上所述，本文将从以下几个方面进行分别阐述：首先是对基于人体骨架的行人再识别算法进行分类研究，代表算法如 图1 图1 所示；其次对各类代表算法进行详细论述；然后列举了该研究的常用数据集，通过不同评价指标对先进技术比较；最后对全文进行了总结，指出了现存的问题，并对未来的发展进行了展望。 2 独立式 1 随着骨架跟踪器的不断发展，可以真实地检索三维的人体骨架信息 ［ 10 10 ］ ，这也对行人再识别算法有了积极的影响。早在2013年，Cao等人 ［ 11 11 ］ 就提出了一种基于人体骨架特征的个体识别算法，该方法通过对人的关节连接长度进行主成分分析，获得个体特征向量，这对于进行再识别提供了很好的思路。此类只包含人体骨架的Re-ID研究大致可以分为两个阵营： （1）关节点定位和匹配 ［ 12 12 - 16 16 12-16 ］ 。文献［ 12 12 ］通过骨架跟踪器提取的身体关节点，得到了每个关节点的跟踪百分比，将其作为评估特征的关键点，如 图2 图2 所示。该方法中关键点的高稳定性导致了非常好的再识别性能。在此基础上，一些研究采用了身体关节点定位和身体区域结合的方式进行Re-ID ［ 13 13 - 15 15 13-15 ］ 。比如文献［ 13 13 ］在学习关节点的结构关系的基础上增加了行动信息约束，行人动作信息的约束反映在重要关节之间的关系中。但是在实践中，由于视角的变化和遮挡，可能会出现一些人体关节缺损的问题。为了解决此问题，文献［ 16 16 ］中引入了三维人体姿态估计中每个人体关节估计位置的置信度度量，然后提出了一种映射函数，用来结合不准确估计的人体姿态和推断的置信度度量从而完成Re-ID，最终取得了很好的效果。 （2）人体骨架的全局和局部表示 ［ 17 17 - 23 23 17-23 ］ 。此方法可以通过全局图像和局部高响应区域之间的交互作用，提升再识别的鉴别效果 ［ 17 17 ］ 。在文献［ 18 18 ］中，提出了一种基于行人关节点的局部匹配和基于行人骨架的全局匹配的Re-ID方法（HSMLP-ReID），如 图3 图3 所示。与传统的局部对齐匹配不同的是，该研究中局部匹配的关节分割是基于骨架信息的，它与骨架信息有着内在的联系。这种分割方法不仅解决了背景姿态变化的问题，而且也解决了行人对齐的问题。在此类独立式方法的最新研究中，更多的研究人员选择人体骨架的全局表示，即对人体骨架信息进行整体的建模。比如Amani Elaoud ［ 20 20 ］ 等人提出了一种基于骨架信息相似性评估的无监督人员身份识别方法。研究人员将骨架投影到Grassmann manifold上来模拟人体动作轨迹从而进行人体的建模和分析。与上述方法从身体关节的轨迹中提取特征不同的是，Rao等人 ［ 21 21 ］ 构建了一个不同层次的人体骨架建模图，并首次提出了一种基于结构协同关系学习（MG-SCR）的多层次骨架图编码方法。除此之外，他们还关注基于无监督骨架的Re-ID方法，并提出了一个通用的SimMC框架 ［ 23 23 ］ 来学习无标记的3D骨架对Re-ID的有效表示。此类选择人体骨架的全局表示的方法相比于人体骨架的全局和局部表示相结合的方法，其数据量较小，对尺度和视图等因素具有更好的鲁棒性。 总的来说，将人体骨架作为单独特征进行Re-ID是一种较为有效的方式，但是由于关节点的易遮挡性和实时追踪等问题，单独的对关节点定位和匹配逐渐不能满足研究的需要，这种传统的提取手工制作的骨架描述符的方式通常表现不佳，所以这种方式现在的主流模式是对人体的全局骨架结构信息进行深层的网络建模。 3 混合式 1 本文按照代表算法中所包含的信息特征，将混合式的方法简单分为基于RGB-D图像特征和骨架信息的Re-ID方法；基于步态特征和骨架信息的Re-ID方法。 3.1　基于RGB-D特征和骨架信息的Re-ID 2 RGB-D图像即包括RGB图像和深度图像，这种信息特征可以很好的解决现实中的光照，颜色变化和噪声等问题，本节将骨架信息分别与RGB图像，深度图像，RGB-D图像相结合进行阐述，分析各自的优缺点。 3 . 1 . 1　基于RGB图像与骨架信息的Re - ID 3 一些研究人员将RGB图像信息与骨架特征结合起来 ［ 24 24 - 28 28 24-28 ］ 进行Re-ID，这类方法可以很好的将RGB图像中人体外观的颜色特征与人体骨架特征相结合。但大多数方法只适用于被识别个体不换衣物的情况，适用范围较小。比如，文献［ 24 24 ］先是获得关节位置，然后根据得到的骨架信息设计了一套基于局部颜色比较的衣服特征。与上述情况不同的是，Cosimo等人 ［ 27 27 ］ 介绍了一种骨架标准姿势（SSP）。该研究首先对输入骨架进行预处理和对齐操作，然后通过计算SSP来确定一个颜色描述符，形成不同人的签名，再进行Re-ID，最终取得了较为满意的识别结果。 3 . 1 . 2　基于深度图像与骨架信息的Re - ID 3 相比于从RGB图像中获取人的外观特征，通过深度图像信息获取的特征可以解决光照和颜色改变等问题。另外，深度图像中还可以包含身高和体型等信息，这使得基于深度图像和骨架信息的Re-ID研究逐渐得到关注。本文根据对深度图像信息利用方法的不同，细分为以下两种模式： （1）利用深度图像转换的点云信息与人体骨架特征相结合进行Re-ID ［ 29 29 - 36 36 29-36 ］ 。此类方法是从点云中获取人体几何形状和体型等丰富信息。代表算法有文献［ 30 30 ］，该研究将一个鲁棒骨架表示与从深度图像获得的具有高度区别的人脸特征相结合，根据样本的质量加权进行Re-ID。除此之外还可以通过使用点云来组合自由移动的人体三维模型来获取体型信息，再与从骨架中提取的特征相结合进行Re-ID ［ 35 35 - 36 36 35-36 ］ ，此种方式也取得了很好的识别效果。 （2）从深度图像中提取一些局部模式特征与人体骨架特征相结合进行Re-ID ［ 37 37 - 40 40 37-40 ］ 。与上述（1）方法不同的是，Zeynab等人 ［ 37 37 ］ 从深度图像中提取局部向量模式特征，并通过计算骨架关节点之间的Euclidean距离来估计骨架特征。然后将从不同模式中提取的特征通过分数级水平融合策略相结合进行Re-ID，最后的实验效果也证明了该方法的有效性，如 图4 图4 所示。在此基础上，文献［ 40 40 ］的研究人员提出了一个稀疏规范相关分析，使用一个局部三阶张量模型来完成多层次的Re-ID，如 图5 图5 所示，张量空间不仅降低了维数，而且有助于结合特征，图像的张量表示使多层次的Re-ID空间更简单。 3 . 1 . 3　基于RGB - D图像和骨架信息的Re - ID 3 早在2013年，就有研究人员提出了一个结合RGB图像、深度图像信息和热数据的系统 ［ 41 41 ］ ，这是一种新的基于特征信息的三维再识别系统。在该方法中，首先使用视点特征直方图（VFH）来提取人体体型上的三维描述符，之后获取了单个骨架数据来进行Re-ID。此项研究为基于RGB-D图像和骨架信息的Re-ID方法 ［ 42 42 - 46 46 42-46 ］ 的发展奠定基础。例如，文献［ 42 42 ］提出了一种结合RGB图像、深度图像、身体指数和骨架信息的目标跟踪和识别系统。在最新研究中，Imani等人 ［ 44 44 ］ 提出了一种短期的Re-ID方法，他们借鉴文献［ 37 37 ］的思路，从RGB和深度图像中提取局部向量模式，然后在不同的几何测量中提取骨架特征，最后利用分数级融合技术将这些特征组合，进行多模态的Re-ID。与上述方法不同的是，Md等人 ［ 45 45 ］ 通过测量不同身体关节点之间的欧氏距离来估计人体几何特征，与基于4通道RGB-D的CNN特征相结合进行Re-ID，如 图6 图6 所示。 综上所述，基于RGB图像与骨架信息的方法由于需要从RGB图像中获取颜色不变特征，具有一定的局限性；基于深度图像与骨架信息的方法可以很好地解决光照变化问题，而且从深度图像中可以提取点云和局部模式特征信息，因此该领域具有一定的探索空间；相比于前两种方法，基于RGB-D图像和骨架信息的方法虽然包含的特征信息更多，但是计算量更大。 3.2　基于步态特征和骨架信息的Re-ID研究 2 3 . 2 . 1　基于人体骨架的步态识别 3 步态是一种独特的人体特征，不同的个体具有不同的步态长度和步态周期等，因此可以通过提取步态特征来进行身份识别 ［ 47 47 ］ 。基于轮廓和基于骨架的方法是当前最具竞争力的两种步态识别方法。基于轮廓的方法 ［ 48 48 - 49 49 48-49 ］ 由于只保留了外部轮廓特征，在行走过程中由于肢体和躯干的重叠，可能会导致部分身体部位的信息丢失；基于骨架的方法 ［ 50 50 - 52 52 50-52 ］ 是通过从骨架序列中捕获步态模式进行识别，虽然骨架很好地保留了身体结构信息，但忽略了具有鉴别特征的形状信息。因此同时保留外部轮廓和骨架结构，有望成为一个更全面的步态识别方法。所以，一些研究人员将轮廓与骨架信息结合起来进行步态识别 ［ 53 53 - 55 55 53-55 ］ 。例如，文献［ 53 53 ］提出了一种基于双分支神经网络（Neural Networks， NN）的模型。该方法包含两个分支，即一个以轮廓为输入的基于CNN(Convolutional Neural Network)的分支和一个以骨架为输入的基于GCN(Graph Convolutional Network)的分支，这种方式很好的将两者的优点结合起来，实现了更好的步态识别效果。另外，与传统的轮廓提取方法：步态能量图(Gait Engery Image, GEI) ［ 56 56 ］ ，步态历史图像（GHI） ［ 57 57 ］ 等不同的是，文献［ 58 58 ］提出了一种新型的用于步态识别的骨架步态能量图（SGEI），采用双分支多阶段的CNN进行骨架提取，将奇异值分解（Singular Value Decomposition, SVD）应用于SGEIs上进行视图归一化，该方法增强了步态识别的鲁棒性。 随着深度学习的发展，近两年来，一些研究人员将人体骨架特征与卷积神经网络结合起来构造步态图 ［ 59 59 - 66 66 59-66 ］ 。就如在文献［ 60 60 ］中，将三维姿态和三种附加的时空特征（角度、肢体和姿态）连接起来，作为CNN的输入；Ke等人 ［ 63 63 ］ 提出了将骨架姿态与图卷积网络（GCN）相结合的步态图，从而获得一种基于模型的现代步态识别方法；文献［ 64 64 ］则提出一个用于步态识别的端到端网络GaitNet进行联合训练，这种策略大大简化了传统的循序渐进的方式。三种步态识别方式如 图7 图7 所示。这种方法提取的骨架信息去除了大量不必要的、冗余的信息，但保留了关键的节点信息，用于步态识别不仅降低了计算开销，而且增加了信息密度。 1;2;3; 3 . 2 . 2　基于步态特征和骨架信息的Re - ID 3 与需要近距离感知的面部特征不同的是，步态是一种可以从远处感知的生物特征，可以在没有步行者注意的情况下被捕捉到，所以步行者很少有意识地隐藏或伪装他们的步态，鉴于以上等优点，步态可以很好的用于Re-ID ［ 67 67 - 69 69 67-69 ］ 。一些研究人员早就认识到了基于人体骨架的步态特征用于Re-ID ［ 70 70 - 73 73 70-73 ］ 的重要性。例如，文献［ 70 70 ］则是提出了一种基于反向序列骨架重建的自监督方法和编码解码器模型，能够学习没有骨架序列标签的步态表示，同时提出了一种局部感知注意力机制来更好地进行骨架重建和步态编码。研究结果表明，提出的基于注意力机制的步态编码AGEs作为新的步态表征对Re-ID非常有效。除此之外，还可以将静态的人体骨架特征与动态的步态特征结合起来进行Re-ID ［ 74 74 - 79 79 74-79 ］ 。该种方式相较于单独的步态特征用于Re-ID的方法更具有鲁棒性。 由以上可见，使用骨架数据提取Re-ID的鉴别步态特征是一个新兴的开放话题，然而，如何将步态特征用于行人再识别也值得研究。另外基于RGB-D图像和步态特征的提取方法虽然可以提取到有判别性的特征，并且识别效果较好，但提取到的骨架特征与其他特征之间的关联关系需要得到很好的处理和解决。 3.3　特征融合方法 2 对于多特征的Re-ID研究，选择好的特征融合方法就显得尤为重要。在Re-ID任务中，使用最多的是特征级融合feature-level fusion和分数级融合score-level fusion ［ 80 80 - 81 81 80-81 ］ 策略，在具有多描述符的Re-ID系统中，特征级融合需要人们连接异构的量，比如衣服外观的颜色直方图和一组人体测量方法，而分数级融合允许人们组合同质信息，即一组相似性分数。另外，在特征级融合中，位于高维特征空间的描述符可能会制约位于相对低维空间中描述符的作用效果，因此大多数研究仍采用分数级融合。除了这两种方法外，本文还介绍了另外几种算法的特征选择融合策略，汇总的方法和特点如 表3 表3 所示。 方法 特点 树状结构 ［ 14 14 ］ 将不同级别的特征在不同的阶段进行融合，在特征融合过程采用竞争策略 基于不同相似性的框架（MCD） ［ 25 25 ］ 可以作为广泛使用的分数级融合策略的替代方案 特征漏斗模型（FFM） ［ 26 26 ］ 充分利用了特征信息，融合不同特征表达式获得相似度得分 一个均匀融合层 ［ 43 43 ］ 从RGB-D图像中提取特征，此方法具有对噪声的鲁棒性 两种特征组合方法：1）投票系统 2）加权对应 ［ 32 32 ］ 投票数量来表明每个特征的重要性，即投票次数较多的特征对结果的影响更大 特定的分数级融合 ［ 77 77 ］ 执行速度明显更快，且准确性有所提高 4 各类算法研究实验对比 1 本节首先介绍一下基于人体骨架的Re-ID算法的数据集现状及常用的公开数据集 ［ 82 82 ］ ，然后对当前算法常用的性能评估指标进行阐述，最后对比分析当前研究算法的性能。 4.1　相关数据集 2 对于本研究，按时间顺序从上至下列出了包含人体骨架的相关Re-ID数据集，如 表4 表4 所示。但是值得注意的是，对于多模态中的不同的模式在不同的数据集上有不同的性能。例如，在不同的人穿相同衣服的数据集中，RGB模态的性能降低，或者在深度图像质量不好、噪声太大的数据集中，深度模态的性能降低等。在为数不多的此类数据集中，RGBD-ID，BIWI RGBD-ID和IAS-Lab RGBD-ID是目前文献中对实验结果进行定量定性的热门数据集。 数据集名称 时间 规模/人 序列 包含的部分数据 RGBD-ID ［ 29 29 ］ 2012 79 320 骨架信息+RGB图像+3D网格 BIWI RGBD-ID ［ 28 28 ］ 2014 78 56 骨架信息+RGB图像+深度图像+人体分割图+地面坐标 IAS-Lab RGBD-ID ［ 12 12 ］ 2014 11 33 骨架信息+RGB图像+深度图像 KGBD ［ 77 77 ］ 2015 164 — 骨架信息+步态信息 KinectREID ［ 25 25 ］ 2016 71 483 骨架信息+RGB图像 RobotPKU RGBD-ID ［ 26 26 ］ 2017 90 180 骨骼数据+RGB图像+深度图像+人体分割图 Florence 3D Re-ID ［ 34 34 ］ 2018 16 48 骨架信息+深度图像+人脸信息 （1）RGBD-ID数据集，该数据集记录了被测者在Kinect传感器前的行走和特定动作序列。 （2）BIWI RGBD-ID数据集，该数据集包含56个测试序列，这些都是在不同的日子收集的，因此大多数受试者的穿着都不同。对于测试集中的每个人，都收集了一个静止序列（Still）和一个行走序列（Walking）。 （3）IAS-Lab RGBD-ID数据集，该数据集包含两组测试的不同序列，第一组序列（TestingA） 收集的是穿着不同衣服的人，而第二组序列（TestingB）是在不同的房间里收集的。 4.2 性能结果分析与对比 2 基于人体骨架的Re-ID算法的实验性能可以从以下多个方面进行评估： （1）累积匹配特征（CMC） ［ 83 83 ］ 曲线，该曲线表示在图库中前k个匹配的探针找到正确匹配的百分比。 （2）Rank-1，表示第一次匹配检索后就能返回正确匹配的概率。Rank（ k ）是在获得 k 个最佳分类分数的受试者中，考虑分类正确时计算的平均识别率。 （3）归一化的CMC曲线下面积（nAUC），这是CMC的积分。另外还可以通过简单的多帧推理（R1-Multi）获得算法的精度性能，该方案可以获得约10%~20%的性能改进。依据这些指标， 图8 图8 、 图9 图9 和 表5 表5 分别展示了基于人体骨架的Re-ID算法在常用数据集上的识别精度。 1,2; 1,2; 续表5　不同算法的精度比较 2 2 分类 2 方法 2 2 测试集 3 评价指标、% Rank-1 nAUC R1 Multi 19 混合式 5 骨架信息+RGB图像 Online+FFM ［ 26 26 ］ BIWI RGBD-ID 91.6 2 _ _ Offline+FFM ［ 26 26 ］ BIWI RGBD-ID 86.2 2 _ _ PFH+RGB ［ 12 12 ］ BIWI RGBD-ID 48.49 2 87.01 _ APC-USG ［ 27 27 ］ KinectREID/RGBD-ID 61.41/89.34 2 96.99/99.49 _ MCMimpl ［ 25 25 ］ KinectREID/RGBD-ID 50.37/73.85 2 92.97/98.32 _ 9 骨架信息+深度图像 ［ 29 29 ］ RGBD-ID _ 2 91.76 Point Cloud Matching ［ 36 36 ］ Still/Walking/TestingA/TestingB 32.5/22.4/28.6/43.7 2 89.0/81.6/73.2/81.7 42.9/39.3/63.6/72.7 Skeleton（NN） ［ 36 36 ］ Still/Walking/TestingA/TestingB 26.6/21.1/22.5/55.5 2 89.7/86.6/73.8/86.3 32.1/39.3/27.3/81.8 PCM+Skeleton ［ 36 36 ］ Still/Walking/TestingA/TestingB 38.6/27.4/25.6/63.3 2 91.8/87.4/75.5/86.3 46.4/42.9/27.3/81.8 Face（SVM） ［ 36 36 ］ Still/Walking 44.0/36.7 2 91.0/87.6 57.1/57.1 Face+Skeleton（SVM） ［ 36 36 ］ Still/Walking 52.0/43.9 2 93.7/90.2 67.9/67.9 Face+Skeleton ［ 34 34 ］ BIWI RGBD-ID 42.9 2 92.3 VFH and skeleton ［ 32 32 ］ Still/Walking 25.0/14.2 2 91.2/87 ［ 37 37 ］ KinectREID/RGBD-ID 64.43/ 72.35 2 3 骨架信息+RGBD信息 RGB-D+Skeleton ［ 45 45 ］ RGBD-ID/RobotPKU 80.67/92.95 2 MMUDL ［ 43 43 ］ KinectREID/RGBD-ID 97.0/76.7 2 ［ 46 46 ］ KinectREID/Still/Walking 57.7/58.9/46.2 2 2 骨架信息+步态 AGEs ［ 70 70 ］ BIWI-RGBD-ID/TestingA/TestingB/KGBD 59.1/56.1/58.2/87.7 2 86.5/81.7/85.3/96.3 3D RAM ［ 72 72 ］ BIWI-RGBD-ID/TestingA/TestingB 45.3/53.5/64.4 2 91.2/91.4/89.0 2 2 分类 2 方法 2 2 测试集 3 评价指标/% Rank-1 nAUC R1 Multi 5 独立式 5 PM ［ 20 20 ］ BIWI RGBD-ID/TestingA/TestingB 39.3/36.36/81.81 2 Local distance ［ 19 19 ］ Still/Walking/TestingA/TestingB 28.57/10.71/45.45/63.63 2 SIFT+Skeleton Keypoint ［ 12 12 ］ BIWI RGBD-ID 63.4 2 89.99 71.43 MG-SCR ［ 21 21 ］ BIWI-RGBD-ID/TestingA/TestingB/KGBD 61.6/56.5/65.9/ 96.3 2 91.9/87.0/93.1/99.9 SimMC ［ 23 23 ］ KGBD/TestingA/TestingB/Walking/Still 54.9/44.8/46.3/24.5/41.7 2 具体来看，在Still和Walking数据集上，单独的骨架信息表示与加入人脸信息表示的识别精度差异很大，文献［ 46 46 ］在再识别阶段，提出了一种结合颜色特征和HOG特征的目标识别算法来提高识别率，取得了相对较好的识别结果；在TestingA和TestingB数据集上，文献［ 19 19 - 20 20 19-20 ， 72 72 ］，因为其较好的骨架特征表示，得到了更准确的预测结果，但仍有工作 ［ 26 26 ］ 会受到IAS-Lab RGBD-ID数据集强烈光照变化的影响。BIWI RGBD-ID数据集的最初目的是进行长期的行人重识别，因此在训练视频中两个测试序列穿着不同的衣服。但是，对于不同的场景和不同的工作，选取数据集的完整性不同，如文献［ 12 12 ］只是用了穿相同衣服的序列。因此，无法简单的对相同数据集上不同方法的识别精度进行优劣评估。综合来看，不论哪种方法，基于人体骨架的特征在致力于解决Re-ID工作上都表现出了性能优势。对于将骨架信息与其他信息相结合的混合式方法，该方式具有较强的鲁棒性和泛化性，但是同时也受到网络模型复杂，参数多，计算量大等因素的限制。独立式的方法虽然表征单一，对协变量因素表现敏感，但从该方法的最新研究成果可以看出，单独的将人体骨架作为特征表达进行Re-ID也取得了很好的效果，该种方式中现在的主流模式是将人体骨架信息输入到深度神经网络中进行建模，网络建模复杂，但是不需要进行多特征融合，计算成本低。综上，目前两种方法在精确度方面没有明显的优劣对比，独立式主要受骨架模型影响，而混合法在结合多特征优势的同时也面临多个问题带来的挑战。 5 问题与挑战 1 现阶段，基于人体骨架的Re-ID领域仍有大量亟待解决的问题值得进一步探究和优化。未来的研究工作可参考如下几个方面： 5.1 针对骨架拍摄遮挡的问题 2 当拍摄现场的人口较为密集时，不在前景的人会被覆盖，因此会出现骨架缺失和重叠问题 ［ 8 8 ， 84 84 ］ 。Wang等学者 ［ 84 84 ］ 提出一个交叉图嵌入对齐层（CGEA）进行联合学习并将拓扑信息嵌入到局部特征中，直接预测相似度得分，用一个鲁棒的软匹配取代了敏感的一对一匹配，最终取得了比较好的实验结果。另外，多个视频源可以从多个角度观察骨架关键点，这方面可以在系统研究的未来发展中加以考虑。 5.2 针对缺乏丰富和真实数据集的问题 2 与其他研究领域相比，目前Re-ID数据集的数据只能用于学术研究，与实际的应用要求相差甚远。从当前研究的数据集来看，收集和贴标签是比较困难的，隐私问题也阻碍了数据的访问。另外，由于不同域和数据集之间的风格模式差异太大，也会导致模型性能下降的问题。除了增加数据量外，未来还需要更多样化的场景、更丰富的身份、更全面的视角和更真实的Re-ID数据集。 5.3 针对多特征融合的问题 2 对于多特征融合进行图像识别的问题 ［ 85 85 ］ ，在特征融合阶段，盲目地组合一堆特征来计算人的相似度，容易产生错误积累，也会带来不必要的计算代价。如何将骨架特征与其他特征融合，从而对行人进行快速高效的重识别也亟待解决。例如，将点云信息与骨架信息相结合进行Re-ID，但仍存在点云的对齐误差和噪声问题，体型描述仍不能明确描述人体形状等等，都需要进一步研究。 5.4 针对跨模态噪声标签的问题 2 跨模态的Re-ID研究是利用行人标注来提高不同行人间的判别性，同时构建跨模态正负样本对并进行跨模态学习以缩减模态间的鸿沟。最新的研究率先揭示了跨模态Re-ID学习中存在但一直被忽略的一个问题—噪声标签学习 ［ 86 86 ］ 。文献［ 87 87 ］提出了一种基于局部特征的伪标签细化（PPLR）框架，有效地减少了噪声标签的影响。然而，过去多年的大多研究主要针对单模态的图像分类任务，忽视了跨模态任务中潜在的错误关联问题，更没有从实际需求出发，对噪声标注和标签的问题进行揭示和研究。 6 结 论 1 本文从算法所包含的信息特征方面阐述了一些较为突出的基于人体骨架信息的行人再识别方法，对算法进行了细致分类和梳理，并对比了其在常用公开数据集上的识别效果。分析结果表明，混合式由于多特征信息的优势，更满足复杂的环境要求，但相比于独立式需要合适的特征融合策略进行特征融合；基于骨架信息和步态特征的Re-ID算法作为新兴的研究，展现出了很好的研究成果。独立式中的传统的关节点定位和匹配的方法相对于基于骨架模型的方法较为落后，因此后者也开始成为此研究的主流方式。面对未来更加丰富的应用需求，基于人体骨架信息的Re-ID算法的探索和研究仍有很大的提升空间。 参考文献 WANG H B ， DU H M ， ZHAO Y ， et al . A comprehensive overview of person re-identification approaches ［J］. IEEE Access ， 2020 ， 8 ： 45556 - 45583 . doi: 10.1109/access.2020.2978344 http://dx.doi.org/10.1109/access.2020.2978344 A comprehensive overview of person re-identification approaches 卢健 ， 陈旭 ， 罗毛欣 ， 等 . 深度学习行人再识别研究综述 ［J］. 激光与光电子学进展 ， 2020 ， 57 （ 16 ）： 37 - 54 . doi: 10.3788/lop57.160003 http://dx.doi.org/10.3788/lop57.160003 深度学习行人再识别研究综述 LU J ， CHEN X ， LUO M X ， et al . Person re-identification research via deep learning ［J］. Laser & Optoelectronics Progress ， 2020 ， 57 （ 16 ）： 37 - 54 . （in Chinese） . doi: 10.3788/lop57.160003 http://dx.doi.org/10.3788/lop57.160003 Person re-identification research via deep learning LIU K ， MA B P ， ZHANG W ， et al . A Spatio-temporal appearance representation for video-based pedestrian re-identification ［C］. 2015 IEEE International Conference on Computer Vision （ICCV）. 713，2015 ， Santiago， Chile. IEEE ， 2016 ： 3810 - 3818 . doi: 10.1109/iccv.2015.434 http://dx.doi.org/10.1109/iccv.2015.434 A Spatio-temporal appearance representation for video-based pedestrian re-identification WU C ， GE W ， WU A ， et al . Camera-conditioned stable feature generation for isolated camera supervised person re-identification ［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022 ： 20238 - 20248 . doi: 10.1109/cvpr52688.2022.01960 http://dx.doi.org/10.1109/cvpr52688.2022.01960 Camera-conditioned stable feature generation for isolated camera supervised person re-identification QIN Z ， HE W ， DENG F H ， et al . SRPRID： pedestrian re-identification based on super-resolution images ［J］. IEEE Access ， 2019 ， 7 ： 152891 - 152899 . doi: 10.1109/access.2019.2948260 http://dx.doi.org/10.1109/access.2019.2948260 SRPRID： pedestrian re-identification based on super-resolution images YE M ， SHEN J B ， LIN G J ， et al . Deep learning for person re-identification： a survey and outlook ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2022 ， 44 （ 6 ）： 2872 - 2893 . doi: 10.1109/tpami.2021.3054775 http://dx.doi.org/10.1109/tpami.2021.3054775 Deep learning for person re-identification： a survey and outlook ZHENG L ， HUANG Y J ， LU H C ， et al . Pose-invariant embedding for deep person re-identification ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 9 ）： 4500 - 4509 . doi: 10.1109/tip.2019.2910414 http://dx.doi.org/10.1109/tip.2019.2910414 Pose-invariant embedding for deep person re-identification LI Y Y ， YANG Z C ， CHEN Y Q ， et al . Occluded person re-identification method based on multiscale features and human feature reconstruction ［J］. IEEE Access ， 2022 ， 10 ： 98584 - 98592 . doi: 10.1109/access.2022.3203706 http://dx.doi.org/10.1109/access.2022.3203706 Occluded person re-identification method based on multiscale features and human feature reconstruction 张继凯 ， 李琦 ， 王月明 ， 等 . 基于单目RGB图像的三维手势跟踪算法综述 ［J］. 计算机科学 ， 2022 ， 49 （ 4 ）： 174 - 187 . doi: 10.11896/jsjkx.210700084 http://dx.doi.org/10.11896/jsjkx.210700084 基于单目RGB图像的三维手势跟踪算法综述 ZHANG J K ， LI Q ， WANG Y M ， et al . Survey of 3D gesture tracking algorithms based on monocular RGB images ［J］. Computer Science ， 2022 ， 49 （ 4 ）： 174 - 187 . （in Chinese） . doi: 10.11896/jsjkx.210700084 http://dx.doi.org/10.11896/jsjkx.210700084 Survey of 3D gesture tracking algorithms based on monocular RGB images GIACHETTI A ， FORNASA F ， PAREZZAN F ， et al . Shrec'16 Track： retrieval of human subjects from depth sensor data ［C］. Eurographics Workshop on 3D Object Retrieval . 2016 ： 1 - 6 . Shrec'16 Track： retrieval of human subjects from depth sensor data CAO M F ， HASHIMOTO H . Specific person recognition and tracking of mobile robot with kinect 3D sensor ［C］. IECON 2013 - 39th Annual Conference of the IEEE Industrial Electronics Society . 1013，2013 ， Vienna， Austria . IEEE ， 2014 ： 8323 - 8328 . doi: 10.1109/iecon.2013.6700527 http://dx.doi.org/10.1109/iecon.2013.6700527 Specific person recognition and tracking of mobile robot with kinect 3D sensor MUNARO M ， GHIDONI S ， DIZMEN D T ， et al . A feature-based approach to people re-identification using skeleton keypoints ［C］. 2014 IEEE International Conference on Robotics and Automation （ICRA）. 317，2014 ， Hong Kong， China. IEEE ， 2014 ： 5644 - 5651 . doi: 10.1109/icra.2014.6907689 http://dx.doi.org/10.1109/icra.2014.6907689 A feature-based approach to people re-identification using skeleton keypoints HU X Q ， WEI D ， WANG Z Y ， et al . Hypergraph video pedestrian re-identification based on posture structure relationship and action constraints ［J］. Pattern Recognition ， 2021 ， 111 ： 107688 . doi: 10.1016/j.patcog.2020.107688 http://dx.doi.org/10.1016/j.patcog.2020.107688 Hypergraph video pedestrian re-identification based on posture structure relationship and action constraints ZHAO H Y ， TIAN M Q ， SUN S Y ， et al . Spindle Net： person re-identification with human body region guided feature decomposition and fusion ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 907 - 915 . doi: 10.1109/cvpr.2017.103 http://dx.doi.org/10.1109/cvpr.2017.103 Spindle Net： person re-identification with human body region guided feature decomposition and fusion WEI L H ， ZHANG S L ， YAO H T ， et al . GLAD： global-local-alignment descriptor for pedestrian retrieval ［C］. Proceedings of the 25th ACM international conference on Multimedia. 2327，2017 ， Mountain View， California， USA. New York ： ACM ， 2017 ： 420 - 428 . doi: 10.1145/3123266.3123279 http://dx.doi.org/10.1145/3123266.3123279 GLAD： global-local-alignment descriptor for pedestrian retrieval LIANG G Q ， LAN X G ， CHEN X Y ， et al . Cross-view person identification based on confidence-weighted human pose matching ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 8 ）： 3821 - 3835 . doi: 10.1109/tip.2019.2899782 http://dx.doi.org/10.1109/tip.2019.2899782 Cross-view person identification based on confidence-weighted human pose matching ZHU H ， KE W ， LI D ， et al . Dual cross-attention learning for fine-grained visual categorization and object re-identification ［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . 2022 ： 4692 - 4702 . doi: 10.1109/cvpr52688.2022.00465 http://dx.doi.org/10.1109/cvpr52688.2022.00465 Dual cross-attention learning for fine-grained visual categorization and object re-identification WANG Z Y ， WEI D ， HU X Q ， et.al . Human skeleton mutual learning for person re-identification ［J］. Neurocomputing ， 2020 ， 388 ： 309 - 323 . doi: 10.1016/j.neucom.2019.12.120 http://dx.doi.org/10.1016/j.neucom.2019.12.120 Human skeleton mutual learning for person re-identification ELAOUD A ， BARHOUMI W ， DRIRA H ， et al . Analysis of skeletal shape trajectories for person re-identification ［C］. International Conference on Advanced Concepts for Intelligent Vision Systems . Springer ， Cham ， 2017 ： 138 - 149 . doi: 10.1007/978-3-319-70353-4_12 http://dx.doi.org/10.1007/978-3-319-70353-4_12 Analysis of skeletal shape trajectories for person re-identification ELAOUD A ， BARHOUMI W ， DRIRA H ， et al . Person re-identification from different views based on dynamic linear combination of distances ［J］. Multimedia Tools and Applications ， 2021 ， 80 ： 17685 - 17704 . doi: 10.1007/s11042-021-10588-7 http://dx.doi.org/10.1007/s11042-021-10588-7 Person re-identification from different views based on dynamic linear combination of distances RAO H ， XU S ， HU X ， et al . Multi-Level Graph Encoding with Structural-Collaborative Relation Learning for Skeleton-Based Person Re-Identification ［EB/OL］. 2021 ： arXiv ： 2106 . 03069 . https：//arxiv.org/abs/2106.03069 https://arxiv.org/abs/2106.03069 . doi: 10.24963/ijcai.2021/135 http://dx.doi.org/10.24963/ijcai.2021/135 Multi-Level Graph Encoding with Structural-Collaborative Relation Learning for Skeleton-Based Person Re-Identification KWON B ， LEE S . Human skeleton data augmentation for person identification over deep neural network ［J］. Applied Sciences ， 2020 ， 10 （ 14 ）： 4849 . doi: 10.3390/app10144849 http://dx.doi.org/10.3390/app10144849 Human skeleton data augmentation for person identification over deep neural network RAO H C ， MIAO C . SimMC： simple masked contrastive learning of skeleton representations for unsupervised person re-identification ［J］. arXiv preprint arXiv ：2204 . 09826 ， 2022 . doi: 10.24963/ijcai.2022/180 http://dx.doi.org/10.24963/ijcai.2022/180 SimMC： simple masked contrastive learning of skeleton representations for unsupervised person re-identification YU T ， JIN H M ， TAN W T ， et al . SKEPRID： pose and illumination change-resistant skeleton-based person re-identification ［J］. ACM Transactions on Multimedia Computing， Communications， and Applications ， 2018 ， 14 （ 4 ）： 1 - 24 . doi: 10.1145/3243217 http://dx.doi.org/10.1145/3243217 SKEPRID： pose and illumination change-resistant skeleton-based person re-identification PALA F ， SATTA R ， FUMERA G ， et al . Multimodal person reidentification using RGB-D cameras ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2016 ， 26 （ 4 ）： 788 - 799 . doi: 10.1109/tcsvt.2015.2424056 http://dx.doi.org/10.1109/tcsvt.2015.2424056 Multimodal person reidentification using RGB-D cameras LIU H ， HU L ， MA L . Online RGB-D person re-identification based on metric model update ［J］. CAAI Transactions on Intelligence Technology ， 2017 （ 1 ）： 48 - 55 . （in Chinese） . doi: 10.1016/j.trit.2017.04.001 http://dx.doi.org/10.1016/j.trit.2017.04.001 Online RGB-D person re-identification based on metric model update PATRUNO C ， MARANI R ， CICIRELLI G ， et al . People re-identification using skeleton standard posture and color descriptors from RGB-D data ［J］. Pattern Recognition ， 2019 ， 89 ： 77 - 90 . doi: 10.1016/j.patcog.2019.01.003 http://dx.doi.org/10.1016/j.patcog.2019.01.003 People re-identification using skeleton standard posture and color descriptors from RGB-D data ICIOTTI D ， PAOLANTI M ， FRONTONI E ， et al . Person Re-identification Dataset with RGB-D Camera in a Top-View Configuration ［M］. Video Analytics. Face and Facial Expression Recognition and Audience Measurement . Springer ， Cham ， 2016 ： 1 - 11 . doi: 10.1007/978-3-319-56687-0_1 http://dx.doi.org/10.1007/978-3-319-56687-0_1 Person Re-identification Dataset with RGB-D Camera in a Top-View Configuration BARBOSA I B ， CRISTANI M ， BUE A D ， et al . Re-identification with RGB-D sensors ［C］. European Conference on Computer Vision. Springer， Berlin， Heidelberg ， 2012 ： 433 - 442 . doi: 10.1007/978-3-642-33863-2_43 http://dx.doi.org/10.1007/978-3-642-33863-2_43 Re-identification with RGB-D sensors PALA P ， SEIDENARI L ， BERRETTI S ， et al . Person re-identification from depth cameras using skeleton and 3D face data ［C］. Proceedings of the 11th Eurographics Workshop on 3D Object Retrieval . New York ： ACM ， 2018 ： 95 - 101 . doi: 10.1016/j.cag.2019.01.003 http://dx.doi.org/10.1016/j.cag.2019.01.003 Person re-identification from depth cameras using skeleton and 3D face data NANNI L ， MUNARO M ， GHIDONI S ， et al . Ensemble of different approaches for a reliable person re-identification system ［J］. Applied Computing and Informatics ， 2016 ， 12 （ 2 ）： 142 - 153 . doi: 10.1016/j.aci.2015.02.002 http://dx.doi.org/10.1016/j.aci.2015.02.002 Ensemble of different approaches for a reliable person re-identification system GHARGHABI S ， SHAMSHIRDAR F ， SHANGARI T A ， et al . People re-identification using 3D descriptor with skeleton information ［C］. 2015 International Conference on Informatics ， Electronics & Vision （ICIEV）. 1518，2015 ， Fukuoka， Japan. IEEE ， 2015 ： 1 - 5 . doi: 10.1109/iciev.2015.7333986 http://dx.doi.org/10.1109/iciev.2015.7333986 People re-identification using 3D descriptor with skeleton information MUNARO M ， FOSSATI A ， BASSO A ， et al . One-shot Person Re-identification with a Consumer Depth Camera ［M］. Person Re-Identification. Springer ， London ， 2014 ： 161 - 181 . doi: 10.1007/978-1-4471-6296-4_8 http://dx.doi.org/10.1007/978-1-4471-6296-4_8 One-shot Person Re-identification with a Consumer Depth Camera PALA P ， SEIDENARI L ， BERRETTI S ， et al . Enhanced skeleton and face 3D data for person re-identification from depth cameras ［J］. Computers & Graphics ， 2019 ， 79 ： 69 - 80 . doi: 10.1016/j.cag.2019.01.003 http://dx.doi.org/10.1016/j.cag.2019.01.003 Enhanced skeleton and face 3D data for person re-identification from depth cameras WU A C ， ZHENG W S ， LAI J H . Robust depth-based person re-identification ［J］. IEEE Transactions on Image Processing ， 2017 ， 26 （ 6 ）： 2588 - 2603 . doi: 10.1109/tip.2017.2675201 http://dx.doi.org/10.1109/tip.2017.2675201 Robust depth-based person re-identification MUNARO M ， BASSO A ， FOSSATI A ， et al . 3D reconstruction of freely moving persons for re-identification with a depth sensor ［C］. 2014 IEEE international conference on robotics and automation （ICRA） . IEEE ， 2014 ： 4512 - 4519 . doi: 10.1109/icra.2014.6907518 http://dx.doi.org/10.1109/icra.2014.6907518 3D reconstruction of freely moving persons for re-identification with a depth sensor IMANI Z ， SOLTANIZADEH H . Histogram of the node strength and histogram of the edge weight： two new features for RGB-D person re-identification ［J］. Science China （Information Sciences） ， 2018 ， 61 （ 9 ）： 112 - 125 . doi: 10.1007/s11432-016-9086-8 http://dx.doi.org/10.1007/s11432-016-9086-8 Histogram of the node strength and histogram of the edge weight： two new features for RGB-D person re-identification IMANI Z ， SOLTANIZADEH H . Person reidentification using local pattern descriptors and anthropometric measures from videos of kinect sensor ［J］. IEEE Sensors Journal ， 2016 ， 16 （ 16 ）： 6227 - 6238 . doi: 10.1109/jsen.2016.2579645 http://dx.doi.org/10.1109/jsen.2016.2579645 Person reidentification using local pattern descriptors and anthropometric measures from videos of kinect sensor IMANI Z ， SOLTANIZADEH H . Local binary pattern， local derivative pattern and skeleton features for RGB-D person re-identification ［J］. National Academy Science Letters ， 2019 ， 42 （ 3 ）： 233 - 238 . doi: 10.1007/s40009-018-0736-9 http://dx.doi.org/10.1007/s40009-018-0736-9 Local binary pattern， local derivative pattern and skeleton features for RGB-D person re-identification IMANI Z ， SOLTANIZADEH H ， OROUJI A A . Tensor-based sparse canonical correlation analysis via low rank matrix approximation for RGB-D long-term person re-identification ［J］. Multimedia Tools and Applications ， 2020 ， 79（prepublish）： 1- 25 . doi: 10.1007/s11042-019-08311-8 http://dx.doi.org/10.1007/s11042-019-08311-8 Tensor-based sparse canonical correlation analysis via low rank matrix approximation for RGB-D long-term person re-identification MOGELMOSE A ， BAHNSEN C ， MOESLUND T B ， et al . Tri-Modal person re-identification with RGB， depth and thermal features ［C］. Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops . New York ： ACM ， 2013 ： 301 - 307 . doi: 10.1109/cvprw.2013.52 http://dx.doi.org/10.1109/cvprw.2013.52 Tri-Modal person re-identification with RGB， depth and thermal features WANG Y H ， WANG T W ， YEN J Y ， et al . Dynamic human object recognition by combining color and depth information with a clothing image histogram ［J］. International Journal of Advanced Robotic Systems ， 2019 ， 16 （ 1 ）： 172988141982810 . doi: 10.1177/1729881419828105 http://dx.doi.org/10.1177/1729881419828105 Dynamic human object recognition by combining color and depth information with a clothing image histogram REN L ， LU J ， FENG J ， et al . Multi-modal uniform deep learning for RGB-D person re-identification ［J］. Pattern Recognition ， 2017 ， 72 ： 446 - 457 . doi: 10.1016/j.patcog.2017.06.037 http://dx.doi.org/10.1016/j.patcog.2017.06.037 Multi-modal uniform deep learning for RGB-D person re-identification IMANI Z ， SOLTANIZADEH H ， OROUJI A A . Short-term person re-identification using RGB， depth and skeleton information of RGB-D sensors ［J］. Iranian Journal of Science and Technology， Transactions of Electrical Engineering ， 2019 ， 44（prepublish）： 1- 13 . doi: 10.1007/s40998-019-00249-9 http://dx.doi.org/10.1007/s40998-019-00249-9 Short-term person re-identification using RGB， depth and skeleton information of RGB-D sensors UDDIN M K ， BHUIYAN A ， HASAN M . Fusion in dissimilarity space between RGB D and skeleton for person Re identification ［J］. International Journal of Innovative Technology and Exploring Engineering ， 2021 ， 10 （ 12 ）： 69 - 75 . doi: 10.35940/ijitee.l9566.10101221 http://dx.doi.org/10.35940/ijitee.l9566.10101221 Fusion in dissimilarity space between RGB D and skeleton for person Re identification JIANG H ， ZHANG L . Person Re-identification Based on Body Segmentation ［M］. Communications in Computer and Information Science . Singapore ： Springer Singapore ， 2017 ： 474 - 485 . doi: 10.1007/978-981-10-7302-1_39 http://dx.doi.org/10.1007/978-981-10-7302-1_39 Person Re-identification Based on Body Segmentation 周明全 ， 杨稳 ， 林芃樾 ， 等 . 基于最小二乘正则相关性分析的颅骨身份识别 ［J］. 光学 精密工程 ， 2021 ， 29 （ 1 ）： 201 - 210 . doi: 10.37188/OPE.20212901.0201 http://dx.doi.org/10.37188/OPE.20212901.0201 基于最小二乘正则相关性分析的颅骨身份识别 ZHOU M Q ， YANG W ， LIN P Y ， et al . Skull identification based on least square canonical correlation analysis ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 201 - 210 . （in Chinese） . doi: 10.37188/OPE.20212901.0201 http://dx.doi.org/10.37188/OPE.20212901.0201 Skull identification based on least square canonical correlation analysis FAN C ， PENG Y J ， CAO C S ， et al . GaitPart： temporal part-based model for gait recognition ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 14213 - 14221 . doi: 10.1109/cvpr42600.2020.01423 http://dx.doi.org/10.1109/cvpr42600.2020.01423 GaitPart： temporal part-based model for gait recognition LU X Y ， LI X D ， SHENG W J ， et al . Long-term person re-identification based on appearance and gait feature fusion under covariate changes ［J］. Processes ， 2022 ， 10 （ 4 ）： 770 . doi: 10.3390/pr10040770 http://dx.doi.org/10.3390/pr10040770 Long-term person re-identification based on appearance and gait feature fusion under covariate changes LI N ， ZHAO X . A Benchmark for Gait Recognition Under Occlusion Collected by Multi-Kinect SDAS ［EB/OL］. 2021 ： arXiv ： 2107 . 08990 . https：//arxiv.org/abs/2107.08990 https://arxiv.org/abs/2107.08990 A Benchmark for Gait Recognition Under Occlusion Collected by Multi-Kinect SDAS CHOI S ， KIM J ， KIM W ， et al . Skeleton-based gait recognition via robust frame-level matching ［J］. IEEE Transactions on Information Forensics and Security ， 2019 ， 14 （ 10 ）： 2577 - 2592 . doi: 10.1109/tifs.2019.2901823 http://dx.doi.org/10.1109/tifs.2019.2901823 Skeleton-based gait recognition via robust frame-level matching 周倩 ， 孙运强 ， 姚爱琴 ， 等 . 基于人体关节点定位的步态识别技术研究 ［J］. 国外电子测量技术 ， 2019 ， 38 （ 1 ）： 52 - 56 . 基于人体关节点定位的步态识别技术研究 ZHOU Q ， SUN Y Q ， YAO A Q ， et al . Research on gait recognition technology based on human joints location ［J］. Foreign Electronic Measurement Technology ， 2019 ， 38 （ 1 ）： 52 - 56 . （in Chinese） Research on gait recognition technology based on human joints location WANG L ， CHEN J . A two-branch neural network for gait recognition ［J］. arXiv preprint arXiv： 2202.10645 ， 2022 . A two-branch neural network for gait recognition PENG Y ， MA K ， ZHANG Y ， et al . Learning Rich Features for Gait Recognition by Integrating Skeletons and Silhouette s ［EB/OL］. 2021 ： arXiv ： 2110 . 13408 . https：//arxiv.org/abs/2110.13408 https://arxiv.org/abs/2110.13408 Learning Rich Features for Gait Recognition by Integrating Skeletons and Silhouettes LIU Y ， JIANG X H ， SUN T F ， et al . 3D gait recognition based on a CNN-LSTM network with the fusion of SkeGEI and DA features ［C］. 2019 16th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS）. 1821，2019 ， Taipei， China. IEEE ， 2019 ： 1 - 8 . doi: 10.1109/avss.2019.8909881 http://dx.doi.org/10.1109/avss.2019.8909881 3D gait recognition based on a CNN-LSTM network with the fusion of SkeGEI and DA features HAN J ， BHANU B . Individual recognition using gait energy image ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2006 ， 28 （ 2 ）： 316 - 322 . doi: 10.1109/tpami.2006.38 http://dx.doi.org/10.1109/tpami.2006.38 Individual recognition using gait energy image LIU J Y ， ZHENG N N . Gait history image： a novel temporal template for gait recognition ［C］. 2007 IEEE International Conference on Multimedia and Expo . 25，2007 ， Beijing， China . IEEE ， 2007 ： 663 - 666 . doi: 10.1109/icme.2007.4284737 http://dx.doi.org/10.1109/icme.2007.4284737 Gait history image： a novel temporal template for gait recognition YAO L ， KUSAKUNNIRAN W ， WU Q ， et al . Robust gait recognition using hybrid descriptors based on Skeleton Gait Energy Image ［J］. Pattern Recognition Letters ， 2021 ， 150 ： 289 - 296 . doi: 10.1016/j.patrec.2019.05.012 http://dx.doi.org/10.1016/j.patrec.2019.05.012 Robust gait recognition using hybrid descriptors based on Skeleton Gait Energy Image LI N ， ZHAO X B . A strong and robust skeleton-based gait recognition method with gait periodicity priors ［J］. IEEE Transactions on Multimedia ， 2022 ， 99 ： 1 . doi: 10.1109/tmm.2022.3154609 http://dx.doi.org/10.1109/tmm.2022.3154609 A strong and robust skeleton-based gait recognition method with gait periodicity priors LIAO R J ， YU S Q ， AN W Z ， et al . A model-based gait recognition method with body pose and human prior knowledge ［J］. Pattern Recognition ， 2020 ， 98 ： 107069 . doi: 10.1016/j.patcog.2019.107069 http://dx.doi.org/10.1016/j.patcog.2019.107069 A model-based gait recognition method with body pose and human prior knowledge MING D ， ZHANG C ， BAI Y R ， et al . Gait recognition based on multiple views fusion of wavelet descriptor and human skeleton model ［C］. 2009 IEEE International Conference on Virtual Environments， Human-Computer Interfaces and Measurements Systems . 1113，2009 ， Hong Kong ， China . IEEE ， 2009 ： 246 - 249 . doi: 10.1109/vecims.2009.5068902 http://dx.doi.org/10.1109/vecims.2009.5068902 Gait recognition based on multiple views fusion of wavelet descriptor and human skeleton model LIAO R J ， CAO C S ， GARCIA E B ， et al . Pose-Based Temporal-Spatial Network （ PTSN ） for Gait Recognition with Carrying and Clothing Variations ［M］. Biometric Recognition . Cham ： Springer International Publishing ， 2017 ： 474 - 483 . doi: 10.1007/978-3-319-69923-3_51 http://dx.doi.org/10.1007/978-3-319-69923-3_51 Pose-Based Temporal-Spatial Network （PTSN） for Gait Recognition with Carrying and Clothing Variations XU K ， JIANG X H ， SUN T F . Gait identification based on human skeleton with pairwise graph convolutional network ［C］. 2021 IEEE International Conference on Multimedia and Expo （ICME）. 59，2021 ， Shenzhen， China. IEEE ， 2021 ： 1 - 6 . doi: 10.1109/icme51207.2021.9428123 http://dx.doi.org/10.1109/icme51207.2021.9428123 Gait identification based on human skeleton with pairwise graph convolutional network SONG C ， HUANG Y ， HUANG Y ， et al . GaitNet： an end-to-end network for gait based human identification ［J］. Pattern Recognition ， 2019 ， 96 ： 106988 . doi: 10.1016/j.patcog.2019.106988 http://dx.doi.org/10.1016/j.patcog.2019.106988 GaitNet： an end-to-end network for gait based human identification TEEPE T ， KHAN A ， GILG J ， et al . Gaitgraph： graph convolutional network for skeleton-based gait recognition ［C］. 2021 IEEE International Conference on Image Processing （ICIP）. 1922，2021 ， Anchorage， AK， USA. IEEE ， 2021 ： 2314 - 2318 . doi: 10.1109/icip42928.2021.9506717 http://dx.doi.org/10.1109/icip42928.2021.9506717 Gaitgraph： graph convolutional network for skeleton-based gait recognition ZHENG X ， LI X ， XU K ， et al . Gait Identification Under Surveillance Environment Based on Human Skeleton ［EB/OL］. 2021 ： arXiv ： 2111 . 11720 . https：//arxiv.org/abs/2111.11720 https://arxiv.org/abs/2111.11720 Gait Identification Under Surveillance Environment Based on Human Skeleton 贾松敏 ， 王丽佳 ， 王爽 ， 等 . 改进的步态光流图与视角相结合的身份识别 ［J］. 光学 精密工程 ， 2012 ， 20 （ 11 ）： 2500 - 2506 . doi: 10.3788/ope.20122011.2500 http://dx.doi.org/10.3788/ope.20122011.2500 改进的步态光流图与视角相结合的身份识别 JIA S M ， WANG L J ， WANG SH ， et al . Personal identification combining modified gait flow image and view ［J］. Opt. Precision Eng. ， 2012 ， 20 （ 11 ）： 2500 - 2506 . （in Chinese） . doi: 10.3788/ope.20122011.2500 http://dx.doi.org/10.3788/ope.20122011.2500 Personal identification combining modified gait flow image and view ELHARROUSS O ， ALMAADEED N ， AL-MAADEED S ， et al . Gait recognition for person re-identification ［J］. The Journal of Supercomputing ， 2020 ， 77 （ 4 ）： 1 - 20 . doi: 10.1007/s11227-020-03409-5 http://dx.doi.org/10.1007/s11227-020-03409-5 Gait recognition for person re-identification TOPHAM L K ， KHAN W ， AL-JUMEILY D ， et al . Human body pose estimation for gait identification： a comprehensive survey of datasets and models ［J］. ACM Computing Surveys ， 2022 ， 55 ： 1 - 42 . doi: 10.1145/3533384 http://dx.doi.org/10.1145/3533384 Human body pose estimation for gait identification： a comprehensive survey of datasets and models RAO H ， WANG S ， HU X ， et al . Self-Supervised Gait Encoding with Locality-Aware Attention for Person Re-identification ［EB/OL］. 2020 ： arXiv ： 2008 . 09435 . https：//arxiv.org/abs/2008.09435 https://arxiv.org/abs/2008.09435 . doi: 10.24963/ijcai.2020/125 http://dx.doi.org/10.24963/ijcai.2020/125 Self-Supervised Gait Encoding with Locality-Aware Attention for Person Re-identification HUYNH-THE T ， HUA CH ， TU NA ， et al . Learning 3D spatiotemporal gait feature by convolutional network for person identification ［J］. Neurocomputing ， 2020 ， 397 ： 192 - 202 . doi: 10.1016/j.neucom.2020.02.048 http://dx.doi.org/10.1016/j.neucom.2020.02.048 Learning 3D spatiotemporal gait feature by convolutional network for person identification HAQUE A ， ALAHI A ， LI F F . Recurrent attention models for depth-based person identification ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 1229 - 1238 . doi: 10.1109/cvpr.2016.138 http://dx.doi.org/10.1109/cvpr.2016.138 Recurrent attention models for depth-based person identification FENDRI E ， CHTOUROU I ， HAMMAMI M . Gait-based person re-identification under covariate factors ［J］. Pattern Analysis and Applications ， 2019 ， 22 （ 4 ）： 1629 - 1642 . doi: 10.1007/s10044-019-00793-4 http://dx.doi.org/10.1007/s10044-019-00793-4 Gait-based person re-identification under covariate factors SUN J D ， WANG Y F ， LI J ， et al . View-invariant gait recognition based on kinect skeleton feature ［J］. Multimedia Tools and Applications ， 2018 ， 77 （ 19 ）： 24909 - 24935 . doi: 10.1007/s11042-018-5722-1 http://dx.doi.org/10.1007/s11042-018-5722-1 View-invariant gait recognition based on kinect skeleton feature CHOI Y ， NAPOLEAN Y ， VAN GEMERT J C . The arm-swing is discriminative in video gait recognition for athlete re-identification ［C］. 2021 IEEE International Conference on Image Processing （ICIP）. 1922，2021 ， Anchorage， AK， USA. IEEE ， 2021 ： 2309 - 2313 . doi: 10.1109/icip42928.2021.9506348 http://dx.doi.org/10.1109/icip42928.2021.9506348 The arm-swing is discriminative in video gait recognition for athlete re-identification LIU Z ， ZHANG Z ， WU Q ， et al . Enhancing person re-identification by integrating gait biometric ［J］. Neurocomputing ， 2015 ， 168 ： 1144 - 1156 . doi: 10.1016/j.neucom.2015.05.008 http://dx.doi.org/10.1016/j.neucom.2015.05.008 Enhancing person re-identification by integrating gait biometric NAMBIAR A ， BERNARDINO A ， NASCIMENTO J C ， et al . Context-aware person re-identification in the wild via fusion of gait and anthropometric features ［C］. 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition （FG 2017 ）. May 30 - June 3 ， 2017， Washington， DC， USA. IEEE ， 2017： 973 - 980 . doi: 10.1109/fg.2017.121 http://dx.doi.org/10.1109/fg.2017.121 Context-aware person re-identification in the wild via fusion of gait and anthropometric features ANDERSSON V O ， ARAUJO R M . Person identification using anthropometric and gait data from kinect sensor ［C］. Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence. 2530，2015 ， Austin， Texas. New York ： ACM ， 2015 ： 425 - 431 . doi: 10.1609/aaai.v29i1.9212 http://dx.doi.org/10.1609/aaai.v29i1.9212 Person identification using anthropometric and gait data from kinect sensor YADAV A ， VISHWAKARMA D K . Person Re-identification Using Deep Learning Networks ： A Systematic Review ［EB/OL］. 2020 ： arXiv ： 2012 . 13318 . https：//arxiv.org/abs/2012.13318 https://arxiv.org/abs/2012.13318 . doi: 10.1109/spin.2019.8711617 http://dx.doi.org/10.1109/spin.2019.8711617 Person Re-identification Using Deep Learning Networks： A Systematic Review RASOOL RABAB A . Feature-level vs. score-level fusion in the human identification system ［J］. Applied Computational Intelligence and Soft Computing ， 2021 ， 2021 ： 1 - 10 . doi: 10.1155/2021/6621772 http://dx.doi.org/10.1155/2021/6621772 Feature-level vs. score-level fusion in the human identification system ZHANG X ， RAI L . Multi-feature extraction and fusion method for pedestrian re-identification ［C］. 2020 IEEE 3rd International Conference on Electronic Information and Communication Technology （ICEICT）. 1315，2020 ， Shenzhen， China. IEEE ， 2021 ： 743 - 747 . doi: 10.1109/iceict51264.2020.9334218 http://dx.doi.org/10.1109/iceict51264.2020.9334218 Multi-feature extraction and fusion method for pedestrian re-identification LOPES A ， SOUZA R ， PEDRINI H . A Survey On RGB-D Datasets ［EB/OL］. 2022 ： arXiv ： 2201 . 05761 . https：//arxiv.org/abs/2201.05761 https://arxiv.org/abs/2201.05761 . doi: 10.1016/j.cviu.2022.103489 http://dx.doi.org/10.1016/j.cviu.2022.103489 A Survey On RGB-D Datasets DAMER N ， OPEL A ， NOUAK A . CMC curve properties and biometric source weighting in multi-biometric score-level fusion ［C］. 17th International Conference on Information Fusion （FUSION）. 710，2014 ， Salamanca， Spain. IEEE ， 2014 ： 1 - 6 . doi: 10.1007/978-3-642-41939-3_7 http://dx.doi.org/10.1007/978-3-642-41939-3_7 CMC curve properties and biometric source weighting in multi-biometric score-level fusion WANG G A ， YANG S ， LIU H Y ， et al . High-order information matters： learning relation and topology for occluded person re-identification ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 6448 - 6457 . doi: 10.1109/cvpr42600.2020.00648 http://dx.doi.org/10.1109/cvpr42600.2020.00648 High-order information matters： learning relation and topology for occluded person re-identification 孙刘杰 ， 刘丽 ， 王文举 . 多特征融合高通量dPCR荧光图像识别 ［J］. 光学 精密工程 ， 2022 ， 30 （ 8 ）： 928 - 937 . doi: 10.37188/OPE.20223008.0928 http://dx.doi.org/10.37188/OPE.20223008.0928 多特征融合高通量dPCR荧光图像识别 SUN L J ， LIU L ， WANG W J . Multi-feature fusion high-throughput dPCR fluorescence image recognition ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 8 ）： 928 - 937 . （in Chinese） . doi: 10.37188/OPE.20223008.0928 http://dx.doi.org/10.37188/OPE.20223008.0928 Multi-feature fusion high-throughput dPCR fluorescence image recognition YANG M X ， HUANG Z Y ， HU P ， et al . Learning with twin noisy labels for visible-infrared person re-identification ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1824，2022 ， New Orleans， LA， USA. IEEE ， 2022 ： 14288 - 14297 . doi: 10.1109/cvpr52688.2022.01391 http://dx.doi.org/10.1109/cvpr52688.2022.01391 Learning with twin noisy labels for visible-infrared person re-identification CHO Y ， KIM W J ， HONG S ， et al . Part-based pseudo label refinement for unsupervised person re-identification ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1824，2022 ， New Orleans， LA， USA. IEEE ， 2022 ： 7298 - 7308 . doi: 10.1109/cvpr52688.2022.00716 http://dx.doi.org/10.1109/cvpr52688.2022.00716 Part-based pseudo label refinement for unsupervised person re-identification 10.37188/OPE.20233108.1228 TP391.41 A 1004-924X（2023）08-1228-16 贾梦瑜,张继凯,马茹等.基于人体骨架信息的行人再识别研究综述[J].光学精密工程,2023,31(08):1228-1243. 贾梦瑜,张继凯,马茹等.基于人体骨架信息的行人再识别研究综述[J].光学精密工程,2023,31(08):1228-1243. JIA Mengyu,ZHANG Jikai,MA Ru,et al.Survey of person re-identification based on human skeleton information[J].Optics and Precision Engineering,2023,31(08):1228-1243. JIA Mengyu,ZHANG Jikai,MA Ru,et al.Survey of person re-identification based on human skeleton information[J].Optics and Precision Engineering,2023,31(08):1228-1243. 国家自然科学基金资助项目（No.61771266）；内蒙古自治区自然科学基金资助项目（No.2019BS06005）；内蒙古自治区高等学校科学研究项目资助（No.NJZY20095）；内蒙古自治区科技计划项目资助（No.2019GG138） 2022-09-13 2022-10-30 2023-04-25 2023-05-04 36544139 光学精密工程 8 31