基于像素投票的人手全局姿态估计

基于像素投票的人手全局姿态估计 Global hand pose estimation based on pixel voting first-author corresp 林晋钢（1998-），男，福建泉州人，硕士研究生，2020年于青岛理工大学获得学士学位，主要从事计算机视觉、计算机图形学方面的研究。E-mail：jinganglin163@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037450&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037455&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037453&type= 22.01333237 32.00400543 林晋钢 （1998-），男，福建泉州人，硕士研究生，2020年于青岛理工大学获得学士学位，主要从事计算机视觉、计算机图形学方面的研究。E-mail： jinganglin163@163.com jinganglin163@163.com corresp E-mail： dongnianli@qut.edu.cn E-mail： dongnianli@qut.edu.cn 李东年（1987-），男，山东东营人，副教授，硕士生导师，2009年、2015年于山东大学分别获得学士、博士学位，主要从事机器视觉、计算机图形学和虚拟现实方面的研究。E-mail： dongnianli@qut.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037458&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037465&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037463&type= 22.01333618 32.00400543 李东年 （1987-），男，山东东营人，副教授，硕士生导师，2009年、2015年于山东大学分别获得学士、博士学位，主要从事机器视觉、计算机图形学和虚拟现实方面的研究。E-mail： dongnianli@qut.edu.cn dongnianli@qut.edu.cn 青岛理工大学 机械与汽车工程学院，山东 青岛 266520 青岛理工大学 机械与汽车工程学院，山东 青岛 266520 School of Mechanical and Automotive Engineering， Qingdao University of Technology， Qingdao 266520， China School of Mechanical and Automotive Engineering， Qingdao University of Technology， Qingdao 266520， China 针对人手全局姿态估计误差较大的问题，提出了一种基于像素投票的人手全局姿态估计方法。建立编码器-解码器结构卷积神经网络产生语义信息与姿态信息特征图；分别利用语义分割分支、姿态估计分支从特征图中获取人手像素位置与逐像素姿态投票，最后汇总人手像素的姿态投票获得投票结果。为解决人手全局姿态数据集较少的问题，通过OpenSceneGraph（OSG）三维渲染引擎和三维人手模型建立人手数据集合成程序。该程序可生成不同手势下的人手深度图像与全局姿态标签。实验结果表明，基于像素投票的人手全局姿态估计方法的误差均值为5.036°，可以准确地从深度图像中估计人手全局姿态。 Global hand pose estimation under changing gestures remains a challenging task in computer vision. To address the problem of large errors in this task， a method based on pixel voting was proposed. First， a convolutional neural network with an encoder-decoder structure was established to generate feature maps of semantic and pose information. Second， hand pixel positions and pixel-by-pixel pose voting were obtained from the feature maps using semantic segmentation and pose estimation branches， respectively. Finally， the pose voting of hand pixels was aggregated to obtain the voting result. Simultaneously， to solve the problem of scarcity of global hand pose datasets， a procedure for generating synthetic datasets of the human hand was established using the OpenSceneGraph 3D rendering engine and a 3D human hand model. This procedure could generate depth images and global pose labels of human hands under different gestures. Experimental results show that the average error of global hand pose estimation based on pixel voting is 5.036°， thus verifying that the proposed method can robustly and accurately estimate global hand poses from depth images. 人手姿态估计 卷积神经网络 深度学习 深度图像 合成数据集 hand pose estimation Convolutional Neural Network（CNN） deep learning depth image synthetic dataset 1 引 言 1 人手姿态估计是计算机视觉领域的重要研究课题之一，广泛应用于人机交互、机器人示教学习和手势识别等领域。由于人手结构复杂、姿态多变、观察视角多样性等特点，基于计算机视觉的人手姿态估计是一项具有挑战性的任务。目前，基于视觉的人手姿态估计方法通常分为3类：生成式方法、判别式方法和混合式方法。 生成式方法 ［ 1 1 - 2 2 1-2 ］ 通过设计目标函数评价预先建立的人手模型与给定的人手图像的相似程度，利用某种优化算法调整人手模型姿态，实现它与人手图像的拟合，并通过缩小目标函数值，实现给定图像与人手模型的匹配。但该方法需要初始化，且存在高维状态空间搜索的难题。判别式方法 ［ 3 3 - 4 4 3-4 ］ 利用大量训练数据学习一个从图像特征空间到人手姿态空间的映射，无需初始化，姿态估计速度快，但其性能受到训练数据的影响。混合式方法 ［ 5 5 - 6 6 5-6 ］ 对生成式与判别式方法进行了融合，利用判别式方法产生初始结果，然后使用生成式方法优化初始结果。该方法利用判别式方法解决初始化的问题，基于生成式方法使用时序信息与空间信息约束来平滑预测结果。 近年来，卷积神经网络（Convolutional Neural Network， CNN）已经广泛应用于三维人手姿态估计领域。基于CNN的人手姿态估计方法通常分为两类：全局回归法 ［ 7 7 - 10 10 7-10 ］ 和局部检测法 ［ 11 11 - 15 15 11-15 ］ 。全局回归法通常利用深度CNN提取图像特征，再利用全连接层回归人手姿态参数，但是全连接层全局特征聚合的操作，不能很好地利用局部空间上下文信息。局部检测法精度较高，通常利用编码器-解码器的结构为每个关节生成位置热图，但解码器通常使用计算速度缓慢的反卷积操作，而且编码器-解码器结构通常利用不可学习的后处理方法实现从位置热图到关节坐标的推断。 Sharp等 ［ 16 16 ］ 通过建立决策丛林来构造一个两层人手姿态初始估计模块。两层姿态初始估计模块通过两阶段来对人手姿态进行初始估计。第一阶段将人手全局姿态表示为128个离散姿态区间，通过第一层的预测器估计人手所属的姿态区间。第二层为每个姿态区间独立训练预测器，该预测器在第一层预测结果的基础上细化回归人手的全局姿态。但该方法仅为混合式方法提供粗糙的初始结果，所预测的人手全局姿态精度较差。Liang等 ［ 17 17 ］ 提出具有优化叶子节点的霍夫森林进行人手全局姿态估计，通过学习叶子节点中的投票权重以抑制错误投票对预测结果的影响，但该方法依赖于人工制作的复杂学习特征。基于CNN的人手姿态估计方法，大多数侧重于全自由度手部姿态估计任务。因此，这些方法在变化的手势下对人手进行全局姿态估计的准确性，不能满足需要精确旋转控制的人机交互应用 ［ 17 17 ］ 。在人手直接参与的人机交互场景中，手部旋转是常见的交互动作，例如在抓取虚拟物体的应用场景中，操作者利用抓握动作完成对虚拟物体的抓取，抓取完成后旋转手部用以调整对虚拟物体的观察视角。在实际应用场景中，可以通过组合使用手势识别与手部全局姿态变化识别来实现复杂的人机交互动作。一些研究者采用CNN来进行人体头部全局姿态估计。Ruiz等 ［ 18 18 ］ 提出一种基于多损失深度CNN的人体头部全局姿态估计方法，通过结合分类方法和回归方法优势来提升全局姿态估计的准确率。Yang等 ［ 19 19 ］ 提出一种基于回归与特征聚合的人体头部全局姿态估计方法，采用分段软回归的方法解决了直接回归全局姿态误差较大的问题。这些全局姿态估计方法针对近似刚体的人体头部，并不能为手势多变的人手提供准确的全局姿态预测。因此，手部全局姿态的估计是十分有意义的。 深度相机成像包含距离信息，具有不受光照条件、背景色彩限制等优势，因此被广泛应用于人手姿态估计领域。根据相机成像方式，深度相机可分为结构光与飞行时间（Time of Flight， TOF）两类 ［ 20 20 ］ 。其中，以Kinect V2为代表的基于TOF的消费级深度相机，能够以低成本获取准确的深度图像。基于TOF的深度相机原理是首先通过相机发射光脉冲至观测物体，然后相机接收从观测物体反射的光脉冲，最后通过光脉冲飞行往返时间计算二者之间的距离。利用深度图像求解人手姿态能够有效避免二维图像的歧义性问题。同时，可通过深度图像获取手部到相机的物理距离。利用距离信息可将人手与复杂背景分离，避免杂乱背景信息的干扰。 人手全局姿态估计旨在通过输入图像估计3D手部的旋转角度，与之相似的问题还有3D头部姿态估计。值得注意的是，头部可以近似为刚体，且因为人体生理约束限制，头部旋转范围较小；但手部运动范围大，且手势多变，相比之下手部全局姿态估计任务更具有挑战性。在数据集方面，规模大、标记精度高的数据集是保证CNN能够进行有效训练的基础，但现有人手姿态数据集大多采用人手关节3D位置标签，缺少人手全局姿态标签，且数据集中的人手动作存在着无法完整覆盖手部动作空间的问题。 本文提出一种基于像素投票的人手全局姿态估计网络，以深度图像作为输入在变化的手势下估计手部3D旋转角度。该方法旨在提供更高精度的旋转角度估计以满足人机交互中精确旋转控制的需求。同时，针对数据集少、动作样本难以覆盖整个手部运动空间的问题，本文通过三维渲染引擎OSG建立人手数据集合成程序。该程序可实现不同手势下的人手深度图像渲染、全局姿态标注工作，为人手全局姿态估计提供大量高质量的训练数据。 2 模型构建 1 基于像素投票的手部全局姿态估计网络结构如 图1 图1 所示。给定一张深度图像，从图像中估计手部的全局旋转姿态 <math id="M1"><mi>θ</mi><mo>=</mo><mfenced separators="|"><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo>,</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>,</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">y</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037472&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037469&type= 22.01333237 4.82600021 ，其中， <math id="M2"><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037575&type= 2.96333337 3.72533321 ， <math id="M3"><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037483&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037481&type= 2.62466669 3.72533321 ， <math id="M4"><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037488&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037485&type= 2.96333337 3.72533321 分别表示手部全局旋转的俯仰、翻滚和偏航3个欧拉角。该网络基于编码器-解码器架构，包括两个功能分支：语义分割分支和姿态估计分支。这两个分支分别预测每个像素的语义信息和姿态投票信息。本文利用语义分割分支分割出手部像素区域，再利用手部像素姿态投票信息获得全局姿态估计。 2.1　编码器-解码器架构 2 受到DeeplabV3+ ［21］ 语义分割网络的启发，这里采用了编码器-解码器结构来获得像素级的语义分割与姿态预测。该结构包括用以提取特征信息的编码器和预测语义信息与姿态信息的解码器。 编码器由主干网络和空洞空间金字塔池化（Atrous Spacial Pyramid Pooling， ASPP）模块组成。本文采用深度残差网络ResNet101 ［ 22 22 ］ 作为主干网络，用于图像特征提取。ResNet101利用跃层连接的方式有效解决了CNN深度增加所造成的梯度消失、梯度爆炸等问题 ［ 23 23 ］ ，因此具有更好的学习与表达能力。ResNet101可以利用公开数据集进行预训练，本文采用ImageNet数据集 ［ 24 24 ］ 对ResNet101进行预训练。实验证明，采用预训练主干网络的模型具有更好的图像特征提取能力，且后续训练收敛更快 ［ 25 25 ］ 。为使ResNet101更适合基于像素投票的姿态估计方法，这里去除了该网络的全连接层，并将Conv_x4输出的特征图分辨率从原有输入图像1/32倍调整为1/16倍，从而更好地保留空间关系；并将卷积层Conv_x4的卷积调整成扩张率为2的扩张卷积，从而扩大CNN的感受野。 针对手势多样性与姿态复杂性的特点，利用ASPP模块在多个尺度上捕获上下文信息，进而增加网络提取不同手部姿态特征的能力。ASPP模块结构如 图2 图2 所示，该模块由4个分别为1×1卷积和扩张率分别为3，6，9的3×3卷积组成。首先，将主干网络输出的特征图分别输入ASPP模块与全局平均池化层获得5个通道数为256，尺度不同的特征图。然后，将获得的5个特征图在通道维度上进行连接，生成1个通道数为1 280的融合特征图。最后，利用1×1卷积将融合特征图通道数从1 280调整至256完成编码工作。 解码器需要将编码器得到的特征图上采样至输入图像分辨率。DeeplabV3+的解码器将得到的特征图进行4倍双线性上采样操作，然后与主干网络中具有相同分辨率的低阶特征在通道维度上连接。连接前利用1×1卷积调整低阶特征通道数量，避免低阶特征的大数目通道（例如256或512）所导致的训练困难。连接后利用3×3卷积操作进行特征提取。解码器将编码器输出的特征图进行4倍双线性上采样操作，与特征提取主干网络中Conv_x2层所提取的低阶特征图相连接。该低阶特征图有256个通道，在与编码器特征图连接之前利用1×1卷积调整至48个通道。连接后获得304个通道的融合特征图，利用3×3卷积操作进行最后的特征提取。再次利用4倍双线性上采样操作得到与输入图分辨率相同的特征图。最后完成解码工作，输出包含语义信息与姿态信息的8通道特征图。 2.2　语义分割分支 2 虽然利用姿态估计分支可以预测每个像素的姿态投票，并通过汇集所有像素投票的方式得到最终的姿态预测结果。但本文认为模型在进行人手全局姿态估计时需更加关注手部区域像素，因此应区分深度图像中像素的类别。为了有效汇总像素姿态投票，本文通过语义标记将图像中所有像素标注为手类或背景，在预测时通过语义分割分支获得每个像素的准确类别。 编码器-解码器模块生成的8通道特征图同时包含语义信息与手部全局姿态信息。本文将特征图的前两个通道作为语义分割分支的输入。输入语义分割分支的特征图与原始图像的分辨率一致，特征图通道记录每个像素的语义标记分数。利用Softmax 函数计算每个像素对应各个类别的概率，即： <math display="block" id="M5"><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfrac><mrow><msup><mrow><mi>e</mi></mrow><mrow><msub><mrow><mi>K</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msup></mrow><mrow><msubsup><mo>∑</mo><mrow><mi>c</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>C</mi></mrow></msubsup><mrow><msup><mrow><mi>e</mi></mrow><mrow><msub><mrow><mi>K</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow></msup></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037514&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037511&type= 21.42066574 10.07533360 ， 其中： <math id="M6"><msub><mrow><mi>K</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037518&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037515&type= 3.64066648 3.72533321 表示每个类别的语义标记分数， <math id="M7"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037521&type= 2.62466669 2.79399991 为所有类别的个数。 2.3　姿态估计分支 2 本文目标是求解手部全局姿态 <math id="M8"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037535&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037532&type= 1.86266661 2.79399991 。因为 <math id="M9"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037535&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037532&type= 1.86266661 2.79399991 在3D空间不受约束，其不同维度是不相关的，因此可以独立求解每个维度的参数。每个维度的参数由欧拉角表示，但欧拉角表示法存在不连续性，不适用于微分和积分的运算，不利于CNN的学习 ［ 26 26 ］ 。为了解决上述问题，本文并不直接预测每个维度的欧拉角，而是预测其正弦值与余弦值。那么任意手部全局姿态 <math id="M10"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037542&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037538&type= 1.86266661 2.79399991 可用姿态向量表示，即 <math id="M11"><mi mathvariant="bold-italic">M</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo>,</mo><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo>,</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>,</mo><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>,</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">y</mi></mrow></msub><mo>,</mo><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">y</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037547&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037545&type= 69.34200287 4.82600021 。这种表示方法具有连续性，有利于CNN学习图像特征到旋转姿态空间的特征映射。 在进行全局姿态估计时，PoseCNN ［ 27 27 ］ 利用三层全连接层完成高阶特征信息到全局旋转姿态的映射。最后一层全连接层直接输出刚性物体的全局旋转姿态估计。但本文认为利用全连接层完成特征映射会破坏空间信息，不利于解决手势变化多样的手部全局姿态估计问题。所示本方法保留二维特征形式，为每个像素分配姿态标签，通过像素投票获得预测姿态。 姿态估计分支将编码器-解码器模块生成特征图的后6个通道作为输入，每个通道对应单一维度欧拉角的正弦或余弦姿态信息。基于前文所述，在进行姿态估计时仅关注手部位置像素，所以需获得仅在手部像素保留信息的姿态标签图与特征图。姿态标签图的获取过程如 图3 图3 所示。首先，利用语义标签生成手部掩码图。然后，根据手部全局姿态生成姿态标签图。生成的姿态标签图共有6个通道，尺寸同手部掩码图一致，每个通道记录手部全局姿态不同维度欧拉角的正弦值或余弦值。最后，利用手部掩码图屏蔽姿态标签图的背景像素，获得仅在手部区域记录姿态信息的姿态标签图。在训练时，利用手部掩码图屏蔽输入特征图的背景像素，再利用输入特征图与姿态标签图进行人手全局姿态估计损失的计算。 本分支预测时，手部全局姿态的获取过程如 图4 图4 所示。首先，利用语义分割分支生成手部掩码图。 该图用以保留输入特征图的手部区域像素，以保留的手部像素作为投票像素。然后，由 式（2） 式（2） 将所有投票像素同一通道的预测值均值作为对应通道的姿态投票结果。通过6个通道对应的投票结果可获得预测姿态向量 <math id="M12"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037566&type= 4.82600021 3.80999994 。最后，预测姿态向量 <math id="M13"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037574&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037572&type= 4.82600021 3.80999994 通过反正切函数求解得到预测的手部全局姿态 <math id="M14"><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037575&type= 2.96333337 3.72533321 。本文将像素投票函数定义为： <math display="block" id="M15"><msub><mrow><mi>V</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>n</mi></mrow></msub></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037583&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037581&type= 27.51666832 8.63599968 ， 其中 ：N 表示手部像素的个数， <math id="M16"><msub><mrow><mi>p</mi></mrow><mrow><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037587&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037585&type= 3.47133350 4.57200003 表示每个手部像素， <math id="M17"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037591&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037589&type= 2.62466669 3.72533321 表示手部像素每个通道的姿态投票， <math id="M18"><msub><mrow><mi>V</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037595&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037593&type= 3.80999994 3.80999994 表示每个通道的姿态投票结果。 3 损失函数 1 本文提出的方法需执行两个任务：语义分割和姿态估计。这里使用交叉熵（Cross-Entropy）作为损失函数来训练语义分割分支。对于姿态估计分支，利用 Smooth L1 损失函数（如 式（3） 式（3） ）构建像素姿态损失函数 <math id="M19"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037598&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037596&type= 4.65666676 3.72533321 ，该损失定义如 式（4） 式（4） 所示。 <math display="block" id="M20"><mi>s</mi><mi>m</mi><mi>o</mi><mi>o</mi><mi>t</mi><msub><mrow><mi>h</mi></mrow><mrow><mi>L</mi><mn mathvariant="normal">1</mn></mrow></msub><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd><mtd><mo>,</mo></mtd><mtd><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced><mo>≤</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mtd><mtd><mo>,</mo></mtd><mtd><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced><mo>></mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037604&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037600&type= 57.91199875 18.62666702 ， <math display="block" id="M21"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi></mrow></msub><mfenced separators="|"><mrow><mi>l</mi><mo>,</mo><mi>v</mi></mrow></mfenced><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>I</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>I</mi></mrow></munderover></mstyle><mrow><mi>s</mi><mi>m</mi><mi>o</mi><mi>o</mi><mi>t</mi><msub><mrow><mi>h</mi></mrow><mrow><mi>L</mi><mn mathvariant="normal">1</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>l</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>V</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037609&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037608&type= 52.74732971 8.63599968 ， 其中： <math id="M22"><mi>I</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037616&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037612&type= 1.60866666 2.79399991 表示输入姿态特征图的通道数， <math id="M23"><msub><mrow><mi>l</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037620&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037618&type= 1.94733346 3.72533321 表示每个通道的真实姿态值， <math id="M24"><msub><mrow><mi>V</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037624&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037622&type= 3.80999994 3.80999994 表示手部像素每个通道的姿态投票值。 本文利用交叉熵损失函数与像素姿态损失函数共同监督基于像素投票的人手全局姿态估计网络的学习。网络损失函数为： <math display="block" id="M25"><mi>L</mi><mi>o</mi><mi>s</mi><mi>s</mi><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>+</mo><mi>α</mi><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037629&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037627&type= 26.24666595 3.80999994 ， 其中： <math id="M26"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037633&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037630&type= 3.47133350 3.72533321 表示语义分割分支给出像素类别预测概率分布与真实像素类别概率分布之间的交叉熵； α 表示平衡系数，用于平衡语义分割任务与姿态估计任务之间的关系。 4 实 验 1 本文方法在合成数据集上进行训练和量化评价。此外，利用Kinect V2深度相机拍摄真实手部深度图像进行定性测试，以验证该方法在真实场景下的使用效果。实验是在拥有4块NVIDIA TITANXP GPU，2个型号为Intel Xeon E5-2650V4@2.2GHz CPU，128 G内存的高性能服务器上完成的。 4.1　合成数据集的制备 2 本文在Visual Studio 2013编译器上，基于开源跨平台三维渲染引擎 OpenSceneGraph（OSG）开发人手数据集合成程序。该程序用以生成大量手部深度图像与对应的全局姿态标签。 合成数据集的制备过程如下：首先建立场景，并在场景中加载三维人手模型，然后通过虚拟相机观测场景中不同手势不同姿态下的三维人手模型。三维人手模型的建模精度越高，越有利于获得更近似真实人手的图像数据，但是使用更高建模精度的三维人手模型进行姿态变换也意味着更高的计算复杂度。因此，需要平衡模型精度与计算复杂度之间的需求关系。人手是由多个指节与手掌铰接而成的关节式物体。根据这个特点，本文利用圆台、球体等几何基元建立三维人手模型的各个部件，控制模型中的各部件旋转运动，实现人手模型的姿态变换。根据Kinect V2相机内参数建立虚拟深度相机，通过投影过程将三维人手模型渲染成深度图像。 根据人手生理结构对各个关节运动的限制生成包含各个关节旋转角度的姿态信息文本。OSG通过读取不同手势下的姿态信息文本控制人手三维模型各个自由度节点运动，实现人手三维模型的动作变化。将虚拟深度相机放置在人手模型正上方1 m处，拍摄不同姿态下人手模型对应的深度图像。 人手模型的姿态变化包括三维人手全局姿态变化与局部手指关节姿态变化。为了获取合理的全局姿态，本文根据真实人手自然运动对人手模型的全局姿态变换范围进行约束。 图5 图5 为定义的三维人手模型旋转轴，其旋转范围约束如下： <math display="block" id="M27"><mtable columnalign="left"><mtr><mtd><mo>-</mo><mn mathvariant="normal">20</mn><mo>°</mo><mo>≤</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo>≤</mo><mn mathvariant="normal">60</mn><mo>°</mo></mtd></mtr><mtr><mtd><mo>-</mo><mn mathvariant="normal">180</mn><mo>°</mo><mo>≤</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>≤</mo><mn mathvariant="normal">30</mn><mo>°</mo></mtd></mtr><mtr><mtd><mo>-</mo><mn mathvariant="normal">60</mn><mo>°</mo><mo>≤</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi mathvariant="normal">y</mi></mrow></msub><mo>≤</mo><mn mathvariant="normal">60</mn><mo>°</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037637&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36037635&type= 27.17799950 14.47799969 . 局部手指关节变化通过5个人手基本动作模板生成，动作模板T1，T2，T3，T4，T5如 图6 图6 所示。动作模板中每一个手指关节可以在小范围内随机转动，以此生成基于模板的局部手指关节姿态。在生成姿态信息文本时，首先根据随机生成的局部手指关节姿态调整三维人手模型的手指变化，然后在限制范围内随机改变人手模型的全局姿态，最后记录变化后的姿态，输出信息文本。 本文采用上述方法生成共计2×10 4 张分辨率175×175的合成深度图像与对应的全局姿态标签。合成数据集部分实例如 图7 图7 所示。 4.2　合成数据集实验 2 从真实深度相机直接获取人手全局姿态的真实值是非常困难的，故采用合成图像来对本文提出的方法进行量化评价。用于量化评价的测试集包含5种基本人手动作，每种动作包含400张深度图像。网络模型在合成数据集上进行训练，使用随机梯度下降（Stochastic Gradient Descent， SGD）算法作为优化器，初始学习率设置为0.003 5，batch size设置为96，epoch设置为70。 4 . 2 . 1　超参数的选择 3 本文利用平衡系数 α 调整CNN的损失函数。取平衡系数分别为4，6，8，10，12，14来训练网络， 图8 图8 为本文采用不同平衡系数训练的模型在测试集上的预测结果。其中，包括人手全局姿态3个欧拉角的绝对误差以及绝对误差均值。由此可以发现，当平衡系数 α =10时训练的模型在测试集上表现最好。在该参数下测量翻滚角、俯仰角、偏航角的绝对误差均值分别为3.689°，6.201°，5.218°，绝对误差平均值为5.036°。后续实验均在此参数设置下进行。 4 . 2 . 2　实验结果及分析 3 本文利用5个基本动作模板生成5个单一动作测试集。每个动作测试集中包含400张同类动作不同姿态的人手深度图像与对应全局姿态标签。为每个动作测试集的400次全局姿态预测结果计算绝对误差均值。 表1 表1 为本文方法对测试集中各类基本动作的预测结果。由此可以发现，本文方法测量动作T1，T2，T3，T4，T5的人手全局姿态绝对误差均值分别为5.835°，5.669°，4.866°，4.275°，4.527°。其中，基本动作T1的预测误差较大，其原因是该动作类似人手握拳动作，处于该动作的人手从不同的角度观测相似度非常高，具有歧义的手部外观会使模型预测结果产生较大的误差。 Category Pitch Yaw Roll Avg. error T1 7.234 6.106 4.164 5.835 T2 6.863 5.583 4.562 5.669 T3 6.047 5.293 3.258 4.866 T4 5.399 4.236 3.189 4.275 T5 5.464 4.843 3.273 4.527 ° 为了证明本文所提出方法的有效性，与另外4种方法进行了对比，5种方法在测试集上预测结果的绝对误差均值如 表2 表2 所示。其中，Hopenet ［ 18 18 ］ 是一种基于多损失深度CNN的人体头部全局姿态估计方法，该网络使用ResNet50 ［ 22 22 ］ 作为主干特征提取网络，并使用平均绝对误差（Mean Average Error， MAE）和交叉熵作为损失函数对网络进行训练优化。对比实验中，Hopenet ［ 18 18 ］ 的回归系数设置为2。FSA-Net ［ 19 19 ］ 是一种结合回归与特征聚合的人体头部全局姿态估计方法，该方法使用平均绝对误差作为损失函数进行训练优化。FSA-Net使用文献［ 19 19 ］中方差评分函数进行特征聚合。方法1：采用基于像素投票的手部全局姿态估计网络结构，但手部全局姿态标签使用欧拉角表示。方法2：在方法1的基础上移除解码器部分，不使用像素投票方法得出姿态结果，使用三层全连接层回归手部全局姿态欧拉角。 表2 表2 为本文方法与对比模型在测试集上的结果，由此可以发现，本文方法的准确性明显优于其他方法。由此说明，本文方法更适用于手势多变的人手全局姿态估计任务，相比于FSA-Net与Hopenet，本文方法能够为人手全局姿态的3个参数提供更准确的预测结果，并且在翻滚角的预测精度上具有明显的优势。本文利用正弦值与余弦值表示手部全局姿态欧拉角的方法，相比于直接将欧拉角作为姿态标签的方法，精度更高。本文所使用的姿态表示方式更有利于神经网络对特征的学习。值得注意的是，方法2相比于其他方法存在较大的误差，验证了基于像素投票的姿态估计方法的有效性。 Method Pitch Yaw Roll Avg. error Ours 6.201 5.218 3.689 5.036 FSA-Net ［ 19 19 ］ 7.142 6.740 8.099 7.327 Method 1 9.041 13.156 19.322 13.840 Hopenet ［ 18 18 ］ 45.370 58.136 110.901 71.469 Method 2 37.863 83.939 97.182 72.995 ° 参考其他全局姿态估计方法 ［ 17 17 - 18 18 17-18 ］ ，本文同样采用不同公差姿态预测精度来评估模型性能。不同公差姿态预测精度，即全局姿态预测绝对误差小于某个公差的准确率。 图9 图9 为不同方法在不同公差下对全局姿态各个参数的预测精度。可以发现，方法1在公差值为5°时预测俯仰角的准确率最高，而在其他误差公差下，本文方法则具有更高的预测准确率。 1;2;3; 本文方法在NVIDIA TITANXP GPU上对人手深度图像进行全局姿态估计的平均速度为30.52 frame/s，可以满足实时性要求。本文方法对每一张深度测试图像进行处理总耗时约为32.77 ms，其中图像读取与预处理用时约8.36 ms，模型前向传播与像素投票用时约24.41 ms。 4.3　真实深度图像测试 2 本文采用真实手部深度图对方法进行定性测试，使用Kinect V2深度相机采集手部图像作为输入。利用深度阈值分割人手区域，再将人手区域图像裁剪成分辨率为175×175的输入图像。本文方法对真实人手深度图像的全局姿态预测结果如 图10 图10 所示。图中，第一行为Kinect V2深度相机采集的真实深度图像，第二行为本文方法对真实深度图像进行预测获得的人手全局姿态估计可视化图。由 图10 图10 可以看出，本文方法在Kinect V2较为粗糙的深度数据下仍可稳健地预测人手全局姿态。 5 结 论 1 本文提出了一种基于像素投票的方法，在变化的手势下估计人手全局姿态，采用语义分割的方法确定人手像素位置，通过手部区域的像素姿态投票信息来生成稳健、准确的估计结果。针对人手全局姿态数据集采集困难的问题，设计开发了人手数据集合成程序，为深度神经网络提供高质量的训练数据。实验结果表明，本文方法的人手全局姿态预测误差均值为5.036°，可以准确地从深度图像预测人手全局姿态，在人机交互、机器人模仿学习等领域具有广泛的应用前景。但本方法对于俯仰角的预测误差较大，在未来的工作中，将对模型像素投票处理方法进行优化，降低误差较大的投票对最终结果的影响，进一步提高预测精度。 参考文献 TKACH A ， TAGLIASACCHI A ， REMELLI E ， et al . Online generative model personalization for hand tracking ［J］. ACM Transactions on Graphics ， 2017 ， 36 （ 6 ）： 243 . doi: 10.1145/3130800.3130830 http://dx.doi.org/10.1145/3130800.3130830 Online generative model personalization for hand tracking 李东年 ， 周以齐 . 采用改进粒子群优化粒子滤波的三维人手跟踪 ［J］. 光学 精密工程 ， 2014 ， 22 （ 10 ）： 2870 - 2878 . doi: 10.3788/ope.20142210.2870 http://dx.doi.org/10.3788/ope.20142210.2870 采用改进粒子群优化粒子滤波的三维人手跟踪 LI D N ， ZHOU Y Q . Three dimensional hand tracking by improved particle swarm optimized particle filter ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 10 ）： 2870 - 2878 . （in Chinese） . doi: 10.3788/ope.20142210.2870 http://dx.doi.org/10.3788/ope.20142210.2870 Three dimensional hand tracking by improved particle swarm optimized particle filter TANG X ， WANG T Y ， FU C W . Towards accurate alignment in real-time 3D hand-mesh reconstruction ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal ， QC， Canada . IEEE ， 2021 ： 11678 - 11687 . doi: 10.1109/iccv48922.2021.01149 http://dx.doi.org/10.1109/iccv48922.2021.01149 Towards accurate alignment in real-time 3D hand-mesh reconstruction XIONG F ， ZHANG B S ， XIAO Y ， et al . A2J： anchor-to-joint regression network for 3D articulated pose estimation from a single depth image ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 793 - 802 . doi: 10.1109/iccv.2019.00088 http://dx.doi.org/10.1109/iccv.2019.00088 A2J： anchor-to-joint regression network for 3D articulated pose estimation from a single depth image TAYLOR J ， TANKOVICH V ， TANG D H ， et al . Articulated distance fields for ultra-fast tracking of hands interacting ［J］. ACM Transactions on Graphics ， 2017 ， 36 （ 6 ）： 244 . doi: 10.1145/3130800.3130853 http://dx.doi.org/10.1145/3130800.3130853 Articulated distance fields for ultra-fast tracking of hands interacting KREJOV P ， GILBERT A ， BOWDEN R . Guided optimisation through classification and regression for hand pose estimation ［J］. Computer Vision and Image Understanding ， 2017 ， 155 ： 124 - 138 . doi: 10.1016/j.cviu.2016.11.005 http://dx.doi.org/10.1016/j.cviu.2016.11.005 Guided optimisation through classification and regression for hand pose estimation CHEN X H ， WANG G J ， GUO H K ， et al . Pose guided structured region ensemble network for cascaded hand pose estimation ［J］. Neurocomputing ， 2020 ， 395 ： 138 - 149 . doi: 10.1016/j.neucom.2018.06.097 http://dx.doi.org/10.1016/j.neucom.2018.06.097 Pose guided structured region ensemble network for cascaded hand pose estimation CHENG W C ， PARK J H ， KO J H . HandFoldingNet： a 3D hand pose estimation network using multiscale-feature guided folding of a 2D hand skeleton ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal ， QC， Canada . IEEE ， 2021 ： 11240 - 11249 . doi: 10.1109/iccv48922.2021.01107 http://dx.doi.org/10.1109/iccv48922.2021.01107 HandFoldingNet： a 3D hand pose estimation network using multiscale-feature guided folding of a 2D hand skeleton REN P F ， SUN H F ， HUANG W T ， et al . Spatial-aware stacked regression network for real-time 3D hand pose estimation ［J］. Neurocomputing ， 2021 ， 437 ： 42 - 57 . doi: 10.1016/j.neucom.2021.01.045 http://dx.doi.org/10.1016/j.neucom.2021.01.045 Spatial-aware stacked regression network for real-time 3D hand pose estimation 李伟强 ， 雷航 ， 张静玉 ， 等 . 基于标签分布学习的三维手部姿态估计 ［J］. 计算机应用 ， 2021 ， 41 （ 2 ）： 550 - 555 . 基于标签分布学习的三维手部姿态估计 LI W Q ， LEI H ， ZHANG J Y ， et al . 3D hand pose estimation based on label distribution learning ［J］. Journal of Computer Applications ， 2021 ， 41 （ 2 ）： 550 - 555 . （in Chinese） 3D hand pose estimation based on label distribution learning HUANG W T ， REN P F ， WANG J Y ， et al . AWR： adaptive weighting regression for 3D hand pose estimation ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 07 ）： 11061 - 11068 . doi: 10.1609/aaai.v34i07.6761 http://dx.doi.org/10.1609/aaai.v34i07.6761 AWR： adaptive weighting regression for 3D hand pose estimation 危德健 ， 王文明 ， 王全玉 ， 等 . 改进的基于锚点的三维手部姿态估计网络 ［J］. 计算机应用 ， 2022 ， 42 （ 3 ）： 953 - 959 . 改进的基于锚点的三维手部姿态估计网络 WEI D J ， WANG W M ， WANG Q Y ， et al . Improved 3D hand pose estimation network based on anchor ［J］. Journal of Computer Applications ， 2022 ， 42 （ 3 ）： 953 - 959 . （in Chinese） Improved 3D hand pose estimation network based on anchor MOON G ， LEE K M . I2L-MeshNet： image-to-lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image ［C］. European Conference on Computer Vision. Springer ， Cham ， 2020 ： 752 - 768 . doi: 10.1007/978-3-030-58571-6_44 http://dx.doi.org/10.1007/978-3-030-58571-6_44 I2L-MeshNet： image-to-lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image 熊杰 ， 彭军 ， 杨文姬 ， 等 . 多尺度高分辨率保持和视角不变的手姿态估计 ［J］. 计算机工程与应用 ， 2021 ， 57 （ 14 ）： 148 - 157 . doi: 10.3778/j.issn.1002-8331.2004-0078 http://dx.doi.org/10.3778/j.issn.1002-8331.2004-0078 多尺度高分辨率保持和视角不变的手姿态估计 XIONG J ， PENG J ， YANG W J ， et al . Multi-scale high-resolution preserving and perspective-invariant hand pose estimation ［J］. Computer Engineering and Applications ， 2021 ， 57 （ 14 ）： 148 - 157 . （in Chinese） . doi: 10.3778/j.issn.1002-8331.2004-0078 http://dx.doi.org/10.3778/j.issn.1002-8331.2004-0078 Multi-scale high-resolution preserving and perspective-invariant hand pose estimation LI M R ， GAO Y ， SANG N . Exploiting learnable joint groups for hand pose estimation ［EB/OL］. 2020： arXiv ： 2012 . 09496 . https：//arxiv.org/abs/2012.09496 https://arxiv.org/abs/2012.09496 . doi: 10.1609/aaai.v35i3.16287 http://dx.doi.org/10.1609/aaai.v35i3.16287 Exploiting learnable joint groups for hand pose estimation SHARP T ， KESKIN C ， ROBERTSON D ， et al . Accurate， robust， and flexible real-time hand tracking ［C］. Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. Seoul， Republic of Korea. New York ： ACM ， 2015 ： 3633 - 3642 . doi: 10.1145/2702123.2702179 http://dx.doi.org/10.1145/2702123.2702179 Accurate， robust， and flexible real-time hand tracking LIANG H ， YUAN J S ， LEE J ， et al . Hough forest with optimized leaves for global hand pose estimation with arbitrary postures ［J］. IEEE Transactions on Cybernetics ， 2019 ， 49 （ 2 ）： 527 - 541 . doi: 10.1109/tcyb.2017.2779800 http://dx.doi.org/10.1109/tcyb.2017.2779800 Hough forest with optimized leaves for global hand pose estimation with arbitrary postures RUIZ N ， CHONG E ， REHG J M . Fine-grained head pose estimation without keypoints ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Salt Lake City ， UT， USA . IEEE ， 2018 ： 2155 - 215509 . doi: 10.1109/cvprw.2018.00281 http://dx.doi.org/10.1109/cvprw.2018.00281 Fine-grained head pose estimation without keypoints YANG T Y ， CHEN Y T ， LIN Y ， et al . FSA-net： learning fine-grained structure aggregation for head pose estimation from a single image ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 1087 - 1096 . doi: 10.1109/cvpr.2019.00118 http://dx.doi.org/10.1109/cvpr.2019.00118 FSA-net： learning fine-grained structure aggregation for head pose estimation from a single image 车云龙 ， 齐越 . 基于深度图像的手部姿态估计综述 ［J］. 计算机辅助设计与图形学学报 ， 2021 ， 33 （ 11 ）： 1635 - 1648 . doi: 10.3724/sp.j.1089.2021.18788 http://dx.doi.org/10.3724/sp.j.1089.2021.18788 基于深度图像的手部姿态估计综述 CHE Y L ， QI Y . A survey on depth based hand pose estimation ［J］. Journal of Computer-Aided Design ＆ Computer Graphics ， 2021 ， 33 （ 11 ）： 1635 - 1648 . （in Chinese） . doi: 10.3724/sp.j.1089.2021.18788 http://dx.doi.org/10.3724/sp.j.1089.2021.18788 A survey on depth based hand pose estimation CHEN L C ， ZHU Y K ， PAPANDREOU G ， et al . Encoder-decoder with atrous separable convolution for semantic image segmentation ［C］. Proceedings of the European conference on computer vision （ECCV） ， 2018 ： 801 - 818 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49 Encoder-decoder with atrous separable convolution for semantic image segmentation HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90 Deep residual learning for image recognition 徐胜军 ， 欧阳朴衍 ， 郭学源 ， 等 . 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割 ［J］. 光学 精密工程 ， 2020 ， 28 （ 7 ）： 1588 - 1599 . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割 XU SH J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588 Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet RUSSAKOVSKY O ， DENG J ， SU H ， et al . ImageNet large scale visual recognition challenge ［J］. International Journal of Computer Vision ， 2015 ， 115 （ 3 ）： 211 - 252 . doi: 10.1007/s11263-015-0816-y http://dx.doi.org/10.1007/s11263-015-0816-y ImageNet large scale visual recognition challenge 刘桂雄 ， 黄坚 . 基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术 ［J］. 光学 精密工程 ， 2022 ， 30 （ 1 ）： 117 - 125 . doi: 10.37188/OPE.20223001.0117 http://dx.doi.org/10.37188/OPE.20223001.0117 基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术 LIU G X ， HUANG J . Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms ［J］. Optics and Precision Engineering ， 2022 ， 30 （ 1 ）： 117 - 125 . （in Chinese） . doi: 10.37188/OPE.20223001.0117 http://dx.doi.org/10.37188/OPE.20223001.0117 Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms ZHOU Y ， BARNES C ， LU J W ， et al . On the continuity of rotation representations in neural networks ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 5738 - 5746 . doi: 10.1109/cvpr.2019.00589 http://dx.doi.org/10.1109/cvpr.2019.00589 On the continuity of rotation representations in neural networks XIANG Y ， SCHMIDT T ， NARAYANAN V ， et al . Posecnn： A Convolutional Neural Network for 6D Object Pose Estimation In Cluttered Scenes ［EB/OL］. arXiv preprint arXiv： 1711.00199 ， 2017 . doi: 10.15607/rss.2018.xiv.019 http://dx.doi.org/10.15607/rss.2018.xiv.019 Posecnn： A Convolutional Neural Network for 6D Object Pose Estimation In Cluttered Scenes 10.37188/OPE.20223019.2379 TP391.41 A 1004-924X（2022）19-2379-11 林晋钢,李东年,陈成军等.基于像素投票的人手全局姿态估计[J].光学精密工程,2022,30(19):2379-2389. 林晋钢,李东年,陈成军等.基于像素投票的人手全局姿态估计[J].光学精密工程,2022,30(19):2379-2389. LIN Jingang,LI Dongnian,CHEN Chengjun,et al.Global hand pose estimation based on pixel voting[J].Optics and Precision Engineering,2022,30(19):2379-2389. LIN Jingang,LI Dongnian,CHEN Chengjun,et al.Global hand pose estimation based on pixel voting[J].Optics and Precision Engineering,2022,30(19):2379-2389. 国家自然科学基金资助项目（No.51705273） 2022-05-16 2022-06-20 2022-10-10 2022-10-24 光学精密工程 19 30