Para resolver o problema do grande erro na estimativa da pose global da mão, foi proposto um método de estimativa da pose global da mão baseado em votação por pixel. Uma rede neural convolucional com arquitetura codificador-decodificador foi construída para gerar mapas de características com informações semânticas e de pose; os ramos de segmentação semântica e estimativa de pose são utilizados para obter a posição dos pixels da mão e a votação de pose por pixel a partir dos mapas de características, e, por fim, as votações de pose dos pixels da mão são agregadas para obter o resultado da votação. Para resolver o problema da falta de conjuntos de dados de pose global da mão, foi desenvolvido um programa de síntese de dados de mão utilizando o motor de renderização 3D OpenSceneGraph (OSG) e um modelo 3D de mão. Este programa pode gerar imagens de profundidade da mão com diferentes gestos e etiquetas de pose global. Os resultados experimentais mostram que o método de estimativa da pose global da mão baseado em votação por pixel tem um erro médio de 5,036°, podendo estimar com precisão a pose global da mão a partir das imagens de profundidade.

estimativa da pose da mão;rede neural convolucional;aprendizado profundo;imagens de profundidade;conjunto de dados sintético