No mundo real, a mão inevitavelmente interage com objetos, portanto compreender o comportamento e as intenções da interação entre a mão e o objeto tem uma importante relevância para a pesquisa. Este artigo aborda o problema da baixa precisão na estimativa da pose devido à oclusão mútua entre a mão e o objeto, à auto-oclusão da mão e a fundos de interação complexos. Propõe um método de estimativa da pose tridimensional da mão e do objeto interativo que combina características multimodais e percepção estrutural. O método utiliza características multimodais de imagens coloridas e de profundidade para complementar as informações, resolvendo efetivamente os problemas de fundo complexo, auto-oclusão da mão e oclusão mútua entre a mão e o objeto. Além disso, com base em uma estrutura de grafo, são projetados módulos de percepção estrutural para a mão, o objeto interativo e a interação mão-objeto, auxiliando na estimativa de poses bidimensionais mais razoáveis e precisas da mão e do objeto interativo. Finalmente, a pose 2D obtida é combinada com as informações de profundidade das imagens de profundidade e, utilizando características de textura, a pose 3D combinada é ainda otimizada para obter a pose 3D final da interação mão-objeto. Para validar a eficácia do método proposto, uma série de experimentos foi conduzida nos conjuntos de dados FPHA e HO-3D, reduzindo os erros de pose da mão e do objeto interativo para 9,62 mm e 14,37 mm, respectivamente. Os resultados experimentais mostram que o método proposto supera os atuais métodos de estimativa de pose em interação mão-objeto, possuindo alta robustez e capacidade de generalização.

estimativa de pose mão-objeto; rede convolucional gráfica; características multimodais; percepção estrutural