Para estimar com precisão a posição e a pose de um objeto no sistema de coordenadas da câmera em cenários desafiadores com severas obstruções e pouca textura, ao mesmo tempo em que melhora a eficiência da rede e simplifica sua estrutura, este artigo propõe um método de estimação de pose de seis graus de liberdade baseado em aprendizado auxiliar utilizando dados RGB-D. A rede utiliza como entrada o patch da imagem do objeto alvo, o mapa de profundidade correspondente e o modelo CAD. Primeiro, utilizando uma rede de registro de nuvem de pontos de ramo duplo, obtêm-se as nuvens de pontos previstas no espaço do modelo e no espaço da câmera; em seguida, para a rede de aprendizado auxiliar, o patch da imagem do objeto alvo e o Depth-XYZ obtido do mapa de profundidade são inseridos em um módulo de extração e fusão de características multimodais, seguido por uma estimação de pose do grosso ao fino, e os resultados estimados são usados como informação a priori para otimizar o cálculo da perda. Finalmente, na fase de avaliação de desempenho, o ramo de aprendizado auxiliar é descartado e apenas a saída da rede de registro de nuvem de pontos de ramo duplo é usada para a estimação da pose de seis graus de liberdade através do emparelhamento de características pontuais. Os resultados experimentais demonstram que o método proposto alcança resultados de AUC e ADD-S<2 cm no conjunto de dados YCB-Video de 95,9% e 99,0%, respectivamente; o valor médio de ADD(-S) no conjunto de dados LineMOD é 99,4%; e o valor médio de ADD(-S) no conjunto LM-O é 71,3%. Em comparação com outros métodos existentes de estimação de pose de seis graus de liberdade, o método baseado em aprendizado auxiliar apresenta vantagens no desempenho do modelo e uma melhoria significativa na precisão da estimativa da pose.

estimação de pose de seis graus de liberdade;aprendizado auxiliar;mapa de profundidade;nuvem de pontos 3D