손 전체 자세 추정 오차가 큰 문제를 해결하기 위해 픽셀 투표 기반 손 전체 자세 추정 방법을 제안하였다. 인코더-디코더 구조의 합성곱 신경망을 구축하여 의미 정보와 자세 정보 특성 지도를 생성하였다; 의미 분할 분기와 자세 추정 분기를 각각 이용해 특성 지도에서 손 픽셀 위치와 픽셀 단위 자세 투표를 얻고, 최종적으로 손 픽셀의 자세 투표를 종합하여 투표 결과를 획득한다. 손 전체 자세 데이터셋이 적은 문제를 해결하기 위해 OpenSceneGraph(OSG) 3D 렌더링 엔진과 3D 손 모델을 활용해 손 데이터셋 합성 프로그램을 개발하였다. 이 프로그램은 다양한 손 동작의 손 깊이 이미지와 전체 자세 라벨을 생성할 수 있다. 실험 결과 픽셀 투표 기반 손 전체 자세 추정 방법의 평균 오차는 5.036°로 깊이 이미지에서 손 전체 자세를 정확히 추정할 수 있음을 보여준다.

손 자세 추정;합성곱 신경망;딥러닝;깊이 이미지;합성 데이터셋