현실 세계에서 손은 불가피하게 물체와 상호작용하므로 손과 물체 간의 상호작용 행동과 의도를 이해하는 것은 중요한 연구 의미를 갖습니다. 본 논문은 손과 물체 상호작용 과정에서 발생하는 상호 가림, 손의 자체 가림 및 복잡한 상호작용 배경 등으로 인해 자세 추정 정확도가 낮아지는 문제를 다루고, 다중 모달 특징과 구조 인식을 결합한 손과 상호작용 물체의 3D 자세 추정 방법을 제안합니다. 이 방법은 컬러 이미지와 깊이 이미지의 다중 모달 특징을 활용하여 정보 상호 보완을 실현하고, 복잡한 배경, 손의 자체 가림 및 손과 물체의 상호 가림 문제를 효과적으로 해결합니다. 또한 그래프 구조를 기반으로 손, 상호작용 물체 및 손-물체 상호작용 구조 인식 모듈을 각각 설계하여 보다 합리적이고 정확한 손과 상호작용 물체의 2D 자세 추정을 지원합니다. 마지막으로 획득한 2D 자세와 깊이 이미지의 깊이 정보를 결합하고, 텍스처 특징을 이용해 결합된 3D 자세를 추가로 최적화하여 최종 손-물체 상호작용 3D 자세를 얻습니다. 제안한 방법의 유효성을 검증하기 위해 FPHA, HO-3D 등의 데이터셋에서 일련의 실험을 수행하였으며, 손과 상호작용 물체의 자세 오차가 각각 9.62 mm와 14.37 mm로 감소하였습니다. 실험 결과는 제안한 방법이 기존 손-물체 상호작용 자세 추정 방법보다 우수하며, 높은 견고성과 일반화 능력을 갖고 있음을 보여줍니다.

손-물체 자세 추정; 그래프 컨볼루션 네트워크; 다중 모달 특징; 구조 인식