심한 가림 및 적은 텍스처와 같은 도전적 환경에서 카메라 좌표계 내 물체의 위치와 자세를 정확하게 추정하고, 네트워크 효율성을 더욱 향상시키며, 네트워크 구조를 단순화하기 위해, 본 논문에서는 RGB-D 데이터를 기반으로 보조 학습을 사용하는 6자유도 자세 추정 방법을 제안한다. 네트워크는 객체 이미지 패치, 해당 깊이 맵 및 CAD 모델을 입력으로 사용하며, 우선 이중 분기 점구름 정합 네트워크를 이용해 모델 공간과 카메라 공간에서 예측된 점구름을 얻는다. 이후 보조 학습 네트워크에서는 객체 이미지 패치와 깊이 맵에서 얻은 Depth-XYZ를 다중 모달 특징 추출 및 융합 모듈에 입력하고, 거칠게부터 세밀하게 자세를 추정하며, 추정 결과를 손실 최적화에 사용하는 사전 지식으로 활용한다. 마지막으로 성능 평가 단계에서는 보조 학습 분기를 제외하고, 이중 분기 점구름 정합 네트워크 출력만 점 특징 매칭을 이용해 6자유도 자세를 추정한다. 실험 결과, 제안된 방법은 YCB-Video 데이터셋에서 AUC와 ADD-S<2 cm 결과가 각각 95.9%와 99.0%, LineMOD 데이터셋에서 평균 ADD(-S) 결과가 99.4%, LM-O 데이터셋에서 평균 ADD(-S) 결과가 71.3%임을 보였다. 기존 다른 6자유도 자세 추정 방법과 비교했을 때, 보조 학습 방법은 모델 성능에서 우위를 보이며 자세 추정 정확도가 크게 향상되었다.

6자유도 자세 추정;보조 학습;깊이 이미지;3D 점구름