기존 3D 시각 위치추정 방법들이 단일 모달 정보에 과도하게 의존하고, 시점 변화에 대한 적응력이 낮으며, 교차 모달 특징 융합 효과가 제한적인 문제를 해결하기 위해, 교차 모달 상호 학습과 반복 융합 기반의 3D 시각 위치추정 방법을 제안하였다. 본 방법은 다중 모달 특징 추출과 교차 모달 특징 융합의 두 단계로 구성된다. 특징 추출 단계에서는 점군 인코더와 텍스트 인코더를 사용하여 점군과 텍스트 특징을 추출하며, 점군의 카테고리 정보를 도입한다; 특징 융합 단계에서는 Transformer 기반의 점군 특징 강화 모듈을 설계하여 점군 특징의 표현 능력을 향상시킨다; 대칭 상호 학습 모듈을 통해 점군과 텍스트 특징 간의 심층 연관성을 포착하여 무관 특징의 간섭을 효과적으로 억제한다; 교차 모달 반복 융합 모듈은 교차 모달 정보를 점진적으로 융합하여 복잡한 장면에서 모델의 위치추정 능력을 강화한다. 실험 결과 본 방법은 ScanRefer, Nr3D, Sr3D의 세 가지 전통적인 3D 시각 위치추정 데이터셋에서 종합적인 정확도 향상을 달성하였다. ScanRefer의 unique 서브셋에서는 Acc@0.25와 Acc@0.5가 각각 86.19%, 69.68%에 도달하였으며; Nr3D와 Sr3D의 easy 서브셋에서는 위치추정 정확도가 각각 65.20%와 74.87%에 달하였다. 본 방법은 다양한 3D 장면에서 안정적인 위치추정 능력을 보이며, 다중 모달 상호작용과 교차 모달 융합 강화에 탁월한 성능을 검증하였다.

3D 시각 위치추정; 점군; 상호 학습; 반복 융합; Transformer