가시광선 및 열 적외선 추적(RGB 및 Thermal Infrared Tracking, RGB-T) 연구에서 기존의 추적 알고리즘을 기반으로 두 가지 모달리티의 효과적인 융합을 실현하기 위해 주의 메커니즘을 기반으로 한 주의 상호작용 기반 RGB-T 추적 알고리즘이 제안되었다. 해당 알고리즘은 가시광선과 적외선 두 모달리티의 이미지 특징을 강화하고 융합하기 위해 주의 메커니즘을 도입하였으며, 단일 모달리티 특징을 강화하기 위한 자기 특징 강화 인코더와 두 모달리티 강화 특징을 상호 융합하기 위한 상호 특징 디코더를 설계하였다. 인코더와 디코더는 모두 두 층의 주의 모듈을 사용한다. 알고리즘 모델의 복잡도를 줄이기 위해 전통적인 주의 모듈을 단순화하여 완전 연결층을 1×1 컨볼루션으로 변경하였다. 또한 해당 알고리즘은 여러 컨볼루션 층의 특징을 계층적으로 융합하여 각 컨볼루션 층의 세부 정보와 의미 정보를 충분히 탐색한다. GTOT, RGBT234 및 LasHeR 세 가지 데이터셋에서 비교 테스트를 진행하였다. 실험 결과 제안한 알고리즘은 우수한 성능을 보였으며, 특히 대규모 데이터셋인 RGBT234와 LasHeR에서 최적의 추적 결과를 얻어 주의 메커니즘이 RGB-T 추적에서 효과적임을 검증하였다.

가시광선 적외선 추적;주의 메커니즘;다중 모달 특징 융합;특징 강화