최근 몇 년간, RGB-T 추적 방법은 가시광선과 열 적외선 이미지의 상호 보완적 특성으로 인해 시각 추적 분야에서 널리 사용되고 있습니다. 그러나 기존 방법들은 모달 간 보완 정보 활용에 한계가 있으며, 특히 Transformer 기반 알고리즘은 모달 간 직접적인 상호작용이 부족하여 RGB와 TIR 모달의 의미적 정보를 충분히 활용하기 어렵습니다. 이러한 문제를 해결하기 위해 다중 모달 특성 융합 RGB-T 객체 추적 네트워크(Multi-Modal Feature Fusion Tracking Network for RGB-T, MMFFTN)를 제안하였습니다. 본 네트워크는 백본 네트워크에서 초기 특성을 추출한 후 채널 특성 융합 모듈(Channel Feature Fusion Module, CFFM)을 도입하여 RGB와 TIR 채널 특성을 직접 상호작용하고 융합합니다. 둘째로, RGB와 TIR 모달 간 차이로 인해 융합 효과가 좋지 않을 수 있는 문제를 해결하기 위해 적응적 융합 전략을 통해 RGB와 TIR의 전역 특성을 추가로 융합하는 교차 모달 특성 융합 모듈(Cross-Modal Feature Fusion Module, CMFM)을 설계하였습니다. 본 논문에서 제안한 추적 모델은 GTOT, RGBT234, LasHeR 세 데이터셋에서 상세한 실험 평가를 진행하였습니다. 실험 결과, 최신 Transformer 기반 추적기 ViPT와 비교하여 MMFFTN은 성공률(Success Rate)과 정밀도(Precision Rate)를 각각 3.0%, 4.7% 향상시켰으며, Transformer 기반 추적기 SDSTrack와 비교하여 성공률과 정밀도를 각각 2.4%, 3.3% 향상시켰습니다.

RGB-T 객체 추적;Transformer;채널 특성 융합;교차 모달 특성 융합