조명, 가림 등에 잘 영향을 받지 않고 매우 강한 견고성을 가진 RGBT 객체 추적은 영상 감시, 자율 주행 등 분야에서 널리 사용되고 있습니다. 적외선 영상과 가시광 영상에 공통적으로 존재하는 도전 속성을 활용하여 두 가지 모달리티 정보를 충분히 상호작용시켜 추적 과정에서 발생하는 일부 일반적인 불리한 상황의 영향을 극복할 수 있는 효과적인 추적 네트워크를 구축했습니다. 이 네트워크는 특수 속성 융합 모듈, 공통 속성 융합 모듈, 교차 모달 상호작용 모듈 세 부분으로 구성되어 있으며, 특수 속성 융합 모듈은 네트워크가 두 모달리티 각각의 도전 속성 정보를 추출할 수 있도록 하여 서로 다른 모달리티 정보의 장점을 충분히 활용합니다; 공통 속성 융합 모듈은 객체 추적에서 두 모달리티 모두에 해당하는 속성을 추출하고 적응적으로 정보를 집약하며 각 공통 도전 속성에 대응하는 가중치를 부여하여 추적기의 적응성을 강화합니다; 모달 상호작용 모듈은 적외선 영상과 가시광 영상을 모달 상호작용시켜 두 특정 모달리티 정보에 공통 모달 정보를 융합해 네트워크가 더 강한 견고성을 가지도록 합니다; 서로 다른 모달리티 간 정보 손실 이질 문제를 해결하기 위해 손실 함수를 최적화하여 각 모달리티에 대한 집중도를 강화하고 네트워크 수렴 속도를 가속화했습니다. 이 네트워크는 GTOT, RGBT234, LasHer 데이터셋에서 테스트하였으며 RGBT234 데이터셋에서 정확도 84.1%, 성공률 57.3%, LasHer 데이터셋에서 정확도 52.3%, 성공률 39.1%를 달성했습니다. 결과는 추적기가 좋은 성능을 달성했음을 보여주어 본 방법의 유효성을 입증합니다.

객체 추적; 열적외 추적; 도전 속성; 모달 상호작용