Na pesquisa de rastreamento RGB e infravermelho térmico (RGB and Thermal Infrared Tracking, RGB-T), para realizar a fusão eficaz de duas modalidades com base em algoritmos de rastreamento convencionais, foi proposto um algoritmo de rastreamento RGB-T baseado na interação por atenção. O algoritmo introduz um mecanismo de atenção para aprimorar e fundir características de imagens das modalidades visível e infravermelha, projetando um codificador de reforço de características para aprimorar as características de uma única modalidade e um decodificador interativo para a fusão das características reforçadas das duas modalidades. Tanto o codificador quanto o decodificador utilizam duas camadas de módulos de atenção. Para reduzir a complexidade do modelo do algoritmo, o módulo de atenção tradicional foi simplificado substituindo a camada totalmente conectada por uma convolução 1×1. Além disso, o algoritmo realiza uma fusão hierárquica das características de múltiplas camadas convolucionais para explorar completamente os detalhes e as informações semânticas em cada camada convolucional. Testes comparativos foram realizados nos conjuntos de dados GTOT, RGBT234 e LasHeR. Os resultados experimentais mostram que o algoritmo proposto tem desempenho excelente, especialmente alcançando os melhores resultados de rastreamento nos dois grandes conjuntos de dados RGBT234 e LasHeR, validando a eficácia do mecanismo de atenção no rastreamento RGB-T.

Rastreamento RGB e infravermelho;Mecanismo de atenção;Fusão de características multimodais;Reforço de características