Devido à baixa suscetibilidade à iluminação, obstrução e à sua alta robustez, o rastreamento de alvos RGBT tem sido amplamente aplicado em áreas como monitoramento por vídeo e direção autônoma. Aproveitando os atributos desafiadores comuns em imagens infravermelhas e visíveis, as informações das duas modalidades são plenamente interagidas para construir uma rede de rastreamento eficaz capaz de superar os impactos de alguns cenários adversos comuns durante o processo de rastreamento. A rede é composta por três partes: módulo de fusão de atributos especiais, módulo de fusão de atributos comuns e módulo de interação intermodal. O módulo de fusão de atributos especiais permite que a rede extraia informações dos atributos desafiadores específicos de cada modalidade, aproveitando ao máximo as vantagens das diferentes modalidades; o módulo de fusão de atributos comuns extrai características dos atributos que correspondem a ambas as modalidades no rastreamento de alvos e agrega informações de forma adaptativa, atribuindo um peso correspondente a cada atributo de desafio comum, fortalecendo a adaptabilidade do rastreador; o módulo de interação modal realiza a interação entre imagens infravermelhas e visíveis, fundindo informações modais comuns para conferir maior robustez à rede; para lidar com o problema heterogêneo da perda de informação entre diferentes modalidades, a função de perda foi otimizada, aumentando a atenção a cada modalidade e acelerando a velocidade de convergência da rede. A rede foi testada nos conjuntos de dados GTOT, RGBT234 e LasHer, alcançando 84,1% de precisão e 57,3% de taxa de sucesso no conjunto RGBT234, e 52,3% de precisão e 39,1% de taxa de sucesso no conjunto LasHer. Os resultados mostram que o rastreador alcança um bom desempenho, comprovando a eficácia do método.

Rastreamento de alvos; rastreamento térmico infravermelho; atributos desafiadores; interação modal