Nos últimos anos, os métodos de rastreamento RGB-T têm sido amplamente aplicados no campo do rastreamento visual devido às características complementares das imagens de luz visível e infravermelho térmico. No entanto, os métodos existentes ainda apresentam limitações na utilização das informações complementares entre as modalidades, especialmente os algoritmos baseados em Transformer carecem de interação direta entre modalidades, dificultando a extração completa das informações semânticas das modalidades RGB e TIR. Para abordar esses problemas, foi proposta uma rede de rastreamento de alvos RGB-T com fusão de características multimodais (Multi-Modal Feature Fusion Tracking Network for RGB-T, MMFFTN). A rede primeiro extrai características preliminares na rede backbone e introduz o Módulo de Fusão de Características de Canal (Channel Feature Fusion Module, CFFM) para realizar a interação e fusão direta das características dos canais RGB e TIR. Em segundo lugar, devido às possíveis diferenças entre as modalidades RGB e TIR que podem causar efeitos de fusão indesejáveis, foi projetado o Módulo de Fusão de Características Cruzadas entre Modalidades (Cross-Modal Feature Fusion Module, CMFM), que, por meio de uma estratégia de fusão adaptativa, funde adicionalmente as características globais RGB e TIR para melhorar a precisão do rastreamento. O modelo de rastreamento proposto foi avaliado detalhadamente nos conjuntos de dados GTOT, RGBT234 e LasHeR. Os resultados experimentais mostram que, em comparação com o rastreador baseado em Transformer avançado ViPT, o MMFFTN aumentou a taxa de sucesso e a taxa de precisão em 3,0% e 4,7%, respectivamente; em comparação com o rastreador baseado em Transformer SDSTrack, a taxa de sucesso e a taxa de precisão aumentaram 2,4% e 3,3%, respectivamente.

Rastreamento de Alvos RGB-T;Transformer;Fusão de Características de Canal;Fusão de Características Cruzadas entre Modalidades