Os métodos atuais de reidentificação multimodal de pedestres têm dificuldade em lidar efetivamente com as grandes diferenças modais entre imagens infravermelhas e visíveis, enfrentando geralmente desafios de alinhamento de características e capacidade discriminativa insuficiente, o que limita severamente o desempenho do reconhecimento. Para resolver esses problemas, este artigo propõe um método de reidentificação multimodal de pedestres baseado em modelagem de relações e transformação espectral, partindo da perspectiva de reforçar as correlações internas das características e explorar informações latentes no domínio da frequência. Primeiro, para o problema da dificuldade de alinhamento semântico das características locais, propõe-se uma arquitetura de modelagem de relações entre fragmentos com a introdução de um mecanismo de autoatenção, reforçando as correlações das características locais dentro do modal para estabelecer informações contextuais mais estreitas; em segundo lugar, para superar a limitação da insuficiência de informações em características de escala única, projeta-se um módulo de reforço de características multiescala, aumentando a capacidade da rede de capturar diferenças sutis entre pedestres por meio da percepção multigrau; por fim, é projetado um processo de transformação espectral de canais para explorar mais informações espectrais latentes durante o processo de extração de características do ponto de vista do domínio da frequência. Os resultados experimentais mostram que o método proposto alcança Rank-1 e mAP de 84,8% e 81,5% respectivamente no modo de busca completa do conjunto de dados SYSU-MM01, 92,6% e 87,1% no conjunto de dados RegDB e 58,0% e 64,5% no conjunto de dados LLCM. Esses resultados superam os métodos principais atuais em todos os indicadores, confirmando plenamente a eficácia e superioridade do método proposto.

reidentificação de pedestres; multimodal; interação imagem-texto; espectro de canal; mecanismo de atenção