Diante da dificuldade dos métodos atuais de detecção de pedestres baseados na fusão dos modos infravermelho e visível em se adaptarem às mudanças do ambiente externo, propomos uma rede de detecção de pedestres baseada no aprendizado dos pesos de fusão multimodal. Primeiramente, diferentemente da maioria dos estudos atuais que utilizam a fusão direta por empilhamento dos dois modos, a rede de aprendizado dos pesos de fusão considera a diferente contribuição dos dois modos para a tarefa de detecção de pedestres sob distintas condições ambientais, por meio do aprendizado interativo em fluxo duplo para aprender suas diferenças. Em seguida, conforme as características atuais de cada modo, obtêm-se de maneira autônoma os pesos correspondentes para cada modo, realizando-se uma fusão ponderada para obter a característica fundida. Por fim, com base na característica fundida, gera-se uma nova pirâmide de características, e modificam-se o tamanho e a densidade das caixas pré-definidas para enriquecer a informação a priori dos pedestres, completando a tarefa de detecção. Os resultados experimentais demonstram uma taxa média de omissão de 26,96% no conjunto de dados multiespectral Kaist, reduzindo essa taxa em 2,77% e 27,84% em comparação com os melhores métodos atuais de empilhamento direto e métodos baseline, respectivamente. Portanto, a fusão ponderada adaptativa das informações dos modos infravermelho e visível pode obter eficazmente informações modais complementares para se adaptar às mudanças do ambiente externo, melhorando significativamente o desempenho da detecção de pedestres.

detecção de pedestres;informação multimodal;aprendizado de pesos;fusão adaptativa;aprendizado profundo