Devido a problemas na fusão de imagens infravermelhas e visíveis em condições de baixa luminosidade, como falta de clareza nos detalhes da textura e percepção visual ruim causada pela negligência da iluminação, este artigo propõe um método de fusão multiescala de imagens infravermelhas e visíveis com realce de baixa luminosidade e injeção semântica. Primeiramente, foi projetada uma rede adequada para realce em baixa luminosidade, utilizando um modelo residual com iterações repetidas para melhorar as imagens visíveis em cenas noturnas. Em seguida, foi utilizado um extrator de características baseado na arquitetura Nest como codificador e decodificador da rede, onde características profundas conseguem capturar a estrutura complexa e as informações semânticas da imagem. Foi projetado um módulo de aprendizado de prioridade semântica que, por meio de atenção cruzada, extrai ainda mais informações semânticas profundas das imagens infravermelhas e visíveis, e uma unidade de injeção semântica injeta progressivamente as características aprimoradas em cada escala. Em segundo lugar, foi projetado um ramo de realce de gradiente, onde as características principais passam primeiro por atenção mista, depois se dividem em fluxos de operadores Sobel e Laplaciano para realçar o gradiente da imagem fundida. Por fim, por meio de conexões densas entre as mesmas camadas no decodificador e conexões de salto entre camadas diferentes, as características em diferentes escalas são reconstruídas. Os resultados experimentais mostram que este trabalho melhora a fidelidade da informação visual, informação mútua, coeficiente de correlação diferencial e frequência espacial em 23,1%, 16,3%, 18% e 39,8%, respectivamente, em média, em comparação com nove métodos de comparação, melhorando efetivamente a qualidade da imagem fundida em ambientes de baixa luminosidade e ajudando a melhorar o desempenho em tarefas visuais avançadas.

fusão de imagens infravermelhas e visíveis; rede de fusão multiescala; realce em baixa luminosidade; atenção cruzada; injeção semântica