Face aux problèmes de fusion d’images infrarouges et visibles en conditions de faible luminosité, tels que le manque de netteté des détails de texture et la mauvaise perception visuelle dues à l’ignorance de l’éclairage, cet article propose une méthode de fusion d’images infrarouges et visibles multi-échelles avec amélioration basse luminosité et injection sémantique. Tout d’abord, un réseau adapté à l’amélioration basse luminosité est conçu, utilisant un modèle résiduel itératif pour renforcer les images visibles en scènes nocturnes. Ensuite, un extracteur de caractéristiques basé sur l’architecture Nest est utilisé comme encodeur et décodeur du réseau, où les caractéristiques profondes capturent la structure complexe de l’image et les informations sémantiques. Un module d’apprentissage de prior sémantique est conçu pour extraire davantage les informations sémantiques des images infrarouges et visibles profondes via une attention croisée, et une unité d’injection sémantique injecte progressivement les caractéristiques améliorées à différentes échelles. Ensuite, une branche d’amélioration des gradients est conçue : les caractéristiques principales passent d’abord par une attention mixte, puis sont divisées en flux de filtre Sobel et Laplacien pour renforcer le gradient de l’image fusionnée. Enfin, via des connexions denses intra-couches et des connexions sauts inter-couches dans le décodeur, les caractéristiques multi-échelles sont reconstruites. Les résultats expérimentaux montrent que cette méthode améliore en moyenne de 23,1%, 16,3%, 18% et 39,8% la fidélité de l’information visuelle, l’information mutuelle, le coefficient de corrélation de différence et la fréquence spatiale par rapport à neuf autres méthodes, améliorant efficacement la qualité des images fusionnées en faible luminosité et aidant à améliorer les performances des tâches visuelles de haut niveau.

fusion d’images infrarouges et visibles;réseau de fusion multi-échelles;amélioration basse luminosité;attention croisée;injection sémantique