Face aux problèmes de fusion d'images infrarouges et visibles en conditions de faible luminosité, tels que le flou des détails de texture et une perception visuelle médiocre dus à la négligence de l'éclairage, cet article propose une méthode de fusion multiscale d'images infrarouges et visibles avec amélioration de la faible luminosité et injection sémantique. Tout d'abord, un réseau adapté à l'amélioration en basse lumière a été conçu, utilisant un modèle résiduel en itérations répétées pour renforcer les images visibles dans des scènes nocturnes. Ensuite, un extracteur de caractéristiques basé sur l'architecture Nest est utilisé comme encodeur et décodeur du réseau, où les caractéristiques profondes capturent la structure complexe et les informations sémantiques de l'image. Un module d'apprentissage de priorités sémantiques a été conçu pour extraire davantage les informations sémantiques profondes des images infrarouges et visibles via une attention croisée, et une unité d'injection sémantique injecte progressivement les caractéristiques améliorées à chaque échelle. Ensuite, une branche de renforcement du gradient est conçue, où les caractéristiques principales passent d'abord par une attention mixte, puis se divisent en flux opérateurs Sobel et Laplacien pour renforcer le gradient de l'image fusionnée. Enfin, grâce aux connexions denses entre les mêmes couches dans le décodeur et aux connexions sautées entre couches différentes, les caractéristiques à différentes échelles sont reconstruites. Les résultats expérimentaux montrent que cette méthode améliore en moyenne la fidélité de l'information visuelle, l'information mutuelle, le coefficient de corrélation différentielle et la fréquence spatiale de 23,1%, 16,3%, 18% et 39,8% respectivement par rapport à neuf méthodes de comparaison, améliorant efficacement la qualité des images fusionnées en faible luminosité et contribuant à améliorer la performance des tâches visuelles avancées.

fusion d'images infrarouges et visibles; réseau de fusion multiscale; amélioration en basse lumière; attention croisée; injection sémantique