Aufgrund von Problemen bei der Fusion von Infrarot- und Sichtbarem Bildern unter schwachen Lichtverhältnissen, wie unscharfen Texturdetails und schlechter visueller Wahrnehmung aufgrund der Vernachlässigung der Beleuchtung, schlägt dieser Artikel eine Methode zur Multiskalenfusion von Infrarot- und Sichtbaren Bildern mit Low-Light-Enhancement und semantischer Injektion vor. Zunächst wurde ein Netzwerk entwickelt, das für Low-Light-Enhancement geeignet ist, und durch ein iteratives Residualmodell die sichtbaren Bilder in Nachtszenen verbessert. Dann wird ein auf der Nest-Architektur basierender Merkmalextraktor als Encoder und Decoder des Netzwerks verwendet, bei dem tiefere Merkmale die komplexe Struktur und semantische Informationen des Bildes erfassen. Ein semantisches Prior-Lernmodul wurde entworfen, das mittels Cross-Attention semantische Informationen aus tiefen Infrarot- und Sichtbarkeitsbildern extrahiert, und eine semantische Injektionsvorrichtung injiziert die verbesserten Merkmale stufenweise in verschiedenen Skalen. Anschließend wurde ein Gradientenverstärkungszweig entworfen, bei dem die Hauptmerkmale zuerst durch gemischte Aufmerksamkeit gehen, dann in Sobel- und Laplacian-Operatorströme aufgeteilt werden, um die Gradienten des fusionierten Bildes zu verstärken. Schließlich werden durch dichte Verbindungen innerhalb derselben Ebene und Skip-Verbindungen zwischen verschiedenen Ebenen im Decoder Merkmale auf verschiedenen Skalen rekonstruiert. Experimentelle Ergebnisse zeigen, dass diese Methode im Durchschnitt die visuelle Informationswiedergabetreue, die gegenseitige Information, den Differenzkorrelationskoeffizienten und die räumliche Frequenz gegenüber neun Vergleichsmethoden um 23,1 %, 16,3 %, 18 % bzw. 39,8 % verbessert und die Qualität der in schwach beleuchteten Umgebungen fusionierten Bilder effektiv steigert und zur Verbesserung der Leistung fortgeschrittener visueller Aufgaben beiträgt.

Fusion von Infrarot- und Sichtbarkeitsbildern;Multiskaliges Fusionsnetzwerk;Low-Light-Enhancement;Cross-Attention;semantische Injektion