SPMRA-Net: Großflächige Bildschadensrestauration durch strukturpriorisierte und multiskalige Residualaggregation

WEI Yun ,  

JIA Baixue ,  

Feng Dandan ,  

ZHANG Zhirui ,  

XIN Zihao ,  

WU Tongchen ,  

摘要

Um die Probleme von Texturverwischungen, Strukturverzerrungen und Randartefakten bei der Wiederherstellung stark beschädigter Bilder von Gesichtern, Straßenszenen, Gebäuden usw. zu lösen, schlägt dieser Artikel eine Methode namens SPMRA-Net zur Wiederherstellung großflächiger Bildschäden vor. Zunächst wird ein dynamisches adaptives Multiskalenmodul (Dynamic Adaptive Multi-scale, DAM) entwickelt, das die Kontextwahrnehmungsfähigkeit des Modells durch dilatierte Faltungen und Residualstrukturen verbessert; anschließend wird ein Engpassmodul aufgebaut, das aus einem Transformer-Pfad und einem kohärenten semantischen Aufmerksamkeits-Pfad besteht, und durch einen Kreuzaufmerksamkeitsmechanismus werden die globalen semantischen Informationen des Transformer-Pfads mit den lokalen Texturinformationen des Selbstaufmerksamkeitspfads fusioniert, wodurch Strukturverzerrungen in großflächig beschädigten Szenen effektiv unterdrückt werden; außerdem wird zur Milderung des semantischen Grabens, der durch einfache Verkettung in traditionellen Sprungverbindungen entsteht, ein adaptives Multiskalenaggregationsmodul (Adaptive Multi-scale Aggregation, AMSA) eingeführt, das die Interaktion zwischen tiefen und oberflächlichen Merkmalen verbessert und so die Randkontinuität der wiederhergestellten Bilder gewährleistet. Schließlich werden zwei Diskriminatoren eingesetzt, um die Konsistenz der wiederhergestellten Ergebnisse mit den Originalbildern zu bewerten und die visuelle Wahrnehmung der generierten Bilder zu verbessern. Experimentelle Ergebnisse zeigen, dass das Modell auf dem CelebA-Datensatz den PSNR um 3,06 dB, den SSIM um 0,087 erhöht und den LPIPS um 0,078 reduziert. Subjektive Bewertungen auf den Datensätzen Paris StreetView und Places2 sowie die genannten objektiven Bewertungsmetriken übertreffen die Vergleichsalgorithmen. Die Methode erzielt sowohl bei der Strukturkonsistenz als auch auf der Wahrnehmungsebene Verbesserungen und bestätigt ihre Wirksamkeit bei der Wiederherstellung großflächiger Bildschäden.

关键词

tiefes Lernen; Bildrestauration; generative gegnerische Netzwerke; multiskalige Residuen; Strukturprior; Transformer

阅读全文