SPMRA-Net: Restauración de imágenes con grandes daños basada en agregación residual multiescala y prioridad estructural

WEI Yun ,  

JIA Baixue ,  

Feng Dandan ,  

ZHANG Zhirui ,  

XIN Zihao ,  

WU Tongchen ,  

摘要

Para abordar los problemas de textura borrosa, distorsión estructural y artefactos en los bordes en la restauración de imágenes con daños extensos en rostros, escenas callejeras, edificios, entre otros, este artículo propone una técnica llamada SPMRA-Net para la restauración de imágenes con grandes daños. Primero, se diseña un módulo dinámico adaptativo multiescala (Dynamic Adaptive Multi-scale, DAM), que incrementa la capacidad de percepción contextual del modelo mediante convoluciones dilatadas y estructuras residuales; luego, se construye un módulo de cuello de botella compuesto por una ruta Transformer y una ruta de atención semántica coherente, y mediante un mecanismo de atención cruzada fusiona la información semántica global de la ruta Transformer con la información textural local de la ruta de autoatención, suprimiendo efectivamente la distorsión estructural en escenas con grandes daños; además, para aliviar el problema del vacío semántico causado por la simple concatenación en las conexiones de salto tradicionales, se introduce un módulo de agregación multiescala adaptativa (Adaptive Multi-scale Aggregation, AMSA) que mejora la interacción entre características profundas y superficiales, asegurando la continuidad de los bordes de la imagen restaurada. Finalmente, se incorporan dos discriminadores para evaluar la consistencia entre los resultados restaurados y la imagen original, mejorando el realismo visual de las imágenes generadas. Los resultados experimentales muestran que el modelo mejora el PSNR en 3.06 dB, el SSIM en 0.087 y reduce el LPIPS en 0.078 en el conjunto de datos CelebA. Las evaluaciones subjetivas en los conjuntos Paris StreetView y Places2, así como las métricas objetivas mencionadas, superan los algoritmos comparados. Este método logra mejoras tanto en la consistencia estructural como en la percepción, validando su efectividad en tareas de restauración de imágenes con daños extensos.

关键词

aprendizaje profundo; restauración de imágenes; redes generativas antagónicas; residuos multiescala; prioridad estructural; Transformer

阅读全文