Spatial adaptation and frequency fusion network for single remote sensing image super-resolution

YANG Yichuan ,  

MA Zhongqi ,  

ZHOU Xinyao ,  

ZHENG Fujian ,  

HUANG Hong ,  

摘要

La mayoría de los métodos actuales de superresolución de imágenes de teledetección no pueden explotar completamente la información de auto-similitud a escala mixta y la información asociada entre escalas, ignorando la capacidad del dominio de frecuencias para procesar la información de alta frecuencia en la imagen percibida. Para resolver este problema, este artículo propone una red de adaptación espacial y fusión de frecuencias (Spatial Adaptation and Frequency Fusion Network, SAF²Net). En primer lugar, SAF²Net introduce un módulo de modulación adaptativa de características de escala mixta, utilizando un modo similar a una pirámide de características para obtener características discriminativas a diferentes escalas, mejorando así la capacidad de representación multi-escala. Luego, se diseña un bloque de selección global de campo multi-escala para explorar las características asociadas entre escalas. Sobre esta base, se introducen bloques de selección adaptativa espacial y de separación de frecuencias para fusionar la información complementaria espacial-frecuencia para mejorar las características locales y aumentar la capacidad del modelo para modelar el contenido de alta frecuencia de la imagen. Se realizaron múltiples experimentos en dos conjuntos de datos de imágenes de teledetección públicos, y las evaluaciones cuantitativas de SAF²Net superaron los resultados de otros métodos de comparación. Por ejemplo, para una superresolución de 3 veces del conjunto de datos UCMerced, el método de este artículo mejoró respectivamente 0,11 dB y 0,003 3 la eficiencia PSNR y SSIM en comparación con los métodos menos eficaces; en términos de calidad visual subjetiva, SAF²Net es capaz de recuperar más detalles texturales claros. Los resultados de los experimentos muestran que la red SAF²Net propuesta en este artículo es capaz de explorar la información global a escala mixta desde dos puntos de vista diferentes, fusiona eficazmente las características complementarias espacial-frecuencia, y muestra características de reconstrucción competitivas en la tarea de superresolución de imágenes de teledetección.

关键词

remote sensing image;super resolution;hybrid-scale features;space-frequency complementary information

阅读全文