Spatial adaptation and frequency fusion network for single remote sensing image super-resolution

YANG Yichuan ,  

MA Zhongqi ,  

ZHOU Xinyao ,  

ZHENG Fujian ,  

HUANG Hong ,  

摘要

Die meisten aktuellen Methoden zur Super-Resolution von Fernerkundungsbildern können die Informationen zur Selbstähnlichkeit bei gemischten Maßstäben und die verbundenen Informationen zwischen den Maßstäben nicht vollständig nutzen und vernachlässigen die Fähigkeit des Frequenzbereichs, hochfrequente Informationen im wahrgenommenen Bild zu verarbeiten. Um dieses Problem zu lösen, schlägt dieser Artikel ein Netzwerk für räumliche Anpassung und Frequenzfusion (Spatial Adaptation and Frequency Fusion Network, SAF²Net) vor. Zunächst führt SAF²Net ein Modul für adaptive Merkmalsmodulation bei gemischtem Maßstab ein, das eine ähnliche Methode wie eine Merkmalspyramide verwendet, um unterscheidende Merkmale bei verschiedenen Maßstäben zu erhalten und die Fähigkeit zur Multi-Skalen-Repräsentation zu verbessern. Dann wird ein globaler multi-skalierter Feldauswahlblock entworfen, um die verbundenen Merkmale zwischen den Skalen zu erkunden. Auf dieser Grundlage werden Blöcke für die räumliche adaptive Auswahl und die Frequenzseparationsauswahl eingeführt, um die raumfrequenzkomplementäre Information zu fusionieren und die lokalen Merkmale zu verbessern und die Fähigkeit des Modells zur Modellierung des hochfrequenten Inhalts des Bildes zu erhöhen. Es wurden mehrere Experimente an zwei öffentlichen Satellitenbild-Datensätzen durchgeführt, und die quantitativen Evaluierungen von SAF²Net übertrafen die Ergebnisse anderer Vergleichsmethoden. So verbesserte beispielsweise die Methode dieses Artikels bei einer 3-fachen Super-Resolution des UCMerced-Datensatzes die PSNR- und SSIM-Effizienz um jeweils 0,11 dB bzw. 0,003 3 im Vergleich zu weniger effizienten Methoden. In Bezug auf die subjektive visuelle Qualität kann SAF²Net mehr klare texturierte Details wiederherstellen. Die Experimente zeigen, dass das in diesem Artikel vorgeschlagene Netzwerk SAF²Net in der Lage ist, Informationen im globalen gemischten Maßstab aus verschiedenen Blickwinkeln zu erkunden, komplementäre raumfrequenzabhängige Merkmale effektiv zu fusionieren und wettbewerbsfähige Rekonstruktionsmerkmale bei der Super-Resolution von Fernerkundungsbildern zu zeigen.

关键词

remote sensing image;super resolution;hybrid-scale features;space-frequency complementary information

阅读全文