Método de fusión multimodal de imágenes remotas para la eliminación de nubes

LIU Changyuan ,  

CAO Qing ,  

LIU Jinfeng ,  

摘要

Debido a la incapacidad para tratar con precisión las diferencias entre las nubes y el fondo en el proceso de fusión de datos de imágenes ópticas con imágenes de radar de apertura sintética (SAR), este artículo propone una red de eliminación de nubes basada en una estructura de doble rama de imagen SAR e imagen óptica. En la etapa de extracción de características, se introduce un mecanismo de atención de múltiples escalas, que captura eficazmente la información global y local en la imagen, proporcionando una representación de la información más representativa para la fusión y eliminación posterior de nubes. Se rediseña la estructura de fusión local y la rama de diferenciación y se equilibra dinámicamente a través de un mecanismo de puerta, explotando plenamente su contribución y afinando aún más los bordes de las nubes en la imagen óptica, lo que permite recuperar una imagen óptica sin nubes más precisa. Utilizando el Transformador Swin reforzado por una percepción de posición, las características locales se conectan de forma densa, lo que hace que el modelo de red sea más resistente a entornos complejos. El modelo propuesto muestra un aumento en la relación señal/ruido pico (PSNR) y en el índice de similitud estructural (SSIM) en comparación con el algoritmo actual de 0,833 1 dB y 0,024 6 respectivamente. Esto demuestra que el algoritmo propuesto en este artículo tiene un mejor rendimiento en la tarea de eliminación de nubes en imágenes en comparación con otros métodos.

关键词

Imágenes remotas; imágenes de radar de apertura sintética; imágenes ópticas; multimodal; fusión de datos; eliminación de nubes

阅读全文