遥感图像双模态融合去云方法

柳长源; 曹青; 刘金凤

doi:10.37188/OPE.20253318.2996

您当前的位置：

首页 >

文章列表页 >

遥感图像双模态融合去云方法

信息科学 | 更新时间：2025-10-28

- 遥感图像双模态融合去云方法
- A bimodal fusion method for remote sensing images to cloud removal
- 光学精密工程 2025年33卷第18期页码：2996-3007
- 作者机构：
  
  哈尔滨理工大学测控技术与通信工程学院，黑龙江哈尔滨 150080
- 作者简介：
  
  [ "柳长源（1970-），男，黑龙江哈尔滨人，博士，副教授，硕士生导师，1993年于吉林大学获得学士学位，2005年于哈尔滨理工大学获得硕士学位，2013年于哈尔滨工程大学获得博士学位，2016-2017年普渡大学计算机与电子工程系访问学者，主要从事模式识别、人工智能与机器学习、数字图像处理领域研究。E-mail： liuchangyuan@hrbust.edu.cn" ]
  [ "曹青（2000-），女，安徽阜阳人，硕士研究生，2023年于安徽信息工程学院获得学士学位，现就读于哈尔滨理工大学，主要从事遥感图像处理及多模态数据融合。E-mail： 2320610125@stu.hrbust.edu.cn" ]
- 基金信息：
  
  黑龙江省自然科学基金(LH2023E086);黑龙江省交通运输厅科技项目(HJK2024B002)
- DOI：10.37188/OPE.20253318.2996
  中图分类号： TP751
- CSTR：32169.14.OPE.20253318.2996
- 收稿：2025-05-27，
  
  修回：2025-07-04，
  
  纸质出版：2025-09-25
- 稿件说明：
移动端阅览
柳长源,曹青,刘金凤.遥感图像双模态融合去云方法[J].光学精密工程,2025,33(18):2996-3007.

LIU Changyuan,CAO Qing,LIU Jinfeng.A bimodal fusion method for remote sensing images to cloud removal[J].Optics and Precision Engineering,2025,33(18):2996-3007.
柳长源,曹青,刘金凤.遥感图像双模态融合去云方法[J].光学精密工程,2025,33(18):2996-3007. DOI： 10.37188/OPE.20253318.2996. CSTR： 32169.14.OPE.20253318.2996.

LIU Changyuan,CAO Qing,LIU Jinfeng.A bimodal fusion method for remote sensing images to cloud removal[J].Optics and Precision Engineering,2025,33(18):2996-3007. DOI： 10.37188/OPE.20253318.2996. CSTR： 32169.14.OPE.20253318.2996.

摘要

针对合成孔径雷达（SAR）图像结合光学图像数据融合去云过程中不能准确处理云与背景的差异问题，本文提出了一种基于双分支结构的SAR图像与光学遥感图像结合的去云网络。在特征提取阶段，引入多尺度注意力机制，有效捕捉图像中全局与局部信息，为后续的融合和去云操作提供更具有代表性的特征信息表示。重新设计局部融合分支与差分支的并联结构，并通过门控机制动态平衡两者贡献，充分挖掘两者的互补性，更加细化光学有云图像中的云层边缘，从而恢复出更加精细的无云光学图像。采用位置感知增强的Swin Transformer将局部特征密集连接，使网络模型面对复杂环境具有更好的鲁棒性。所提模型的峰值信噪比（PSNR）和结构相似性指数（SSIM）较目前最优算法分别高出0.833 1 dB和0.024 6。证明本文算法在图像去云任务中对比其他方法具有更优性能。

Abstract

In order to solve the problem that the difference between cloud and background could not be accurately handled in the process of cloud removal from Synthetic Aperture Radar （SAR） images combined with optical image data， this paper proposed a cloud removal network based on the combination of SAR images and optical remote sensing images with a double-branched structure. In the feature extraction stage， a multi-scale attention mechanism was introduced to effectively capture the global and local information in the image， and provide a more representative representation of feature information for subsequent fusion and cloud removal operations. The parallel structure of the local fusion branch and the differential branch was redesigned， and the contribution of the two was dynamically balanced through the gating mechanism， so as to fully explore the complementarity of the two， and refine the cloud edge in the optical cloudy image， so as to restore a more fine cloudless optical image. The location-aware enhanced Swin Transformer was used to densely connect local features， so that the network model had better robustness in the face of complex environments. The Peak Signal-to-Noise Ratio （PSNR） and Structural Similarity Index （SSIM） of the proposed model are 0.833 1 dB and 0.024 6 higher than those of the current optimal algorithm， respectively. It is proved that the proposed algorithm has better performance than other methods in the image removal task.

关键词

Keywords

references

CHANG J X ， GAO X J ， YANG Y W ， et al . Object-oriented building contour optimization methodology for image classification results via generalized gradient vector flow snake model ［J］. Remote Sensing ， 2021 ， 13 （ 12 ）： 2406 . doi: 10.3390/rs13122406 http://dx.doi.org/10.3390/rs13122406

GAO X J ， ZHANG G B ， YANG Y W ， et al . Two-stage domain adaptation based on image and feature levels for cloud detection in cross-spatiotemporal domain ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2024 ， 62 ： 5610517 . doi: 10.1109/tgrs.2024.3366901 http://dx.doi.org/10.1109/tgrs.2024.3366901

王睿 . 基于参考影像信息融合的遥感影像云检测和云去除算法研究［D］. 上海：上海大学， 2020 .

WANG R . Research on Cloud Detection and Cloud Removal Algorithm of Remote Sensing Image based on Reference Image Information Fusion ［D］. Shanghai ： Shanghai University ， 2020 . （in Chinese）

徐萌，王思涵，郭仁忠，等 . 遥感影像云检测和云去除方法综述［J］. 计算机研究与发展， 2024 ， 61 （ 6 ）： 1585 - 1607 .

XU M ， WANG S H ， GUO R Z ， et al . Review of cloud detection and cloud removal methods for remote sensing images ［J］. Journal of Computer Research and Development ， 2024 ， 61 （ 6 ）： 1585 - 1607 . （in Chinese）

ZHANG C ， LI H F ， SHEN H F . A scattering law based cirrus correction method for Landsat 8 OLI visible and near-infrared images ［J］. Remote Sensing of Environment ， 2021 ， 253 ： 112202 . doi: 10.1016/j.rse.2020.112202 http://dx.doi.org/10.1016/j.rse.2020.112202

GLADKOVA I ， GROSSBERG M D ， SHAHRIAR F ， et al . Quantitative restoration for MODIS band 6 on aqua ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2012 ， 50 （ 6 ）： 2409 - 2416 . doi: 10.1109/tgrs.2011.2173499 http://dx.doi.org/10.1109/tgrs.2011.2173499

WANG L X ， WANG Q M . Fast spatial-spectral random forests for thick cloud removal of hyperspectral images ［J］. International Journal of Applied Earth Observation and Geoinformation ， 2022 ， 112 ： 102916 . doi: 10.1016/j.jag.2022.102916 http://dx.doi.org/10.1016/j.jag.2022.102916

ZHOU B X ， WANG Y . A thin-cloud removal approach combining the cirrus band and RTM-based algorithm for Landsat-8 OLI data ［C］. IGARSS 2019 - 2019 IEEE International Geoscience and Remote Sensing Symposium. July 28 - August 2 ， 2019 ， Yokohama， Japan. IEEE ， 2019： 1434 - 1437 . doi: 10.1109/igarss.2019.8898644 http://dx.doi.org/10.1109/igarss.2019.8898644

YU C ， CHEN L F ， SU L ， et al . Kriging interpolation method and its application in retrieval of MODIS aerosol optical depth ［C］. 2011 19th International Conference on Geoinformatics . 24-26，2011 ， Shanghai， China . IEEE ， 2011 ： 1 - 6 . doi: 10.1109/geoinformatics.2011.5981052 http://dx.doi.org/10.1109/geoinformatics.2011.5981052

MAALOUF A ， CARRE P ， AUGEREAU B ， et al . A bandelet-based inpainting technique for clouds removal from remotely sensed images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2009 ， 47 （ 7 ）： 2363 - 2371 . doi: 10.1109/tgrs.2008.2010454 http://dx.doi.org/10.1109/tgrs.2008.2010454

SHEN H F ， ZHANG L P . A MAP-based algorithm for destriping and inpainting of remotely sensed images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2009 ， 47 （ 5 ）： 1492 - 1502 . doi: 10.1109/tgrs.2008.2005780 http://dx.doi.org/10.1109/tgrs.2008.2005780

XIE S ， LIU L Y ， YANG J N . Enhanced Landsat surface reflectance prediction considering land cover change by using an ensemble of spectro-temporal and spectro-spatial predictions ［J］. Advances in Space Research ， 2022 ， 69 （ 7 ）： 2697 - 2710 . doi: 10.1016/j.asr.2022.01.009 http://dx.doi.org/10.1016/j.asr.2022.01.009

XU M ， JIA X P ， PICKERING M ， et al . Cloud removal based on sparse representation via multitemporal dictionary learning ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2016 ， 54 （ 5 ）： 2998 - 3006 . doi: 10.1109/tgrs.2015.2509860 http://dx.doi.org/10.1109/tgrs.2015.2509860

陶亮亮，王雨琦 . 基于雷达和光学遥感数据的云污染区域光谱重建算法［J］. 农业工程学报， 2024 ， 40 （ 17 ）： 216 - 223 . doi: 10.11975/j.issn.1002-6819.202405098 http://dx.doi.org/10.11975/j.issn.1002-6819.202405098

TAO L L ， WANG Y Q . Reconstructing spectral information in cloud contaminated regions using object-oriented approach ［J］. Transactions of the Chinese Society of Agricultural Engineering ， 2024 ， 40 （ 17 ）： 216 - 223 . （in Chinese） . doi: 10.11975/j.issn.1002-6819.202405098 http://dx.doi.org/10.11975/j.issn.1002-6819.202405098

RATHORE K ， MAURYA A K ， SINGH D . Potential assessment of SAR and optical data with machine learning to monitor temporal changes in tall vegetation ［J］. Journal of the Indian Society of Remote Sensing ， 2024 ， 52 （ 12 ）： 2807 - 2824 . doi: 10.1007/s12524-024-02056-0 http://dx.doi.org/10.1007/s12524-024-02056-0

LIU L ， LEI B . Can SAR images and optical images transfer with each other？［C］. IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium . 22-27，2018 ， Valencia ， Spain . IEEE ， 2018 ： 7019 - 7022 . doi: 10.1109/igarss.2018.8518921 http://dx.doi.org/10.1109/igarss.2018.8518921

GAO J H ， YUAN Q Q ， LI J ， et al . Cloud removal with fusion of high resolution optical and SAR images using generative adversarial networks ［J］. Remote Sensing ， 2020 ， 12 （ 1 ）： 191 . doi: 10.3390/rs12010191 http://dx.doi.org/10.3390/rs12010191

龚循强，方启锐，侯昭阳，等 . 一种光学与合成孔径雷达影像融合去云方法［J］. 光学学报， 2024 ， 44 （ 24 ）： 193 - 204 .

GONG X Q ， FANG Q R ， HOU Z Y ， et al . A method for cloud removal using optical and synthetic aperture radar image fusion ［J］. Acta Optica Sinica ， 2024 ， 44 （ 24 ）： 193 - 204 . （in Chinese）

强德霞 . 遥感技术［M］. 重庆：重庆大学出版社， 2024 .

QIANG D X . Remote Sensing Technology ［M］. Chongqing ： Chongqing University Press ， 2024 . （in Chinese）

王超，石爱业，陈嘉琪 . 高分辨率遥感影像变化检测［M］. 北京：人民邮电出版社， 2018 .

WANG C ， SHI A Y ， CHEN J Q . High Resolution Remote Sensing Image Change Detection ［M］. Beijing ： Posts & Telecom Press ， 2018 . （in Chinese）

WANG Y ， LIU Y ， ZHAO S J ， et al . CAMixerSR： Only Details Need More "Attention" ［C］. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 16-22，2024 ， Seattle， WA， USA. IEEE ， 2024 ： 25837 - 25846 . doi: 10.1109/cvpr52733.2024.02441 http://dx.doi.org/10.1109/cvpr52733.2024.02441

XU F ， SHI Y L ， EBEL P ， et al . Multimodal and multiresolution data fusion for high-resolution cloud removal： a novel baseline and benchmark ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2023 ， 62 ： 5600615 . doi: 10.1109/tgrs.2023.3337845 http://dx.doi.org/10.1109/tgrs.2023.3337845

CHEN P ， ZHANG B ， HONG D F ， et al . FCCDN： Feature constraint network for VHR image change detection ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2022 ， 187 ： 101 - 119 . doi: 10.1016/j.isprsjprs.2022.02.021 http://dx.doi.org/10.1016/j.isprsjprs.2022.02.021

LIU Z ， LIN Y T ， CAO Y ， et al . Swin transformer： hierarchical vision transformer using shifted windows ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 10-17，2021 ， Montreal， QC， Canada. IEEE ， 2021 ： 9992 - 10002 . doi: 10.1109/iccv48922.2021.00986 http://dx.doi.org/10.1109/iccv48922.2021.00986

LAI W S ， HUANG J B ， AHUJA N ， et al . Deep laplacian pyramid networks for fast and accurate super-resolution ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 21-26，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 5835 - 5843 . doi: 10.1109/cvpr.2017.618 http://dx.doi.org/10.1109/cvpr.2017.618

EBEL P ， XU Y J ， SCHMITT M ， et al . SEN12MS-CR-TS： a remote-sensing data set for multimodal multitemporal cloud removal ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2022 ， 60 ： 5222414 . doi: 10.1109/tgrs.2022.3146246 http://dx.doi.org/10.1109/tgrs.2022.3146246

GROHNFELDT C ， SCHMITT M ， ZHU X X . A conditional generative adversarial network to fuse sar and multispectral optical data for cloud removal from sentinel-2 images ［C］. IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium . 22-27，2018 ， Valencia ， Spain . IEEE ， 2018 ： 1726 - 1729 . doi: 10.1109/igarss.2018.8519215 http://dx.doi.org/10.1109/igarss.2018.8519215

ISOLA P ， ZHU J Y ， ZHOU T H ， et al . Image-to-image translation with conditional adversarial networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 21-26，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 5967 - 5976 . doi: 10.1109/cvpr.2017.632 http://dx.doi.org/10.1109/cvpr.2017.632

Pan H . Cloud removal for remote sensing imagery via spatial attention generative adversarial network ［J］. arXiv preprint arXiv： 2009.13015 ， 2020 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

数据驱动的多模复合制导信息融合及其试验验证

多模态语义交互的文本图像超分辨率重构

基于影像视锥的二维三维一体雷视融合车速测量

接触式与白光干涉测头复合测量坐标统一与数据融合

多模态跨级特征知识转移下音频目标检测网络