密集连接网络在SAR与多光谱影像融合中的应用

王书涛; 崔凯; 孔德明; 刘诗瑜; 吴兴

doi:10.37188/OPE.20212905.1145

您当前的位置：

首页 >

文章列表页 >

密集连接网络在SAR与多光谱影像融合中的应用

信息科学 | 更新时间：2021-07-08

- 密集连接网络在SAR与多光谱影像融合中的应用
- Application of densely connected network in SAR and multispectral image fusion
- 光学精密工程 2021年29卷第5期页码：1145-1153
- 作者机构：
  
  燕山大学电气工程学院河北省测试计量技术及仪器重点实验室，河北秦皇岛 066004
- 作者简介：
  
  [ "王书涛（1978-），男，河北省秦皇岛人，工学博士，教授，博士生导师，2007年于哈尔滨工业大学取得博士学位。主要从事光谱分析、光电检测和光子晶体光纤方面的研究。E-mail：wangshutao@ysu.edu.cn" ]
  [ "崔　凯（1995-），男，山东潍坊人，硕士研究生，主要从事计算机视觉、图像融合方面的研究。E-mail：15621156115@163.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(61771419);河北省自然科学基金资助项目(F2017203220)
- DOI：10.37188/OPE.20212905.1145
  中图分类号： TP751
- 收稿日期：2020-10-16，
  
  修回日期：2020-12-03，
  
  纸质出版日期：2021-05-15
- 稿件说明：
移动端阅览
王书涛,崔凯,孔德明等.密集连接网络在SAR与多光谱影像融合中的应用[J].光学精密工程,2021,29(05):1145-1153.

WANG Shu-tao,CUI Kai,KONG De-ming,et al.Application of densely connected network in SAR and multispectral image fusion[J].Optics and Precision Engineering,2021,29(05):1145-1153.
王书涛,崔凯,孔德明等.密集连接网络在SAR与多光谱影像融合中的应用[J].光学精密工程,2021,29(05):1145-1153. DOI： 10.37188/OPE.20212905.1145.

WANG Shu-tao,CUI Kai,KONG De-ming,et al.Application of densely connected network in SAR and multispectral image fusion[J].Optics and Precision Engineering,2021,29(05):1145-1153. DOI： 10.37188/OPE.20212905.1145.

摘要

为克服单一卫星传感器成像的不足，提出了基于密集连接网络的合成孔径雷达（SAR）与多光谱影像的融合算法。首先分别对SAR影像与多光谱影像进行预处理，使用双三次插值法重采样到同一空间分辨率下，然后使用密集连接网络来分别提取影像的特征图，并采用区域能量最大的融合策略将深度特征进行融合，将融合图像输入到预训练的解码器中进行重构，获得最终融合影像。实验采用哨兵1号SAR影像、Landsat-8影像和高分1号卫星影像进行验证，并与基于成分替换、基于多尺度分解和基于卷积神经网络的代表性方法进行对比试验。实验结果表明，基于密集连接网络的融合算法在多尺度结构相似度指标上的精度高达0.930 7，在其他多种评价指标上也都优于其他融合算法，SAR影像的细节信息和多光谱影像的光谱信息得到很好的保留。

Abstract

To overcome the shortcomings of single satellite sensor imaging， a fusion algorithm for synthetic aperture radar （SAR） and multispectral images based on densely connected networks is proposed herein. Firstly， the SAR and multispectral images are preprocessed separately， and the bicubic interpolation method is used to resample the same spatial resolution. Then， the densely connected network is used to extract the feature maps of the image separately， and the fusion strategy with the largest regional energy is used to combine the depth features. The fused image is input to a pre-trained decoder for reconstruction to obtain the final fused image. The experiment uses Sentinel-1 SAR images， Landsat-8 images， and Gaofen-1 satellite images for verification and draws comparisons with methods based on component substitution， those based on multiscale decomposition， and those based on deep learning. Experimental results indicate that the accuracy of the fusion algorithm based on densely connected networks in terms of the multiscale structural similarity index is as high as 0.9307， and it is better than other fusion algorithms in terms of other evaluation indexes. Detailed information of SAR images and multispectral images are well preserved.

关键词

Keywords

references

PEI J F ， HUANG Y L ， HUO W B ， et al . SAR automatic target recognition based on multiview deep learning framework ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 （ 4 ）： 2196 - 2210 .

闫敬文，陈宏达，刘蕾 . 高光谱图像分类的研究进展［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 680 - 693 .

YAN J W ， CHEN H D ， LIU L . Overview of hyperspectral image classification ［J］. Opt. precision Eng. ， 2019 ， 27 （ 3 ）： 680 - 693 . （in Chinese）

杨蕴，李玉，赵泉华 . 高分辨率全色遥感图像多级阈值分割［J］. 光学精密工程， 2020 ， 28 （ 10 ）： 2370 - 2383 .

YANG Y ， LI Y ， ZHAO Q H . Multi-level threshold segmentation of high-resolution panchromatic remote sensing imagery ［J］. Opt. precision Eng. ， 2020 ， 28 （ 10 ）： 2370 - 2383 . （in Chinese）

左俊皓，赵聪，朱晓龙，等 . Faster-RCNN和Level-Set结合的高分遥感影像建筑物提取［J］. 液晶与显示， 2019 ， 34 （ 4 ）： 439 - 447 .

ZUO J H ， ZHAO C ， ZHU X L ， et al . High-resolution remote sensing image building extraction combined with Faster-RCNN and Level-Set ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 4 ）： 439 - 447 .

KWAK Y ， YOROZUYA A ， IWAMI Y . Disaster risk reduction using image fusion of optical and SAR data before and after tsunami ［C］. 2016 IEEE Aerospace Conference. IEEE ， 2016 ： 1 - 11 .

LI S T ， KANG X D ， FANG L Y ， et al . Pixel-level image fusion： A survey of the state of the art ［J］. Information Fusion ， 2017 ， 33 ： 100 - 112 .

刘川，齐修东，臧文乾，等 . 基于 IHS 变换的 Gram-Schmidt 改进融合算法研究［J］. 测绘工程， 2018 （ 11 ）： 3 .

LIU CH ， QI X D ， ZANG W Q ， et al . Research of improved Gram-Schmidt image fusion algorithm based on HIS transform ［J］. Engineering of Surveying and Mapping ， 2018 （ 11 ）： 3 . （in Chinese）

陈潮起，孟祥超，邵枫，等 . 一种基于多尺度低秩分解的红外与可见光图像融合方法［J］. 光学学报， 2020 ， 40 （ 11 ）： 1110001 .

CHEN CH Q ， MENG X CH ， SHAO F ， et al . Infrared and Visible Image Fusion Method Based on Multiscale Low-Rank Decomposition ［J］. Acta Optica Sinica ， 2020 ， 40 （ 11 ）： 1110001 . （in Chinese）

LIU Y ， LIU S ， WANG Z . A general framework for image fusion based on multiscale transform and sparse representation ［J］. Information fusion ， 2015 ， 24 ： 147 - 164 .

MAO Q ， ZHU Y ， LÜ C ， et al . Image fusion based on multiscale transform and sparse representation to enhance terahertz images ［J］. Optics Express ， 2020 ， 28 （ 17 ）： 25293 - 25307 .

沈薛晨，刘钧，高明 . 基于NSST变换的微光偏振图像融合算法［J］. 激光杂志， 2020 ， 41 （ 2 ）： 103 - 113 .

SHEN X CH ， LIU J ， GAO M ， et al . Low-light polarization image fusion algorithm based on NSST transform ［J］. Laser Journel ， 2020 ，（ 2 ）： 103 - 113 . （in Chinese）

MASI G ， COZZOLINO D ， VERDOLIVA L ， et al . Pansharpening by convolutional neural networks ［J］. Remote Sensing ， 2016 ， 8 （ 7 ）： 594 .

WEI Y ， YUAN Q ， SHEN H ， et al . Boosting the accuracy of multispectral image pansharpening by learning a deep residual network ［J］. IEEE Geoscience and Remote Sensing Letters ， 2017 ， 14 （ 10 ）： 1795 - 1799 .

MA J ， YU W ， LIANG P ， et al . FusionGAN： A generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 .

徐胜军，欧阳朴衍，郭学源，等 . 多尺度特征融合空洞卷积ResNet遥感图像建筑物分割［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1588 - 1599 .

XU SH J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese）

LECUN Y ， BOTTOU L ， BENGIO Y ， et al . Gradient-based learning applied to document recognition ［J］. Proceedings of the IEEE ， 1998 ， 86 （ 11 ）： 2278 - 2324 .

CHEN Y . Convolutional Neural Network for Sentence Classification ［D］. Canada ： University of Waterloo ， 2015 .

曲之琳，胡晓飞．基于改进激活函数的卷积神经网络研究［J］．计算机技术与发展， 2017 ， 27 （ 12 ）： 77 - 80

QU ZH L ， HU X F . Research on Convolutional Neural Network Based on Improved Activation Function ［J］. Computer Technology and Development ， 2017 ， 27 （ 12 ）： 77 - 80 . （in Chinese）

刘万军，梁雪剑，曲海成 . 不同池化模型的卷积神经网络学习性能研究［J］. 中国图象图形学报， 2016 ， 21 （ 9 ）： 1178 - 1190 .

LIU W J ， LIANG X J ， QU H CH ， et al . Learning performance of convolutional neural networks with different pooling models ［J］. Journal of Image and Graphics ， 2016 ， 21 （ 9 ）： 1178 - 1190 . （in Chinese）

LI H ， WU X J . DenseFuse： A fusion approach to infrared and visible images ［J］. IEEE Transactions on Image Processing ， 2018 ， 28 （ 5 ）： 2614 - 2623 .

WANG Z . Image Quality Assessment ： From Error Visibility to Structural Similarity ［J］. IEEE Transactions on Image Processing ， 2004 .

胡利平，刘锦帆，王洪叶，等．基于模糊综合评判的车辆目标SAR仿真图像评估方法［J］．系统工程与电子技术， 2019 ， 41 （ 3 ）： 534 - 540

HU L P ， LIU J F ， WANG H Y ， et al . Vehicle SAR simulation images validation method based on fuzzy comprehensive evaluation ［J］. Systems Engineering and Electronics ， 2019 ， 41 （ 3 ）： 534 - 540 . （in Chinese）

王健．基于图像处理的自动调焦技术研究［D］．成都：中国科学院光电技术研究所， 2013 .

WANG J . Study on Technology of Auto-focus Based on Image Processing ［D］. Chengdu ： Institute of Optics and Electronics ， Chinese Academy of Sciences ， 2013 . （in Chinese）

ASLANTAS V ， BENDES E . A new image quality metric for image fusion： The sum of the correlations of differences ［J］. AEU-International Journal of Electronics and Communications ， 2015 ， 69 （ 12 ）： 1890 - 1896 .

MA K D ， KAI Z ， ZHOU W . Perceptual Quality Assessment for Multi-Exposure Image Fusion ［J］. IEEE Transactions on Image Processing ， 2015 ， 24 （ 11 ）： 3345 - 3356 .

浏览量

755

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

多尺度密集连接注意力的红外与可见光图像融合

基于多尺度空间注意力互补的红外与可见光图像融合

自适应色彩补偿和多尺度融合的水下图像增强

基于直觉模糊集熵测度和显著特征检测的古铜镜X光图像融合

条件扩散和多通道高低频并行的红外与可见光图像融合