Deep hyperspectral image denoising by fusing space spectrum-gradient features

Zhongwei LI; Hao ZHANG; Leiquan WANG; Guangbo REN; Xingshuai CUI

doi:10.37188/OPE.2021.0485

您当前的位置：

首页 >

文章列表页 >

Deep hyperspectral image denoising by fusing space spectrum-gradient features

Information Sciences | 更新时间：2022-03-25

- Deep hyperspectral image denoising by fusing space spectrum-gradient features
- Optics and Precision Engineering Vol. 30, Issue 5, Pages: 615-629(2022)
- 作者机构：
  
  中国石油大学（华东）海洋与空间信息学院，山东青岛 266580
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.2021.0485
  CLC： TP394.1;TH691.9
- Received：22 July 2021，
  
  Revised：19 August 2021，
  
  Published：10 March 2022
- 稿件说明：
移动端阅览
李忠伟,张浩,王雷全等.融合空谱-梯度特征的深度高光谱图像去噪[J].光学精密工程,2022,30(05):615-629.

LI Zhongwei,ZHANG Hao,WANG Leiquan,et al.Deep hyperspectral image denoising by fusing space spectrum-gradient features[J].Optics and Precision Engineering,2022,30(05):615-629.
李忠伟,张浩,王雷全等.融合空谱-梯度特征的深度高光谱图像去噪[J].光学精密工程,2022,30(05):615-629. DOI： 10.37188/OPE.2021.0485.

LI Zhongwei,ZHANG Hao,WANG Leiquan,et al.Deep hyperspectral image denoising by fusing space spectrum-gradient features[J].Optics and Precision Engineering,2022,30(05):615-629. DOI： 10.37188/OPE.2021.0485.

摘要

为了去除高光谱图像采集过程中产生的噪声，提升后续图像处理的性能，提出了一种融合空谱-梯度特征的深度高光谱图像去噪方法。它包括空谱特征网络和梯度特征网络，且各网络使用密集跳跃连接和可分离卷积策略进行优化。空谱网络模型实现噪声特征的精确提取，梯度网络模型对噪声纹理特征进行补充，最后基于两个网络的特征提取结果进行融合，实现噪声特征的精准刻画，并用于恢复干净图像。分别在合成噪声图像和真实噪声图像上验证方法的有效性。实验结果表明，该方法在恢复图像内部结构上效果显著，在噪声标准差50的条件下去噪结果的平均信噪比达到29.426 dB，平均结构相似性达到0.967 8 dB，去噪结果使用支持向量机算法进行分类，分类精度达到90.89%。

Abstract

To remove the noise generated during the process of hyperspectral image acquisition and to improve the performance of subsequent image processing， a deep hyperspectral image denoising method was proposed based on the fusion of spacial spectral and gradient features. It included spacial spectral and gradient characteristic networks， and each network was optimized with a dense connection and separable convolution strategy. The spacial spectral network model extracted the noise features， and the gradient network model supplemented the texture features of the noise. Finally， the feature extraction results of the two networks were fused to achieve characterization of the noise features and to restore clean images. In this study， the effectiveness of the proposed method was verified on synthetic-noise and real-noise images. Experimental results showed that the method had a significant effect on the restoration of the internal structure of images. Under the condition of noise standard deviation of 50， the mean PSNR reached 29.426 dB， while the mean SSIM reached 0.967 8 dB. The denoising results and the original image were classified by SVM algorithm， and the classification accuracy reached 90.89%.

关键词

Keywords

references

贾建鑫，孙海彬，蒋长辉，等 . 多源遥感数据的道路提取技术研究现状及展望［J］. 光学精密工程， 2021 ， 29 （ 2 ）： 430 - 442 . doi: 10.37188/OPE.20212902.0430 http://dx.doi.org/10.37188/OPE.20212902.0430

JIA J X ， SUN H B ， JIANG CH H ， et al . Road extraction technology based on multi-source remote sensing：［J］. Opt. Precision Eng. ， 2021 ， 29 （ 2 ）： 430 - 442 . （in Chinese） . doi: 10.37188/OPE.20212902.0430 http://dx.doi.org/10.37188/OPE.20212902.0430

PAOLETTI M E ， HAUT J M ， FERNANDEZ-BELTRAN R ， et al . Capsule networks for hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 4 ）： 2145 - 2160 . doi: 10.1109/tgrs.2018.2871782 http://dx.doi.org/10.1109/tgrs.2018.2871782

PALSSON B ， SIGURDSSON J ， SVEINSSON J R ， et al . Hyperspectral unmixing using a neural network autoencoder ［J］. IEEE Access ， 2018 ， 6 ： 25646 - 25656 . doi: 10.1109/access.2018.2818280 http://dx.doi.org/10.1109/access.2018.2818280

YANG B ， YANG M H ， PLAZA A ， et al . Dual-mode FPGA implementation of target and anomaly detection algorithms for real-time hyperspectral imaging ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2015 ， 8 （ 6 ）： 2950 - 2961 . doi: 10.1109/jstars.2015.2388797 http://dx.doi.org/10.1109/jstars.2015.2388797

FERRARIS V ， DOBIGEON N ， WEI Q ， et al . Robust fusion of multiband images with different spatial and spectral resolutions for change detection ［J］. IEEE Transactions on Computational Imaging ， 2017 ， 3 （ 2 ）： 175 - 186 . doi: 10.1109/tci.2017.2692645 http://dx.doi.org/10.1109/tci.2017.2692645

RASTI B ， SCHEUNDERS P ， GHAMISI P ， et al . Noise reduction in hyperspectral imagery： overview and application ［J］. Remote Sensing ， 2018 ， 10 （ 3 ）： 482 . doi: 10.3390/rs10030482 http://dx.doi.org/10.3390/rs10030482

张兵 . 高光谱图像处理与信息提取前沿［J］. 遥感学报， 2016 ， 20 （ 5 ）： 1062 - 1090 . doi: 10.11834/jrs.20166179 http://dx.doi.org/10.11834/jrs.20166179

ZHANG B . Advancement of hyperspectral image processing and information extraction ［J］. Journal of Remote Sensing ， 2016 ， 20 （ 5 ）： 1062 - 1090 . （in Chinese） . doi: 10.11834/jrs.20166179 http://dx.doi.org/10.11834/jrs.20166179

LU X Q ， WANG Y L ， YUAN Y . Graph-regularized low-rank representation for destriping of hyperspectral images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2013 ， 51 （ 7 ）： 4009 - 4018 . doi: 10.1109/tgrs.2012.2226730 http://dx.doi.org/10.1109/tgrs.2012.2226730

YAN L ， ZHU R X ， LIU Y ， et al . Scene capture and selected codebook-based refined fuzzy classification of large high-resolution images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 （ 7 ）： 4178 - 4192 . doi: 10.1109/TGRS.2018.2828314 http://dx.doi.org/10.1109/TGRS.2018.2828314

BUADES A ， COLL B ， MOREL J M . A non-local algorithm for image denoising ［C］. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR' 05 ）. 2025，2005 ， San Diego， CA， USA. IEEE ， 2005： 60 - 65 . doi: 10.1109/cvpr.2005.38 http://dx.doi.org/10.1109/cvpr.2005.38

DABOV K ， FOI A ， KATKOVNIK V ， et al . Image denoising by sparse 3-D transform-domain collaborative filtering ［J］. IEEE Transactions on Image Processing ， 2007 ， 16 （ 8 ）： 2080 - 2095 . doi: 10.1109/tip.2007.901238 http://dx.doi.org/10.1109/tip.2007.901238

OTHMAN H ， QIAN S N . Noise reduction of hyperspectral imagery using hybrid spatial-spectral derivative-domain wavelet shrinkage ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2006 ， 44 （ 2 ）： 397 - 408 . doi: 10.1109/tgrs.2005.860982 http://dx.doi.org/10.1109/tgrs.2005.860982

张倩颖，谢晓振 . 加权Schatten范数低秩表示的高光谱图像恢复［J］. 光学精密工程， 2019 ， 27 （ 2 ）： 421 - 432 . doi: 10.3788/ope.20192702.0421 http://dx.doi.org/10.3788/ope.20192702.0421

ZHANG Q Y ， XIE X ZH . Hyperspectral image restoration via weighted Schatten norm low-rank representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 2 ）： 421 - 432 . （in Chinese） . doi: 10.3788/ope.20192702.0421 http://dx.doi.org/10.3788/ope.20192702.0421

ZHANG H Y ， HE W ， ZHANG L P ， et al . Hyperspectral image restoration using low-rank matrix recovery ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2014 ， 52 （ 8 ）： 4729 - 4743 . doi: 10.1109/tgrs.2013.2284280 http://dx.doi.org/10.1109/tgrs.2013.2284280

JIANG C ， ZHANG H Y ， ZHANG L P ， et al . Hyperspectral image denoising with a combined spatial and spectral weighted hyperspectral total variation model ［J］. Canadian Journal of Remote Sensing ， 2016 ， 42 （ 1 ）： 53 - 72 . doi: 10.1080/07038992.2016.1158094 http://dx.doi.org/10.1080/07038992.2016.1158094

XIE Q ， ZHAO Q ， MENG D Y ， et al . Multispectral images denoising by intrinsic tensor sparsity regularization ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 1692 - 1700 . doi: 10.1109/cvpr.2016.187 http://dx.doi.org/10.1109/cvpr.2016.187

张良培，李家艺 . 高光谱图像稀疏信息处理综述与展望［J］. 遥感学报， 2016 ， 20 （ 5 ）： 1091 - 1101 . doi: 10.11834/jrs.20166050 http://dx.doi.org/10.11834/jrs.20166050

ZHANG L P ， LI J Y . Development and prospect of sparse representation-based hyperspectral image processing and analysis ［J］. Journal of Remote Sensing ， 2016 ， 20 （ 5 ）： 1091 - 1101 . （in Chinese） . doi: 10.11834/jrs.20166050 http://dx.doi.org/10.11834/jrs.20166050

ZHU X X ， TUIA D ， MOU L C ， et al . Deep learning in remote sensing： a comprehensive review and list of resources ［J］. IEEE Geoscience and Remote Sensing Magazine ， 2017 ， 5 （ 4 ）： 8 - 36 . doi: 10.1109/mgrs.2017.2762307 http://dx.doi.org/10.1109/mgrs.2017.2762307

张少磊，付光远，汪洪桥，等 . 基于向量总变差约束局部光谱解混的高光谱图像超分辨［J］. 光学精密工程， 2019 ， 27 （ 12 ）： 2683 - 2692 . doi: 10.3788/ope.20192712.2683 http://dx.doi.org/10.3788/ope.20192712.2683

ZHANG SH L ， FU G Y ， WANG H Q ， et al . Total-variation-regularized local spectral unmixing for hyperspectral image super-resolution ［J］. Opt.. Precision Eng. ， 2019 ， 27 （ 12 ）： 2683 - 2692 . （in Chinese） . doi: 10.3788/ope.20192712.2683 http://dx.doi.org/10.3788/ope.20192712.2683

LIU W ， LEE J . A 3-D atrous convolution neural network for hyperspectral image denoising ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 8 ）： 5701 - 5715 . doi: 10.1109/tgrs.2019.2901737 http://dx.doi.org/10.1109/tgrs.2019.2901737

ZHANG Q ， YUAN Q Q ， LI J ， et al . Hybrid noise removal in hyperspectral imagery with a spatial–spectral gradient network ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 10 ）： 7317 - 7329 . doi: 10.1109/tgrs.2019.2912909 http://dx.doi.org/10.1109/tgrs.2019.2912909

MAFFEI A ， HAUT J M ， PAOLETTI M E ， et al . A single model CNN for hyperspectral image denoising ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 ， 58 （ 4 ）： 2516 - 2529 . doi: 10.1109/tgrs.2019.2952062 http://dx.doi.org/10.1109/tgrs.2019.2952062

YUAN Q Q ， ZHANG Q ， LI J ， et al . Hyperspectral image denoising employing a spatial-spectral deep residual convolutional neural network ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 2 ）： 1205 - 1218 . doi: 10.1109/tgrs.2018.2865197 http://dx.doi.org/10.1109/tgrs.2018.2865197

YAN Y Y ， REN W Q ， GUO Y F ， et al . Image deblurring via extreme channels prior ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 6978 - 6986 . doi: 10.1109/cvpr.2017.738 http://dx.doi.org/10.1109/cvpr.2017.738

SOBEL I ， FELDMAN G . An Isotropic 3 x 3 Image Gradient Operator［R/OL］. Presentation at Stanford AI Project ， 1968 . https：//www.researchgate.net/publication/239398674_An_Isotropic_3x3_Image_Gradient_Operator https://www.researchgate.net/publication/239398674_An_Isotropic_3x3_Image_Gradient_Operator

WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1016/j.jvcir.2019.102655 http://dx.doi.org/10.1016/j.jvcir.2019.102655

HE K M ， ZHANG X Y ， REN S Q ， et al . Delving deep into rectifiers： surpassing human-level performance on ImageNet classification ［C］. 2015 IEEE International Conference on Computer Vision （ICCV）. 713，2015 ， Santiago， Chile. IEEE ， 2015 ： 1026 - 1034 . doi: 10.1109/iccv.2015.123 http://dx.doi.org/10.1109/iccv.2015.123

Views

1090

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Spatial-spectral separable convolutional neural network for cell classification of hyperspectral microscopic images

Specral-spatial classification of hyperspectral imagery with hybrid architecture of 3D-CNN and Transformer

Collaborative classification of hyperspectral and LiDAR data based on CNN-transformer

Hyperspectral unmixing with shared endmember variability in homogeneous region

Related Author

Xing-shuai CUI

Guang-bo REN

Lei-quan WANG

Zhong-wei LI

Hong HUANG

Yuan LI

Xu SHI

ZHANG Haokui

Related Institution

Key Laboratory of Optoelectronic Technique and System of the Ministry of Education， Chongqing University

Northwestern Polytechnical University

College of Electron and Information， University of Electronic Science and Technology of China，Zhongshan Institute

Heilongjiang Province Key Laboratory of Laser Spectroscopy Technology and Application， College of Measurement and Control Technology and Communication Engineering， Harbin University of Science and Technology

Department of Computer Science， Chubu University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰