Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network

Beibei SONG; Suina MA; Fan HE; Wenfang SUN

doi:10.37188/OPE.2021.0433

您当前的位置：

首页 >

文章列表页 >

Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network

Information Sciences | 更新时间：2022-08-07

- Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network
- Optics and Precision Engineering Vol. 30, Issue 13, Pages: 1606-1619(2022)
- 作者机构：
  
  1.长安大学信息工程学院，陕西西安 710064
  2.西安电子科技大学空间科学与技术学院，陕西西安 710126
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.2021.0433
  CLC： TP751
- Received：02 July 2021，
  
  Revised：29 July 2021，
  
  Published：10 July 2022
- 稿件说明：
移动端阅览
宋蓓蓓,马穗娜,何帆等.Res2-Unet深度学习网络的RGB-高光谱图像重建[J].光学精密工程,2022,30(13):1606-1619.

SONG Beibei,MA Suina,HE Fan,et al.Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network[J].Optics and Precision Engineering,2022,30(13):1606-1619.
宋蓓蓓,马穗娜,何帆等.Res2-Unet深度学习网络的RGB-高光谱图像重建[J].光学精密工程,2022,30(13):1606-1619. DOI： 10.37188/OPE.2021.0433.

SONG Beibei,MA Suina,HE Fan,et al.Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network[J].Optics and Precision Engineering,2022,30(13):1606-1619. DOI： 10.37188/OPE.2021.0433.

摘要

针对高光谱成像设备价格昂贵而难以推广应用的问题，利用深度学习网络从易获得的RGB图像重建高质量的高光谱图像。提出的Res2-Unet深度学习网络以Unet框架为基础，以Res2Net为主要模块构建其骨干网络，可以在更加细粒度级别提取局部和全局的图像特征。引入通道注意力机制自适应调节通道特征响应，并在编解码间通过跳跃连接以充分融合不同尺度和不同深度的信息。最后在图像恢复与增强新趋势2020年国际挑战赛提供的数据集上进行训练和测试。实验结果表明，与自适应加权注意力机制网络、分层回归网络相比，提出的方法在平均相对绝对误差、均方根误差、峰值信噪比和平均光谱角制图等4种客观评价指标上均获得了最好的结果；在Clean赛道中平均峰值信噪比分别高出0.08 dB和1.73 dB，在Real World赛道中平均峰值信噪比分别高出0.72 dB和0.97 dB。对比高光谱参考图像与重建图像，无论是在图像的低频平坦区还是在图像的高频纹理区，提出方法均获得了更好的主观视觉效果。

Abstract

Because of hyperspectral imaging equipment are expensive， a deep learning network to reconstruct high-quality hyperspectral images from easily obtained RGB images was proposed. The proposed network was based on the Unet framework， and its backbone network was primarily constructed using the Res2Net module， which could extract fine local and global image features. The channel attention mechanism was introduced to adaptively adjust the channel characteristic response， and the information of different scales and depths was fully integrated through a skip connection between the coding and decoding paths. Finally， it was trained and tested on the dataset provided by the new trends in the image restoration and enhancement （NTIRE） 2020 international challenge. Experiments show that compared with the adaptive weighted attention network （AWAN） and hierarchical regression network （HRNet）， the proposed method obtains the best results in the four objective evaluation methods， such as the mean of relative absolute error （MRAE）， root mean square error （RMSE）， peak signal-to-noise ratio （PSNR）， and mean of spectral angle mapper （MSAM）. Compared with AWAN and HRNet， the proposed method improves the mean of the PSNR by 0.08 dB and 1.73 dB， respectively， on the clean track， and 0.72 dB and 0.97 dB， respectively， on the real-world track. The proposed method reconstructs images with better subjective quality in the low-frequency flat area and the high-frequency texture area than the hyperspectral reference images.

关键词

Keywords

references

郝博雅，孙洁 . 高光谱影像特性研究［J］. 计算机工程与应用， 2014 ， 50 （ S1 ）： 230 - 233 .

HAO B Y ， SUN J . Research of hyper-spectral imaging characteristics ［J］. Computer Engineering and Applications ， 2014 ， 50 （ S1 ）： 230 - 233 . （in Chinese）

OZKAN S ， KAYA B ， AKAR G B . EndNet： sparse AutoEncoder network for endmember extraction and hyperspectral unmixing ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 1 ）： 482 - 496 . doi: 10.1109/tgrs.2018.2856929 http://dx.doi.org/10.1109/tgrs.2018.2856929

GOVENDER M ， CHETTY K ， BULCOCK H . A review of hyperspectral remote sensing and its application in vegetation and water resource studies ［J］. Water SA ， 2009 ， 33 （ 2 ）： 145 - 151 . doi: 10.4314/wsa.v33i2.49049 http://dx.doi.org/10.4314/wsa.v33i2.49049

STEIN D W J ， BEAVEN S G ， HOFF L E ， et al . Anomaly detection from hyperspectral imagery ［J］. IEEE Signal Processing Magazine ， 2002 ， 19 （ 1 ）： 58 - 69 . doi: 10.1109/79.974730 http://dx.doi.org/10.1109/79.974730

BARBIN D F ， ELMASRY G ， SUN D W ， et al . Non-destructive determination of chemical composition in intact and minced pork using near-infrared hyperspectral imaging ［J］. Food Chemistry ， 2013 ， 138 （ 2-3 ）： 1162 - 1171 . doi: 10.1016/j.foodchem.2012.11.120 http://dx.doi.org/10.1016/j.foodchem.2012.11.120

MARTIN M E ， WABUYELE M B ， CHEN K ， et al . Development of an advanced hyperspectral imaging （HSI） system with applications for cancer detection ［J］. Annals of Biomedical Engineering ， 2006 ， 34 （ 6 ）： 1061 - 1068 . doi: 10.1007/s10439-006-9121-9 http://dx.doi.org/10.1007/s10439-006-9121-9

李勇，王珂，张立保，等 . 多断层融合的肺CT肿瘤靶区超分辨率重建［J］. 光学精密工程， 2010 ， 18 （ 5 ）： 1212 - 1218 .

LI Y ， WANG K ， ZHANG L B ， et al . Super-resolution reconstruction of pulmonary nodules based on CT multi-section fusion ［J］. Opt. Precision Eng. ， 2010 ， 18 （ 5 ）： 1212 - 1218 . （in Chinese）

ARAD B ， BEN-SHAHAR O ， TIMOFTE R ， et al . NTIRE 2018 challenge on spectral reconstruction from RGB images ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1822，2018 ， Salt Lake City， UT， USA. IEEE ， 2018 ： 1042 - 104209 .

ARAD B ， TIMOFTE R ， BEN-SHAHAR O ， et al . NTIRE 2020 challenge on spectral reconstruction from an RGB image ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1806 - 1822 .

WU J Q ， AESCHBACHER J ， TIMOFTE R . In defense of shallow learned spectral reconstruction from RGB images ［C］. 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 471 - 479 . doi: 10.1109/iccvw.2017.63 http://dx.doi.org/10.1109/iccvw.2017.63

ARAD B ， BEN-SHAHAR O . Sparse recovery of hyperspectral signal from natural RGB images ［C］. Computer Vision-ECCV 2016 ， 2016 ： 19 - 34 . doi: 10.1007/978-3-319-46478-7_2 http://dx.doi.org/10.1007/978-3-319-46478-7_2

韩玉兰，赵永平，王启松，等 . 稀疏表示下的噪声图像超分辨率重构［J］. 光学精密工程， 2017 ， 25 （ 6 ）： 1619 - 1626 . doi: 10.3788/ope.20172506.1619 http://dx.doi.org/10.3788/ope.20172506.1619

HAN Y L ， ZHAO Y P ， WANG Q S ， et al . Reconstruction of super resolution for noise image under the sparse representation ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 6 ）： 1619 - 1626 . （in Chinese） . doi: 10.3788/ope.20172506.1619 http://dx.doi.org/10.3788/ope.20172506.1619

朱福珍，刘越，黄鑫，等 . 改进的稀疏表示遥感图像超分辨重建［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 718 - 725 . doi: 10.3788/ope.20192703.0718 http://dx.doi.org/10.3788/ope.20192703.0718

ZHU F ZH ， LIU Y ， HUANG X ， et al . Remote sensing image super-resolution based on improved sparse representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese） . doi: 10.3788/ope.20192703.0718 http://dx.doi.org/10.3788/ope.20192703.0718

XIONG Z W ， SHI Z ， LI H Q ， et al . HSCNN： CNN-based hyperspectral image recovery from spectrally undersampled projections ［C］. 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 518 - 525 . doi: 10.1109/iccvw.2017.68 http://dx.doi.org/10.1109/iccvw.2017.68

STIEBEL T ， KOPPERS S ， SELTSAM P ， et al . Reconstructing spectral images from RGB-images using a convolutional neural network ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1822，2018 ， Salt Lake City， UT， USA. IEEE ， 2018 ： 1061 - 10615 . doi: 10.1109/cvprw.2018.00140 http://dx.doi.org/10.1109/cvprw.2018.00140

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

IOFFE S ， SZEGEDY C . Batch normalization： Accelerating deep network training by reducing internal covariate shift ［C］. International conference on machine learning. PMLR ， 2015 ： 448 - 456 .

GOODFELLOW I ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial networks ［J］. Communications of the ACM ， 2020 ， 63 （ 11 ）： 139 - 144 . doi: 10.1145/3422622 http://dx.doi.org/10.1145/3422622

LI J J ， WU C X ， SONG R ， et al . Adaptive weighted attention network with camera spectral sensitivity prior for spectral reconstruction from RGB images ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1894 - 1903 . doi: 10.1109/cvprw50498.2020.00239 http://dx.doi.org/10.1109/cvprw50498.2020.00239

ZHAO Y Z ， PO L M ， YAN Q ， et al . Hierarchical regression network for spectral reconstruction from RGB images ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1695 - 1704 . doi: 10.1109/cvprw50498.2020.00219 http://dx.doi.org/10.1109/cvprw50498.2020.00219

PENG H ， CHEN X M ， ZHAO J . Residual pixel attention network for spectral reconstruction from RGB images ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 2012 - 2020 . doi: 10.1109/cvprw50498.2020.00251 http://dx.doi.org/10.1109/cvprw50498.2020.00251

GAO S H ， CHENG M M ， ZHAO K ， et al . Res2Net： a new multi-scale backbone architecture ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 2 ）： 652 - 662 . doi: 10.1109/tpami.2019.2938758 http://dx.doi.org/10.1109/tpami.2019.2938758

HU J ， SHEN L ， ALBANIE S ， et al . Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 8 ）： 2011 - 2023 . doi: 10.1109/tpami.2019.2913372 http://dx.doi.org/10.1109/tpami.2019.2913372

蔡体健，彭潇雨，石亚鹏，等 . 通道注意力与残差级联的图像超分辨率重建［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

ALOM M Z ， YAKOPCIC C ， TAHA T M ， et al . Nuclei segmentation with recurrent residual convolutional neural networks based U-net （R2U-net）［C］.. NAECON 2018 - IEEE National Aerospace and Electronics Conference . 2326，2018 ， Dayton ， OH ， USA . IEEE ， 2018 ： 228 - 233 . doi: 10.1109/naecon.2018.8556686 http://dx.doi.org/10.1109/naecon.2018.8556686

SHI W Z ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207

佘晖，吕玮阁，邱珏沁，等 . 商用数码相机的光谱灵敏度测量及评价［J］. 光学仪器， 2017 ， 39 （ 5 ）： 15 - 21 .

SHE H ， LÜ W G ， QIU J Q ， et al . Spectral sensitivity measurement and evaluation of commercial digital cameras ［J］. Optical Instruments ， 2017 ， 39 （ 5 ）： 15 - 21 . （in Chinese）

MAAS A L ， HANNUN A Y ， Ng A Y . Rectifier nonlinearities improve neural network acoustic models ［C］. Proceedings of the International Conference on Machine Learning ， 2013 ， 30 （ 1 ）： 3 .

Views

1050

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector

Overview of hyperspectral image classification

Remote sensing image small target recognition using multi-scale feature fusion-based SSD

Underwater image enhancement based on multi-branch residual attention network

Related Author

Bei-bei SONG

Sui-na MA

Wen-fang SUN

Xin CHEN

Min-jie WAN

Chao MA

Qian CHEN

Guo-hua GU

Related Institution

School of Electronic and Optical Engineering， Nanjing University of Science and Technology

Jiangsu Key Laboratory of Spectral Imaging & Intelligent Sense， Nanjing University of Science and Technology

Department of Electronics, Shantou University

Medical College, Shantou University

College of Electronic and Optical Engineering， Nanjing Univ. of Science and Tech

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰