Res2-Unet深度学习网络的RGB-高光谱图像重建

宋蓓蓓; 马穗娜; 何帆; 孙文方

doi:10.37188/OPE.2021.0433

您当前的位置：

首页 >

文章列表页 >

Res2-Unet深度学习网络的RGB-高光谱图像重建

信息科学 | 更新时间：2022-08-07

- Res2-Unet深度学习网络的RGB-高光谱图像重建
- Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network
- 光学精密工程 2022年30卷第13期页码：1606-1619
- 作者机构：
  
  1.长安大学信息工程学院，陕西西安 710064
  2.西安电子科技大学空间科学与技术学院，陕西西安 710126
- 作者简介：
  
  [ "宋蓓蓓（1980-），女，山东昌邑人，博士，副教授，2008年于西安电子科技大学获得博士学位，主要从事图像处理与人工智能方向的研究。E-mail：bbsong@chd.edu.cn" ]
  [ "孙文方（1979-），男，湖北武汉人，博士，副教授，2008年于西安电子科技大学获得博士学位，主要从事遥感图像处理、人工智能、卫星系统工程方向的研究。E-mail：wfsun@xidian.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(62001059);陕西省重点研发计划项目(2021GY-019)
- DOI：10.37188/OPE.2021.0433
  中图分类号： TP751
- 收稿日期：2021-07-02，
  
  修回日期：2021-07-29，
  
  纸质出版日期：2022-07-10
- 稿件说明：
移动端阅览
宋蓓蓓,马穗娜,何帆等.Res2-Unet深度学习网络的RGB-高光谱图像重建[J].光学精密工程,2022,30(13):1606-1619.

SONG Beibei,MA Suina,HE Fan,et al.Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network[J].Optics and Precision Engineering,2022,30(13):1606-1619.
宋蓓蓓,马穗娜,何帆等.Res2-Unet深度学习网络的RGB-高光谱图像重建[J].光学精密工程,2022,30(13):1606-1619. DOI： 10.37188/OPE.2021.0433.

SONG Beibei,MA Suina,HE Fan,et al.Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network[J].Optics and Precision Engineering,2022,30(13):1606-1619. DOI： 10.37188/OPE.2021.0433.

摘要

针对高光谱成像设备价格昂贵而难以推广应用的问题，利用深度学习网络从易获得的RGB图像重建高质量的高光谱图像。提出的Res2-Unet深度学习网络以Unet框架为基础，以Res2Net为主要模块构建其骨干网络，可以在更加细粒度级别提取局部和全局的图像特征。引入通道注意力机制自适应调节通道特征响应，并在编解码间通过跳跃连接以充分融合不同尺度和不同深度的信息。最后在图像恢复与增强新趋势2020年国际挑战赛提供的数据集上进行训练和测试。实验结果表明，与自适应加权注意力机制网络、分层回归网络相比，提出的方法在平均相对绝对误差、均方根误差、峰值信噪比和平均光谱角制图等4种客观评价指标上均获得了最好的结果；在Clean赛道中平均峰值信噪比分别高出0.08 dB和1.73 dB，在Real World赛道中平均峰值信噪比分别高出0.72 dB和0.97 dB。对比高光谱参考图像与重建图像，无论是在图像的低频平坦区还是在图像的高频纹理区，提出方法均获得了更好的主观视觉效果。

Abstract

Because of hyperspectral imaging equipment are expensive， a deep learning network to reconstruct high-quality hyperspectral images from easily obtained RGB images was proposed. The proposed network was based on the Unet framework， and its backbone network was primarily constructed using the Res2Net module， which could extract fine local and global image features. The channel attention mechanism was introduced to adaptively adjust the channel characteristic response， and the information of different scales and depths was fully integrated through a skip connection between the coding and decoding paths. Finally， it was trained and tested on the dataset provided by the new trends in the image restoration and enhancement （NTIRE） 2020 international challenge. Experiments show that compared with the adaptive weighted attention network （AWAN） and hierarchical regression network （HRNet）， the proposed method obtains the best results in the four objective evaluation methods， such as the mean of relative absolute error （MRAE）， root mean square error （RMSE）， peak signal-to-noise ratio （PSNR）， and mean of spectral angle mapper （MSAM）. Compared with AWAN and HRNet， the proposed method improves the mean of the PSNR by 0.08 dB and 1.73 dB， respectively， on the clean track， and 0.72 dB and 0.97 dB， respectively， on the real-world track. The proposed method reconstructs images with better subjective quality in the low-frequency flat area and the high-frequency texture area than the hyperspectral reference images.

关键词

Keywords

references

郝博雅，孙洁 . 高光谱影像特性研究［J］. 计算机工程与应用， 2014 ， 50 （ S1 ）： 230 - 233 .

HAO B Y ， SUN J . Research of hyper-spectral imaging characteristics ［J］. Computer Engineering and Applications ， 2014 ， 50 （ S1 ）： 230 - 233 . （in Chinese）

OZKAN S ， KAYA B ， AKAR G B . EndNet： sparse AutoEncoder network for endmember extraction and hyperspectral unmixing ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 1 ）： 482 - 496 . doi: 10.1109/tgrs.2018.2856929 http://dx.doi.org/10.1109/tgrs.2018.2856929

GOVENDER M ， CHETTY K ， BULCOCK H . A review of hyperspectral remote sensing and its application in vegetation and water resource studies ［J］. Water SA ， 2009 ， 33 （ 2 ）： 145 - 151 . doi: 10.4314/wsa.v33i2.49049 http://dx.doi.org/10.4314/wsa.v33i2.49049

STEIN D W J ， BEAVEN S G ， HOFF L E ， et al . Anomaly detection from hyperspectral imagery ［J］. IEEE Signal Processing Magazine ， 2002 ， 19 （ 1 ）： 58 - 69 . doi: 10.1109/79.974730 http://dx.doi.org/10.1109/79.974730

BARBIN D F ， ELMASRY G ， SUN D W ， et al . Non-destructive determination of chemical composition in intact and minced pork using near-infrared hyperspectral imaging ［J］. Food Chemistry ， 2013 ， 138 （ 2-3 ）： 1162 - 1171 . doi: 10.1016/j.foodchem.2012.11.120 http://dx.doi.org/10.1016/j.foodchem.2012.11.120

MARTIN M E ， WABUYELE M B ， CHEN K ， et al . Development of an advanced hyperspectral imaging （HSI） system with applications for cancer detection ［J］. Annals of Biomedical Engineering ， 2006 ， 34 （ 6 ）： 1061 - 1068 . doi: 10.1007/s10439-006-9121-9 http://dx.doi.org/10.1007/s10439-006-9121-9

李勇，王珂，张立保，等 . 多断层融合的肺CT肿瘤靶区超分辨率重建［J］. 光学精密工程， 2010 ， 18 （ 5 ）： 1212 - 1218 .

LI Y ， WANG K ， ZHANG L B ， et al . Super-resolution reconstruction of pulmonary nodules based on CT multi-section fusion ［J］. Opt. Precision Eng. ， 2010 ， 18 （ 5 ）： 1212 - 1218 . （in Chinese）

ARAD B ， BEN-SHAHAR O ， TIMOFTE R ， et al . NTIRE 2018 challenge on spectral reconstruction from RGB images ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1822，2018 ， Salt Lake City， UT， USA. IEEE ， 2018 ： 1042 - 104209 .

ARAD B ， TIMOFTE R ， BEN-SHAHAR O ， et al . NTIRE 2020 challenge on spectral reconstruction from an RGB image ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1806 - 1822 .

WU J Q ， AESCHBACHER J ， TIMOFTE R . In defense of shallow learned spectral reconstruction from RGB images ［C］. 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 471 - 479 . doi: 10.1109/iccvw.2017.63 http://dx.doi.org/10.1109/iccvw.2017.63

ARAD B ， BEN-SHAHAR O . Sparse recovery of hyperspectral signal from natural RGB images ［C］. Computer Vision-ECCV 2016 ， 2016 ： 19 - 34 . doi: 10.1007/978-3-319-46478-7_2 http://dx.doi.org/10.1007/978-3-319-46478-7_2

韩玉兰，赵永平，王启松，等 . 稀疏表示下的噪声图像超分辨率重构［J］. 光学精密工程， 2017 ， 25 （ 6 ）： 1619 - 1626 . doi: 10.3788/ope.20172506.1619 http://dx.doi.org/10.3788/ope.20172506.1619

HAN Y L ， ZHAO Y P ， WANG Q S ， et al . Reconstruction of super resolution for noise image under the sparse representation ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 6 ）： 1619 - 1626 . （in Chinese） . doi: 10.3788/ope.20172506.1619 http://dx.doi.org/10.3788/ope.20172506.1619

朱福珍，刘越，黄鑫，等 . 改进的稀疏表示遥感图像超分辨重建［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 718 - 725 . doi: 10.3788/ope.20192703.0718 http://dx.doi.org/10.3788/ope.20192703.0718

ZHU F ZH ， LIU Y ， HUANG X ， et al . Remote sensing image super-resolution based on improved sparse representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese） . doi: 10.3788/ope.20192703.0718 http://dx.doi.org/10.3788/ope.20192703.0718

XIONG Z W ， SHI Z ， LI H Q ， et al . HSCNN： CNN-based hyperspectral image recovery from spectrally undersampled projections ［C］. 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 518 - 525 . doi: 10.1109/iccvw.2017.68 http://dx.doi.org/10.1109/iccvw.2017.68

STIEBEL T ， KOPPERS S ， SELTSAM P ， et al . Reconstructing spectral images from RGB-images using a convolutional neural network ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1822，2018 ， Salt Lake City， UT， USA. IEEE ， 2018 ： 1061 - 10615 . doi: 10.1109/cvprw.2018.00140 http://dx.doi.org/10.1109/cvprw.2018.00140

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

IOFFE S ， SZEGEDY C . Batch normalization： Accelerating deep network training by reducing internal covariate shift ［C］. International conference on machine learning. PMLR ， 2015 ： 448 - 456 .

GOODFELLOW I ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial networks ［J］. Communications of the ACM ， 2020 ， 63 （ 11 ）： 139 - 144 . doi: 10.1145/3422622 http://dx.doi.org/10.1145/3422622

LI J J ， WU C X ， SONG R ， et al . Adaptive weighted attention network with camera spectral sensitivity prior for spectral reconstruction from RGB images ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1894 - 1903 . doi: 10.1109/cvprw50498.2020.00239 http://dx.doi.org/10.1109/cvprw50498.2020.00239

ZHAO Y Z ， PO L M ， YAN Q ， et al . Hierarchical regression network for spectral reconstruction from RGB images ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1695 - 1704 . doi: 10.1109/cvprw50498.2020.00219 http://dx.doi.org/10.1109/cvprw50498.2020.00219

PENG H ， CHEN X M ， ZHAO J . Residual pixel attention network for spectral reconstruction from RGB images ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 2012 - 2020 . doi: 10.1109/cvprw50498.2020.00251 http://dx.doi.org/10.1109/cvprw50498.2020.00251

GAO S H ， CHENG M M ， ZHAO K ， et al . Res2Net： a new multi-scale backbone architecture ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 2 ）： 652 - 662 . doi: 10.1109/tpami.2019.2938758 http://dx.doi.org/10.1109/tpami.2019.2938758

HU J ， SHEN L ， ALBANIE S ， et al . Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 8 ）： 2011 - 2023 . doi: 10.1109/tpami.2019.2913372 http://dx.doi.org/10.1109/tpami.2019.2913372

蔡体健，彭潇雨，石亚鹏，等 . 通道注意力与残差级联的图像超分辨率重建［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

ALOM M Z ， YAKOPCIC C ， TAHA T M ， et al . Nuclei segmentation with recurrent residual convolutional neural networks based U-net （R2U-net）［C］.. NAECON 2018 - IEEE National Aerospace and Electronics Conference . 2326，2018 ， Dayton ， OH ， USA . IEEE ， 2018 ： 228 - 233 . doi: 10.1109/naecon.2018.8556686 http://dx.doi.org/10.1109/naecon.2018.8556686

SHI W Z ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207

佘晖，吕玮阁，邱珏沁，等 . 商用数码相机的光谱灵敏度测量及评价［J］. 光学仪器， 2017 ， 39 （ 5 ）： 15 - 21 .

SHE H ， LÜ W G ， QIU J Q ， et al . Spectral sensitivity measurement and evaluation of commercial digital cameras ［J］. Optical Instruments ， 2017 ， 39 （ 5 ）： 15 - 21 . （in Chinese）

MAAS A L ， HANNUN A Y ， Ng A Y . Rectifier nonlinearities improve neural network acoustic models ［C］. Proceedings of the International Conference on Machine Learning ， 2013 ， 30 （ 1 ）： 3 .

浏览量

1050

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

采用多尺度特征融合SSD的遥感图像小目标检测

高光谱图像分类的研究进展

采用多尺度特征融合SSD的遥感图像小目标识别

基于多分支残差注意力网络的水下图像增强