Res2-Unet深度学习网络的RGB-高光谱图像重建

Res2-Unet深度学习网络的RGB-高光谱图像重建 Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network 1 corresp first-author E-mail： bbsong@chd.edu.cn E-mail： bbsong@chd.edu.cn 宋蓓蓓（1980-），女，山东昌邑人，博士，副教授，2008年于西安电子科技大学获得博士学位，主要从事图像处理与人工智能方向的研究。E-mail：bbsong@chd.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964712&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964705&type= 22.01333237 32.00399780 宋蓓蓓 （1980-），女，山东昌邑人，博士，副教授，2008年于西安电子科技大学获得博士学位，主要从事图像处理与人工智能方向的研究。E-mail： bbsong@chd.edu.cn bbsong@chd.edu.cn 1 1 2 孙文方（1979-），男，湖北武汉人，博士，副教授，2008年于西安电子科技大学获得博士学位，主要从事遥感图像处理、人工智能、卫星系统工程方向的研究。E-mail：wfsun@xidian.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964726&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964721&type= 22.01333618 32.00399780 孙文方 （1979-），男，湖北武汉人，博士，副教授，2008年于西安电子科技大学获得博士学位，主要从事遥感图像处理、人工智能、卫星系统工程方向的研究。E-mail： wfsun@xidian.edu.cn wfsun@xidian.edu.cn 长安大学 信息工程学院，陕西 西安 710064 长安大学 信息工程学院，陕西 西安 710064 School of Information Engineering， Chang'an University， Xi'an 710064， China School of Information Engineering， Chang'an University， Xi'an 710064， China 西安电子科技大学 空间科学与技术学院，陕西 西安 710126 西安电子科技大学 空间科学与技术学院，陕西 西安 710126 School of Aerospace Science and Technology， Xidian University， Xi'an 710126， China School of Aerospace Science and Technology， Xidian University， Xi'an 710126， China 针对高光谱成像设备价格昂贵而难以推广应用的问题，利用深度学习网络从易获得的RGB图像重建高质量的高光谱图像。提出的Res2-Unet深度学习网络以Unet框架为基础，以Res2Net为主要模块构建其骨干网络，可以在更加细粒度级别提取局部和全局的图像特征。引入通道注意力机制自适应调节通道特征响应，并在编解码间通过跳跃连接以充分融合不同尺度和不同深度的信息。最后在图像恢复与增强新趋势2020年国际挑战赛提供的数据集上进行训练和测试。实验结果表明，与自适应加权注意力机制网络、分层回归网络相比，提出的方法在平均相对绝对误差、均方根误差、峰值信噪比和平均光谱角制图等4种客观评价指标上均获得了最好的结果；在Clean赛道中平均峰值信噪比分别高出0.08 dB和1.73 dB，在Real World赛道中平均峰值信噪比分别高出0.72 dB和0.97 dB。对比高光谱参考图像与重建图像，无论是在图像的低频平坦区还是在图像的高频纹理区，提出方法均获得了更好的主观视觉效果。 Because of hyperspectral imaging equipment are expensive， a deep learning network to reconstruct high-quality hyperspectral images from easily obtained RGB images was proposed. The proposed network was based on the Unet framework， and its backbone network was primarily constructed using the Res2Net module， which could extract fine local and global image features. The channel attention mechanism was introduced to adaptively adjust the channel characteristic response， and the information of different scales and depths was fully integrated through a skip connection between the coding and decoding paths. Finally， it was trained and tested on the dataset provided by the new trends in the image restoration and enhancement （NTIRE） 2020 international challenge. Experiments show that compared with the adaptive weighted attention network （AWAN） and hierarchical regression network （HRNet）， the proposed method obtains the best results in the four objective evaluation methods， such as the mean of relative absolute error （MRAE）， root mean square error （RMSE）， peak signal-to-noise ratio （PSNR）， and mean of spectral angle mapper （MSAM）. Compared with AWAN and HRNet， the proposed method improves the mean of the PSNR by 0.08 dB and 1.73 dB， respectively， on the clean track， and 0.72 dB and 0.97 dB， respectively， on the real-world track. The proposed method reconstructs images with better subjective quality in the low-frequency flat area and the high-frequency texture area than the hyperspectral reference images. 深度学习 高光谱图像 图像重建 Res2Net 通道注意力机制 deep learning hyperspectral image image reconstruction Res2Net channel attention mechanism 1 引　言 1 高光谱图像（Hyperspectral Image，HSI）的光谱分辨率在0.01 <math id="M1"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964736&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964731&type= 1.77800000 2.79399991 量级，在电磁波谱的可见光和近红外区域内其谱段数达几十甚至数百个。高光谱图像具有图谱合一和空谱相关性较强等特性，因此在军事 ［ 1 1 - 2 2 1-2 ］ 、农业 ［ 3 3 ］ 、海洋 ［ 4 4 ］ 、环境监测 ［ 5 5 ］ 和医学物理研究 ［ 6 6 - 7 7 6-7 ］ 等领域越来越受到重视。与传统的RGB三谱段多光谱成像相比，高光谱图像的主要优势在于能够在更宽的光谱响应范围内以更高的光谱高分辨率捕获更多细节。然而，相对普遍装备的低成本RGB成像相机，高光谱成像设备价格昂贵，难以广泛应用，因此，从RGB图像重建高光谱图像的技术引起学术界和工业界的关注 ［ 8 8 - 9 9 8-9 ］ 。 由计算机视觉和模式识别领域的顶级学术会议CVPR（IEEE Conference on Computer Vision and Pattern Recognition）组织的NTIRE（New Trends in Image Restoration and Enhancement）挑战赛 ［ 8 8 ］ 是近年来计算机视觉领域非常有影响力的赛事，其内容包括图像去模糊、去雾、去噪及超分辨率重建等。RGB-高光谱图像重建（Challenge on Spectral Reconstruction from an RGB Image）是NTIRE挑战赛的项目之一，于2018年和2020年成功主办过两次 ［ 8 8 - 9 9 8-9 ］ 。RGB-高光谱图像重建挑战赛提供了较大的数据集，参赛者基于数据集构建从RGB图像到高光谱图像的映射方法，以获得高质量的高光谱重建图像。 较早的图像重建方法主要集中在建立稀疏表示与压缩感知（Compressive Sensing，CS），以及浅层网络学习模型上 ［ 10 10 - 13 13 10-13 ］ ，泛化能力有限，重建图像质量较差。在2018年的RGB-高光谱图像重建挑战赛上，主办方提供了包含256个RGB-高光谱图像对的BGU HS数据集。在大数据背景下，深度学习神经网络在RGB-高光谱图像重建方面得到了大量应用。Xiong等 ［ 14 14 ］ 提出了一种由自适应残差块组成的深度残差网络HSCNN-R。为了进一步提高性能，他们设计了一种基于密集连接结构的更深层次HSCNN-D模型和基于融合的后处理方案，重建精度有所提升，但是网络参数量和计算量却大幅增加。Stiebel等 ［ 15 15 ］ 将语义分割中常用的Unet网络 ［ 16 16 ］ 引入到这项工作中，考虑到光谱重建的特殊性，删除了Unet网络中的池化层和批量归一化（Batch Normalization，BN） ［ 17 17 ］ 处理，最终获得第四名的好成绩。为了解决近红外光谱段信息难以重建的问题，Zhou等构建了包括一个生成器和两个鉴别器的生成对抗网络 ［ 18 18 ］ ，其中一个鉴别器关注全光谱段信息，另外一个鉴别器仅关注近红外光谱段信息，但需要在训练集中删除与测试集不匹配的部分数据，以避免训练过程中出现振荡现象，因此网络的鲁棒性较差。 在2020年的RGB-高光谱图像重建挑战赛上，一个更大的数据集ARAD HS被公开，参赛算法的性能获得显著提升。Li等 ［ 19 19 ］ 提出了一种自适应加权注意力机制网络（Adaptive Weighted Attention Network，AWAN），其中的长短跳跃连接有助于建立远程像素的相关性，有效提高了重建精度，但需要预先已知光谱响应曲线，实用性较差。Zhao等 ［ 20 20 ］ 提出了一个4级分层回归网络（Hierarchical Regression Network，HRNet），使用残差模块和密集连接方法，有助于去除重建噪声和减少重建伪影。Peng等 ［ 21 21 ］ 为光谱重建设计了一个残差像素注意网络（Residual Pixel Attention Network，RPAN），可以自适应地重新缩放每个通道中的像素级特征。 综上所述，现有的光谱重建主要通过加深网络、加宽网络，以及多网络融合等方法提升重建性能，但模型参数量和计算量会成倍增加。由于图像高频纹理特征信息会随着网络加深而丢失，当网络结构不能充分保护这些高频信息时将限制网络的性能。因此，本文提出了一种基于类Unet结构的RGB-高光谱图像重建网络（Res2-Unet）。整个网络以Unet架构为基础，引入Res2Net ［ 22 22 ］ 模块构建其骨干网络，利用Res2Net的残差连接、多尺度融合等特性可更加细粒度地提取图像的局部和全局特征，同时加入通道注意力机制 ［ 23 23 - 24 24 23-24 ］ 能自适应调节通道特征响应，编解码间的跳跃连接可充分融合不同尺度的高频信息。最后，在NTIRE 2020挑战赛提供的ARAD HS数据集上进行性能测试，结果表明，Res2-Unet方法无论在客观评价还是主观视觉方面均具有较好的结果。 2 Res2-Unet深度学习网络 1 2.1　Res2-Unet网络设计思路 2 RGB-高光谱重建属于图像恢复范畴，而回归是解决图像恢复的常用方法。Unet ［ 16 16 ］ 网络是一种回归网络，最早用于医疗影像分割，包括编码网络和解码网络两部分。编码网络对输入图像进行多次卷积和池化操作，特征图的分辨率逐步变低，但特征图的通道数量不断增加，以达到整合多尺度上下文信息的目的。解码网络对特征图进行多次上采样和卷积操作，特征图的分辨率不断提高，最终恢复到原始图像的分辨率。不同于Segnet网络 ［ 25 25 ］ ，Unet网络利用图像的多尺度信息在编码和解码通道之间使用跳跃连接融合图像的浅层与深层特征。Unet的编码网络部分采用VGG16作为主干网络，但是VGG16网络层数多、参数多，所以具有计算量大、训练收敛慢的缺点。为了解决这一问题，近年来一种结合ResNet ［ 26 26 ］ 和Unet的Res-Unet ［ 27 27 ］ 被提出，ResNet网络的残差结构不仅在不降低精度的情况下拥有较少的网络参数，而且可以克服梯度发散问题得到更快的收敛速度。 Res2Net是一种新颖的卷积神经网络模块架构 ［ 22 22 ］ ，其结构如 图1 图1 所示。它使用3×3群卷积层代替ResNet模块中的一个3×3卷积层，在物体检测、面部分析、边缘检测、语义分割、显著性物体检测和骨架检测中都能有效提升性能。在Res2Net模块中，输入经过1×1卷积后将特征图按通道平均分为 s 个子集。除了第一个子集外，其他每个特征图子集都要经过3×3卷积层处理。由于子集之间的连接操作，每一个3×3卷积层均接收到它之前所有特征图子集的信息，因此可以得到更大的感受野。Res2Net模块的输出包含了多种大小、尺度和数量的感受野及其组合。这种分组、合并的策略使得卷积层以更细粒度级别表达多尺度特征，能够更有效地处理特征图信息。参数 s 用于控制尺度维度，更大的 s 能提供更多不同尺寸的感受野，但同时也会增加计算量和内存消耗，一般选择 s =4。 本文结合Unet和Res2Net的优势，提出了一种称为Res2-Unet的深度学习网络以解决RGB-高光谱重建问题。 2.2　Res2-Unet网络描述 2 Res2-Unet网络结构如 图2 图2 所示，左侧是编码网络，右侧是解码网络，共4个尺度。在编码网络部分主要使用3×3卷积、Res2Net-SE和PixelUnShuffle ［ 28 28 ］ 等3种模块。 首先，采用3×3卷积模块提取图像浅层特征。输入RGB图像 x ，进行128个通道的3×3卷积，即： <math display="block" id="M2"><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3,128</mn></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964780&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964776&type= 30.90333366 4.48733330 . 用卷积建模的多通道之间具有固定的隐式和局部性关系，而高光谱的多通道特性期望以显式方式改变通道之间的相互依赖性来增强对卷积特征的学习，以增强网络对捕获特征的敏感性。由于SE（Squeeze and excitation networks）模块 ［ 23 23 ］ 具备全局信息嵌入和自适应激励调节功能，能有效解决通道依赖性问题，因此提出网络采用Res2Net-SE模块进行特征映射。Res2Net-SE模块结构如 图3 图3 （a）所示，它在Res2Net模块基础上增加了SE模块。 SE模块首先使用全局平均池化层将全局空间信息压缩到通道域以实现空间信息的聚合。 <math display="block" id="M3"><mi>z</mi><mo stretchy="false">(</mo><mi>c</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi><mo>×</mo><mi>W</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>W</mi></mrow></munderover></mstyle><mrow><mi>o</mi><mo stretchy="false">(</mo><mi>c</mi><mo>,</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964802&type= 46.22800064 9.05933285 ， 其中： z （ c ）是通道 c 的全局平均池化结果， o （ c ， i ， j ）是通道 c 特征图在空间（ i ， j ）处的值， H 和 W 分别为特征图在行列方向的数据量。然后，使用ReLU和Sigmoid函数来获得通道之间的依赖关系，即： <math display="block" id="M4"><mi>s</mi><mo>=</mo><mi>σ</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mi>δ</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mi mathvariant="bold-italic">z</mi></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964815&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964810&type= 29.04066467 4.74133301 ， 其中： δ 是ReLU函数， σ 是Sigmoid激活函数， W 1 ∈ R C / r × C 和 W 2 ∈ R C × C / r 是线性映射函数， r 为压缩比，取32。 SE模块具备通道注意力机制，可以保护重要的通道特征。由于高光谱图像具备多通道特性，引入SE模块对高光谱图像的多通道数据重建调节具有一定的作用。因此，Res2Net-SE模块不仅可以在更加细粒度级别捕捉局部和全局的图像特征，同时残差连接也有助于增强上下文信息，且具备多通道自适应调节能力。于是Res2-Unet编码网络的第一尺度特征映射函数可表示为： <math display="block" id="M5"><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mn mathvariant="normal">2</mn><mi mathvariant="normal">N</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mo>-</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mn mathvariant="normal">2</mn><mi mathvariant="normal">N</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mo>-</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964820&type= 66.80200195 4.48733330 ， 其中： F map（1） （·）为第一尺度特征映射函数，它由两个Res2Net-SE模块级联得到，每个通道的特征图与原始输入图像具有相同的分辨率； F Res2Net-SE （·）是Res2Net-SE模块的特征映射函数。不同于Unet，在Res2-Unet网络的第二尺度特征映射中采用PixelUnShuffle取代Maxpooling进行下采样。PixelUnShuffle的优势在于每经过一次操作后特征总量不发生变化，虽然特征图的分辨率降低1倍，但特征通道的数量会变为原先的4倍。Res2-Unet编码网络的第二尺度特征映射函数可表示为： <math display="block" id="M6"><mtable><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mn mathvariant="normal">2</mn><mi mathvariant="normal">N</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mo>-</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi></mrow></msub><mo stretchy="false">(</mo><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">S</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964835&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964830&type= 50.20733261 9.82133293 其中： F map（2） （·）为第二尺度特征映射函数， F PUS （·）为PixelUnShuffle操作。 x 3 每个通道特征图的分辨率为 x 2 的一半，通道数却增加了一倍。Res2-Unet网络的第三、四尺度特征映射采用与第二尺度特征映射一样的处理方法。 在解码网络部分，首先使用一个1×1的无填充卷积操作，对所有通道进行加权处理可获得更佳的深层特征信息表示。另外，使用PixelShuffle层进行上采样处理，与传统的最邻近或双线性上采样插值不同，PixelShuffle每经过一次操作后特征总量不发生变化，特征图分辨率提升1倍，特征通道数量变为原先的1/4，这样能有效地保留特征。网络的最后部分使用两个3×3卷积层将特征图映射到目标高光谱图像。 由于 L 1 损失函数对异常值不敏感，具有稳定的梯度，且相对其他传统损失函数产生较弱的空间纹理模糊现象，因此Res2-Unet网络使用 L 1 损失函数进行网络训练。 L 1 损失函数定义为： <math display="block" id="M7"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi>E</mi><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>G</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo><mo>-</mo><mi mathvariant="bold-italic">y</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964843&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964839&type= 34.96733475 6.60400009 ， 其中： x 和 y 分别是输入的RGB图像和参考的高光谱图像， G （·）是以上提出的重建网络Res2-Unet。 3 实验与结果分析 1 3.1　实验数据集 2 采用来自NTIRE 2020挑战赛提供的ARAD HS数据集 ［ 8 8 ］ 对网络进行训练和测试。ARAD HS数据集分为两部分，一部分用于Clean赛道，另一部分用于Real World赛道。每个赛道均包含由450个RGB-HS图像对组成的训练集、10个RGB-HS图像对组成的验证集，而测试集中仅提供了10幅RGB图像，但与之对应的高光谱数据不可下载。因此，实验中将验证集中的10个RGB-HS图像对作为测试集。其中，高光谱图像由400~700 nm中31个波段的光谱图像组成，每个波段的图像尺寸为482×512像素，每个波段带宽为10 nm。Clean赛道中的RGB图像由对应的高光谱图像经过固定的光谱响应函数生成，如下： <math display="block" id="M8"><mi mathvariant="bold-italic">x</mi><mo>=</mo><mi mathvariant="bold-italic">y</mi><mi mathvariant="bold-italic">R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964855&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964848&type= 11.51466751 3.64066648 ， 其中： <math id="M9"><mi mathvariant="bold-italic">R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964864&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964859&type= 2.70933342 2.79399991 为31×3的矩阵，是由相机的RGB三色光谱响应曲线 ［ 29 29 ］ 离散化处理得到。Real World赛道中的RGB图像不仅由对应的高光谱图像经过固定的光谱响应函数进行变换处理，而且叠加了一定强度的高斯噪声用于模拟相机的电子噪声，并最终通过了去马赛克效应运算，整个处理流程更接近实际的RGB成像过程。以上所有的高光谱数据均经过归一化处理，数值为0~1。 3.2　评价方法 2 NTIRE 2020挑战赛主要采用平均相对绝对误差（Mean of Relative Absolute Error，MRAE）和均方根误差（Root Mean Square Error，RMSE）来评价网络的高光谱图像重建性能，MRAE和RMSE的计算公式如下： <math display="block" id="M10"><mi>M</mi><mi>R</mi><mi>A</mi><mi>E</mi><mo>=</mo><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>b</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>B</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>W</mi></mrow></munderover></mstyle><mrow/><mfrac><mrow><mfenced open="|" close="|" separators="|"><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>-</mo><mi>y</mi><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mi>y</mi><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>+</mo><mi>ε</mi></mrow></mfrac></mrow></mrow></mrow><mrow><mi>B</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964874&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964869&type= 67.90267181 14.56266594 ， <math display="block" id="M11"><mi>R</mi><mi>M</mi><mi>S</mi><mi>E</mi><mo>=</mo><mroot><mrow><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>b</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>B</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>W</mi></mrow></munderover></mstyle><mrow/><msup><mrow><mfenced separators="|"><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>-</mo><mi>y</mi><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow></mrow><mrow><mi>B</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></mfrac></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964884&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964879&type= 72.30532837 14.56266594 ， 其中： <math id="M12"><mover accent="true"><mi mathvariant="bold-italic">y</mi><mo>̂</mo></mover><mo>=</mo><mi>G</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964893&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964888&type= 15.66333294 3.97933316 为网络生成的高光谱图像， y （ b ， i ， j ）是高光谱图像中第 <math id="M13"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964904&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964898&type= 1.86266661 2.79399991 个谱段图像中（ i ， j ）位置的像素值， <math id="M14"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964908&type= 2.53999996 2.79399991 是所有谱段数。为了避免因 y （ b ， i ， j ）值为0而出现计算异常，在 式（8） 式（8） 基础上增加一个小值 <math id="M15"><mi>ε</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964929&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964924&type= 1.43933344 2.79399991 ，取值为10 - 10 。除此之外，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和光谱角制图平均值（Mean of Spectral Angle Mapper，MSAM）也是常用的评价指标。 <math display="block" id="M16"><mi>P</mi><mi>S</mi><mi>N</mi><mi>R</mi><mo>=</mo><mn mathvariant="normal">20</mn><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mfenced separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>R</mi><mi>M</mi><mi>S</mi><mi>E</mi></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964939&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964934&type= 41.06333542 9.05933285 ， <math display="block" id="M17"><mi>M</mi><mi>S</mi><mi>A</mi><mi>M</mi><mo>=</mo><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>W</mi></mrow></munderover></mstyle><mrow><mi>S</mi><mi>A</mi><mi>M</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow></mrow></mrow><mrow><mi>H</mi><mo>×</mo><mi>W</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964947&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964943&type= 42.92599869 13.29266548 ， 其中： SAM （ i ， j ）为图像（ i ， j ）位置的光谱角： <math display="block" id="M18"><mi>S</mi><mi>A</mi><mi>M</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><msup><mrow><mn mathvariant="normal">180</mn></mrow><mrow><mi mathvariant="normal">o</mi></mrow></msup></mrow><mrow><mi mathvariant="normal">π</mi></mrow></mfrac><mo>×</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mfenced separators="|"><mrow><mfrac><mrow><msubsup><mrow><mover accent="true"><mi mathvariant="bold-italic">y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mi mathvariant="bold-italic">y</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow><mrow><mroot><mrow><msubsup><mrow><mover accent="true"><mi mathvariant="bold-italic">y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow><mrow/></mroot><mroot><mrow><msubsup><mrow><mi mathvariant="bold-italic">y</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mi mathvariant="bold-italic">y</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow><mrow/></mroot></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964956&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964951&type= 72.38999939 12.95400047 . MRAE，RMSE和MSAM越小，重建性能越好，而PSNR值越大表示重建性能越好。 除此之外，统计网络参数量用于评价网络计算空间复杂度。网络参数量越多表明存储网络所用内存空间越大。网络浮点运算数（Floating Point Operations，FLOPs）用于评价网络计算时间复杂度，FLOPs越大，网络运算耗时越长。 3.3　实验环境和网络参数 2 设计的网络使用Leaky-ReLU ［ 30 30 ］ 类型的激活函数，它相比ReLU具有更好的非线性性并可加速收敛。整个过程未采用BN操作，这是因为BN操作会破坏图像的对比度信息，不利于图像重建，且会导致训练速度缓慢，甚至训练发散。网络中的每个卷积层采用镜像填充的边缘填充方式，可以有效降低边界效应。 实验的所有网络训练和测试均是基于Pytorch深度学习平台，GPU是NVIDIA GeForce RTX 3090，每个网络训练10 000个Epoch，初始学习率为10 - 4 ，每经过2 000个Epoch后学习率减半。训练过程中，Batch Size设置为16，参数优化算法使用Adam优化器，其中 β 1 =0.5， β 2 =0.999， e =10 - 8 。 3.4　实验结果 2 3 . 4 . 1　结果比较 3 与NTIRE 2020挑战赛最优秀的两种网络AWAN ［ 19 19 ］ 和HRNet ［ 20 20 ］ 进行对比实验，Clean和Real World两个赛道的测试集各10组数据分别进行高光谱图像重建，将重建图像与参考图像代入式（8）~ 式（12） 式（12） ，计算得到MRAE，RMSE，PSNR和MSAM的均值和标准偏差，结果如 表1 表1 和 表2 表2 所示。在评价结果均值相当的情况下，其标准偏差越小表明算法鲁棒性越好；而标准偏差较大则说明模型对某些数据的重建效果较好，对其他一些数据的重建效果较差。 2 Method 2 MRAE 2 RMSE 2 PSNR 2 MSAM Mean value Standard deviation Mean value Standard deviation Mean value Standard deviation Mean value Standard deviation AWAN 0.034 3 0.017 2 0.011 8 0.007 5 40.260 1 5.814 4 2.349 1 1.046 1 HRNet 0.039 6 0.017 6 0.014 1 0.009 0 38.610 9 5.747 0 2.680 0 1.061 8 Res2-Unet 0.034 0 0.012 2 0.011 7 0.008 2 40.348 0 5.759 8 2.267 6 0.787 4 2 Method 2 MRAE 2 RMSE 2 PSNR 2 MSAM Mean value Standard deviation Mean value Standard deviation Mean value Standard deviation Mean value Standard deviation AWAN 0.066 1 0.019 4 0.017 8 0.009 7 36.119 1 4.614 9 3.336 6 1.181 1 HRNet 0.071 4 0.020 2 0.018 1 0.009 5 35.867 2 4.405 5 3.636 8 1.202 9 Res2-Unet 0.066 1 0.019 0 0.016 1 0.008 2 36.840 0 4.233 9 3.240 1 1.005 8 与AWAN和HRNet两种优秀的方法相比，提出的方法无论是在Clean赛道还是在Real World赛道中各项评价都取得了最好的统计结果。两个赛道中，提出方法与AWAN方法的MRAE均值相当，但是MRAE的标准偏差更小，表明提出方法在处理各种场景数据时性能更为稳定。对于PSNR和MSAM两种评价方法，无论是在均值结果还是标准偏差结果方面，提出方法均获得较为显著的优势。在Clean赛道中，提出方法的PSNR平均值相比AWAN，HRNet分别高出0.08 dB和1.73 dB；在Real World赛道中，PSNR平均值分别高出0.72 dB和0.97 dB。 AWAN，HRNet和提出网络的网络参数量分别为17.421M，31.705M和34.651M，网络浮点运算数分别为1.142T，164.013G和117.481G，单幅图像的网络运行时间分别为4.600 8，2.605 8和2.144 7 s。AWAN的网络参数量最少，但是网络浮点运算数最多且运算时间最长。提出网络的参数量较其他方法稍多，但网络浮点运算数最少且运算时间最短，表明提出网络的计算空间复杂度适中，计算时间复杂度最低。 表3 表3 和 表4 表4 分别给出了AWAN，HRNet和提出网络在10组测试数据中测得MRAE，RMSE，PSNR和MSAM的相关系数。当两种评价方法获得结果数据的相关系数越大，说明两者的关系越强，即两者评价的一致性越好。在3种网络中，MRAE与MSAM之间的相关系数均大于0.93，表现出极强的正相关性，评价结果的一致性好。PSNR与RMSE之间的相关系数均小于 - 0.94，表现出极强的负相关性，显然印证了 式（10） 式（10） 所表示两者的负相关关系，它们评价结果的一致性好。因此，MRAE，RMSE，PSNR和MSAM均是有效的评价方法。 2 Index 4 AWAN 4 HRNet 4 Res2-Unet MRAE RMSE PSNR MSAM MRAE RMSE PSNR MSAM MRAE RMSE PSNR MSAM MRAE 1.000 0 0.759 0 -0.751 1 0.964 5 1.000 0 0.800 1 -0.739 2 0.977 9 1.000 0 0.644 3 -0.541 3 0.958 3 RMSE 0.759 0 1.000 0 -0.958 0 0.743 3 0.800 1 1.000 0 -0.947 9 0.752 6 0.644 3 1.000 0 -0.957 0 0.653 5 PSNR -0.751 1 -0.958 0 1.000 0 -0.758 8 -0.739 2 -0.947 9 1.000 0 -0.728 5 -0.541 3 -0.957 0 1.000 0 -0.518 0 MSAM 0.964 5 0.743 3 -0.758 8 1.000 0 0.977 9 0.752 6 -0.728 5 1.000 0 0.958 3 0.653 5 -0.518 0 1.000 0 2 Index 4 AWAN 4 HRNet 4 Res2-Unet MRAE RMSE PSNR MSAM MRAE RMSE PSNR MSAM MRAE RMSE PSNR MSAM MRAE 1.000 0 0.373 7 -0.265 5 0.943 9 1.000 0 0.371 7 -0.251 5 0.951 4 1.000 0 0.184 2 -0.069 6 0.938 9 RMSE 0.373 7 1.000 0 -0.983 1 0.521 4 0.371 7 1.000 0 -0.986 3 0.488 4 0.184 2 1.000 0 -0.987 1 0.377 7 PSNR -0.265 5 -0.983 1 1.000 0 -0.438 7 -0.251 5 -0.986 3 1.000 0 -0.396 5 -0.069 6 -0.987 1 1.000 0 -0.286 2 MSAM 0.943 9 0.521 4 -0.438 7 1.000 0 0.951 4 0.488 4 -0.396 5 1.000 0 0.938 9 0.377 7 -0.286 2 1.000 0 对比 表1 表1 和 表2 表2 ，相同网络在Real World赛道测试结果均差于Clean赛道。对比 表3 表3 和 表4 表4 ，Real World赛道测试结果相关系数的绝对值普遍低于Clean赛道。这表明由于Real World赛道的测试数据引入了噪声和JPEG压缩效应，所有网络更难以重建光谱信息，且重建结果的稳定性较差。 图4 图4 ~ 图7 图7 是两个赛道中两组测试数据通过AWAN，HRNet和Res2-Unet 3种网络获得重建光谱图像与参考光谱图像的光谱角制图的比较。 图4 图4 （a）是输入的RGB三通道彩色图像， 图4 图4 （b）是二值图，亮处表明该处由Res2-Unet网络获得的SAM值比AWAN网络获得的SAM值小，即由Res2-Unet网络获得的重建光谱数据更接近参考光谱信息；暗处表明该处由Res2-Unet网络获得的SAM值比AWAN网络获得的SAM值大，即由AWAN网络获得的重建光谱数据更接近参考光谱信息。 图4 图4 （c）所示二值图是Res2-Unet网络与HRNet网络获得SAM相比较的可视化图像， 图4 图4 （d）所示二值图是AWAN网络与HRNet网络获得SAM相比较的可视化图像。 图8 图8 ~ 图11 图11 是两个赛道中两组测试数据通过AWAN，HRNet及Res2-Unet 3种网络获得的重建光谱图像与参考光谱图像在5个均匀分布位置处的光谱曲线比较。 图8 图8 （a）是输入的RGB三通道彩色图像，并在图中标注了5个位置点。 图8 图8 （b）~ 图8 图8 （f）依次给出了这5个位置处的光谱数据曲线。 对照 图4 图4 和 图8 图8 所测试的Clean赛道ARAD_HS_0451数据结果，由 图4 图4 （b）和 图4 图4 （c）可知提出方法在房屋纹理区获得更好的SAM评价性能。 图8 图8 （d）和 图8 图8 （e）分别描绘的位置3和位置4均属于纹理区，提出方法获得的重建光谱数据曲线更接近参考光谱数据曲线。虽然提出方法在天空所在的平坦区获得的SAM评价性能不及AWAN，但是如图 8 8 （b）和 8 8 （c）所示，两种方法重建得到的光谱曲线十分接近，重建结果相当。 对照 图5 图5 和 图9 图9 所测试的Clean赛道ARAD_HS_0463数据结果，由 图5 图5 （b）和 图5 图5 （c）可知提出方法在大部分区域的SAM评价均不及AWAN和HRNet。但如 图9 图9 所示，3种方法重建得到的光谱曲线在400~600 nm十分接近，重建结果相当，提出方法仅在600~700 nm的重建结果较差。 对照 图6 图6 和 图10 图10 所测试的Real World赛道ARAD_HS_0451数据结果，以及 图7 图7 和 图11 图11 测试的Real World赛道ARAD_HS_0463数据结果，由图 6 6 （b）~ 6 6 （c）和图 7 7 （b）~ 7 7 （c）可见提出方法在大部分区域获得了更好的SAM评价性能。在 图10 图10 和 图11 图11 所示的重建光谱曲线比较中，提出方法重建得到的光谱数据整体上更接近于参考光谱数据。 综上所述，在Clean和Real World两个赛道中，无论是采用二值图进行SAM可视化比较，还是典型位置的重建光谱数据曲线比较，提出方法整体上具有优势。但3种方法对于600~700 nm近红外谱段数据的重构结果均与目标存在较大差距。 3 . 4 . 2　消融实验 3 对设计的网络进行两种消融实验，其一是去掉骨干网络中的SE，以检验通道注意力机制对性能的影响，其二是将骨干网络中的Res2Net-SE模块替换成3×3的卷积模块Conv3×3，以检验Res2Net模块在整个网络中的作用。两个赛道的网络消融测试结果如 表5 表5 和 表6 表6 所示，除此之外Conv3×3，Res2Net和Res2Net-SE 3种模块为主构成骨干网络的网络参数量分别为55.580M，34.477M和34.651M，而FLOPs分别为182.549G，117.449G和117.481G。结果表明，相对于Conv3×3模块，采用Res2Net模块后不仅减少了21.103M个网络参数，而且重建图像的4种评价结果均显著提升，证明了Res2Net模块的有效性。其性能提升的主要原因在于Res2Net模块的多尺度处理，以及多子集融合方式更有利于提取局部和全局信息。 2 Method 2 MRAE 2 RMSE 2 PSNR 2 SAM Mean value Standard deviation Mean value Standard deviation Mean value Standard deviation Mean value Standard deviation Conv3×3 0.071 3 0.022 3 0.019 9 0.011 0 35.143 6 4.692 7 4.093 8 1.168 4 Res2Net 0.043 9 0.021 8 0.015 7 0.011 3 38.041 5 6.152 4 2.972 8 1.272 3 Res2Net-SE 0.034 0 0.012 2 0.011 7 0.008 2 40.348 0 5.759 8 2.267 6 0.787 4 2 Method 2 MRAE 2 RMSE 2 PSNR 2 SAM Mean value Standard deviation Mean value Standard deviation Mean value Standard deviation Mean value Standard deviation Conv3×3 0.086 4 0.023 4 0.020 0 0.010 2 34.967 3 4.329 2 4.225 7 1.192 7 Res2Net 0.068 3 0.017 9 0.018 3 0.008 9 35.685 0 4.292 0 3.476 4 1.010 0 Res2Net-SE 0.066 1 0.019 0 0.016 1 0.008 2 36.840 0 4.233 9 3.240 1 1.005 8 在Res2Net上添加SE模块后，虽然网络参数量增加了大约0.2M，FLOPs增加仅0.032G，但对网络性能的提升有一定帮助。其主要原因在于SE模块是通过建立通道之间的相互依赖性来自适应地调节各通道之间的特征响应，使网络能够更好地学习一些重要性通道的特性以提高网络重建的整体性能。 4 结　论 1 本文提出了Res2-Unet深度学习网络用于RGB-高光谱图像重建。通过Res2Net模块内的短残差连接和整体的长残差连接增强上下文信息，提高模型重建能力。在Res2Net中引入SE模块，使网络能够更好地学习重要性通道的特性，提高了网络重建的整体性能。对比参考图像与重建图像，无论是在图像的低频平坦区还是在图像的高频纹理区，提出方法均获得了更好的视觉效果。实验结果表明，无论是所提出网络还是AWAN，HRNet网络，对于高光谱的两端光谱数据重建还是不尽如意，特别是近红外端的重建结果较差。未来将考虑设计生成对抗损失和感知损失等以进一步提高网络对光谱的重建能力。 参考文献 郝博雅 ， 孙洁 . 高光谱影像特性研究 ［J］. 计算机工程与应用 ， 2014 ， 50 （ S1 ）： 230 - 233 . 高光谱影像特性研究 HAO B Y ， SUN J . Research of hyper-spectral imaging characteristics ［J］. Computer Engineering and Applications ， 2014 ， 50 （ S1 ）： 230 - 233 . （in Chinese） Research of hyper-spectral imaging characteristics OZKAN S ， KAYA B ， AKAR G B . EndNet： sparse AutoEncoder network for endmember extraction and hyperspectral unmixing ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 1 ）： 482 - 496 . doi: 10.1109/tgrs.2018.2856929 http://dx.doi.org/10.1109/tgrs.2018.2856929 EndNet： sparse AutoEncoder network for endmember extraction and hyperspectral unmixing GOVENDER M ， CHETTY K ， BULCOCK H . A review of hyperspectral remote sensing and its application in vegetation and water resource studies ［J］. Water SA ， 2009 ， 33 （ 2 ）： 145 - 151 . doi: 10.4314/wsa.v33i2.49049 http://dx.doi.org/10.4314/wsa.v33i2.49049 A review of hyperspectral remote sensing and its application in vegetation and water resource studies STEIN D W J ， BEAVEN S G ， HOFF L E ， et al . Anomaly detection from hyperspectral imagery ［J］. IEEE Signal Processing Magazine ， 2002 ， 19 （ 1 ）： 58 - 69 . doi: 10.1109/79.974730 http://dx.doi.org/10.1109/79.974730 Anomaly detection from hyperspectral imagery BARBIN D F ， ELMASRY G ， SUN D W ， et al . Non-destructive determination of chemical composition in intact and minced pork using near-infrared hyperspectral imaging ［J］. Food Chemistry ， 2013 ， 138 （ 2-3 ）： 1162 - 1171 . doi: 10.1016/j.foodchem.2012.11.120 http://dx.doi.org/10.1016/j.foodchem.2012.11.120 Non-destructive determination of chemical composition in intact and minced pork using near-infrared hyperspectral imaging MARTIN M E ， WABUYELE M B ， CHEN K ， et al . Development of an advanced hyperspectral imaging （HSI） system with applications for cancer detection ［J］. Annals of Biomedical Engineering ， 2006 ， 34 （ 6 ）： 1061 - 1068 . doi: 10.1007/s10439-006-9121-9 http://dx.doi.org/10.1007/s10439-006-9121-9 Development of an advanced hyperspectral imaging （HSI） system with applications for cancer detection 李勇 ， 王珂 ， 张立保 ， 等 . 多断层融合的肺CT肿瘤靶区超分辨率重建 ［J］. 光学 精密工程 ， 2010 ， 18 （ 5 ）： 1212 - 1218 . 多断层融合的肺CT肿瘤靶区超分辨率重建 LI Y ， WANG K ， ZHANG L B ， et al . Super-resolution reconstruction of pulmonary nodules based on CT multi-section fusion ［J］. Opt. Precision Eng. ， 2010 ， 18 （ 5 ）： 1212 - 1218 . （in Chinese） Super-resolution reconstruction of pulmonary nodules based on CT multi-section fusion ARAD B ， BEN-SHAHAR O ， TIMOFTE R ， et al . NTIRE 2018 challenge on spectral reconstruction from RGB images ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1822，2018 ， Salt Lake City， UT， USA. IEEE ， 2018 ： 1042 - 104209 . NTIRE 2018 challenge on spectral reconstruction from RGB images ARAD B ， TIMOFTE R ， BEN-SHAHAR O ， et al . NTIRE 2020 challenge on spectral reconstruction from an RGB image ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1806 - 1822 . NTIRE 2020 challenge on spectral reconstruction from an RGB image WU J Q ， AESCHBACHER J ， TIMOFTE R . In defense of shallow learned spectral reconstruction from RGB images ［C］. 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 471 - 479 . doi: 10.1109/iccvw.2017.63 http://dx.doi.org/10.1109/iccvw.2017.63 In defense of shallow learned spectral reconstruction from RGB images ARAD B ， BEN-SHAHAR O . Sparse recovery of hyperspectral signal from natural RGB images ［C］. Computer Vision-ECCV 2016 ， 2016 ： 19 - 34 . doi: 10.1007/978-3-319-46478-7_2 http://dx.doi.org/10.1007/978-3-319-46478-7_2 Sparse recovery of hyperspectral signal from natural RGB images 韩玉兰 ， 赵永平 ， 王启松 ， 等 . 稀疏表示下的噪声图像超分辨率重构 ［J］. 光学 精密工程 ， 2017 ， 25 （ 6 ）： 1619 - 1626 . doi: 10.3788/ope.20172506.1619 http://dx.doi.org/10.3788/ope.20172506.1619 稀疏表示下的噪声图像超分辨率重构 HAN Y L ， ZHAO Y P ， WANG Q S ， et al . Reconstruction of super resolution for noise image under the sparse representation ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 6 ）： 1619 - 1626 . （in Chinese） . doi: 10.3788/ope.20172506.1619 http://dx.doi.org/10.3788/ope.20172506.1619 Reconstruction of super resolution for noise image under the sparse representation 朱福珍 ， 刘越 ， 黄鑫 ， 等 . 改进的稀疏表示遥感图像超分辨重建 ［J］. 光学 精密工程 ， 2019 ， 27 （ 3 ）： 718 - 725 . doi: 10.3788/ope.20192703.0718 http://dx.doi.org/10.3788/ope.20192703.0718 改进的稀疏表示遥感图像超分辨重建 ZHU F ZH ， LIU Y ， HUANG X ， et al . Remote sensing image super-resolution based on improved sparse representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese） . doi: 10.3788/ope.20192703.0718 http://dx.doi.org/10.3788/ope.20192703.0718 Remote sensing image super-resolution based on improved sparse representation XIONG Z W ， SHI Z ， LI H Q ， et al . HSCNN： CNN-based hyperspectral image recovery from spectrally undersampled projections ［C］. 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 518 - 525 . doi: 10.1109/iccvw.2017.68 http://dx.doi.org/10.1109/iccvw.2017.68 HSCNN： CNN-based hyperspectral image recovery from spectrally undersampled projections STIEBEL T ， KOPPERS S ， SELTSAM P ， et al . Reconstructing spectral images from RGB-images using a convolutional neural network ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1822，2018 ， Salt Lake City， UT， USA. IEEE ， 2018 ： 1061 - 10615 . doi: 10.1109/cvprw.2018.00140 http://dx.doi.org/10.1109/cvprw.2018.00140 Reconstructing spectral images from RGB-images using a convolutional neural network RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 U-net： convolutional networks for biomedical image segmentation IOFFE S ， SZEGEDY C . Batch normalization： Accelerating deep network training by reducing internal covariate shift ［C］. International conference on machine learning. PMLR ， 2015 ： 448 - 456 . Batch normalization： Accelerating deep network training by reducing internal covariate shift GOODFELLOW I ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial networks ［J］. Communications of the ACM ， 2020 ， 63 （ 11 ）： 139 - 144 . doi: 10.1145/3422622 http://dx.doi.org/10.1145/3422622 Generative adversarial networks LI J J ， WU C X ， SONG R ， et al . Adaptive weighted attention network with camera spectral sensitivity prior for spectral reconstruction from RGB images ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1894 - 1903 . doi: 10.1109/cvprw50498.2020.00239 http://dx.doi.org/10.1109/cvprw50498.2020.00239 Adaptive weighted attention network with camera spectral sensitivity prior for spectral reconstruction from RGB images ZHAO Y Z ， PO L M ， YAN Q ， et al . Hierarchical regression network for spectral reconstruction from RGB images ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1695 - 1704 . doi: 10.1109/cvprw50498.2020.00219 http://dx.doi.org/10.1109/cvprw50498.2020.00219 Hierarchical regression network for spectral reconstruction from RGB images PENG H ， CHEN X M ， ZHAO J . Residual pixel attention network for spectral reconstruction from RGB images ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 2012 - 2020 . doi: 10.1109/cvprw50498.2020.00251 http://dx.doi.org/10.1109/cvprw50498.2020.00251 Residual pixel attention network for spectral reconstruction from RGB images GAO S H ， CHENG M M ， ZHAO K ， et al . Res2Net： a new multi-scale backbone architecture ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 2 ）： 652 - 662 . doi: 10.1109/tpami.2019.2938758 http://dx.doi.org/10.1109/tpami.2019.2938758 Res2Net： a new multi-scale backbone architecture HU J ， SHEN L ， ALBANIE S ， et al . Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 8 ）： 2011 - 2023 . doi: 10.1109/tpami.2019.2913372 http://dx.doi.org/10.1109/tpami.2019.2913372 Squeeze-and-excitation networks 蔡体健 ， 彭潇雨 ， 石亚鹏 ， 等 . 通道注意力与残差级联的图像超分辨率重建 ［J］. 光学 精密工程 ， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142 通道注意力与残差级联的图像超分辨率重建 CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142 Channel attention and residual concatenation network for image super-resolution BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615 SegNet： a deep convolutional encoder-decoder architecture for image segmentation HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90 Deep residual learning for image recognition ALOM M Z ， YAKOPCIC C ， TAHA T M ， et al . Nuclei segmentation with recurrent residual convolutional neural networks based U-net （R2U-net） ［C］.. NAECON 2018 - IEEE National Aerospace and Electronics Conference . 2326，2018 ， Dayton ， OH ， USA . IEEE ， 2018 ： 228 - 233 . doi: 10.1109/naecon.2018.8556686 http://dx.doi.org/10.1109/naecon.2018.8556686 Nuclei segmentation with recurrent residual convolutional neural networks based U-net （R2U-net） SHI W Z ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207 Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network 佘晖 ， 吕玮阁 ， 邱珏沁 ， 等 . 商用数码相机的光谱灵敏度测量及评价 ［J］. 光学仪器 ， 2017 ， 39 （ 5 ）： 15 - 21 . 商用数码相机的光谱灵敏度测量及评价 SHE H ， LÜ W G ， QIU J Q ， et al . Spectral sensitivity measurement and evaluation of commercial digital cameras ［J］. Optical Instruments ， 2017 ， 39 （ 5 ）： 15 - 21 . （in Chinese） Spectral sensitivity measurement and evaluation of commercial digital cameras MAAS A L ， HANNUN A Y ， Ng A Y . Rectifier nonlinearities improve neural network acoustic models ［C］. Proceedings of the International Conference on Machine Learning ， 2013 ， 30 （ 1 ）： 3 . Rectifier nonlinearities improve neural network acoustic models 10.37188/OPE.2021.0433 TP751 A 1004-924X（2022）13-1606-14 宋蓓蓓,马穗娜,何帆等.Res2-Unet深度学习网络的RGB-高光谱图像重建[J].光学精密工程,2022,30(13):1606-1619. 宋蓓蓓,马穗娜,何帆等.Res2-Unet深度学习网络的RGB-高光谱图像重建[J].光学精密工程,2022,30(13):1606-1619. SONG Beibei,MA Suina,HE Fan,et al.Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network[J].Optics and Precision Engineering,2022,30(13):1606-1619. SONG Beibei,MA Suina,HE Fan,et al.Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network[J].Optics and Precision Engineering,2022,30(13):1606-1619. 国家自然科学基金资助项目（No.62001059）；陕西省重点研发计划项目（No.2021GY-019） 2021-07-02 2021-07-29 2022-07-10 2022-08-07 光学精密工程 13 30