Polarization computational imaging super-resolution reconstruction with lightweight attention cascading network

轻量级注意力级联网络的偏振计算成像超分辨率重建 Polarization computational imaging super-resolution reconstruction with lightweight attention cascading network 1 first-author 王 杰（1996-），男，安徽天长人，硕士研究生，中国计算机学会学生会员，2019年于合肥学院获得学士学位，主要从事图像超分辨率重建、深度学习及计算机视觉的研究。E-mail： y20301015@stu.ahu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036512&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036523&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036517&type= 21.44899940 27.49900055 王 杰 （1996-），男，安徽天长人，硕士研究生，中国计算机学会学生会员，2019年于合肥学院获得学士学位，主要从事图像超分辨率重建、深度学习及计算机视觉的研究。E-mail： y20301015@stu.ahu.edu.cn y20301015@stu.ahu.edu.cn 1 2 3 corresp E-mail：xgm121@163.com E-mail：xgm121@163.com 徐国明（1979-），男，安徽太和人，博士，教授，硕士生导师，中国光学工程学会高级会员，中国计算机学会高级会员，2004年于中国人民解放军炮兵学院获得硕士学位，2015年于合肥工业大学获得博士学位，主要从事偏振成像探测、计算机视觉及图像处理等方面的研究。E-mail： xgm121@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036527&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036535&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036531&type= 21.37800217 27.49900055 徐国明 （1979-），男，安徽太和人，博士，教授，硕士生导师，中国光学工程学会高级会员，中国计算机学会高级会员，2004年于中国人民解放军炮兵学院获得硕士学位，2015年于合肥工业大学获得博士学位，主要从事偏振成像探测、计算机视觉及图像处理等方面的研究。E-mail： xgm121@163.com xgm121@163.com 1 2 3 4 安徽大学 互联网学院， 安徽 合肥 230039 安徽大学 互联网学院， 安徽 合肥 230039 School of Internet， Anhui University， Hefei 230039， China School of Internet， Anhui University， Hefei 230039， China 安徽大学 农业生态大数据分析与应用技术国家地方联合工程研究中心， 安徽 合肥 230601 安徽大学 农业生态大数据分析与应用技术国家地方联合工程研究中心， 安徽 合肥 230601 National Engineering Research Center for Agro-Ecological Big Data Analysis & Application， Anhui University， Hefei 230601， China National Engineering Research Center for Agro-Ecological Big Data Analysis & Application， Anhui University， Hefei 230601， China 陆军炮兵防空兵学院 偏振光成像探测技术安徽省重点实验室， 安徽 合肥 230031 陆军炮兵防空兵学院 偏振光成像探测技术安徽省重点实验室， 安徽 合肥 230031 Anhui Province Key Laboratory of Polarized Imaging Detecting Technology， Army Artillery and Air Defense Forces Academy of PLA， Hefei 230031， China Anhui Province Key Laboratory of Polarized Imaging Detecting Technology， Army Artillery and Air Defense Forces Academy of PLA， Hefei 230031， China 安徽文达信息工程学院 智能技术研究所， 安徽 合肥 231201 安徽文达信息工程学院 智能技术研究所， 安徽 合肥 231201 Institute of Intelligent Technology， Anhui Wenda University of Information Engineering， Hefei 231201， China Institute of Intelligent Technology， Anhui Wenda University of Information Engineering， Hefei 231201， China 深度学习模式下新型偏振计算成像方法存在随着网络深度的增加计算复杂度和内存使用相应增加以及分层特征提取不充分的问题，针对该问题，提出一种轻量级注意力级联网络的偏振计算成像超分辨率方法，采用级联连接和融合连接的方式来深化卷积层的表征能力，以有效地传递浅层特征并减少参数量。设计空间注意力自适应权重机制以提取关键的空间内容特征，构造空间金字塔网络增强多感受野下的偏振特征信息，特别地，上采样模块引入浅层与深层重建双路径，通过融合双层路径特征计算生成高分辨率偏振图像。最后，网络末端信息细化块用以学习更精细的特征并增强重建质量。实验结果表明：本文网络重建图像的纹理细节更加丰富，在全偏振图像集上2倍超分辨率的峰值信噪比为45.12 dB，参数量仅约为MSRN模型的9%。所提方法通过级联方式有效捕捉低频特征信息同时极大地减少参数量，并结合注意力金字塔结构探索深层特征，实现了轻量级网络的高效超分辨率重建效果。 The new polarization computational imaging method in deep learning mode leads to higher computational complexity and memory usage as the network depth increases and results in insufficient hierarchical feature extraction. To this end， a lightweight polarization computational imaging super-resolution network with cascade attention is proposed that requires fewer parameters and a lower computational complexity while ensuring the reconstruction accuracy. First， cascade and fusion connections are used to deepen the representational capabilities of the convolution layers to effectively transfer shallow features and reduce the number of parameters. Second， a spatial attention adaptive weighting mechanism is designed to extract polarized multi-parameter spatial content features. A spatial pyramid network is then constructed to enhance the polarization feature information under multiple receptive fields. An upsampling module introduces the shallow and deep reconstruction paths and generates high-resolution polarization images by fusing the features of the two-layer paths. Finally， the network end information refines the blocks to learn finer features and enhance the reconstruction quality. Experiments show that the texture details of the reconstructed images using the proposed method are more abundant. The peak signal-to-noise ratio （PSNR） of two-times super-resolution on the full polarized image set is 45.12 dB， and the number of parameters is approximately 9% of that for a multi-scale residual network （MSRN）. The proposed method effectively captures low-frequency feature information in a cascading manner while significantly reducing the number of parameters. Combined with the attention pyramid structure to explore deep features， an efficient super-resolution reconstruction is realized using a lightweight network. 计算成像 超分辨率 轻量级网络 偏振图像 级联连接 computational imaging super-resolution lightweight network polarization images cascade connections 1 引 言 1 偏振成像是一种新型的探测技术，在获取目标物体信息的同时测量其偏振态，可突破自然场景中目标检测的局限性。由于目标与背景存在偏振特性差异，该技术可在复杂背景下凸显检测目标的纹理、轮廓和粗糙度等信息 ［ 1 1 ］ ，从而被广泛地应用于生物医学图像分析、三维物体识别、遥感图像处理、目标识别与追踪等领域 ［ 2 2 ］ 。传统的偏振成像探测方式一般可分成分时和同时探测两类，空间调制型全偏振成像是继传统偏振成像技术后新兴的成像方式 ［ 3 3 ］ 。胡巧云等 ［ 4 4 ］ 研究了空间调制型全Stokes偏振成像系统的原理并实现了数值仿真模拟成像。王成等 ［ 5 5 ］ 分析系统传输矩阵的特性，设计了全偏振大气偏振模式成像系统并对系统存在的误差进行了优化。成像距离、大气扰动等因素的干扰使得成像系统投影在焦平面上的图像极限分辨率严重下降 ［ 6 6 ］ （即远小于光学成像系统的衍射极限分辨率），导致采集的偏振图像的空间分辨率较低。此外，偏振图像的空间分辨率还受限于所使用探测器的像元数目。 高分辨率的图像在成像探测和识别领域具有重要的价值。随着计算机技术、数字信号处理技术和机器学习的发展，新兴的计算成像技术应运而生 ［ 7 7 ］ 。超分辨率（Super-Resolution，SR）方法是图像处理技术和工程应用中常见的技术手段，同时也是底层视觉任务的研究热点。这种以信息驱动和模型计算为中心的计算成像方法可以获得高于成像系统分辨率的图像。经典的超分辨率重建任务独立于成像系统，而新的计算成像技术综合考虑成像全链路过程，这为超分辨率技术直接应用于成像系统提供了契机。图像超分辨率是一种从低分辨率（Low-Resolution，LR）图像重建高分辨率（High-Resolution，HR）图像的计算机视觉任务。徐国明等 ［ 8 8 ］ 针对空间调制型全偏振计算成像特点，融合异源图像与空间一致性，提出基于卷积神经网络的场景特征迁移SR计算成像方式。Zhang等 ［ 9 9 ］ 通过和差重构对重建算法进行了改进。孟祥超等 ［ 10 10 ］ 基于多角度偏振成像仪展开研究，通过融合HR的全色影像和LR的高光谱影像，重建生成高空间分辨率的遥感影像。基于深度学习和样本特征融合的高光谱偏振图像SR研究近年来受到了广泛关注 ［ 11 11 - 12 12 11-12 ］ ，但在实际应用中仍亟需设计轻量化、高效的高分辨率全偏振成像系统。 近年来，基于卷积神经网络（Convolutional Neural Network， CNN）的方法在SR任务中表现出色 ［ 13 13 - 14 14 13-14 ］ 。从三层卷积的SRCNN ［ 15 15 ］ 到160层以上卷积层的MDSR ［ 16 16 ］ ，网络的深度和整体性能都随着时间的推移而急剧增长。许多结合注意力机制且具有先进性能的深度SR网络被提出，例如RFANet ［ 17 17 ］ 和RCAN ［ 18 18 ］ 等。而这些SR网络通常会遇到计算资源负担过重的问题，这也限制了其在现实世界的广泛应用。因此，针对图像超分辨率网络的轻量化设计近年来备受关注。轻量级网络在图像超分辨率任务中表现出了显著的性能 ［ 19 19 - 21 21 19-21 ］ 。构建轻量级网络的常用方法可分为两种：构建一个浅网络模型，例如ESPCN ［ 22 22 ］ 和FSRCNN ［ 23 23 ］ 算法，或者通过递归机制共享参数策略。Ahn等 ［ 24 24 ］ 设计了一种基于级联结构的残差SR网络，该级联结构加快了训练时间且避免无效的递归学习，但重建性能有待改善。Hui等 ［ 25 25 ］ 提出了一种信息蒸馏网络，以实现高效、快速的重构。Kim等 ［ 26 26 ］ 提出了深度递归卷积网络（Deeply-Recursive Convolutional Network，DRCN），通过递归网络来减少冗余参数。Tai等 ［ 27 27 ］ 将递归结构与残差网络相结合，提出了深度递归残差网络（Deep Recursive Residual Network，DRRN）来改进DRCN结构。Wang等 ［ 28 28 ］ 设计了一种轻量级、高效的自适应加权超分辨率网络（Adaptive Weighted Super-Resolution Network，AWSRN）。 以上方法都取得了不错的重建效果，但大多数网络模型倾向于采用一个标准的框架，即卷积层的简单堆栈，每一层选择特定大小的卷积核且很少考虑图像的分层特征。针对上述问题，本文提出了一种轻量级注意力级联网络的偏振计算成像超分辨率方法（Lightweight Attention Cascading Network，LACN），在保证高性能的同时减少网络的计算复杂度和参数量。具体而言，本文网络的整体框架采用级联连接和融合连接的方式，以减少网络的参数量。同时结合注意力机制赋以不同的权值来提取关键的空间内容特征。本文设计了一个空间金字塔网络结构，从多感受野的角度分析特征编码。通过不同扩张率的空洞卷积来提取偏振图像局部域信息。上采样模块采用参数共享的策略来融合浅层与深层次的重建效果并计算生成高分辨率偏振图像。最后通过信息细化块在网络的末端学习更精细的特征并增强重建图像质量。 2 相关工作 1 2.1　级联结构 2 随着大数据和图形处理单元（Graphic Processing Unit，GPU）的快速发展，CNN在单幅图像超分辨率方法（Single Image Super-Resolution，SISR）中得到了广泛的应用。基于CNN的SR技术主要包括以下三种：使用高频特征训练SR模型 ［ 27 27 ］ ，使用低频特征训练SR模型 ［ 23 23 ］ 和结合高频和低频特征训练SR模型 ［ 14 14 ］ 。基于卷积神经网络的级联结构能够更好地表征上述三种方法。借助级联多级网络逐步地提高分辨率，以明显地改善SISR重建性能。Tian等 ［ 29 29 ］ 通过在堆叠的特征提取块中使用异构卷积提取低频特征，然后利用特征优化块学习更精确的高频特征得到高分辨率的重建图像。级联密集网络 ［ 30 30 ］ （Cascading Dense Network，CDN）从每个卷积层中提取分层特征，然后将这些特征通过级联密集方式连接起来，解决了梯度消失问题从而提高了图像超分辨率重建的性能。将两个子网络级联起来增大网络宽度可以优化鲁棒性进一步提高网络模型的重建质量。此外，通过级联结构对深度网络进行压缩，能有效地提高SR模型的训练效率。级联残差网络 ［ 24 24 ］ （Cascading Residual Network，CARN）通过级联方式连接递归块，实现了高精度的重建效果。CARN网络中使用了卷积核大小为1 <math id="M1"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036971&type= 2.53999996 2.79399991 1的卷积层。该级联结构减少参数的同时极大地节约了训练时间。Ahn等 ［ 31 31 ］ 将特征通道进行分组并同时开始学习新的特征映射，以提高SISR的训练效率。该级联网络通过将群组卷积和权重分类输入残差网络，以获得处理LR图像的最高效率。受上述工作的启发，本文设计了一个轻量级注意力级联网络来快速、准确地提取特征并实现高性能。 2.2　注意力机制 2 注意力机制在现代计算机视觉任务中受到了越来越多的关注，如图像字幕、图像和视频分类、图像超分辨率重建等。它可以被解释为一种引导，将可用资源分配给输入信号中信息量最大的部分。Hu ［ 32 32 ］ 等提出了一种压缩和激发网络（Squeeze-and-Excitation Network，SENet）。利用通道间的相关性，在图像分类方向取得了显著的效果。注意力机制在图像处理领域已被广泛研究并显示出强大的优势。近年来，一些基于注意力机制的SR模型被提出，进一步提高了图像超分辨率重建效果。目前，大部分的图像超分辨率方法主要关注通道注意力机制和空间注意力机制。Zhang等 ［ 18 18 ］ 提出了一种残差通道注意力网络（Residual Channel Attention Network，RCAN），将通道注意力机制引入到改进的残差结构中。该机制使用全局平均池化的方法提取通道统计量，称为一阶统计量。Dai等 ［ 33 33 ］ 提出了一种新颖的二阶注意力网络（Second-order Attention Network，SAN），利用二阶特征统计量来探索更丰富的信息区域。Liu等 ［ 17 17 ］ 提出了一种残差特征聚合网络，该框架通过结合增加的空间注意力机制来聚合信息丰富的残差特征，以产生更有代表性的特征。假设给定一个目标特征 p 和一个关键特征 c ，注意力函数 <math id="M2"><msub><mrow><mi>y</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036555&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036551&type= 3.21733332 4.57200003 通过衡量目标特征与关键特征配对的相关性得出注意力权重然后自适应地聚合关键内容 ［ 34 34 ］ 。该注意力机制表征过程可表示为： <math display="block" id="M3"><msub><mrow><mi>y</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msub><mrow><mi>W</mi></mrow><mrow><mi>n</mi></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>c</mi><mo>∈</mo><msub><mrow><mi>Ω</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow></munder><mrow><msub><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msub><mfenced separators="|"><mrow><mi>p</mi><mo>,</mo><mi>c</mi><mo>,</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>,</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow></mfenced><mo>⊙</mo><msubsup><mrow><mi>W</mi></mrow><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><msub><mrow><mi>l</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036568&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036563&type= 61.29866791 10.92199993 ， 其中： n 表示注意力函数对应的个数， <math id="M4"><msub><mrow><mi>Ω</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036575&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036572&type= 3.64066648 3.72533321 表示目标特征选取的关键区域， <math id="M5"><msub><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msub><mfenced separators="|"><mrow><mi>p</mi><mo>,</mo><mi>c</mi><mo>,</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>,</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036585&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036580&type= 21.42066574 4.82600021 表示第 n 个注意力函数输出的注意力权重， <math id="M6"><msub><mrow><mi>f</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036596&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036589&type= 2.96333337 4.57200003 表示目标特征的内容， <math id="M7"><msub><mrow><mi>l</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036607&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036601&type= 2.11666679 3.72533321 表示关键特征的内容， <math id="M8"><msub><mrow><mi>W</mi></mrow><mrow><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036611&type= 4.99533367 3.72533321 和 <math id="M9"><msubsup><mrow><mi>W</mi></mrow><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036626&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036620&type= 4.99533367 3.97933316 表示可学习的权重。通常，注意力函数的权重在目标特征选取的关键区域内归一化，即满足 <math id="M10"><munder><mo movablelimits="false">∑</mo><mrow><mi>c</mi><mo>∈</mo><msub><mrow><mi>Ω</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow></munder><mrow><msub><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msub><mfenced separators="|"><mrow><mi>p</mi><mo>,</mo><mi>c</mi><mo>,</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>,</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow></mfenced><mo>=</mo><mn mathvariant="normal">1</mn></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036635&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036631&type= 33.27399826 7.53533268 。 3 本文算法 1 3.1　网络结构 2 图1 图1 所示为本文所设计的轻量级注意力级联网络结构。该结构主要包括：浅层特征提取模块、非线性特征映射模块、重建模块和信息细化块。首先，网络输入的低分辨率偏振调制图像 <math id="M11"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036644&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036639&type= 4.14866638 3.72533321 将经过一个卷积核大小为3 <math id="M12"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036971&type= 2.53999996 2.79399991 3的卷积层来提取浅层特征 <math id="M13"><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036711&type= 4.23333359 3.72533321 并过滤部分低频特征，即： <math display="block" id="M14"><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036687&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036683&type= 19.04999924 4.06400013 ， 其中， <math id="M15"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036698&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036694&type= 6.34999990 4.91066647 表示输入偏振图像 <math id="M16"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036707&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036702&type= 4.14866638 3.72533321 的浅层特征提取函数。 提取的浅层特征 <math id="M17"><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036711&type= 4.23333359 3.72533321 通过级联注意力网络学习非线性映射并在残差结构中提取深层特征。非线性特征映射模块由若干个级联注意力块（Cascading Attention Block， CAB）、多尺度注意力块（Multi-scale Attention Block，MSAB）和长跳跃连接构成。深层特征 <math id="M18"><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036726&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036721&type= 4.23333359 3.72533321 的提取过程可表示为： <math display="block" id="M19"><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi>δ</mi><mfenced separators="|"><mrow><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036736&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036732&type= 19.13466644 3.97933316 ， 其中： <math id="M20"><mi>δ</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036749&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036743&type= 5.16466665 3.55599999 表示非线性特征映射阶段的深层特征提取函数。然后，提取的深层特征通过参数共享的上采样重建模块。值得注意的是，不同于其他方法，该上采样层采用双路径，通过融合浅层特征与深层特征的重建效果计算生成高分辨率偏振图像。该过程可表示为： <math display="block" id="M21"><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced><mo>⊕</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036758&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036753&type= 35.30599976 4.06400013 ， 其中： <math id="M22"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">u</mi><mi mathvariant="normal">p</mi></mrow></msub><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036765&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036763&type= 7.36600018 4.91066647 表示上采样函数， <math id="M23"><mo>⊕</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036936&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036935&type= 3.72533321 3.47133350 表示不同的特征逐像素相加操作， <math id="M24"><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036782&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036778&type= 4.23333359 3.72533321 表示本文网络计算生成的高分辨率特征图。 最后，通过信息细化块对计算生成的粗高频特征进行细化，得到更精确的高分辨率特征，以实现良好的重建性能，即： <math display="block" id="M25"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">R</mi></mrow></msub><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">R</mi><mi mathvariant="normal">B</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>H</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">N</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036788&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036787&type= 40.80933380 4.06400013 ， 其中： <math id="M26"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">R</mi><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036798&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036792&type= 8.80533314 4.91066647 表示信息细化块的函数功能， <math id="M27"><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036804&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036800&type= 11.00666618 4.91066647 表示所提超分辨率网络的函数功能， <math id="M28"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036809&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036807&type= 4.06400013 3.72533321 为本文LACN网络的输出偏振图像。 3.2　多尺度注意力块 2 为了使模型更加轻量化，网络采用了多尺度学习的方法。借助该策略可使用一个单一的训练模型处理多尺度空间域。这有助于在移动设备上应用SR程序时减轻沉重的模型参量负担。 图2 图2 展示了多尺度注意力块的空间金字塔网络结构，该结构从多感受野的角度分析特征编码。通过结合空间注意力和通道注意力机制进一步优化网络的表征能力。考虑到不同感受野下的局部空间分量差异，本文设计了不同扩张率的空洞卷积（DiRate）来提取多尺度特征。该空间金字塔结构使用了四个并行的卷积核大小为3 <math id="M29"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036971&type= 2.53999996 2.79399991 3的空洞卷积来计算多尺度局部域信息，其卷积层的感受野大小分别为1、2、4和8，该过程可表述为： <math display="block" id="M30"><msub><mrow><mi>F</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>=</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>k</mi><mo>×</mo><mi>k</mi></mrow><mrow><mi>r</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036834&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036830&type= 21.59000015 5.07999992 ， 其中： <math id="M31"><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036845&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036839&type= 3.72533321 3.72533321 表示空间金字塔网络的输入特征； <math id="M32"><msubsup><mrow><mi>f</mi></mrow><mrow><mi>k</mi><mo>×</mo><mi>k</mi></mrow><mrow><mi>r</mi></mrow></msubsup><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036852&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036849&type= 9.65200043 5.07999992 表示卷积核大小为 k × k 的空洞卷积的功能函数，其中 r 表示扩张率； <math id="M33"><msub><mrow><mi>F</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036861&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036856&type= 3.55599999 3.72533321 表示经过空洞卷积层后的输出特征。 空间注意力模块网络结构如 图3 图3 所示。通过调整特征空间的权重，以突出细节更多和纹理复杂的可用区域且抑制平滑区域，从而获取已知区域的重要空间信息。将空间金字塔网络与空间注意力块（Enhanced Spatial Attention， ESA）结合使用，可提高空洞卷积提取局部域信息的效率。此外，借助空间注意力机制将多尺度特征集中在关键的空间内容上，以获得更具代表性的特征，即： <math display="block" id="M34"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>⊗</mo><mi>χ</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>r</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036865&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036863&type= 25.82333374 4.91066647 ， 其中： <math id="M35"><mi>χ</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036871&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036868&type= 5.24933338 3.97933316 表示空间注意力机制的功能函数， <math id="M36"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036876&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036872&type= 3.55599999 3.72533321 表示经过ESA注意力块后的输出特征， <math id="M37"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036881&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036879&type= 3.55599999 3.55599999 表示元素相乘的操作。然后，将并行提取的多尺度特征连接为 <math id="M38"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow><mrow><mn mathvariant="normal">8</mn></mrow></msubsup><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036887&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036885&type= 38.60800171 4.48733330 。 对于深层特征，空间注意力更关注每个通道中的局部特征，而通道注意力从多空间角度全局地分析所有的特征图。 图4 图4 展示了通道注意力网络结构。通过全局平均池化操作将特征通道的全局空间信息转换成对应的通道描述符。该机制可显式地建模通道之间的相互依赖关系，以提高表征能力并保留有效的特征。考虑到特征通道之间的相关性，本文网络将输出特征 <math id="M39"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036895&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036894&type= 3.72533321 3.72533321 发送到通道注意力模块，可自适应地调整通道特征强弱。经过通道注意力块后的输出特征 <math id="M40"><msub><mrow><mi>F</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036897&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036896&type= 3.55599999 3.72533321 ，即： <math display="block" id="M41"><msub><mrow><mi>F</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>=</mo><msub><mrow><mi>ϑ</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub><mo stretchy="false">)</mo><mo>⊗</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036899&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036898&type= 27.43199921 4.48733330 ， 其中， <math id="M42"><msub><mrow><mi>ϑ</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036901&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036900&type= 6.43466663 4.48733330 表示通道注意力机制的函数。 最后，使用一个卷积核大小为3 <math id="M43"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036971&type= 2.53999996 2.79399991 3的卷积层来减小通道维度，并进一步整合加权多尺度特征。输出特征 <math id="M44"><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036918&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036916&type= 3.72533321 3.72533321 可表示为： <math display="block" id="M45"><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036920&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036919&type= 17.61066628 4.91066647 ， 其中： <math id="M46"><mi>f</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036932&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036931&type= 5.67266655 3.97933316 表示卷积核为3 <math id="M47"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036971&type= 2.53999996 2.79399991 3的卷积层特征提取功能。 3.3　级联注意力块 2 大多数图像超分辨率方法通过增加更多的非线性网络来增强模型的表征能力，这意味着需要搭建更多的卷积层和激活函数。然而，这种方案不可避免地降低了计算成像的速度。为简化结构和提高特征利用率，本文将重点放在探索层与层之间的连接模式上而非盲目地堆叠网络深度。级联注意力块CAB的网络结构如 图5 图5 所示。CAB选用了三个3×3标准卷积层。对于输入部分，前一个卷积层抑制的特征不能再被后续卷积层学习。为解决该问题，本文引入了级联连接，将CAB的输入特性作为每个卷积层输入的补充。对于输出部分，仅使用最后一层的输出导致鲁棒性不足。因此，本文采用融合连接方式传输卷积层产生的分层特征，并利用1×1卷积层聚合分层特征。LeakyReLU ［ 35 35 ］ 激活函数建立在ReLU函数的基础上，当 x 小于0时引入极小值 <math id="M48"><mi>γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036926&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036925&type= 1.94733346 3.64066648 作为梯度，可以避免神经元坏死。该过程可表示为： <math display="block" id="M49"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi>η</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>⊕</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mi>η</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>⊕</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>=</mo><mi>η</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></mrow></mfenced></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036928&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036927&type= 41.74066544 23.28333473 ， <math display="block" id="M50"><msub><mrow><mi>F</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>=</mo><mi>β</mi><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub><mo stretchy="false">)</mo><mo>⊕</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036930&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036929&type= 37.33800125 4.91066647 ， 其中， <math id="M51"><mi>f</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036932&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036931&type= 5.67266655 3.97933316 表示卷积核为3×3的卷积层特征提取功能； <math id="M52"><mi>η</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036934&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036933&type= 4.91066647 3.97933316 表示LeakyReLU激活函数功能； <math id="M53"><mo>⊕</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036936&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036935&type= 3.72533321 3.47133350 同 公式（4） 公式（4） 中含义； <math id="M54"><msub><mrow><mi>F</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036938&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036937&type= 3.38666677 3.72533321 表示CAB中第 i 个标准卷积层的输出特征，其中 i 的取值为1，2，3； <math id="M55"><msub><mrow><mi>F</mi></mrow><mrow><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036940&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036939&type= 7.78933382 3.72533321 与 <math id="M56"><msub><mrow><mi>F</mi></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036942&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036941&type= 4.23333359 3.72533321 分别表示级联网络的输入与输出特征； <math id="M57"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036944&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036943&type= 3.72533321 3.72533321 表示不同 <math id="M58"><msub><mrow><mi>F</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036946&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036945&type= 3.38666677 3.72533321 的连接融合特征； <math id="M59"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036948&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036947&type= 6.34999990 4.91066647 表示卷积核为1×1的卷积层特征提取功能； <math id="M60"><mi>β</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036950&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036949&type= 5.50333309 3.97933316 表示增强空间注意力机制的函数功能。 3.4　信息细化块 2 以往的工作 ［ 27 27 ］ 验证了结合高频和低频特征来重建高分辨率图像的方法能取得不错的效果。但常见的SR方法往往仅使用LR图像来提取低频特征，然后通过上采样重建模块将获得的低频特征转换为粗高频特征，这会导致粗高频特征可能缺乏高频特征的详细信息。为解决该问题，本文提出一种信息细化块来学习更精确的SR特征，并重建生成高质量超分辨率图像。信息细化块由4层Conv结合ReLU和1层Conv组成。Conv结合ReLU层包括一层标准卷积层和一个ReLU激活函数，其卷积核大小为3×3，输入和输出通道数均为64。最后一层卷积层的卷积核大小为3×3，输入和输出通道数分别为64和3。 3.5　损失函数 2 常见的图像目标优化函数包括MSE、 L 1 和 L 2 。使用MSE和 L 2 优化函数的SR方法往往导致超分辨率图像产生过于平滑的纹理。为了避免引入不必要的训练技巧并减少计算量，本文利用 L 1 损失函数对SR网络进行优化。假设给定一组 <math id="M61"><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">H</mi><mi mathvariant="normal">R</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036955&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036954&type= 18.28800011 5.75733376 训练集，其中包含 N 个LR输入图像及与之配对的HR图像，通过研究在不同下采样倍数下的HR-LR配对映射关系来建模训练模型。训练LACN网络的目标是实现 <math id="M62"><mi>L</mi><mfenced separators="|"><mrow><mi>θ</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036957&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036956&type= 7.95866632 3.97933316 损失函数的最小化，即： <math display="block" id="M63"><mi>L</mi><mfenced separators="|"><mrow><mi>θ</mi></mrow></mfenced><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow/><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>φ</mi><mfenced separators="|"><mrow><msubsup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></mfenced><mo>-</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">H</mi><mi mathvariant="normal">R</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036959&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036958&type= 48.17533112 8.63599968 ， 其中： <math id="M64"><mi>φ</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036961&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036960&type= 5.41866684 3.97933316 表示本文SR网络的函数功能， <math id="M65"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036963&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036962&type= 1.86266661 2.79399991 表示LACN网络的参数集， <math id="M66"><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow/></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036965&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036964&type= 6.43466663 4.23333359 为1范数。通过随机梯度下降的方法来优化 <math id="M67"><mi>L</mi><mfenced separators="|"><mrow><mi>θ</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036967&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036966&type= 7.95866632 3.97933316 损失函数。 4 实验与结果分析 1 4.1　实验数据集与环境设置 2 本研究是为自行研制的非制冷像元耦合的空间调制型双通道高光谱全偏振相机提供超分辨率模块，实验的偏振数据集由该设备在多种场景下获取。光谱偏振相机由前置光路组件、空间调制模块、液晶可调谐滤光片、成像光路组件和面阵探测器模块五个部分构成。在给定谱段下，该相机可对探测目标进行完整偏振状态的高效、快速测量，如 图6 图6 所示。成像系统利用Stokes矢量的空间调制原理 ［ 8 8 ］ ，将Stokes矢量（ S 0 ~ S 3 ）同时调制在一幅图像中。一次采集便可获取探测目标4个Stokes 矢量的调制信息。采集的调制图像可解析出不同的偏振参量图像。本文采用600幅自建的全偏振数据集同时加入公开数据集DIV2K ［ 36 36 ］ （800幅）进行模型训练，并通过随机旋转90°、180°、270°和水平翻转的方式进行数据增强。选用多种目标场景下的偏振调制图像（分辨率为640×512）评估模型性能。对高分辨率的偏振训练样本进行不同倍数的双三次下采样处理并同时添加噪声与模糊，以获取对应的低分辨率偏振图像。实验的主要内容是通过研究不同超分辨率尺度下的HR-LR映射关系来建模训练网络模型，并分析网络的关键模块同时与其他SR方法进行对比实验，以验证本文算法的有效性。 实验平台的CPU为Intel（R） Core（TM） i9-10900X，128 GB RAM，GPU为NVIDIA Quadro RTX 6000 （24 GB），Cuda11.2。模型训练的环境为Python 3.6，编程框架为Pytorch 0.4.1。采用MATLAB R2019测试评估网络性能。 4.2　评价指标与实验参数设置 2 实验通过客观定量分析、主观定性分析两方面进行评价。将偏振图像转换到YCbCr空间 ［ 37 37 ］ 的Y通道（即亮度分量）上进行测试。采用峰值信噪比（Peak Signal-to-noise Ratio，PSNR）和结构相似性（Structural Similarity，SSIM）来评估不同对比方法的重建图像质量。 本文网络结构中，CAB的数量设置为12，CAB中默认设置三个3×3标准卷积层。网络的输入通道数为32。最小训练批次的大小设置为16，在每批次训练中，提取大小为48×48的LR偏振样本作为网络的输入并对网络进行1 000个回合（epoch）的迭代训练。对于不同的超分辨率尺度（包括×2、×3、×4），本文分别训练相应的模型，共花费约72小时。所提的网络模型由Adam优化器 ［ 38 38 ］ 训练，初始学习率为10 - 3 。每训练200个epoch之后（即2 <math id="M68"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036971&type= 2.53999996 2.79399991 10 5 次迭代），反向传播迭代的学习率会衰减一半。选择 <math id="M69"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036974&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36036973&type= 3.64066648 3.72533321 损失函数对网络进行训练。 4.3　模型分析 2 如 图7 图7 和 图8 图8 所示，本文选取机载光谱偏振相机对地观测采集的部分建筑物和合肥南站的短波红外偏振图像作为测试样本集。在本节中，通过消融实验讨论LACN不同组成部分的作用。 4 . 3 . 1　CAB模块中注意力机制分析 3 为了分析ESA模块在级联结构CAB中的作用，本文在CAB没有ESA模块的情况下进行网络训练。实验选用建筑物的偏振图像集进行4倍SR。如 表1 表1 所示，与原始LACN模型相比，没有ESA模块的网络的PSNR降低了0.07 dB，SSIM也有所下降，说明ESA模块可以提高模型的重建性能。 ESA PSNR/dB SSIM × 38.86 0.944 3 √ 38.93 0.944 7 4 . 3 . 2　MSAB模块对重建结果影响 3 为了验证提出的MSAB模块的有效性，从本文的网络模型中移除MSAB块并重新训练网络。 表2 表2 为网络模型在建筑物的偏振数据集上进行4倍SR的结果。可以看出，MSAB模块确实有利于SR性能。4倍SR的PSNR从38.87 dB上升到38.93 dB，SSIM也有所提高。 MSAB PSNR/dB SSIM × 38.87 0.944 1 √ 38.93 0.944 7 4 . 3 . 3　信息细化块对重建结果影响 3 非线性特征映射模块强调低频特征的作用，重建模块具有将低频特征转化为粗高频特征的能力，忽略了高频特征的影响。在此基础上，本文设计了信息细化模块。具有4个Conv结合ReLU的信息细化块可以从重建模块中提取更精确的高频特征，从而减小了预测的SR图像与目标HR图像之间的差异。再通过一次卷积操作即可重建高质量的SR图像。实验选用建筑物的偏振数据集进行4倍SR。从 表3 表3 可以看出，信息细化块对LACN网络的性能有很大的提高，说明有信息细化模块效果更好，改进了重建性能。 信息细化块 PSNR/dB SSIM × 38.81 0.943 9 √ 38.93 0.944 7 4 . 3 . 4　重建模块的优势 3 为了验证所设计的重建模块的优越性，本文采用常见的亚像素卷积单路径操作 ［ 15 15 ］ （路径1）来代替所提的双路径方式（路径2）进行实验分析。 表4 表4 为不同路径重建模块的模型在建筑物的偏振图像上进行4倍SR的结果。可以看出，改变重建模块后，4倍SR的PSNR从38.93 dB下降到38.85 dB，SSIM也略有下降，说明所提重建模块确实有助于改善重建效果。 重建模块路径 PSNR/dB SSIM 1 38.85 0.944 3 2 38.93 0.944 7 4 . 3 . 5　网络模型深度选择 3 为了检验网络深度对重构性能的影响，本文在深层特征提取阶段深化了网络层。考虑到超分辨率网络的轻量化设计，本文简单地在非线性特征映射模块增加CAB块的数量来研究网络性能的变化。实验选用合肥南站的偏振图像集进行3倍SR，PSNR和SSIM的客观评价结果如 表5 表5 所示。可以看出，随着网络深度的增加，模型参数量逐渐增加，PSNR也呈逐渐增加的趋势。但是，网络的深化必然会导致计算复杂度的增加且占用更多的内存。为了在精度和参数之间取得平衡，12个CAB块的网络模型似乎是更合理的选择。 CAB数量 Parameters/K PSNR/dB SSIM 10 484 41.80 0.960 6 11 519 41.76 0.960 4 12 554 41.82 0.960 6 13 589 41.79 0.960 7 14 624 41.81 0.960 6 15 659 41.83 0.960 8 4.4　与其他SR方法比较 2 为验证本文算法的有效性，实验选取一组全偏振图像集进行测试，如 图9 图9 所示。测试实验的客观评价指标为PSNR和SSIM。PSNR的数值越大表明重建性能越高，SSIM度量图像相似性，其数值越大说明相似性越高、重建效果越好。将本文方法与SRCNN ［ 15 15 ］ 、FSRCNN ［ 23 23 ］ 、MSRN ［ 39 39 ］ 、AWSRN ［ 28 28 ］ 等方法进行对比实验，验证2倍、3倍、4倍超分辨率性能。 4 . 4 . 1　客观定量分析 3 从 表6 表6 的实验结果可直观看出，本文方法在2倍、3倍、4倍超分辨率上都展现了良好的性能。相较于浅层轻量级网络的SRCNN、FSRCNN方法，本文方法的PSNR和SSIM值都大幅度提高，明显提升了重建效果。LACN模型与计算成本较高的模型相比，也得到了可观的结果。相对于深度网络MSRN，本文方法的评价结果也基本保持最优或者接近，所提的模型参数量仅约为MSRN模型的9%。AWSRN为一种轻量级、高效的超分辨率网络。本文方法的模型参数量仅约为AWSRN模型的38%，且优于该方法的重建效果。实验结果充分说明了本文方法的有效性和优越性。 注： 加粗字体表示最优性能。 2 Scale 2 Method 2 Parameters /K 2 Monument image 2 Bridge image 2 Building image 2 Road image PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM 5 ×2 SRCNN 57 44.92 0.988 5 43.82 0.972 7 43.38 0.974 9 42.92 0.965 7 FSRCNN 12 44.77 0.988 0 43.85 0.972 9 43.39 0.974 9 42.88 0.965 4 MSRN 5930 46.74 0.989 6 45.12 0.977 5 44.63 0.978 7 44.11 0.971 1 AWSRN 1396 46.74 0.989 6 45.12 0.977 6 44.64 0.978 7 44.12 0.971 2 Ours 543 46.74 0.989 6 45.12 0.977 6 44.63 0.978 7 44.12 0.971 2 5 ×3 SRCNN 57 41.14 0.968 4 41.55 0.957 6 40.97 0.958 3 40.99 0.946 4 FSRCNN 12 41.13 0.968 3 41.82 0.958 9 41.13 0.959 1 38.68 0.948 0 MSRN 6114 43.26 0.975 9 43.37 0.967 9 42.77 0.967 8 42.39 0.957 1 AWSRN 1476 43.31 0.976 1 43.38 0.968 1 42.76 0.967 8 42.39 0.957 2 Ours 554 43.25 0.975 9 43.39 0.968 1 42.78 0.967 9 42.39 0.957 2 5 ×4 SRCNN 57 37.64 0.939 3 38.45 0.932 8 38.05 0.930 3 38.89 0.919 4 FSRCNN 12 37.69 0.938 5 39.36 0.940 1 38.42 0.932 8 38.96 0.919 3 MSRN 6078 40.26 0.957 7 41.41 0.957 1 40.40 0.950 9 40.68 0.939 7 AWSRN 1587 40.30 0.958 0 41.90 0.959 8 40.34 0.950 6 40.67 0.939 5 Ours 576 40.21 0.957 4 41.92 0.959 6 40.58 0.952 2 40.65 0.939 3 此外，本文将上述代表性的SR方法进行模型复杂度评估。为了进行合理的比较，实验所有的SR方法都在 图9 图9 所示的全偏振数据集上进行3倍SR评估。 图10 图10 展示了该数据上不同模型参数量与重建性能的比较。 图11 图11 为该数据集上不同模型重建性能与运行时间的比较。值得注意的是，所提出的方法是相对快速的，同时保证了良好的重建性能。实验结果进一步说明本文方法可以在模型复杂度与性能之间实现更好的平衡。 4 . 4 . 2　主观定性分析 3 图 12 12 ~ 14 14 展示了不同方法的重建可视化结果。可以观察到，本文模型的图像重建质量在线条、模式及纹理方面优于其他SR模型。 图12 图12 显示了渡江战役纪念塔全偏振图像的2倍SR结果。从重建后的图像细节展示即图中标记区域两个“石阶梯”可看出，本文方法重建图像纹理细节更加清晰，视觉效果改善最佳。SRCNN和FSRCNN重建后的图像明显背景虚化，图像模糊。MSRN和AWSRN方法的重建图像的质量有所提高，仍存在平滑边缘，模糊伪像等问题。 图13 图13 展示了采集的合肥骆岗机场跑道全偏振图像的可视化结果。本文方法重建的“条纹”亮度均匀，细节纹理清晰，优于其他方法的重建效果。其他方法恢复高频分量的能力有限，重建出的“条纹”模糊伪影、边缘模糊，而本文方法重建“条纹”图像消除了负面干扰，更加接近HR图像的质量。 图14 图14 为建筑物全偏振图像的4倍SR可视化结果。从图中可看出，本文方法对纹理丰富、不规则结构图案的重建效果较为出色，可以最大限度地恢复复杂纹理细节并抑制振铃效应的干扰。而其他算法不能充分提取特征内容，难以恢复高精度的纹理信息，并且重建图像存在边缘模糊、纹理不清晰等问题。本文算法的PSNR和SSIM值也优于其他SR算法。 上述可视化的对比结果表明本文提出的LACN模型具有强大的表征能力，可抑制平滑分量、重建更多高频细节，有效地改善了视觉效果。 5 结 论 1 本文提出了一种轻量级注意力级联网络来改善偏振计算成像超分辨率重建效果。所提方法关注层与层之间的连接模式，采用级联和参数共享策略有效地传递信息并实现网络轻量化。结合注意力机制调节权重提取关键的特征并利用多感受野分析偏振图像局部空间分量差异。实验结果验证了本文方法的良好性能，重建偏振图像纹理细节清晰的同时在模型复杂度和性能之间进行了更好的平衡。与其他方法相比，可生成更高质量的重建偏振图像，在全偏振图像集上2倍超分辨率的PSNR为45.12 dB，参数量仅约为MSRN的9%。为偏振计算成像超分辨率的理论研究提供相关的数据参考。在后续工作中，将结合本文方法探索实际应用于视频数据的超分辨率重建方法，实现系统传输的低质量视频能动态生成高质量视频。 参考文献 王德江 ， 孙翯 ， 孙雪倩 . 消光比与探测器噪声对基于纳米线栅偏振成像系统偏振精度的影响 ［J］. 光学 精密工程 ， 2018 ， 26 （ 10 ）： 2371 - 2379 . doi: 10.3788/ope.20182610.2371 http://dx.doi.org/10.3788/ope.20182610.2371 消光比与探测器噪声对基于纳米线栅偏振成像系统偏振精度的影响 WANG D J ， SUN H ， SUN X Q . Effect of extinction ratio and detector noise on polarization accuracy of nanometer wire grid polarization imaging system ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 10 ）： 2371 - 2379 . （in Chinese） . doi: 10.3788/ope.20182610.2371 http://dx.doi.org/10.3788/ope.20182610.2371 Effect of extinction ratio and detector noise on polarization accuracy of nanometer wire grid polarization imaging system 王小龙 ， 王峰 ， 刘晓 ， 等 . 荒漠背景下典型伪装目标的高光谱偏振特性 ［J］. 激光与光电子学进展 ， 2018 ， 55 （ 5 ）： 198 - 207 . doi: 10.3788/lop55.051101 http://dx.doi.org/10.3788/lop55.051101 荒漠背景下典型伪装目标的高光谱偏振特性 WANG X L ， WANG F ， LIU X ， et al . Hyperspectral polarization characteristics of typical camouflage target under desert background ［J］. Laser ＆ Optoelectronics Progress ， 2018 ， 55 （ 5 ）： 198 - 207 . （in Chinese） . doi: 10.3788/lop55.051101 http://dx.doi.org/10.3788/lop55.051101 Hyperspectral polarization characteristics of typical camouflage target under desert background 王孙晨 ， 张磊 ， 薛模根 ， 等 . 空间调制型全偏振成像系统解调算法优化 ［J］. 光子学报 ， 2020 ， 49 （ 12 ）： 152 - 162 . doi: 10.3788/gzxb20204912.1211001 http://dx.doi.org/10.3788/gzxb20204912.1211001 空间调制型全偏振成像系统解调算法优化 WANG S CH ， ZHANG L ， XUE M G ， et al . Optimization with demodulation algorithm for spatially modulated full polarization imaging system ［J］. Acta Photonica Sinica ， 2020 ， 49 （ 12 ）： 152 - 162 . （in Chinese） . doi: 10.3788/gzxb20204912.1211001 http://dx.doi.org/10.3788/gzxb20204912.1211001 Optimization with demodulation algorithm for spatially modulated full polarization imaging system 胡巧云 ， 杨伟锋 ， 胡亚东 ， 等 . 空间调制型全Stokes参量偏振成像系统原理及仿真 ［J］. 光学学报 ， 2015 ， 35 （ 2 ）： 152 - 158 . doi: 10.3788/aos201535.0211004 http://dx.doi.org/10.3788/aos201535.0211004 空间调制型全Stokes参量偏振成像系统原理及仿真 HU Q Y ， YANG W F ， HU Y D ， et al . Principle and simulation of a spatially modulated full stokes parameters polarization imaging system ［J］. Acta Optica Sinica ， 2015 ， 35 （ 2 ）： 152 - 158 . （in Chinese） . doi: 10.3788/aos201535.0211004 http://dx.doi.org/10.3788/aos201535.0211004 Principle and simulation of a spatially modulated full stokes parameters polarization imaging system 王成 ， 范之国 ， 金海红 ， 等 . 全偏振大气偏振模式成像系统的设计与优化分析 ［J］. 物理学报 ， 2021 ， 70 （ 10 ）： 123 - 131 . doi: 10.7498/aps.70.20210104 http://dx.doi.org/10.7498/aps.70.20210104 全偏振大气偏振模式成像系统的设计与优化分析 WANG C ， FAN ZH G ， JIN H H ， et al . Design and optimization analysis of imaging system of polarized skylight pattern of full polarization ［J］. Acta Physica Sinica ， 2021 ， 70 （ 10 ）： 123 - 131 . （in Chinese） . doi: 10.7498/aps.70.20210104 http://dx.doi.org/10.7498/aps.70.20210104 Design and optimization analysis of imaging system of polarized skylight pattern of full polarization 吴艳 ， 陈凡胜 ， 陈桂林 . 图像复原与超分辨率重构基本适用条件及提高空间分辨率上限的研究 ［J］. 红外与毫米波学报 ， 2010 ， 29 （ 5 ）： 351 - 356 . doi: 10.3724/sp.j.1010.2010.00351 http://dx.doi.org/10.3724/sp.j.1010.2010.00351 图像复原与超分辨率重构基本适用条件及提高空间分辨率上限的研究 WU Y ， CHEN F SH ， CHEN G L . Applicable conditions and improving spatial resolution upper limits of image restoration and super-resolution reconstruction ［J］. Journal of Infrared and Millimeter Waves ， 2010 ， 29 （ 5 ）： 351 - 356 . （in Chinese） . doi: 10.3724/sp.j.1010.2010.00351 http://dx.doi.org/10.3724/sp.j.1010.2010.00351 Applicable conditions and improving spatial resolution upper limits of image restoration and super-resolution reconstruction 吴笑天 ， 杨航 ， 孙兴龙 . 基于区域选择网络的图像复原及其在计算成像中的应用 ［J］. 光学 精密工程 ， 2021 ， 29 （ 4 ）： 864 - 876 . doi: 10.37188/OPE.20212904.0864 http://dx.doi.org/10.37188/OPE.20212904.0864 基于区域选择网络的图像复原及其在计算成像中的应用 WU X T ， YANG H ， SUN X L . Image restoring method based on region selection network and its application in computational imaging ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 864 - 876 . （in Chinese） . doi: 10.37188/OPE.20212904.0864 http://dx.doi.org/10.37188/OPE.20212904.0864 Image restoring method based on region selection network and its application in computational imaging 徐国明 ， 袁宏武 ， 薛模根 ， 等 . 空间调制全偏振计算成像场景迁移超分辨率方法 ［J］. 计算机辅助设计与图形学学报 ， 2021 ， 33 （ 9 ）： 1440 - 1449 . doi: 10.3724/sp.j.1089.2021.18699 http://dx.doi.org/10.3724/sp.j.1089.2021.18699 空间调制全偏振计算成像场景迁移超分辨率方法 XU G M ， YUAN H W ， XUE M G ， et al . Spatial modulation full polarization computing imaging super-resolution via scene transfer ［J］. Journal of Computer-Aided Design ＆ Computer Graphics ， 2021 ， 33 （ 9 ）： 1440 - 1449 . （in Chinese） . doi: 10.3724/sp.j.1089.2021.18699 http://dx.doi.org/10.3724/sp.j.1089.2021.18699 Spatial modulation full polarization computing imaging super-resolution via scene transfer ZHANG J ， YUAN C G ， HUANG G H ， et al . Acquisition of a full-resolution image and aliasing reduction for a spatially modulated imaging polarimeter with two snapshots ［J］. Applied Optics ， 2018 ， 57 （ 10 ）： 2376 - 2382 . doi: 10.1364/ao.57.002376 http://dx.doi.org/10.1364/ao.57.002376 Acquisition of a full-resolution image and aliasing reduction for a spatially modulated imaging polarimeter with two snapshots 孟祥超 ， 孙伟伟 ， 任凯 ， 等 . 基于多分辨率分析的GF-5和GF-1遥感影像空—谱融合 ［J］. 遥感学报 ， 2020 ， 24 （ 4 ）： 379 - 387 . 基于多分辨率分析的GF-5和GF-1遥感影像空—谱融合 MENG X CH ， SUN W W ， REN K ， et al . Spatial-spectral fusion of GF-5/GF-1 remote sensing images based on multiresolution analysis ［J］. Journal of Remote Sensing ， 2020 ， 24 （ 4 ）： 379 - 387 . （in Chinese） Spatial-spectral fusion of GF-5/GF-1 remote sensing images based on multiresolution analysis ZHANG L ， NIE J T ， WEI W ， et al . Unsupervised adaptation learning for hyperspectral imagery super-resolution ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 3070 - 3079 . doi: 10.1109/cvpr42600.2020.00314 http://dx.doi.org/10.1109/cvpr42600.2020.00314 Unsupervised adaptation learning for hyperspectral imagery super-resolution XIE Q ， ZHOU M H ， ZHAO Q ， et al . Multispectral and hyperspectral image fusion by MS/HS fusion net ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 1585 - 1594 . doi: 10.1109/cvpr.2019.00168 http://dx.doi.org/10.1109/cvpr.2019.00168 Multispectral and hyperspectral image fusion by MS/HS fusion net SOH J W ， CHO S ， CHO N I . Meta-transfer learning for zero-shot super-resolution ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 3513 - 3522 . doi: 10.1109/cvpr42600.2020.00357 http://dx.doi.org/10.1109/cvpr42600.2020.00357 Meta-transfer learning for zero-shot super-resolution WANG Z H ， CHEN J ， HOI S C H . Deep learning for image super-resolution： a survey ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 10 ）： 3365 - 3387 . doi: 10.1109/tpami.2020.2982166 http://dx.doi.org/10.1109/tpami.2020.2982166 Deep learning for image super-resolution： a survey DONG C ， LOY C C ， HE K M ， et al . Image super-resolution using deep convolutional networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 2 ）： 295 - 307 . doi: 10.1109/tpami.2015.2439281 http://dx.doi.org/10.1109/tpami.2015.2439281 Image super-resolution using deep convolutional networks LIM B ， SON S ， KIM H ， et al . Enhanced deep residual networks for single image super-resolution ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops . Honolulu， HI， USA . IEEE ， 2017 ： 1132 - 1140 . doi: 10.1109/cvprw.2017.151 http://dx.doi.org/10.1109/cvprw.2017.151 Enhanced deep residual networks for single image super-resolution LIU J ， ZHANG W J ， TANG Y T ， et al . Residual feature aggregation network for image super-resolution ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 2356 - 2365 . doi: 10.1109/cvpr42600.2020.00243 http://dx.doi.org/10.1109/cvpr42600.2020.00243 Residual feature aggregation network for image super-resolution ZHANG Y L ， LI K P ， LI K ， et al . Image super-resolution using very deep residual channel attention networks ［C］. Computer Vision-ECCV 2018 ， 2018 ： 286 - 301 . doi: 10.1007/978-3-030-01234-2_18 http://dx.doi.org/10.1007/978-3-030-01234-2_18 Image super-resolution using very deep residual channel attention networks LAN R S ， SUN L ， LIU Z B ， et al . MADNet： a fast and lightweight network for single-image super resolution ［J］. IEEE Transactions on Cybernetics ， 2021 ， 51 （ 3 ）： 1443 - 1453 . doi: 10.1109/tcyb.2020.2970104 http://dx.doi.org/10.1109/tcyb.2020.2970104 MADNet： a fast and lightweight network for single-image super resolution LI Y H ， IWAMOTO Y ， LIN L F ， et al . VolumeNet： a lightweight parallel network for super-resolution of MR and CT volumetric data ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2021 ， 30 ： 4840 - 4854 . doi: 10.1109/tip.2021.3076285 http://dx.doi.org/10.1109/tip.2021.3076285 VolumeNet： a lightweight parallel network for super-resolution of MR and CT volumetric data WAN J ， YIN H ， LIU Z H ， et al . Lightweight image super-resolution by multi-scale aggregation ［J］. IEEE Transactions on Broadcasting ， 2021 ， 67 （ 2 ）： 372 - 382 . doi: 10.1109/tbc.2020.3028356 http://dx.doi.org/10.1109/tbc.2020.3028356 Lightweight image super-resolution by multi-scale aggregation SHI W Z ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207 Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network DONG C ， LOY C C ， TANG X O . Accelerating the super-resolution convolutional neural network ［C］. Proceedings of the European conference on computer vision. Springer ， Cham ， 2016 ： 391 - 407 . doi: 10.1007/978-3-319-46475-6_25 http://dx.doi.org/10.1007/978-3-319-46475-6_25 Accelerating the super-resolution convolutional neural network AHN N ， KANG B ， SOHN K A . Fast， accurate， and lightweight super-resolution with cascading residual network ［C］. Proceedings of the European conference on computer vision. Springer ， Cham ， 2018 ： 252 - 268 . doi: 10.1007/978-3-030-01249-6_16 http://dx.doi.org/10.1007/978-3-030-01249-6_16 Fast， accurate， and lightweight super-resolution with cascading residual network HUI Z ， WANG X M ， GAO X B . Fast and accurate single image super-resolution via information distillation network ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 723 - 731 . doi: 10.1109/cvpr.2018.00082 http://dx.doi.org/10.1109/cvpr.2018.00082 Fast and accurate single image super-resolution via information distillation network KIM J ， LEE J K ， LEE K M . Deeply-recursive convolutional network for image super-resolution ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1637 - 1645 . doi: 10.1109/cvpr.2016.181 http://dx.doi.org/10.1109/cvpr.2016.181 Deeply-recursive convolutional network for image super-resolution TAI Y ， YANG J ， LIU X M . Image super-resolution via deep recursive residual network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 2790 - 2798 . doi: 10.1109/cvpr.2017.298 http://dx.doi.org/10.1109/cvpr.2017.298 Image super-resolution via deep recursive residual network WANG C ， LI Z ， SHI J . Lightweight image super-resolution with adaptive weighted learning network ［J］. arXiv preprint arXiv： 1904.02358 ， 2019 . Lightweight image super-resolution with adaptive weighted learning network TIAN C W ， XU Y ， ZUO W M ， et al . Coarse-to-fine CNN for image super-resolution ［J］. IEEE Transactions on Multimedia ， 2021 ， 23 ： 1489 - 1502 . doi: 10.1109/tmm.2020.2999182 http://dx.doi.org/10.1109/tmm.2020.2999182 Coarse-to-fine CNN for image super-resolution WEI W ， FENG G Q ， ZHANG Q ， et al . Accurate single image super-resolution using cascading dense connections ［J］. Electronics Letters ， 2019 ， 55 （ 13 ）： 739 - 742 . doi: 10.1049/el.2019.0392 http://dx.doi.org/10.1049/el.2019.0392 Accurate single image super-resolution using cascading dense connections AHN N ， KANG B ， SOHN K A . Photo-realistic image super-resolution with fast and lightweight cascading residual network ［J］. arXiv preprint arXiv ： 1903.02240 ， 2019 . Photo-realistic image super-resolution with fast and lightweight cascading residual network HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR） ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745 Squeeze-and-excitation networks DAI T ， CAI J R ， ZHANG Y B ， et al . Second-order attention network for single image super-resolution ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 11057 - 11066 . doi: 10.1109/cvpr.2019.01132 http://dx.doi.org/10.1109/cvpr.2019.01132 Second-order attention network for single image super-resolution HU Y T ， LI J ， HUANG Y F ， et al . Channel-wise and spatial feature modulation network for single image super-resolution ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2020 ， 30 （ 11 ）： 3911 - 3927 . doi: 10.1109/tcsvt.2019.2915238 http://dx.doi.org/10.1109/tcsvt.2019.2915238 Channel-wise and spatial feature modulation network for single image super-resolution XU B ， WANG N ， CHEN T ， et al . Empirical evaluation of rectified activations in convolutional network ［J］. arXiv preprint arXiv： 1505 . 00853 ， 2015 . Empirical evaluation of rectified activations in convolutional network AGUSTSSON E ， TIMOFTE R . NTIRE 2017 challenge on single image super-resolution： dataset and study ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops . Honolulu， HI， USA . IEEE ， 2017 ： 1122 - 1131 . doi: 10.1109/cvprw.2017.150 http://dx.doi.org/10.1109/cvprw.2017.150 NTIRE 2017 challenge on single image super-resolution： dataset and study HARIS M ， SHAKHNAROVICH G ， UKITA N . Deep back-projection networks for super-resolution ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 1664 - 1673 . doi: 10.1109/cvpr.2018.00179 http://dx.doi.org/10.1109/cvpr.2018.00179 Deep back-projection networks for super-resolution 蔡体健 ， 彭潇雨 ， 石亚鹏 ， 等 . 通道注意力与残差级联的图像超分辨率重建 ［J］. 光学 精密工程 ， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142 通道注意力与残差级联的图像超分辨率重建 CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142 Channel attention and residual concatenation network for image super-resolution LI J ， FANG F ， MEI K ， et al . Multi-scale residual network for image super-resolution ［C］. Proceedings of the European Conference on Computer Vision（ECCV） . 2018 ： 517 - 532 . doi: 10.1007/978-3-030-01237-3_32 http://dx.doi.org/10.1007/978-3-030-01237-3_32 Multi-scale residual network for image super-resolution 10.37188/OPE.20223019.2404 TP391 A 1004-924X（2022）19-2404-16 王杰,徐国明,马健等.轻量级注意力级联网络的偏振计算成像超分辨率重建[J].光学精密工程,2022,30(19):2404-2419. 王杰,徐国明,马健等.轻量级注意力级联网络的偏振计算成像超分辨率重建[J].光学精密工程,2022,30(19):2404-2419. WANG Jie,XU Guoming,MA Jian,et al.Polarization computational imaging super-resolution reconstruction with lightweight attention cascading network[J].Optics and Precision Engineering,2022,30(19):2404-2419. WANG Jie,XU Guoming,MA Jian,et al.Polarization computational imaging super-resolution reconstruction with lightweight attention cascading network[J].Optics and Precision Engineering,2022,30(19):2404-2419. 国家自然科学基金资助项目（No.61906118）；安徽省重大专项项目（No.202003A06020016）；安徽省自然科学基金资助项目（No.1908085MF208，No.2108085MF230）；陆军装备部“十三五”预研子课题项目；安徽省高校自然科学研究重点项目（No.KJ2019A0906） 2022-05-13 2022-06-14 2022-10-10 2022-10-24 光学精密工程 19 30