Super-resolution reconstruction method for space target images based on dense residual block-based GAN

基于密集残差块生成对抗网络的空间目标图像超分辨率重建 Super-resolution reconstruction method for space target images based on dense residual block-based GAN 1 first-author 景海钊（2000-），男，陕西西安人，主要从事机器视觉与图像处理方面的研究。E-mail： 201915030414@sust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461023&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461031&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461027&type= 22.01332855 32.00400543 景海钊 （2000-），男，陕西西安人，主要从事机器视觉与图像处理方面的研究。E-mail： 201915030414@sust.edu.cn 201915030414@sust.edu.cn 2 3 corresp E-mail： shijianglin89@163.com E-mail： shijianglin89@163.com 史江林（1989-），男，湖北枣阳人，博士研究生，工程师，2011年、2016年于西安交通大学分别获得学士、硕士学位，主要从事空间目标探测/识别、人工智能技术在目标探测/成像/特性分析等方面的研究。E-mail：shijianglin89@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461036&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461049&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461042&type= 22.01333618 32.00399780 史江林 （1989-），男，湖北枣阳人，博士研究生，工程师，2011年、2016年于西安交通大学分别获得学士、硕士学位，主要从事空间目标探测/识别、人工智能技术在目标探测/成像/特性分析等方面的研究。E-mail： shijianglin89@163.com shijianglin89@163.com 1 1 4 3 陕西科技大学 陕西人工智能联合实验室，陕西 西安 710021 陕西科技大学 陕西人工智能联合实验室，陕西 西安 710021 Shaanxi Joint Laboratory of Artificial Intelligence， Shaanxi University of Science and Technology， Xi'an 710021， China Shaanxi Joint Laboratory of Artificial Intelligence， Shaanxi University of Science and Technology， Xi'an 710021， China 西安交通大学 系统工程研究所，陕西 西安 710049 西安交通大学 系统工程研究所，陕西 西安 710049 Institute of Systems Engineering， Xi'an Jiaotong University， Xi'an 710049， China Institute of Systems Engineering， Xi'an Jiaotong University， Xi'an 710049， China 西安卫星测控中心，陕西 西安 710043 西安卫星测控中心，陕西 西安 710043 Xi'an Satellite Control Center， Xi'an 710043， China Xi'an Satellite Control Center， Xi'an 710043， China 陕西科技大学 电子信息与人工智能学院，陕西 西安 710021 陕西科技大学 电子信息与人工智能学院，陕西 西安 710021 School of Electronic Information and Artificial Intelligence， Shaanxi University of Science and Technology， Xi'an 710021， China School of Electronic Information and Artificial Intelligence， Shaanxi University of Science and Technology， Xi'an 710021， China 为了获取更高分辨率和清晰度的空间目标光学图像，需对地基自适应光学（Adaptive Optics，AO）成像望远镜校正后的降质图像进行超分辨率重建。针对空间目标AO图像背景单一、分辨率有限且存在运动模糊、湍流模糊以及过曝等特点，提出基于深度学习的生成对抗网络（Generative Adversarial Networks，GAN）方法来实现空间目标AO图像的超分辨率重建，构建了空间目标AO仿真图像训练集用于神经网络训练，提出了一种基于密集残差块的GAN超分辨率重建方法，通过将传统残差网络改为密集残差块，提高网络深度，将相对平均损失函数引入判别器网络，从而使得判别器更稳健，GAN训练更稳定。实验结果表明：本文提出的方法相较传统插值超分辨率方法PSNR提高11.6%以上，SSIM提高10.3%以上，相较基于深度学习的盲图像超分辨率方法PSNR平均提高6.5%，SSIM平均提高4.9%。该方法有效实现了空间目标AO图像的清晰化重建，降低了重建图像的伪影，丰富了图像细节。 To obtain the optical images of space targets with higher resolution and clarity， it is necessary to perform super-resolution reconstruction on the degraded images corrected by ground-based adaptive optics （AO） imaging telescopes. The image super-resolution reconstruction method based on deep learning has a fast operation speed and provides rich high-frequency detail information of the image； it has been widely used in natural， medical， and remote sensing images， among other applications. Aiming at the characteristics of spatial target AO images with a single background， limited resolution， motion blur， turbulent blur， and overexposure， this study proposes using a deep learning-based generative adversarial network （GAN） method to realize the super-resolution of spatial target AO images. For resolution reconstruction， a training set of spatial target AO simulation images is first constructed for neural network training， and a GAN super-resolution reconstruction method based on dense residual blocks is then proposed. By changing the traditional residual network to dense residual blocks， improving the network depth， and introducing a relative average loss function into the discriminator network， the discriminator becomes more robust， and the training of the generative adversarial network becomes more stable. Experiments show that the proposed method improves the peak-to-noise ratio （PSNR） and structural similarity index measure （SSIM） by more than 11.6% and 10.3%， respectively， compared with traditional interpolation super-resolution methods. In addition， it improves the PSNR and SSIM by 6.5% and 4.9% on average， respectively， compared with the deep learning-based blind image super-resolution method. The proposed method effectively realizes the clear reconstruction of a spatial target AO image， reduces the artifacts of the reconstructed image， enriches image details， and achieves a better reconstruction effect. 空间目标图像 超分辨率 生成对抗网络 密集残差块 space object images super resolution Generative Adversarial Network（GAN） dense residual blocks 1 引 言 1 在空间目标态势感知领域，基于自适应光学（Adaptive Optics， AO）图像对空间目标的结构、载荷和姿态研判识别工作具有重要意义。空间目标由于受距离远、运动速度快、光照条件不佳和大气湍流等外界因素的影响较大，地基望远镜采集的图像一般存在严重的降质，降质图像表现出低分辨率和低信噪比的特点，成像模糊且细节无法分辨，可以获得的目标信息非常有限 ［ 1 1 ］ 。为获得更清晰的图像，现代大型望远镜通常采用AO系统。由于采用了波前校正技术，AO系统采集的图像像质有一定程度的改善，但受变形镜校正能力、波前传感器探测精度，以及控制回路带宽等因素的限制，通常存在校正残余像差 ［ 2 2 ］ ，不能完全满足校正需求。而且波前校正本身也会引入新的噪声和误差，因此，AO图像中目标的高频信息仍然受到较大程度的抑制和衰减。通常采用传统的AO图像重建方法来提高图像质量，但图像事后重建只能恢复图像质量达到光学系统的衍射极限，因此AO图像的超分辨率重建成为空间目标图像细节重建的主要方法。 图像超分辨重建主要有基于插值、基于建模以及基于深度学习的方法 ［ 3 3 - 4 4 3-4 ］ 。基于插值和基于建模的超分辨率重建虽然容易实现，但在处理图像时会出现细节退化、处理速度慢和先验知识依赖度高等问题。而深度学习作为一种能够从数据中捕捉有效特征的强大方法 ［ 5 5 - 6 6 5-6 ］ ，现已广泛应用于图像超分辨率处理中 ［ 7 7 - 9 9 7-9 ］ 。为了提高空间目标AO图像的清晰度，改善图像质量，本文针对AO图像特点，提出一种基于密集残差块生成对抗网络（Generative Adversarial Network ，GAN）的AO图像超分辨率重建方法，构建了一个空间目标AO图像深度学习训练集，通过在数据集上对生成对抗超分辨率网络的稳定训练，提升了AO图像分辨率，有效改善了AO图像的质量。 2 相关工作 1 2.1　AO图像重建 2 传统AO图像重建方法主要包括盲解卷积法、斑点重建法和相位差法等 ［ 2 2 ］ 。其中，盲解卷积法采用单帧或连续几帧退化图像就可以完成图像重建，对成像系统和处理对象没有特殊要求，实际运用最为灵活，但该方法需要大量的先验信息对算法的求解加以约束，否则难以获得理想的处理结果；斑点重建利用大气湍流的统计特性分别重建目标的相位和振幅，已大量应用于太阳高分辨率图像处理中，但该方法需要用到大气湍流的统计信息，通常需要上百帧短曝光退化图像才能完成一次图像重建，因此在成像过程中目标不能出现明显变化；相位差法是一种基于波前像差探测的图像复原技术，通过同时采集同一目标经不同光学通道的一组或多组短曝光图像，不仅可以重建出退化目标的清晰图像，还可以获得导致目标退化的畸变波前，重建结果的可靠性得到大幅提高，但该技术需要一套额外的成像装置，而且算法对系统参数比较敏感，在工程运用中还存在一些技术难点。综上所述，以上3种技术都有各自特点，适用于不同的应用场景和处理对象，但是要应用在AO系统中还需要有针对性地加以改进。Matson等 ［ 10 10 ］ 提出一种基于最大似然估计（MLE）的多帧盲解卷积（MFBD）算法用来重建人造卫星图像，但在处理中需要支持度和正则化约束作为约束条件，同时需要多帧序列图像以保证算法的鲁棒性。田雨等 ［ 11 11 ］ 提出一种基于帧选择与多帧降质图像盲解卷积的图像处理方法用于AO图像的高分辨率恢复，有效补偿了AO系统校正带来的影响，恢复出达到衍射极限的图像。但该方法需要筛选出合适的多帧图像进行迭代盲解卷积，同时需要正则化约束作为先验知识。 传统AO图像处理方法在空间目标图像重建中的广泛应用，证明了这些方法的可靠性 ［ 12 12 - 13 13 12-13 ］ 。但这类方法的缺点是需要先验知识对计算进行约束，迭代计算量大，并且针对特定任务需要使用专用的方法进行重建，通用性不强。 现阶段已有许多基于深度学习的智能模型被应用于图像重建任务 ［ 14 14 - 16 16 14-16 ］ 。深度学习方法的应用可以有效提高处理效率，同时在一定程度上提高图像的修复效果，最重要的是减少先验知识的约束，削弱了图像重构中噪声的影响。 Ramos等 ［ 17 17 ］ 提出一种基于深度神经网络的多帧太阳图像重建方法，通过在网络中输入新的图像帧，在输出端直接获取复原后的校正图像，输入的序列图像会逐步提高输出图像的质量，相比传统方法获得了更快的处理速度和更好的复原效果。史江林在2019年提出一种基于条件生成对抗网络（cGAN）的空间目标图像盲复原方法 ［ 18 18 ］ ，该方法通过构建生成模型和判别模型实现模糊观测图像到清晰图像的映射，准确恢复图像的边缘轮廓，有效改善了图像的高频细节。该方法不仅提高了复原精度，而且在相对较差的大气湍流条件下提高了单帧图像的复原效率。 基于深度学习的空间目标AO图像重建方法相较于传统方法，优点是处理速度快、计算时间短，便于实时重构；缺点则是需要构建针对任务特点的训练集与深度神经网络，且神经网络训练过程耗时较长。 2.2　图像超分辨率重建 2 图像超分辨率重建即用特定算法将同一场景中的低分辨率图像重建成高分辨率图像 ［ 19 19 ］ 。高分辨率图像因具有更高的像素密度，能够突破衍射极限获得图像更多的细节特征，而在实际场景中得到了广泛的应用。 图像超分辨率重建技术可根据输入图像的数量分为单帧图像超分辨率和多帧图像超分辨率。其中，单帧图像超分辨率重建技术凭借其灵活性、简便性及高实用性，已经普遍应用在图像压缩、医学成像 ［ 20 20 ］ 、遥感成像 ［ 21 21 ］ 和公共安防 ［ 22 22 ］ 等领域，是目前图像处理领域的研究热点。但是传统的单帧图像超分辨率算法仍有一定的局限性，随着放大倍数的增大，模型先验信息的不足使算法无法实现图像高频信息的重建。传统的单帧图像超分辨率方法主要分为三类：基于插值的超分辨率算法（最近邻内插、双三次插值等），这类算法虽简单但重建图像有伪影和振铃；基于建模的超分辨率算法（最大后验估计法 ［ 23 23 ］ 、迭代反向投影算法 ［ 24 24 ］ 等），这类算法相较于插值法重建效果较好，但模型运算效率低且受放大因子的影响较大；基于学习的超分辨率算法（局部嵌入、稀疏编码 ［ 25 25 ］ 等），该类算法的重建质量最好，是目前研究的主要方向。这些方法都通过学习高分辨率图像与低分辨率图像样本对的映射函数，或者利用图像的内部相似性来重建高分辨率图像。 近年来，基于深度学习的超分辨率技术得到了积极的探索与发展。在自然图像处理领域，基于深度学习的超分辨率算法在已公开的图像数据集上取得了很好的重建效果。主流的网络模型包括卷积神经网络和GAN，这两个网络模型都能有效地恢复出图像的高频细节。但是，在空间目标AO图像超分辨率重建领域，突破衍射极限的超分辨率重建算法研究却不多见。一方面受限于AO图像本身质量不高，另一方面也受限于没有公开的AO图像训练集。本文将基于深度学习的GAN引入AO图像超分辨率重建中，以期改善空间目标AO图像质量，提高图像清晰度。 3 空间目标AO图像超分辨网络 1 本文将GAN引入AO图像超分辨率复原领域中，使用结合多级残差网络和密集连接形成的密集残差块来构建GAN，以提高网络深度，降低重建图像伪影，使训练更加容易，如 图1 图1 所示。在判别网络中使用相对平均判别器，以生成更稳定、质量更高的数据样本，提升模型的训练稳定性和图像重建质量。 3.1　网络结构 2 GAN是一种生成模型，基本思想是从训练数据库里获取很多的训练样本，从而学习这些训练案例生成的概率分布。本文生成器网络的输入为256×256的低分辨率空间目标AO图像，输出为1 024×1 024超分辨率重建的空间目标AO图像。在AO图像仿真训练集上进行监督训练，使生成器网络学习低分辨率AO图像到高分辨率AO图像的映射关系，从而实现对AO图像的超分辨率重建。 为了更好地改善图像质量，结合空间目标AO图像背景单一、分辨率有限且存在运动模糊、湍流模糊以及过曝等特点，在SRGAN ［ 8 8 ］ 网络结构上参考ESRGAN ［ 9 9 ］ 方法，对生成器网络进行了两项改进。首先去掉网络结构中的批归一化层（BN层），其次用多级残差网络和密集连接形成的密集残差块替代普通残差块（如 图1 图1 和 图2 图2 所示）。判别器网络仍然采用基于SRGAN的VGG网络结构（如 图3 图3 所示），但是参考Relativistic GAN ［ 26 26 ］ 改进了判别器网络损失函数。 对于不同的基于PSNR度量的任务（包括超分辨率和去模糊），去掉BN层能够提高任务性能并减小计算复杂度。BN层在训练时，使用一个batch的数据的均值和方差对该batch特征进行归一化。测试时，使用在整个训练集上估计的均值和方差进行特征归一化。当训练集和测试集的统计量相差很大时，BN层就会倾向于生成不好的伪影，并且限制模型的泛化能力。当BN层在较深网络层数的GAN框架下进行训练时，图像更容易产生伪影，降低了训练稳定性。因此，本文去掉了BN层，这样能提高模型的泛化能力，减少计算复杂度和内存占用率。 3.2　损失函数 2 本文采用相对平均判别器，其核心思想为：在训练中GAN应该同时降低真实数据为真的概率。GAN的标准判别器直接将生成样本 <math id="M1"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461106&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461099&type= 2.96333337 3.72533321 或真实图像 <math id="M2"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461111&type= 3.04800010 3.72533321 作为输入，判定该样本是真实图像的概率；而相对判别器将真假样本对 <math id="M3"><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461124&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461119&type= 10.92199993 4.48733330 作为输入，预测真实图像 <math id="M4"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461132&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461128&type= 3.04800010 3.72533321 相对生成假图像 <math id="M5"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461282&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461278&type= 2.96333337 3.72533321 更加真实的概率（见 图4 图4 ），从而使得判别器更稳健，生成对抗网络训练更稳定。 图4 图4 中， <math id="M6"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461166&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461161&type= 5.33400011 3.72533321 表示相对平均判别器， <math id="M7"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461174&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461171&type= 1.86266661 2.79399991 表示sigmoid激活函数， <math id="M8"><mi>C</mi><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461179&type= 8.72066593 3.97933316 表示未激活的判别器的输出， <math id="M9"><mi>E</mi><mfenced open="[" close="]" separators="|"><mrow><mo>⋅</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461192&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461189&type= 7.28133297 3.97933316 表示一个小批次的图像数据的平均操作。 在SRGAN中，标准判别器表示为： <math display="block" id="M10"><mi>D</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461202&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461198&type= 27.43199921 3.55599999 . 本文采用相对平均判别器表示： <math display="block" id="M11"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mi>E</mi></mrow><mrow><mi mathvariant="normal">x</mi><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">[</mo><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461206&type= 62.56866837 4.48733330 . 相对平均判别器的损失函数定义为： <math display="block" id="M12"><mtable><mtr><mtd><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">D</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">a</mi></mrow></msubsup><mo>=</mo><mo>-</mo><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">a</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>-</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">a</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461218&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461215&type= 51.05400085 10.83733368 与此对应的生成器网络的对抗损失函数为： <math display="block" id="M13"><mtable><mtr><mtd><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">a</mi></mrow></msubsup><mo>=</mo><mo>-</mo><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">a</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>-</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">a</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461227&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461224&type= 57.48867035 10.83733368 式中： <math id="M14"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo>=</mo><mi>G</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461238&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461233&type= 17.35666656 4.48733330 ， <math id="M15"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461251&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461242&type= 2.96333337 3.72533321 表示输入的低分辨率图像， <math id="M16"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461282&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461278&type= 2.96333337 3.72533321 表示生成的预测超分辨率图像， <math id="M17"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461266&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461262&type= 3.04800010 3.72533321 表示原始真实高分辨率图像。从 式（4） 式（4） 可以看到，生成器网络的对抗损失包含真实高分辨率图像 <math id="M18"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461270&type= 3.04800010 3.72533321 和预测超分辨率图像 <math id="M19"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461282&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461278&type= 2.96333337 3.72533321 两部分，而SRGAN中仅包含预测超分辨率图像 <math id="M20"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461290&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461285&type= 2.96333337 3.72533321 。这有助于学习到更加清晰的边缘和细节纹理。 生成器网络最终损失函数 <math id="M21"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461297&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461294&type= 4.14866638 3.72533321 由对抗损失 <math id="M22"><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">a</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461305&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461301&type= 4.91066647 3.97933316 ，感知损失 <math id="M23"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461313&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461309&type= 7.87400007 3.72533321 和内容损失 <math id="M24"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461320&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461317&type= 3.64066648 3.72533321 组成，即： <math display="block" id="M25"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi></mrow></msub><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">p</mi></mrow></msub><mo>+</mo><mi>λ</mi><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">a</mi></mrow></msubsup><mo>+</mo><mi>η</mi><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461327&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461323&type= 38.35400009 4.82600021 ， 其中： <math display="block" id="M26"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>G</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced><mo>-</mo><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461335&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461330&type= 35.39066696 5.33400011 ， <math display="block" id="M27"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">p</mi></mrow></msub><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><msub><mrow><mi>H</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>x</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>y</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>H</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow></munderover></mstyle><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>ϕ</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><msub><mrow><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></msub><mo>-</mo><msub><mrow><mi>ϕ</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><msub><mrow><mfenced separators="|"><mrow><mi>G</mi><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mfenced></mrow><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461343&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461338&type= 68.91867065 14.22399998 ， 其中： <math id="M28"><msub><mrow><mi>ϕ</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461352&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461347&type= 4.48733330 4.57200003 是预先训练好的VGG-19卷积网络模型结构中第 <math id="M29"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461360&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461356&type= 1.10066664 2.79399991 个池化层前、第 <math id="M30"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461369&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461364&type= 1.60866666 3.64066648 个卷积层输出的特征图， <math id="M31"><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461374&type= 6.09600019 3.72533321 和 <math id="M32"><msub><mrow><mi>H</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461384&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461380&type= 5.33400011 3.72533321 是对应特征图的维数。 4 实验与讨论 1 4.1　构建AO图像训练数据集 2 本文中，空间目标AO图像是地基AO望远镜CCD成像系统获取的空间目标和背景信息的二维图像。受距离远、运动速度快、光照条件不佳和大气湍流等外界因素的影响，AO图像具有背景单一、分辨率有限，且存在运动模糊、湍流模糊以及过曝等特点。针对AO图像特点，在构建训练数据集时除了考虑运动、湍流模糊之外，还需要考虑系统噪声的影响。系统噪声主要包括光子噪声和电子噪声。假设光子噪声服从泊松分布，电子噪声服从高斯分布，将这些噪声分别添加到仿真退化图像中。 在具体构造训练数据集时，对积累的80个重点空间目标的3D仿真模型分别进行5种不同对地姿态渲染，得到400帧清晰的空间目标图像（1 024×1 024），并进行数据增强（包括镜像和翻转）得到1 200帧1 024×1 024的高分辨率空间目标灰度图像。然后，对1 200帧高分辨率图像 <math id="M33"><msup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">H</mi><mi mathvariant="normal">R</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461418&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461414&type= 4.74133301 3.04800010 降采样得到256×256的低分辨率图像。在大气湍流强度为 <math id="M34"><mrow><mrow><mi>D</mi></mrow><mo>/</mo><mrow><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461654&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461651&type= 6.60400009 3.72533321 =5的条件下，对1 200帧低分辨率图像分别进行Zernike多项式降质仿真和功率谱反演法降质仿真，以模拟大气湍流相位屏对空间目标图像造成的降质影响，此时得到2 400帧低分辨率降质图像。同时，对这2 400帧低分辨率降质图像添加泊松噪声和方差为0.01的高斯噪声，最终得到2 400对低分辨率降质图像 <math id="M35"><msup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461410&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461407&type= 4.48733330 3.04800010 和对应高分辨率图像 <math id="M36"><msup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">H</mi><mi mathvariant="normal">R</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461418&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461414&type= 4.74133301 3.04800010 的空间目标自适应光学图像仿真数据集（ <math id="M37"><msup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">R</mi></mrow></msup><mo>↔</mo><msup><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">H</mi><mi mathvariant="normal">R</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461427&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461421&type= 13.88533401 3.04800010 ），如 图5 图5 所示。 4.2　训练参数设置 2 实验中，超分辨率因子为4，即输入低分辨率图像为256×256，输出超分辨率图像为1 024×1 024。训练生成对抗网络在2块NVIDIA GeForce RTX 3090 GPU图像处理工作站上进行，训练集为上节介绍的空间目标AO仿真图像。通过4倍降采样获取网络输入的低分辨率图像，输入数据的batchsize设为16。GAN的训练更新迭代次数为10 5 ，学习率设为10 - 4 ，交替更新生成器网络和判别器网络。本文中的生成器网络有16个RRDB密集残差块。 4.3　评价指标选取 2 这里以仿真图像为例测试了基于GAN的AO图像超分辨率性能，在仿真测试之前，定义了两种图像性能评价指标，分别为：峰值信噪比（Peak Signal to Noise Ratio， PSNR）和结构相似度（Structural Similarity Index Measure， SSIM）。 PSNR是一种客观图像质量评价指标，它表示信号的最大功率与可能影响其表示精度的噪声功率的比率，即最大信噪比，具体公式如下： <math display="block" id="M38"><mi>P</mi><mi>S</mi><mi>N</mi><mi>R</mi><mo>=</mo><mn mathvariant="normal">10</mn><mo>⋅</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mfenced separators="|"><mrow><mfrac><mrow><mi>M</mi><mi>A</mi><msubsup><mrow><mi>X</mi></mrow><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow><mrow><mi>M</mi><mi>S</mi><mi>E</mi></mrow></mfrac></mrow></mfenced><mo>=</mo><mn mathvariant="normal">20</mn><mo>⋅</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mfenced separators="|"><mrow><mfrac><mrow><mi>M</mi><mi>A</mi><msub><mrow><mi>X</mi></mrow><mrow><mi>I</mi></mrow></msub></mrow><mrow><mroot><mrow><mi>M</mi><mi>S</mi><mi>E</mi></mrow><mrow/></mroot></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461445&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461443&type= 73.23667145 10.83733368 ， 其中： <math display="block" id="M39"><mi>M</mi><mi>S</mi><mi>E</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi><mi>n</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><msup><mrow><mfenced open="[" close="]" separators="|"><mrow><mi>I</mi><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced><mo>-</mo><mi>K</mi><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461450&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461447&type= 59.52066422 9.05933285 ， 式中： <math id="M40"><mi>M</mi><mi>S</mi><mi>E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461456&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461453&type= 8.38199997 2.87866688 表示参考图像 <math id="M41"><mi>I</mi><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461462&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461459&type= 9.48266602 4.74133301 和噪声图像 <math id="M42"><mi>K</mi><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461468&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461465&type= 10.92199993 4.74133301 之间的均方误差， <math id="M43"><mi>M</mi><mi>A</mi><msub><mrow><mi>X</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461474&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461472&type= 9.82133293 3.72533321 表示图像点颜色的最大数值，如果每个采样点用8位表示，那么就是255。MSE越小，PSNR越大，图像质量越好。 SSIM是两个图像相似性的另一个度量，它将图像结构相似性定义为3个不同因素的组合：亮度，对比度和结构。均值用作亮度的估计值，标准差用作对比度的估计值，协方差用作结构相似度的度量。具体公式如下： <math display="block" id="M44"><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo>=</mo><mi>L</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mi mathvariant="normal">*</mi><mi>C</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mi mathvariant="normal">*</mi><mi>S</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461481&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461478&type= 54.69466782 4.82600021 ， <math display="block" id="M45"><mi>L</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow><mrow><msubsup><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461487&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461484&type= 36.40666580 9.14400005 ， <math display="block" id="M46"><mi>C</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow><mrow><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461495&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461491&type= 36.66066742 9.14400005 ， <math display="block" id="M47"><mi>S</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mo>=</mo><mfrac><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></mrow><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461503&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461500&type= 31.07266808 8.97466660 ， 其中： <math id="M48"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461609&type= 2.20133328 2.79399991 和 <math id="M49"><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461614&type= 2.11666679 3.72533321 表示两幅图像， <math id="M50"><mi>L</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461529&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461525&type= 12.10733318 4.82600021 表示亮度估计值， <math id="M51"><mi>C</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461536&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461533&type= 12.44600010 4.82600021 表示对比度估计值， <math id="M52"><mi>S</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461543&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461540&type= 11.93799973 4.82600021 表示结构估计值， <math id="M53"><msub><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461547&type= 3.38666677 4.57200003 表示图像 <math id="M54"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461609&type= 2.20133328 2.79399991 的均值， <math id="M55"><msub><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461563&type= 3.30200005 4.57200003 表示图像 <math id="M56"><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461614&type= 2.11666679 3.72533321 的均值， <math id="M57"><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461576&type= 3.21733332 3.97933316 是图像 <math id="M58"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461609&type= 2.20133328 2.79399991 的方差， <math id="M59"><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461589&type= 3.21733332 3.97933316 表示图像 <math id="M60"><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461614&type= 2.11666679 3.72533321 的方差， <math id="M61"><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461605&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461602&type= 3.89466691 3.72533321 表示图像 <math id="M62"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461609&type= 2.20133328 2.79399991 和图像 <math id="M63"><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461614&type= 2.11666679 3.72533321 的协方差， <math id="M64"><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461620&type= 2.70933342 3.72533321 ， <math id="M65"><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461629&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461625&type= 2.70933342 3.72533321 和 <math id="M66"><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461634&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461631&type= 2.70933342 3.72533321 是用来保持稳定的常数。当 <math id="M67"><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>=</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>/</mo><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461641&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461637&type= 14.05466747 4.14866638 时， <math display="block" id="M68"><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo>=</mo><mfrac><mrow><mfenced separators="|"><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced><mfenced separators="|"><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></mrow><mrow><mfenced separators="|"><mrow><msubsup><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced><mfenced separators="|"><mrow><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461647&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461644&type= 59.01266098 11.26066685 . SSIM值越大，两张图像越相似。在极端情况下，当两张图像完全相同时，SSIM值为1。 4.4　实验结果讨论 2 本文在大气湍流强度为 <math id="M69"><mrow><mrow><mi>D</mi></mrow><mo>/</mo><mrow><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461654&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=35461651&type= 6.60400009 3.72533321 =5的条件下，以哈勃望远镜1，sat1卫星和哈勃望远镜2共3组的自适应光学仿真图像（256×256）为例，测试验证基于密集残差块的GAN对空间目标AO图像的重建效果。对比算法选择双三次插值超分辨率方法（Bicubic）、最近邻插值超分辨率方法（Nearest）和盲图像超分辨率网络方法（BSRNet），质量评价指标选择PSNR和SSIM，实验结果如 图6 图6 所示。 从 图6 图6 中可以看出，哈勃望远镜1的自适应光学图像经过4种方法的超分辨率处理，图像分辨率得到提升，图像质量有所改善。尤其是基于深度学习的BSRNet方法和本文的基于密集残差块的GAN方法，在图像高频细节方面表现更佳。太阳帆板和中间结构件的高频信息得到了有效的恢复及重建。 表1 表1 通过客观评价指标进一步验证了主观视觉评价，相较于传统插值方法，PSNR提高11.6%以上，SSIM提高10.3%以上；相较于深度学习盲图像超分辨率网络方法，PSNR提高1.5%，SSIM提高5%。 方 法 PSNR SSIM Bicubic 24.65 0.744 9 Nearest 25.37 0.825 1 BSRNet 27.91 0.867 4 Ours 28.32 0.910 5 图7 图7 为sat1卫星AO图像4种不同方法的超分辨率结果。从图中可以发现，BSRNet方法和本文GAN方法的重建效果较为明显，BSRNet虽然在图像恢复中能够有效恢复图像边缘轮廓信息，但是在细节纹理上表现一般，有些纹理过于平滑，导致视觉评价效果不如GAN方法。这也可以从 表2 表2 的客评价指标中得到证实，相较于传统插值方法，PSNR提高了17.5%以上，SSIM提高了13.4%以上；相较于深度学习盲图像超分辨率网络方法，PSNR提高了8.1%，SSIM提高了6.1%。 方 法 PSNR SSIM Bicubic 25.47 0.799 1 Nearest 24.78 0.784 2 BSRNet 27.69 0.854 6 Ours 29.93 0.906 9 图8 图8 进一步验证了基于深度学习方法在自适应光学图像超分辨领域的可行性。通过主观对比可知，BSRNet方法和GAN方法在AO图像超分辨率重建上明显优于传统的Bicubic插值和Nearest插值。当然，这也依赖于AO图像训练集的先验信息和强大的算力平台支撑。本文方法在哈勃望远镜2的AO图像超分重建中，在边缘轮廓、纹理细节等高频信息方面都取得了最好的效果。 表3 表3 的PSNR和SSIM客观评价指标进一步证实了主观判断的可靠性，相较于传统插值方法，PSNR提高18.3%以上，SSIM提高11.8%以上；相较于深度学习盲图像超分辨率网络方法，PSNR提高10%，SSIM提高3.8%。 方 法 PSNR SSIM Bicubic 25.66 0.782 5 Nearest 24.94 0.835 1 BSRNet 27.59 0.899 7 Ours 30.37 0.934 2 5 结 论 1 本文将GAN引入AO图像超分辨率复原中，通过使用结合多级残差网络和密集连接形成的密集残差块来构建生成网络，以提高网络深度，降低重建图像伪影，使训练更加容易。构建空间目标AO图像专用训练数据集，实现了基于密集残差块生成对抗超分辨率网络的训练。将相对平均损失函数引入判别器网络，使判别器更稳健，GAN训练更稳定。实验结果表明，基于GAN的超分辨率方法相较传统插值超分辨率方法，PSNR提高11.6%以上，SSIM提高10.3%以上；相较基于深度学习的盲图像超分辨率方法，PSNR平均提高了6.5%，SSIM平均提高了4.9%。该方法提高了图像分辨率水平，增强了图像边缘轮廓，锐化了图像细节纹理，实现了对降质观测AO图像的恢复重建。如何均衡密集差块网络深度与网络训练效率之间的关系，是下一步需要研究解决的问题。 参考文献 姜文汉 . 自适应光学发展综述 ［J］. 光电工程 ， 2018 ， 45 （ 3 ）： 7 - 21 . 自适应光学发展综述 JIANG W H . Overview of adaptive optics development ［J］. Opto-Electronic Engineering ， 2018 ， 45 （ 3 ）： 7 - 21 . （in Chinese） Overview of adaptive optics development 鲍华 ， 饶长辉 ， 田雨 ， 等 . 自适应光学图像事后重建技术研究进展 ［J］. 光电工程 ， 2018 ， 45 （ 3 ）： 64 - 73 . doi: 10.12086/oee.2018.170730 http://dx.doi.org/10.12086/oee.2018.170730 自适应光学图像事后重建技术研究进展 BAO H ， RAO CH H ， TIAN Y ， et al . Research progress on adaptive optical image post reconstruction ［J］. Opto-Electronic Engineering ， 2018 ， 45 （ 3 ）： 64 - 73 . （in Chinese） . doi: 10.12086/oee.2018.170730 http://dx.doi.org/10.12086/oee.2018.170730 Research progress on adaptive optical image post reconstruction 钟梦圆 ， 姜麟 . 超分辨率图像重建算法综述 ［J］. 计算机科学与探索 ， 2022 ， 16 （ 5 ）： 972 - 990 . doi: 10.3778/j.issn.1673-9418.2111126 http://dx.doi.org/10.3778/j.issn.1673-9418.2111126 超分辨率图像重建算法综述 ZHONG M Y ， JIANG L . Review of super-resolution image reconstruction algorithms ［J］. Journal of Frontiers of Computer Science and Technology ， 2022 ， 16 （ 5 ）： 972 - 990 . （in Chinese） . doi: 10.3778/j.issn.1673-9418.2111126 http://dx.doi.org/10.3778/j.issn.1673-9418.2111126 Review of super-resolution image reconstruction algorithms 黄健 ， 赵元元 ， 郭苹 ， 等 . 深度学习的单幅图像超分辨率重建方法综述 ［J］. 计算机工程与应用 ， 2021 ， 57 （ 18 ）： 13 - 23 . 深度学习的单幅图像超分辨率重建方法综述 HUANG J ， ZHAO Y Y ， GUO P ， et al . Survey of single image super-resolution based on deep learning ［J］. Computer Engineering and Applications ， 2021 ， 57 （ 18 ）： 13 - 23 . （in Chinese） Survey of single image super-resolution based on deep learning MA H M ， LIU H Q ， QIAO Y ， et al . Numerical study of adaptive optics compensation based on Convolutional Neural Networks ［J］. Optics Communications ， 2019 ， 433 ： 283 - 289 . doi: 10.1016/j.optcom.2018.10.036 http://dx.doi.org/10.1016/j.optcom.2018.10.036 Numerical study of adaptive optics compensation based on Convolutional Neural Networks KE H ， XU B ， XU Z X ， et al . Self-learning control for wavefront sensorless adaptive optics system through deep reinforcement learning ［J］. Optik ， 2019 ， 178 ： 785 - 793 . doi: 10.1016/j.ijleo.2018.09.160 http://dx.doi.org/10.1016/j.ijleo.2018.09.160 Self-learning control for wavefront sensorless adaptive optics system through deep reinforcement learning FENG X B ， SU X Q ， SHEN J G ， et al . Single space object image denoising and super-resolution reconstructing using deep convolutional networks ［J］. Remote Sensing ， 2019 ， 11 （ 16 ）： 1910 . doi: 10.3390/rs11161910 http://dx.doi.org/10.3390/rs11161910 Single space object image denoising and super-resolution reconstructing using deep convolutional networks LEDIG C ， THEIS L ， HUSZÁR F ， et al . Photo-realistic single image super-resolution using a generative adversarial network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 105 - 114 . doi: 10.1109/cvpr.2017.19 http://dx.doi.org/10.1109/cvpr.2017.19 Photo-realistic single image super-resolution using a generative adversarial network 蔡体健 ， 彭潇雨 ， 石亚鹏 ， 等 . 通道注意力与残差级联的图像超分辨率重建 ［J］. 光学 精密工程 ， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142 通道注意力与残差级联的图像超分辨率重建 CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142 Channel attention and residual concatenation network for image super-resolution MATSON C L ， BORELLI K ， JEFFERIES S ， et al . Fast and optimal multiframe blind deconvolution algorithm for high-resolution ground-based imaging of space objects ［J］. Applied Optics ， 2009 ， 48 （ 1 ）： A75 - A92 . doi: 10.1364/ao.48.000a75 http://dx.doi.org/10.1364/ao.48.000a75 Fast and optimal multiframe blind deconvolution algorithm for high-resolution ground-based imaging of space objects 田雨 ， 饶长辉 ， 魏凯 . 基于帧选择和多帧降质图像盲解卷积的自适应光学图像恢复 ［J］. 天文学报 ， 2008 ， 49 （ 4 ）： 455 - 462 . doi: 10.3321/j.issn:0001-5245.2008.04.012 http://dx.doi.org/10.3321/j.issn:0001-5245.2008.04.012 基于帧选择和多帧降质图像盲解卷积的自适应光学图像恢复 TIAN Y ， RAO CH H ， WEI K . Adaptive optics images restoration based on frame selection and multi-frame blind deconvolution ［J］. Acta Astronomica Sinica ， 2008 ， 49 （ 4 ）： 455 - 462 . （in Chinese） . doi: 10.3321/j.issn:0001-5245.2008.04.012 http://dx.doi.org/10.3321/j.issn:0001-5245.2008.04.012 Adaptive optics images restoration based on frame selection and multi-frame blind deconvolution 武兴睿 . 基于PSF重构和改进的最大后验估计的自适应光学图像复原算法 ［J］. 液晶与显示 ， 2019 ， 34 （ 9 ）： 921 - 927 . doi: 10.3788/yjyxs20193409.0921 http://dx.doi.org/10.3788/yjyxs20193409.0921 基于PSF重构和改进的最大后验估计的自适应光学图像复原算法 WU X R . Adaptive optical image restoration method based on PSF reconstruction and improved Maximum A Posteriori estimation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 9 ）： 921 - 927 . （in Chinese） . doi: 10.3788/yjyxs20193409.0921 http://dx.doi.org/10.3788/yjyxs20193409.0921 Adaptive optical image restoration method based on PSF reconstruction and improved Maximum A Posteriori estimation 鲍华 ， 饶长辉 ， 田雨 ， 等 . 自适应光学图像事后重建技术研究进展 ［J］. 光电工程 ， 2018 ， 45 （ 3 ）： 64 - 73 . doi: 10.12086/oee.2018.170730 http://dx.doi.org/10.12086/oee.2018.170730 自适应光学图像事后重建技术研究进展 BAO H ， RAO CH H ， TIAN Y ， et al . Research progress on adaptive optical image post reconstruction ［J］. Opto-Electronic Engineering ， 2018 ， 45 （ 3 ）： 64 - 73 . （in Chinese） . doi: 10.12086/oee.2018.170730 http://dx.doi.org/10.12086/oee.2018.170730 Research progress on adaptive optical image post reconstruction CHEN G P ， GAO Z S ， WANG Q L ， et al . Blind de-convolution of images degraded by atmospheric turbulence ［J］. Applied Soft Computing ， 2020 ， 89 ： 106131 . doi: 10.1016/j.asoc.2020.106131 http://dx.doi.org/10.1016/j.asoc.2020.106131 Blind de-convolution of images degraded by atmospheric turbulence SCHAWINSKI K ， ZHANG C ， ZHANG H T ， et al . Generative adversarial networks recover features in astrophysical images of galaxies beyond the deconvolution limit ［J］. Monthly Notices of the Royal Astronomical Society： Letters ， 2017 ， 467 （ 1 ）： L110 - L114 . Generative adversarial networks recover features in astrophysical images of galaxies beyond the deconvolution limit SCHULER C J ， HIRSCH M ， HARMELING S ， et al . Learning to deblur ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 7 ）： 1439 - 1451 . doi: 10.1109/tpami.2015.2481418 http://dx.doi.org/10.1109/tpami.2015.2481418 Learning to deblur ASENSIO RAMOS A ， DE LA CRUZ RODRÍGUEZ J ， PASTOR YABAR A . Real-time， multiframe， blind deconvolution of solar images ［J］. Astronomy & Astrophysics ， 2018 ， 620 ： A73 . doi: 10.1051/0004-6361/201833648 http://dx.doi.org/10.1051/0004-6361/201833648 Real-time， multiframe， blind deconvolution of solar images SHI J L ， ZHANG R Z ， GUO S P ， et al . Space targets adaptive optics images blind restoration by convolutional neural network ［J］. Optical Engineering ， 2019 ， 58 ： 093102 . doi: 10.1117/1.oe.58.9.093102 http://dx.doi.org/10.1117/1.oe.58.9.093102 Space targets adaptive optics images blind restoration by convolutional neural network TSAI R ， HUANG T S . Multiframe image restoration and registration ［J］. Advances in Computer Vision and Image Processing ， 1984 ， 1 （ 2 ）： 317 - 339 . Multiframe image restoration and registration GREENSPAN H . Super-resolution in medical imaging ［J］. The Computer Journal ， 2008 ， 52 （ 1 ）： 43 - 63 . doi: 10.1093/comjnl/bxm075 http://dx.doi.org/10.1093/comjnl/bxm075 Super-resolution in medical imaging THORNTON M W ， ATKINSON P M ， HOLLAND D A . Sub-pixel mapping of rural land cover objects from fine spatial resolution satellite sensor imagery using super-resolution pixel-swapping ［J］. International Journal of Remote Sensing ， 2006 ， 27 （ 3 ）： 473 - 491 . doi: 10.1080/01431160500207088 http://dx.doi.org/10.1080/01431160500207088 Sub-pixel mapping of rural land cover objects from fine spatial resolution satellite sensor imagery using super-resolution pixel-swapping 万雪芬 ， 韩芳 ， 蒋学芹 ， 等 . 视频监控图像的超分辨率复原研究 ［J］. 激光杂志 ， 2014 ， 35 （ 3 ）： 5 - 8 . doi: 10.3969/j.issn.0253-2743.2014.03.003 http://dx.doi.org/10.3969/j.issn.0253-2743.2014.03.003 视频监控图像的超分辨率复原研究 WAN X F ， HAN F ， JIANG X Q ， et al . Research on super-resolution surveillance image reconstruction ［J］. Laser Journal ， 2014 ， 35 （ 3 ）： 5 - 8 . （in Chinese） . doi: 10.3969/j.issn.0253-2743.2014.03.003 http://dx.doi.org/10.3969/j.issn.0253-2743.2014.03.003 Research on super-resolution surveillance image reconstruction 张磊 ， 杨建峰 ， 薛彬 ， 等 . 改进的最大后验概率估计法实现单幅图像超分辨率重建 ［J］. 激光与光电子学进展 ， 2011 ， 48 （ 1 ）： 82 - 87 . doi: 10.3788/lop48.011003 http://dx.doi.org/10.3788/lop48.011003 改进的最大后验概率估计法实现单幅图像超分辨率重建 ZHANG L ， YANG J F ， XUE B ， et al . Modified MAP algorithm for single frame super-resolution reconstruction ［J］. Laser & Optoelectronics Progress ， 2011 ， 48 （ 1 ）： 82 - 87 . （in Chinese） . doi: 10.3788/lop48.011003 http://dx.doi.org/10.3788/lop48.011003 Modified MAP algorithm for single frame super-resolution reconstruction 赵芳薇 ， 邱钧 ， 刘畅 . 一种反投影模型下的图像重建迭代算法 ［J］. 中北大学学报（自然科学版） ， 2015 ， 36 （ 5 ）： 577 - 584 . 一种反投影模型下的图像重建迭代算法 ZHAO F W ， QIU J ， LIU CH . An iterative algorithm for image reconstruction based on back-projection model ［J］. Journal of North University of China （Natural Science Edition） ， 2015 ， 36 （ 5 ）： 577 - 584 . （in Chinese） An iterative algorithm for image reconstruction based on back-projection model WANG Z W ， LIU D ， YANG J C ， et al . Deep networks for image super-resolution with sparse prior ［C］. 2015 IEEE International Conference on Computer Vision . 713，2015 ， Santiago， Chile . IEEE ， 2015 ： 370 - 378 . doi: 10.1109/iccv.2015.50 http://dx.doi.org/10.1109/iccv.2015.50 Deep networks for image super-resolution with sparse prior JOLICOEUR M A . The relativistic discriminator： a key element missing from standard GAN ［EB/OL］. arXiv preprint arXiv ： 1807 . 00734 ， 2018 . https：//arxiv.org/abs/1807.00734 https://arxiv.org/abs/1807.00734 . The relativistic discriminator： a key element missing from standard GAN 10.37188/OPE.20223017.2155 TP394.1 TH691.9 A 1004-924X（2022）17-2155-11 景海钊,史江林,邱梦哲等.基于密集残差块生成对抗网络的空间目标图像超分辨率重建[J].光学精密工程,2022,30(17):2155-2165. 景海钊,史江林,邱梦哲等.基于密集残差块生成对抗网络的空间目标图像超分辨率重建[J].光学精密工程,2022,30(17):2155-2165. JING Haizhao,SHI Jianglin,QIU Mengzhe,et al.Super-resolution reconstruction method for space target images based on dense residual block-based GAN[J].Optics and Precision Engineering,2022,30(17):2155-2165. JING Haizhao,SHI Jianglin,QIU Mengzhe,et al.Super-resolution reconstruction method for space target images based on dense residual block-based GAN[J].Optics and Precision Engineering,2022,30(17):2155-2165. 应用光学国家重点实验室资助项目（No.SKLAO2021001A04） 2022-06-07 2022-06-22 2022-09-10 2022-10-08 光学精密工程 17 30