基于密集残差块生成对抗网络的空间目标图像超分辨率重建

景海钊; 史江林; 邱梦哲; 齐勇; 朱文骁

doi:10.37188/OPE.20223017.2155

您当前的位置：

首页 >

文章列表页 >

基于密集残差块生成对抗网络的空间目标图像超分辨率重建

信息科学 | 更新时间：2022-10-08

- 基于密集残差块生成对抗网络的空间目标图像超分辨率重建
- Super-resolution reconstruction method for space target images based on dense residual block-based GAN
- 光学精密工程 2022年30卷第17期页码：2155-2165
- 作者机构：
  
  1.陕西科技大学陕西人工智能联合实验室，陕西西安 710021
  2.西安交通大学系统工程研究所，陕西西安 710049
  3.西安卫星测控中心，陕西西安 710043
  4.陕西科技大学电子信息与人工智能学院，陕西西安 710021
- 作者简介：
  
  [ "景海钊（2000-），男，陕西西安人，主要从事机器视觉与图像处理方面的研究。E-mail： 201915030414@sust.edu.cn" ]
  [ "史江林（1989-），男，湖北枣阳人，博士研究生，工程师，2011年、2016年于西安交通大学分别获得学士、硕士学位，主要从事空间目标探测/识别、人工智能技术在目标探测/成像/特性分析等方面的研究。E-mail：shijianglin89@163.com" ]
- 基金信息：
  
  应用光学国家重点实验室资助项目(SKLAO2021001A04)
- DOI：10.37188/OPE.20223017.2155
  中图分类号： TP394.1;TH691.9
- 收稿日期：2022-06-07，
  
  修回日期：2022-06-22，
  
  纸质出版日期：2022-09-10
- 稿件说明：
移动端阅览
景海钊,史江林,邱梦哲等.基于密集残差块生成对抗网络的空间目标图像超分辨率重建[J].光学精密工程,2022,30(17):2155-2165.

JING Haizhao,SHI Jianglin,QIU Mengzhe,et al.Super-resolution reconstruction method for space target images based on dense residual block-based GAN[J].Optics and Precision Engineering,2022,30(17):2155-2165.
景海钊,史江林,邱梦哲等.基于密集残差块生成对抗网络的空间目标图像超分辨率重建[J].光学精密工程,2022,30(17):2155-2165. DOI： 10.37188/OPE.20223017.2155.

JING Haizhao,SHI Jianglin,QIU Mengzhe,et al.Super-resolution reconstruction method for space target images based on dense residual block-based GAN[J].Optics and Precision Engineering,2022,30(17):2155-2165. DOI： 10.37188/OPE.20223017.2155.

摘要

为了获取更高分辨率和清晰度的空间目标光学图像，需对地基自适应光学（Adaptive Optics，AO）成像望远镜校正后的降质图像进行超分辨率重建。针对空间目标AO图像背景单一、分辨率有限且存在运动模糊、湍流模糊以及过曝等特点，提出基于深度学习的生成对抗网络（Generative Adversarial Networks，GAN）方法来实现空间目标AO图像的超分辨率重建，构建了空间目标AO仿真图像训练集用于神经网络训练，提出了一种基于密集残差块的GAN超分辨率重建方法，通过将传统残差网络改为密集残差块，提高网络深度，将相对平均损失函数引入判别器网络，从而使得判别器更稳健，GAN训练更稳定。实验结果表明：本文提出的方法相较传统插值超分辨率方法PSNR提高11.6%以上，SSIM提高10.3%以上，相较基于深度学习的盲图像超分辨率方法PSNR平均提高6.5%，SSIM平均提高4.9%。该方法有效实现了空间目标AO图像的清晰化重建，降低了重建图像的伪影，丰富了图像细节。

Abstract

To obtain the optical images of space targets with higher resolution and clarity， it is necessary to perform super-resolution reconstruction on the degraded images corrected by ground-based adaptive optics （AO） imaging telescopes. The image super-resolution reconstruction method based on deep learning has a fast operation speed and provides rich high-frequency detail information of the image； it has been widely used in natural， medical， and remote sensing images， among other applications. Aiming at the characteristics of spatial target AO images with a single background， limited resolution， motion blur， turbulent blur， and overexposure， this study proposes using a deep learning-based generative adversarial network （GAN） method to realize the super-resolution of spatial target AO images. For resolution reconstruction， a training set of spatial target AO simulation images is first constructed for neural network training， and a GAN super-resolution reconstruction method based on dense residual blocks is then proposed. By changing the traditional residual network to dense residual blocks， improving the network depth， and introducing a relative average loss function into the discriminator network， the discriminator becomes more robust， and the training of the generative adversarial network becomes more stable. Experiments show that the proposed method improves the peak-to-noise ratio （PSNR） and structural similarity index measure （SSIM） by more than 11.6% and 10.3%， respectively， compared with traditional interpolation super-resolution methods. In addition， it improves the PSNR and SSIM by 6.5% and 4.9% on average， respectively， compared with the deep learning-based blind image super-resolution method. The proposed method effectively realizes the clear reconstruction of a spatial target AO image， reduces the artifacts of the reconstructed image， enriches image details， and achieves a better reconstruction effect.

关键词

Keywords

references

姜文汉 . 自适应光学发展综述［J］. 光电工程， 2018 ， 45 （ 3 ）： 7 - 21 .

JIANG W H . Overview of adaptive optics development ［J］. Opto-Electronic Engineering ， 2018 ， 45 （ 3 ）： 7 - 21 . （in Chinese）

鲍华，饶长辉，田雨，等 . 自适应光学图像事后重建技术研究进展［J］. 光电工程， 2018 ， 45 （ 3 ）： 64 - 73 . doi: 10.12086/oee.2018.170730 http://dx.doi.org/10.12086/oee.2018.170730

BAO H ， RAO CH H ， TIAN Y ， et al . Research progress on adaptive optical image post reconstruction ［J］. Opto-Electronic Engineering ， 2018 ， 45 （ 3 ）： 64 - 73 . （in Chinese） . doi: 10.12086/oee.2018.170730 http://dx.doi.org/10.12086/oee.2018.170730

钟梦圆，姜麟 . 超分辨率图像重建算法综述［J］. 计算机科学与探索， 2022 ， 16 （ 5 ）： 972 - 990 . doi: 10.3778/j.issn.1673-9418.2111126 http://dx.doi.org/10.3778/j.issn.1673-9418.2111126

ZHONG M Y ， JIANG L . Review of super-resolution image reconstruction algorithms ［J］. Journal of Frontiers of Computer Science and Technology ， 2022 ， 16 （ 5 ）： 972 - 990 . （in Chinese） . doi: 10.3778/j.issn.1673-9418.2111126 http://dx.doi.org/10.3778/j.issn.1673-9418.2111126

黄健，赵元元，郭苹，等 . 深度学习的单幅图像超分辨率重建方法综述［J］. 计算机工程与应用， 2021 ， 57 （ 18 ）： 13 - 23 .

HUANG J ， ZHAO Y Y ， GUO P ， et al . Survey of single image super-resolution based on deep learning ［J］. Computer Engineering and Applications ， 2021 ， 57 （ 18 ）： 13 - 23 . （in Chinese）

MA H M ， LIU H Q ， QIAO Y ， et al . Numerical study of adaptive optics compensation based on Convolutional Neural Networks ［J］. Optics Communications ， 2019 ， 433 ： 283 - 289 . doi: 10.1016/j.optcom.2018.10.036 http://dx.doi.org/10.1016/j.optcom.2018.10.036

KE H ， XU B ， XU Z X ， et al . Self-learning control for wavefront sensorless adaptive optics system through deep reinforcement learning ［J］. Optik ， 2019 ， 178 ： 785 - 793 . doi: 10.1016/j.ijleo.2018.09.160 http://dx.doi.org/10.1016/j.ijleo.2018.09.160

FENG X B ， SU X Q ， SHEN J G ， et al . Single space object image denoising and super-resolution reconstructing using deep convolutional networks ［J］. Remote Sensing ， 2019 ， 11 （ 16 ）： 1910 . doi: 10.3390/rs11161910 http://dx.doi.org/10.3390/rs11161910

LEDIG C ， THEIS L ， HUSZÁR F ， et al . Photo-realistic single image super-resolution using a generative adversarial network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 105 - 114 . doi: 10.1109/cvpr.2017.19 http://dx.doi.org/10.1109/cvpr.2017.19

蔡体健，彭潇雨，石亚鹏，等 . 通道注意力与残差级联的图像超分辨率重建［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

MATSON C L ， BORELLI K ， JEFFERIES S ， et al . Fast and optimal multiframe blind deconvolution algorithm for high-resolution ground-based imaging of space objects ［J］. Applied Optics ， 2009 ， 48 （ 1 ）： A75 - A92 . doi: 10.1364/ao.48.000a75 http://dx.doi.org/10.1364/ao.48.000a75

田雨，饶长辉，魏凯 . 基于帧选择和多帧降质图像盲解卷积的自适应光学图像恢复［J］. 天文学报， 2008 ， 49 （ 4 ）： 455 - 462 . doi: 10.3321/j.issn:0001-5245.2008.04.012 http://dx.doi.org/10.3321/j.issn:0001-5245.2008.04.012

TIAN Y ， RAO CH H ， WEI K . Adaptive optics images restoration based on frame selection and multi-frame blind deconvolution ［J］. Acta Astronomica Sinica ， 2008 ， 49 （ 4 ）： 455 - 462 . （in Chinese） . doi: 10.3321/j.issn:0001-5245.2008.04.012 http://dx.doi.org/10.3321/j.issn:0001-5245.2008.04.012

武兴睿 . 基于PSF重构和改进的最大后验估计的自适应光学图像复原算法［J］. 液晶与显示， 2019 ， 34 （ 9 ）： 921 - 927 . doi: 10.3788/yjyxs20193409.0921 http://dx.doi.org/10.3788/yjyxs20193409.0921

WU X R . Adaptive optical image restoration method based on PSF reconstruction and improved Maximum A Posteriori estimation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 9 ）： 921 - 927 . （in Chinese） . doi: 10.3788/yjyxs20193409.0921 http://dx.doi.org/10.3788/yjyxs20193409.0921

CHEN G P ， GAO Z S ， WANG Q L ， et al . Blind de-convolution of images degraded by atmospheric turbulence ［J］. Applied Soft Computing ， 2020 ， 89 ： 106131 . doi: 10.1016/j.asoc.2020.106131 http://dx.doi.org/10.1016/j.asoc.2020.106131

SCHAWINSKI K ， ZHANG C ， ZHANG H T ， et al . Generative adversarial networks recover features in astrophysical images of galaxies beyond the deconvolution limit ［J］. Monthly Notices of the Royal Astronomical Society： Letters ， 2017 ， 467 （ 1 ）： L110 - L114 .

SCHULER C J ， HIRSCH M ， HARMELING S ， et al . Learning to deblur ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 7 ）： 1439 - 1451 . doi: 10.1109/tpami.2015.2481418 http://dx.doi.org/10.1109/tpami.2015.2481418

ASENSIO RAMOS A ， DE LA CRUZ RODRÍGUEZ J ， PASTOR YABAR A . Real-time， multiframe， blind deconvolution of solar images ［J］. Astronomy & Astrophysics ， 2018 ， 620 ： A73 . doi: 10.1051/0004-6361/201833648 http://dx.doi.org/10.1051/0004-6361/201833648

SHI J L ， ZHANG R Z ， GUO S P ， et al . Space targets adaptive optics images blind restoration by convolutional neural network ［J］. Optical Engineering ， 2019 ， 58 ： 093102 . doi: 10.1117/1.oe.58.9.093102 http://dx.doi.org/10.1117/1.oe.58.9.093102

TSAI R ， HUANG T S . Multiframe image restoration and registration ［J］. Advances in Computer Vision and Image Processing ， 1984 ， 1 （ 2 ）： 317 - 339 .

GREENSPAN H . Super-resolution in medical imaging ［J］. The Computer Journal ， 2008 ， 52 （ 1 ）： 43 - 63 . doi: 10.1093/comjnl/bxm075 http://dx.doi.org/10.1093/comjnl/bxm075

THORNTON M W ， ATKINSON P M ， HOLLAND D A . Sub-pixel mapping of rural land cover objects from fine spatial resolution satellite sensor imagery using super-resolution pixel-swapping ［J］. International Journal of Remote Sensing ， 2006 ， 27 （ 3 ）： 473 - 491 . doi: 10.1080/01431160500207088 http://dx.doi.org/10.1080/01431160500207088

万雪芬，韩芳，蒋学芹，等 . 视频监控图像的超分辨率复原研究［J］. 激光杂志， 2014 ， 35 （ 3 ）： 5 - 8 . doi: 10.3969/j.issn.0253-2743.2014.03.003 http://dx.doi.org/10.3969/j.issn.0253-2743.2014.03.003

WAN X F ， HAN F ， JIANG X Q ， et al . Research on super-resolution surveillance image reconstruction ［J］. Laser Journal ， 2014 ， 35 （ 3 ）： 5 - 8 . （in Chinese） . doi: 10.3969/j.issn.0253-2743.2014.03.003 http://dx.doi.org/10.3969/j.issn.0253-2743.2014.03.003

张磊，杨建峰，薛彬，等 . 改进的最大后验概率估计法实现单幅图像超分辨率重建［J］. 激光与光电子学进展， 2011 ， 48 （ 1 ）： 82 - 87 . doi: 10.3788/lop48.011003 http://dx.doi.org/10.3788/lop48.011003

ZHANG L ， YANG J F ， XUE B ， et al . Modified MAP algorithm for single frame super-resolution reconstruction ［J］. Laser & Optoelectronics Progress ， 2011 ， 48 （ 1 ）： 82 - 87 . （in Chinese） . doi: 10.3788/lop48.011003 http://dx.doi.org/10.3788/lop48.011003

赵芳薇，邱钧，刘畅 . 一种反投影模型下的图像重建迭代算法［J］. 中北大学学报（自然科学版）， 2015 ， 36 （ 5 ）： 577 - 584 .

ZHAO F W ， QIU J ， LIU CH . An iterative algorithm for image reconstruction based on back-projection model ［J］. Journal of North University of China （Natural Science Edition）， 2015 ， 36 （ 5 ）： 577 - 584 . （in Chinese）

WANG Z W ， LIU D ， YANG J C ， et al . Deep networks for image super-resolution with sparse prior ［C］. 2015 IEEE International Conference on Computer Vision . 713，2015 ， Santiago， Chile . IEEE ， 2015 ： 370 - 378 . doi: 10.1109/iccv.2015.50 http://dx.doi.org/10.1109/iccv.2015.50

JOLICOEUR M A . The relativistic discriminator： a key element missing from standard GAN ［EB/OL］. arXiv preprint arXiv ： 1807 . 00734 ， 2018 . https：//arxiv.org/abs/1807.00734 https://arxiv.org/abs/1807.00734 .

浏览量

664

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向单幅遥感图像超分辨率的空间自适应及频率融合网络

轻量级重参数化的遥感图像超分辨率重建网络设计

多尺度密集特征融合的图像超分辨率重建

稀疏表示下的噪声图像超分辨率重构

高精度影像测量系统中图像的超分辨率重建