Super-resolution reconstruction method for space target images based on dense residual block-based GAN

Haizhao JING; Jianglin SHI; Mengzhe QIU; Yong QI; Wenxiao ZHU

doi:10.37188/OPE.20223017.2155

您当前的位置：

首页 >

文章列表页 >

Super-resolution reconstruction method for space target images based on dense residual block-based GAN

Information Sciences | 更新时间：2022-10-08

- Super-resolution reconstruction method for space target images based on dense residual block-based GAN
- Optics and Precision Engineering Vol. 30, Issue 17, Pages: 2155-2165(2022)
- 作者机构：
  
  1.陕西科技大学陕西人工智能联合实验室，陕西西安 710021
  2.西安交通大学系统工程研究所，陕西西安 710049
  3.西安卫星测控中心，陕西西安 710043
  4.陕西科技大学电子信息与人工智能学院，陕西西安 710021
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223017.2155
  CLC： TP394.1;TH691.9
- Received：07 June 2022，
  
  Revised：22 June 2022，
  
  Published：10 September 2022
- 稿件说明：
移动端阅览
景海钊,史江林,邱梦哲等.基于密集残差块生成对抗网络的空间目标图像超分辨率重建[J].光学精密工程,2022,30(17):2155-2165.

JING Haizhao,SHI Jianglin,QIU Mengzhe,et al.Super-resolution reconstruction method for space target images based on dense residual block-based GAN[J].Optics and Precision Engineering,2022,30(17):2155-2165.
景海钊,史江林,邱梦哲等.基于密集残差块生成对抗网络的空间目标图像超分辨率重建[J].光学精密工程,2022,30(17):2155-2165. DOI： 10.37188/OPE.20223017.2155.

JING Haizhao,SHI Jianglin,QIU Mengzhe,et al.Super-resolution reconstruction method for space target images based on dense residual block-based GAN[J].Optics and Precision Engineering,2022,30(17):2155-2165. DOI： 10.37188/OPE.20223017.2155.

摘要

为了获取更高分辨率和清晰度的空间目标光学图像，需对地基自适应光学（Adaptive Optics，AO）成像望远镜校正后的降质图像进行超分辨率重建。针对空间目标AO图像背景单一、分辨率有限且存在运动模糊、湍流模糊以及过曝等特点，提出基于深度学习的生成对抗网络（Generative Adversarial Networks，GAN）方法来实现空间目标AO图像的超分辨率重建，构建了空间目标AO仿真图像训练集用于神经网络训练，提出了一种基于密集残差块的GAN超分辨率重建方法，通过将传统残差网络改为密集残差块，提高网络深度，将相对平均损失函数引入判别器网络，从而使得判别器更稳健，GAN训练更稳定。实验结果表明：本文提出的方法相较传统插值超分辨率方法PSNR提高11.6%以上，SSIM提高10.3%以上，相较基于深度学习的盲图像超分辨率方法PSNR平均提高6.5%，SSIM平均提高4.9%。该方法有效实现了空间目标AO图像的清晰化重建，降低了重建图像的伪影，丰富了图像细节。

Abstract

To obtain the optical images of space targets with higher resolution and clarity， it is necessary to perform super-resolution reconstruction on the degraded images corrected by ground-based adaptive optics （AO） imaging telescopes. The image super-resolution reconstruction method based on deep learning has a fast operation speed and provides rich high-frequency detail information of the image； it has been widely used in natural， medical， and remote sensing images， among other applications. Aiming at the characteristics of spatial target AO images with a single background， limited resolution， motion blur， turbulent blur， and overexposure， this study proposes using a deep learning-based generative adversarial network （GAN） method to realize the super-resolution of spatial target AO images. For resolution reconstruction， a training set of spatial target AO simulation images is first constructed for neural network training， and a GAN super-resolution reconstruction method based on dense residual blocks is then proposed. By changing the traditional residual network to dense residual blocks， improving the network depth， and introducing a relative average loss function into the discriminator network， the discriminator becomes more robust， and the training of the generative adversarial network becomes more stable. Experiments show that the proposed method improves the peak-to-noise ratio （PSNR） and structural similarity index measure （SSIM） by more than 11.6% and 10.3%， respectively， compared with traditional interpolation super-resolution methods. In addition， it improves the PSNR and SSIM by 6.5% and 4.9% on average， respectively， compared with the deep learning-based blind image super-resolution method. The proposed method effectively realizes the clear reconstruction of a spatial target AO image， reduces the artifacts of the reconstructed image， enriches image details， and achieves a better reconstruction effect.

关键词

Keywords

references

姜文汉 . 自适应光学发展综述［J］. 光电工程， 2018 ， 45 （ 3 ）： 7 - 21 .

JIANG W H . Overview of adaptive optics development ［J］. Opto-Electronic Engineering ， 2018 ， 45 （ 3 ）： 7 - 21 . （in Chinese）

鲍华，饶长辉，田雨，等 . 自适应光学图像事后重建技术研究进展［J］. 光电工程， 2018 ， 45 （ 3 ）： 64 - 73 . doi: 10.12086/oee.2018.170730 http://dx.doi.org/10.12086/oee.2018.170730

BAO H ， RAO CH H ， TIAN Y ， et al . Research progress on adaptive optical image post reconstruction ［J］. Opto-Electronic Engineering ， 2018 ， 45 （ 3 ）： 64 - 73 . （in Chinese） . doi: 10.12086/oee.2018.170730 http://dx.doi.org/10.12086/oee.2018.170730

钟梦圆，姜麟 . 超分辨率图像重建算法综述［J］. 计算机科学与探索， 2022 ， 16 （ 5 ）： 972 - 990 . doi: 10.3778/j.issn.1673-9418.2111126 http://dx.doi.org/10.3778/j.issn.1673-9418.2111126

ZHONG M Y ， JIANG L . Review of super-resolution image reconstruction algorithms ［J］. Journal of Frontiers of Computer Science and Technology ， 2022 ， 16 （ 5 ）： 972 - 990 . （in Chinese） . doi: 10.3778/j.issn.1673-9418.2111126 http://dx.doi.org/10.3778/j.issn.1673-9418.2111126

黄健，赵元元，郭苹，等 . 深度学习的单幅图像超分辨率重建方法综述［J］. 计算机工程与应用， 2021 ， 57 （ 18 ）： 13 - 23 .

HUANG J ， ZHAO Y Y ， GUO P ， et al . Survey of single image super-resolution based on deep learning ［J］. Computer Engineering and Applications ， 2021 ， 57 （ 18 ）： 13 - 23 . （in Chinese）

MA H M ， LIU H Q ， QIAO Y ， et al . Numerical study of adaptive optics compensation based on Convolutional Neural Networks ［J］. Optics Communications ， 2019 ， 433 ： 283 - 289 . doi: 10.1016/j.optcom.2018.10.036 http://dx.doi.org/10.1016/j.optcom.2018.10.036

KE H ， XU B ， XU Z X ， et al . Self-learning control for wavefront sensorless adaptive optics system through deep reinforcement learning ［J］. Optik ， 2019 ， 178 ： 785 - 793 . doi: 10.1016/j.ijleo.2018.09.160 http://dx.doi.org/10.1016/j.ijleo.2018.09.160

FENG X B ， SU X Q ， SHEN J G ， et al . Single space object image denoising and super-resolution reconstructing using deep convolutional networks ［J］. Remote Sensing ， 2019 ， 11 （ 16 ）： 1910 . doi: 10.3390/rs11161910 http://dx.doi.org/10.3390/rs11161910

LEDIG C ， THEIS L ， HUSZÁR F ， et al . Photo-realistic single image super-resolution using a generative adversarial network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 105 - 114 . doi: 10.1109/cvpr.2017.19 http://dx.doi.org/10.1109/cvpr.2017.19

蔡体健，彭潇雨，石亚鹏，等 . 通道注意力与残差级联的图像超分辨率重建［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

MATSON C L ， BORELLI K ， JEFFERIES S ， et al . Fast and optimal multiframe blind deconvolution algorithm for high-resolution ground-based imaging of space objects ［J］. Applied Optics ， 2009 ， 48 （ 1 ）： A75 - A92 . doi: 10.1364/ao.48.000a75 http://dx.doi.org/10.1364/ao.48.000a75

田雨，饶长辉，魏凯 . 基于帧选择和多帧降质图像盲解卷积的自适应光学图像恢复［J］. 天文学报， 2008 ， 49 （ 4 ）： 455 - 462 . doi: 10.3321/j.issn:0001-5245.2008.04.012 http://dx.doi.org/10.3321/j.issn:0001-5245.2008.04.012

TIAN Y ， RAO CH H ， WEI K . Adaptive optics images restoration based on frame selection and multi-frame blind deconvolution ［J］. Acta Astronomica Sinica ， 2008 ， 49 （ 4 ）： 455 - 462 . （in Chinese） . doi: 10.3321/j.issn:0001-5245.2008.04.012 http://dx.doi.org/10.3321/j.issn:0001-5245.2008.04.012

武兴睿 . 基于PSF重构和改进的最大后验估计的自适应光学图像复原算法［J］. 液晶与显示， 2019 ， 34 （ 9 ）： 921 - 927 . doi: 10.3788/yjyxs20193409.0921 http://dx.doi.org/10.3788/yjyxs20193409.0921

WU X R . Adaptive optical image restoration method based on PSF reconstruction and improved Maximum A Posteriori estimation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 9 ）： 921 - 927 . （in Chinese） . doi: 10.3788/yjyxs20193409.0921 http://dx.doi.org/10.3788/yjyxs20193409.0921

CHEN G P ， GAO Z S ， WANG Q L ， et al . Blind de-convolution of images degraded by atmospheric turbulence ［J］. Applied Soft Computing ， 2020 ， 89 ： 106131 . doi: 10.1016/j.asoc.2020.106131 http://dx.doi.org/10.1016/j.asoc.2020.106131

SCHAWINSKI K ， ZHANG C ， ZHANG H T ， et al . Generative adversarial networks recover features in astrophysical images of galaxies beyond the deconvolution limit ［J］. Monthly Notices of the Royal Astronomical Society： Letters ， 2017 ， 467 （ 1 ）： L110 - L114 .

SCHULER C J ， HIRSCH M ， HARMELING S ， et al . Learning to deblur ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 7 ）： 1439 - 1451 . doi: 10.1109/tpami.2015.2481418 http://dx.doi.org/10.1109/tpami.2015.2481418

ASENSIO RAMOS A ， DE LA CRUZ RODRÍGUEZ J ， PASTOR YABAR A . Real-time， multiframe， blind deconvolution of solar images ［J］. Astronomy & Astrophysics ， 2018 ， 620 ： A73 . doi: 10.1051/0004-6361/201833648 http://dx.doi.org/10.1051/0004-6361/201833648

SHI J L ， ZHANG R Z ， GUO S P ， et al . Space targets adaptive optics images blind restoration by convolutional neural network ［J］. Optical Engineering ， 2019 ， 58 ： 093102 . doi: 10.1117/1.oe.58.9.093102 http://dx.doi.org/10.1117/1.oe.58.9.093102

TSAI R ， HUANG T S . Multiframe image restoration and registration ［J］. Advances in Computer Vision and Image Processing ， 1984 ， 1 （ 2 ）： 317 - 339 .

GREENSPAN H . Super-resolution in medical imaging ［J］. The Computer Journal ， 2008 ， 52 （ 1 ）： 43 - 63 . doi: 10.1093/comjnl/bxm075 http://dx.doi.org/10.1093/comjnl/bxm075

THORNTON M W ， ATKINSON P M ， HOLLAND D A . Sub-pixel mapping of rural land cover objects from fine spatial resolution satellite sensor imagery using super-resolution pixel-swapping ［J］. International Journal of Remote Sensing ， 2006 ， 27 （ 3 ）： 473 - 491 . doi: 10.1080/01431160500207088 http://dx.doi.org/10.1080/01431160500207088

万雪芬，韩芳，蒋学芹，等 . 视频监控图像的超分辨率复原研究［J］. 激光杂志， 2014 ， 35 （ 3 ）： 5 - 8 . doi: 10.3969/j.issn.0253-2743.2014.03.003 http://dx.doi.org/10.3969/j.issn.0253-2743.2014.03.003

WAN X F ， HAN F ， JIANG X Q ， et al . Research on super-resolution surveillance image reconstruction ［J］. Laser Journal ， 2014 ， 35 （ 3 ）： 5 - 8 . （in Chinese） . doi: 10.3969/j.issn.0253-2743.2014.03.003 http://dx.doi.org/10.3969/j.issn.0253-2743.2014.03.003

张磊，杨建峰，薛彬，等 . 改进的最大后验概率估计法实现单幅图像超分辨率重建［J］. 激光与光电子学进展， 2011 ， 48 （ 1 ）： 82 - 87 . doi: 10.3788/lop48.011003 http://dx.doi.org/10.3788/lop48.011003

ZHANG L ， YANG J F ， XUE B ， et al . Modified MAP algorithm for single frame super-resolution reconstruction ［J］. Laser & Optoelectronics Progress ， 2011 ， 48 （ 1 ）： 82 - 87 . （in Chinese） . doi: 10.3788/lop48.011003 http://dx.doi.org/10.3788/lop48.011003

赵芳薇，邱钧，刘畅 . 一种反投影模型下的图像重建迭代算法［J］. 中北大学学报（自然科学版）， 2015 ， 36 （ 5 ）： 577 - 584 .

ZHAO F W ， QIU J ， LIU CH . An iterative algorithm for image reconstruction based on back-projection model ［J］. Journal of North University of China （Natural Science Edition）， 2015 ， 36 （ 5 ）： 577 - 584 . （in Chinese）

WANG Z W ， LIU D ， YANG J C ， et al . Deep networks for image super-resolution with sparse prior ［C］. 2015 IEEE International Conference on Computer Vision . 713，2015 ， Santiago， Chile . IEEE ， 2015 ： 370 - 378 . doi: 10.1109/iccv.2015.50 http://dx.doi.org/10.1109/iccv.2015.50

JOLICOEUR M A . The relativistic discriminator： a key element missing from standard GAN ［EB/OL］. arXiv preprint arXiv ： 1807 . 00734 ， 2018 . https：//arxiv.org/abs/1807.00734 https://arxiv.org/abs/1807.00734 .

Views

664

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Spatial adaptation and frequency fusion network for single remote sensing image super-resolution

Design of lightweight re-parameterized remote sensing image super-resolution network

Multi-scale dense feature fusion network for image super-resolution

Reconstruction of super resolution for noise image under the sparse representation

Super-resolution reconstruction of image in high accuracy image measuring system

Related Author

HUANG Hong

ZHENG Fujian

ZHOU Xinyao

MA Zhongqi

YANG Yichuan

XIE Weijia

LI Jun

CAO Feng

Related Institution

Key Laboratory of Optoelectronic Technology and System， Ministry of Education， Chongqing University

Beijing Institute of Space Machinery and Electronics

College of Information Engineering， Jiangxi University of Science and Technology

School of Information and Control Engineering，China University of Mining and Technology

School of Computer Science and Technology，China University of Mining and Technology

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰