Lightweight Mars remote sensing image super-resolution reconstruction network

Mingkun GENG; Fanlu WU; Dong WANG

doi:10.37188/OPE.20223012.1487

您当前的位置：

首页 >

文章列表页 >

Lightweight Mars remote sensing image super-resolution reconstruction network

Information Sciences | 更新时间：2022-06-25

- Lightweight Mars remote sensing image super-resolution reconstruction network
- Optics and Precision Engineering Vol. 30, Issue 12, Pages: 1487-1498(2022)
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100049
  3.中国科学院月球与深空探测重点实验室，北京 100101
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223012.1487
  CLC： TP391
- Received：23 December 2021，
  
  Revised：01 February 2022，
  
  Published：25 June 2022
- 稿件说明：
移动端阅览
耿铭昆,吴凡路,王栋.轻量化火星遥感影像超分辨率重建网络[J].光学精密工程,2022,30(12):1487-1498.

GENG Mingkun,WU Fanlu,WANG Dong.Lightweight Mars remote sensing image super-resolution reconstruction network[J].Optics and Precision Engineering,2022,30(12):1487-1498.
耿铭昆,吴凡路,王栋.轻量化火星遥感影像超分辨率重建网络[J].光学精密工程,2022,30(12):1487-1498. DOI： 10.37188/OPE.20223012.1487.

GENG Mingkun,WU Fanlu,WANG Dong.Lightweight Mars remote sensing image super-resolution reconstruction network[J].Optics and Precision Engineering,2022,30(12):1487-1498. DOI： 10.37188/OPE.20223012.1487.

摘要

针对目前基于深度学习的图像超分辨率重建方法参数量大的问题，以Deep Laplacian Pyramid Networks（LapSRN）为基础，提出一种轻量化拉普拉斯金字塔图像超分辨率重建卷积神经网络。首先，对输入的低分辨率图像（Low Resolution Image， LR）提取出浅层特征。其次，使用可以进行参数共享的具有同源跳跃连接的递归块结构，从浅层特征逐步提取出更深层特征并进一步推断出包含高频信息的残差图像（Residual Image，RI）。然后，对RI以及输入的LR进行转置卷积上采样，并将二者逐像素相加得到超分辨率图像（Super Resolution Image， SR）。该方法在三个放大倍率下总参数量仅为LapSRN的3.98%，火星遥感影像4倍超分辨率下峰值信噪比（Peak Signal to Noise Ratio， PSNR）提高0.031 3 dB，8倍超分辨率下PSNR提高0.116 7 dB。所提方法在超分辨率重建效果基本维持的情况下将网络参数量在2倍下缩减81.6%、4倍下缩减90.8%、8倍下缩减88.8%。

Abstract

A lightweight Laplacian pyramid image super-resolution reconstruction convolution neural network based on deep Laplacian pyramid networks （LapSRNs） is proposed to accommodate the numerous parameters used in super-resolution reconstruction methods based on deep learning. First， shallow features are embedded from the input low resolution image （LR） input. Subsequently， using recursive blocks that allow parameter sharing and contain shared-source skip connections， deep features are extracted from the shallow features. Additionally， residual image （RI） containing high-frequency information is inferred. Next， the RI and input LR are upsampled via a transposed convolutional layer and added pixel by pixel to obtain a super-resolution image. The total number of parameters used in this method is only 3.98% of that used in the LapSRN for three scales， and the peak signal to noise ratio index increases by 0.031 3 and 0.116 7 dB under 4 times and 8 times super-resolutions， respectively. The proposed method reduces the number of parameters by 81.6%， 90.8%， and 88.8% under 2 times， 4 times， and 8 times resolutions， while the super-resolution effect is maintained.

关键词

Keywords

references

HARRIS J L . Diffraction and resolving power ［J］. Journal of the Optical Society of America ， 1964 ， 54 （ 7 ）： 931 . doi: 10.1364/josa.54.000931 http://dx.doi.org/10.1364/josa.54.000931

TSAI R ， HUANG T S . Multiple frame image restoration and registration ［J］. Advances in Computer Vision and Image Processing ， 1984 ， 1 （ 2 ）： 317 – 319 .

KIM K I ， KWON Y . Single-image super-resolution using sparse regression and natural image prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2010 ， 32 （ 6 ）： 1127 - 1133 . doi: 10.1109/tpami.2010.25 http://dx.doi.org/10.1109/tpami.2010.25

IRANI M ， PELEG S . Improving resolution by image registration ［J］. CVGIP： Graphical Models and Image Processing ， 1991 ， 53 （ 3 ）： 231 - 239 . doi: 10.1016/1049-9652(91)90045-l http://dx.doi.org/10.1016/1049-9652(91)90045-l

彭真明，景亮，何艳敏，等 . 基于多尺度稀疏字典的多聚焦图像超分辨融合［J］. 光学精密工程， 2014 ， 22 （ 1 ）： 169 - 176 . doi: 10.3788/OPE.20142201.0169 http://dx.doi.org/10.3788/OPE.20142201.0169

PENG Z M ， JING L ， HE Y M ， et al . Superresolution fusion of multi-focus image based on multiscale sparse dictionary ［J］. Optics and Precision Engineering ， 2014 ， 22 （ 1 ）： 169 - 176 . （in Chinese） . doi: 10.3788/OPE.20142201.0169 http://dx.doi.org/10.3788/OPE.20142201.0169

ZHANG K B ， GAO X B ， TAO D C ， et al . Single image super-resolution with non-local means and steering kernel regression ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2012 ， 21 （ 11 ）： 4544 - 4556 . doi: 10.1109/tip.2012.2208977 http://dx.doi.org/10.1109/tip.2012.2208977

HE H ， SIU W C . Single image super-resolution using Gaussian process regression ［C］. CVPR 2011. 2025，2011 ， Colorado Springs， CO， USA. IEEE ， 2011 ： 449 - 456 . doi: 10.1109/cvpr.2011.5995713 http://dx.doi.org/10.1109/cvpr.2011.5995713

李勇，王珂，张立保，等 . 多断层融合的肺CT肿瘤靶区超分辨率重建［J］. 光学精密工程， 2010 ， 18 （ 5 ）： 1212 - 1218 . doi: 10.3788/OPE.20101805.1212 http://dx.doi.org/10.3788/OPE.20101805.1212

LI Y ， WANG K ， ZHANG L B ， et al . Super-resolution reconstruction of pulmonary nodules based on CT multi-section fusion ［J］. Optics and Precision Engineering ， 2010 ， 18 （ 5 ）： 1212 - 1218 . （in Chinese） . doi: 10.3788/OPE.20101805.1212 http://dx.doi.org/10.3788/OPE.20101805.1212

吴炜，杨晓敏，陈默，等 . 一种新颖的人脸图像超分辨率技术［J］. 光学精密工程， 2008 ， 16 （ 5 ）： 815 - 821 . doi: 10.3321/j.issn:1004-924X.2008.05.010 http://dx.doi.org/10.3321/j.issn:1004-924X.2008.05.010

WU W ， YANG X M ， CHEN M ， et al . Novel method of face hallucination ［J］. Optics and Precision Engineering ， 2008 ， 16 （ 5 ）： 815 - 821 . （in Chinese） . doi: 10.3321/j.issn:1004-924X.2008.05.010 http://dx.doi.org/10.3321/j.issn:1004-924X.2008.05.010

符冉迪，周颖，颜文，等 . 基于TV-L 1 分解的红外云图超分辨率算法［J］. 光学精密工程， 2016 ， 24 （ 4 ）： 937 - 944 . doi: 10.3788/OPE.20162404.0937 http://dx.doi.org/10.3788/OPE.20162404.0937

FU R D ， ZHOU Y ， YAN W ， et al . Infrared nephogram super-resolution algorithm based on TV-L 1 decomposition ［J］. Optics and Precision Engineering ， 2016 ， 24 （ 4 ）： 937 - 944 . （in Chinese） . doi: 10.3788/OPE.20162404.0937 http://dx.doi.org/10.3788/OPE.20162404.0937

朱福珍，刘越，黄鑫，等 . 改进的稀疏表示遥感图像超分辨重建［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 718 - 725 . doi: 10.13482/j.issn1001-7011.2019.05.004 http://dx.doi.org/10.13482/j.issn1001-7011.2019.05.004

ZHU F Z ， LIU Y ， HUANG X ， et al . Remote sensing image super-resolution based on improved sparse representation ［J］. Optics and Precision Engineering ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese） . doi: 10.13482/j.issn1001-7011.2019.05.004 http://dx.doi.org/10.13482/j.issn1001-7011.2019.05.004

LIU S C ， ZHAO H ， DU Q ， et al . Novel cross-resolution feature-level fusion for joint classification of multispectral and panchromatic remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2022 ， 60 ： 1 - 14 . doi: 10.1109/tgrs.2021.3127710 http://dx.doi.org/10.1109/tgrs.2021.3127710

ZHENG Y J ， LIU S C ， DU Q ， et al . A novel multitemporal deep fusion network （MDFN） for short-term multitemporal HR images classification ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 14 ： 10691 - 10704 .

DONG C ， LOY C C ， HE K M ， et al . Image super-resolution using deep convolutional networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 2 ）： 295 - 307 . doi: 10.1109/tpami.2015.2439281 http://dx.doi.org/10.1109/tpami.2015.2439281

KIM J ， LEE J K ， LEE K M . Deeply-recursive convolutional network for image super-resolution ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 1637 - 1645 . doi: 10.1109/cvpr.2016.181 http://dx.doi.org/10.1109/cvpr.2016.181

LAI W S ， HUANG J B ， AHUJA N ， et al . Deep Laplacian pyramid networks for fast and accurate super-resolution ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 5835 - 5843 . doi: 10.1109/cvpr.2017.618 http://dx.doi.org/10.1109/cvpr.2017.618

ADELSON E H ， ANDERSON C H ， BERGEN J R ， et al . Pyramid methods in image processing ［J］. RCA engineer ， 1984 ， 29 （ 6 ）： 33 – 41 .

BURT P J ， ADELSON E H . The Laplacian Pyramid as a Compact Image Code ［M］. Readings in Computer Vision . Amsterdam ： Elsevier ， 1987 ： 671 - 679 . doi: 10.1016/b978-0-08-051581-6.50065-9 http://dx.doi.org/10.1016/b978-0-08-051581-6.50065-9

PARIS S ， HASINOFF S W ， KAUTZ J . Local Laplacian filters： edge-aware image processing with a Laplacian pyramid ［J］. Communications of the ACM ， 2015 ， 58 （ 3 ）： 81 - 91 . doi: 10.1145/2723694 http://dx.doi.org/10.1145/2723694

GHIASI G ， FOWLKES C C . Laplacian pyramid reconstruction and refinement for semantic segmentation ［C］. Computer Vision-ECCV ， 2016 ， 2016 ： 519 - 534 . doi: 10.1007/978-3-319-46487-9_32 http://dx.doi.org/10.1007/978-3-319-46487-9_32

WANG W C ， CHANG F L . A multi-focus image fusion method based on Laplacian pyramid ［J］. Journal of Computers ， 2011 ， 6 （ 12 ）： 2559 – 2566 . doi: 10.4304/jcp.6.12.2559-2566 http://dx.doi.org/10.4304/jcp.6.12.2559-2566

DENTON E L ， CHINTALA S ， FERGUS R . Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks ［J］. Advances in Neural Information Processing System ， 2015 ， 28 .

LAI W S ， HUANG J B ， AHUJA N ， et al . Fast and accurate image super-resolution with deep Laplacian pyramid networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2019 ， 41 （ 11 ）： 2599 - 2613 . doi: 10.1109/tpami.2018.2865304 http://dx.doi.org/10.1109/tpami.2018.2865304

MCEWEN A S ， ELIASON E M ， BERGSTROM J W ， et al . Mars reconnaissance orbiter's high resolution imaging science experiment （HiRISE）［J］. Journal of Geophysical Research： Planets ， 2007 ， 112 （ E5 ）： E05 S 02 . doi: 10.1029/2005je002605 http://dx.doi.org/10.1029/2005je002605

HE K M ， ZHANG X Y ， REN S Q ， et al . Delving deep into rectifiers： surpassing human-level performance on ImageNet classification ［C］. 2015 IEEE International Conference on Computer Vision . 713，2015 ， Santiago， Chile . IEEE ， 2015 ： 1026 - 1034 . doi: 10.1109/iccv.2015.123 http://dx.doi.org/10.1109/iccv.2015.123

Views

541

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Progressive CNN-transformer semantic compensation network for polyp segmentation

Cascade residual-optimized image super-resolution reconstruction in Transformer network

Real-time urban street view semantic segmentation based on cross-layer aggregation network

Collaborative classification of hyperspectral and LiDAR data based on CNN-transformer

Brain tumor image segmentation based on Semantic Flow Guided Sampling and Attention Mechanism

Related Author

LI Daxiang

LI Denghui

LIU Ying

TANG Yao

LIN Jianpu

WU Zhencheng

WANG Kunfu

LIN Zhixian

Related Institution

College of Communication and Information Engineering，Xi′an University of Posts and Telecommunication，Xi′an

College of Physics and Telecommunication Engineering， Fuzhou University

Fujian Science and Technology Innovation Laboratory for Optoelectronic Information of China

School of Advanced Manufacturing， Fuzhou University

Xi'an University of Posts and Telecommunications， Shaanxi Key Laboratory of Network Data Analysis and Intelligent Processing

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰