轻量化火星遥感影像超分辨率重建网络

耿铭昆; 吴凡路; 王栋

doi:10.37188/OPE.20223012.1487

您当前的位置：

首页 >

文章列表页 >

轻量化火星遥感影像超分辨率重建网络

信息科学 | 更新时间：2022-06-25

- 轻量化火星遥感影像超分辨率重建网络
- Lightweight Mars remote sensing image super-resolution reconstruction network
- 光学精密工程 2022年30卷第12期页码：1487-1498
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100049
  3.中国科学院月球与深空探测重点实验室，北京 100101
- 作者简介：
  
  [ "耿铭昆（1997-），男，黑龙江哈尔滨人，硕士研究生，2019年于四川大学获得学士学位，主要从事图像处理、深度学习等方面的研究。E-mail：gengmingkun19@mails.ucas.ac.cn" ]
  [ "王　栋（1979-），男，山西阳泉人，博士，研究员，硕士生导师，2002年于长春理工大学获得学士学位，2007年于中国科学院研究生院获得博士学位，主要从事空间光学遥感器总体设计、空间电子学总体设计、数字图像处理等方面的研究。E-mail：wangd@ciomp.ac.cn" ]
- 基金信息：
  
  国家自然科学基金青年科学基金项目(42001345);中国科学院月球与深空探测重点实验室开放基金项目(LDSE201901)
- DOI：10.37188/OPE.20223012.1487
  中图分类号： TP391
- 收稿日期：2021-12-23，
  
  修回日期：2022-02-01，
  
  纸质出版日期：2022-06-25
- 稿件说明：
移动端阅览
耿铭昆,吴凡路,王栋.轻量化火星遥感影像超分辨率重建网络[J].光学精密工程,2022,30(12):1487-1498.

GENG Mingkun,WU Fanlu,WANG Dong.Lightweight Mars remote sensing image super-resolution reconstruction network[J].Optics and Precision Engineering,2022,30(12):1487-1498.
耿铭昆,吴凡路,王栋.轻量化火星遥感影像超分辨率重建网络[J].光学精密工程,2022,30(12):1487-1498. DOI： 10.37188/OPE.20223012.1487.

GENG Mingkun,WU Fanlu,WANG Dong.Lightweight Mars remote sensing image super-resolution reconstruction network[J].Optics and Precision Engineering,2022,30(12):1487-1498. DOI： 10.37188/OPE.20223012.1487.

摘要

针对目前基于深度学习的图像超分辨率重建方法参数量大的问题，以Deep Laplacian Pyramid Networks（LapSRN）为基础，提出一种轻量化拉普拉斯金字塔图像超分辨率重建卷积神经网络。首先，对输入的低分辨率图像（Low Resolution Image， LR）提取出浅层特征。其次，使用可以进行参数共享的具有同源跳跃连接的递归块结构，从浅层特征逐步提取出更深层特征并进一步推断出包含高频信息的残差图像（Residual Image，RI）。然后，对RI以及输入的LR进行转置卷积上采样，并将二者逐像素相加得到超分辨率图像（Super Resolution Image， SR）。该方法在三个放大倍率下总参数量仅为LapSRN的3.98%，火星遥感影像4倍超分辨率下峰值信噪比（Peak Signal to Noise Ratio， PSNR）提高0.031 3 dB，8倍超分辨率下PSNR提高0.116 7 dB。所提方法在超分辨率重建效果基本维持的情况下将网络参数量在2倍下缩减81.6%、4倍下缩减90.8%、8倍下缩减88.8%。

Abstract

A lightweight Laplacian pyramid image super-resolution reconstruction convolution neural network based on deep Laplacian pyramid networks （LapSRNs） is proposed to accommodate the numerous parameters used in super-resolution reconstruction methods based on deep learning. First， shallow features are embedded from the input low resolution image （LR） input. Subsequently， using recursive blocks that allow parameter sharing and contain shared-source skip connections， deep features are extracted from the shallow features. Additionally， residual image （RI） containing high-frequency information is inferred. Next， the RI and input LR are upsampled via a transposed convolutional layer and added pixel by pixel to obtain a super-resolution image. The total number of parameters used in this method is only 3.98% of that used in the LapSRN for three scales， and the peak signal to noise ratio index increases by 0.031 3 and 0.116 7 dB under 4 times and 8 times super-resolutions， respectively. The proposed method reduces the number of parameters by 81.6%， 90.8%， and 88.8% under 2 times， 4 times， and 8 times resolutions， while the super-resolution effect is maintained.

关键词

Keywords

references

HARRIS J L . Diffraction and resolving power ［J］. Journal of the Optical Society of America ， 1964 ， 54 （ 7 ）： 931 . doi: 10.1364/josa.54.000931 http://dx.doi.org/10.1364/josa.54.000931

TSAI R ， HUANG T S . Multiple frame image restoration and registration ［J］. Advances in Computer Vision and Image Processing ， 1984 ， 1 （ 2 ）： 317 – 319 .

KIM K I ， KWON Y . Single-image super-resolution using sparse regression and natural image prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2010 ， 32 （ 6 ）： 1127 - 1133 . doi: 10.1109/tpami.2010.25 http://dx.doi.org/10.1109/tpami.2010.25

IRANI M ， PELEG S . Improving resolution by image registration ［J］. CVGIP： Graphical Models and Image Processing ， 1991 ， 53 （ 3 ）： 231 - 239 . doi: 10.1016/1049-9652(91)90045-l http://dx.doi.org/10.1016/1049-9652(91)90045-l

彭真明，景亮，何艳敏，等 . 基于多尺度稀疏字典的多聚焦图像超分辨融合［J］. 光学精密工程， 2014 ， 22 （ 1 ）： 169 - 176 . doi: 10.3788/OPE.20142201.0169 http://dx.doi.org/10.3788/OPE.20142201.0169

PENG Z M ， JING L ， HE Y M ， et al . Superresolution fusion of multi-focus image based on multiscale sparse dictionary ［J］. Optics and Precision Engineering ， 2014 ， 22 （ 1 ）： 169 - 176 . （in Chinese） . doi: 10.3788/OPE.20142201.0169 http://dx.doi.org/10.3788/OPE.20142201.0169

ZHANG K B ， GAO X B ， TAO D C ， et al . Single image super-resolution with non-local means and steering kernel regression ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2012 ， 21 （ 11 ）： 4544 - 4556 . doi: 10.1109/tip.2012.2208977 http://dx.doi.org/10.1109/tip.2012.2208977

HE H ， SIU W C . Single image super-resolution using Gaussian process regression ［C］. CVPR 2011. 2025，2011 ， Colorado Springs， CO， USA. IEEE ， 2011 ： 449 - 456 . doi: 10.1109/cvpr.2011.5995713 http://dx.doi.org/10.1109/cvpr.2011.5995713

李勇，王珂，张立保，等 . 多断层融合的肺CT肿瘤靶区超分辨率重建［J］. 光学精密工程， 2010 ， 18 （ 5 ）： 1212 - 1218 . doi: 10.3788/OPE.20101805.1212 http://dx.doi.org/10.3788/OPE.20101805.1212

LI Y ， WANG K ， ZHANG L B ， et al . Super-resolution reconstruction of pulmonary nodules based on CT multi-section fusion ［J］. Optics and Precision Engineering ， 2010 ， 18 （ 5 ）： 1212 - 1218 . （in Chinese） . doi: 10.3788/OPE.20101805.1212 http://dx.doi.org/10.3788/OPE.20101805.1212

吴炜，杨晓敏，陈默，等 . 一种新颖的人脸图像超分辨率技术［J］. 光学精密工程， 2008 ， 16 （ 5 ）： 815 - 821 . doi: 10.3321/j.issn:1004-924X.2008.05.010 http://dx.doi.org/10.3321/j.issn:1004-924X.2008.05.010

WU W ， YANG X M ， CHEN M ， et al . Novel method of face hallucination ［J］. Optics and Precision Engineering ， 2008 ， 16 （ 5 ）： 815 - 821 . （in Chinese） . doi: 10.3321/j.issn:1004-924X.2008.05.010 http://dx.doi.org/10.3321/j.issn:1004-924X.2008.05.010

符冉迪，周颖，颜文，等 . 基于TV-L 1 分解的红外云图超分辨率算法［J］. 光学精密工程， 2016 ， 24 （ 4 ）： 937 - 944 . doi: 10.3788/OPE.20162404.0937 http://dx.doi.org/10.3788/OPE.20162404.0937

FU R D ， ZHOU Y ， YAN W ， et al . Infrared nephogram super-resolution algorithm based on TV-L 1 decomposition ［J］. Optics and Precision Engineering ， 2016 ， 24 （ 4 ）： 937 - 944 . （in Chinese） . doi: 10.3788/OPE.20162404.0937 http://dx.doi.org/10.3788/OPE.20162404.0937

朱福珍，刘越，黄鑫，等 . 改进的稀疏表示遥感图像超分辨重建［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 718 - 725 . doi: 10.13482/j.issn1001-7011.2019.05.004 http://dx.doi.org/10.13482/j.issn1001-7011.2019.05.004

ZHU F Z ， LIU Y ， HUANG X ， et al . Remote sensing image super-resolution based on improved sparse representation ［J］. Optics and Precision Engineering ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese） . doi: 10.13482/j.issn1001-7011.2019.05.004 http://dx.doi.org/10.13482/j.issn1001-7011.2019.05.004

LIU S C ， ZHAO H ， DU Q ， et al . Novel cross-resolution feature-level fusion for joint classification of multispectral and panchromatic remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2022 ， 60 ： 1 - 14 . doi: 10.1109/tgrs.2021.3127710 http://dx.doi.org/10.1109/tgrs.2021.3127710

ZHENG Y J ， LIU S C ， DU Q ， et al . A novel multitemporal deep fusion network （MDFN） for short-term multitemporal HR images classification ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 14 ： 10691 - 10704 .

DONG C ， LOY C C ， HE K M ， et al . Image super-resolution using deep convolutional networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 2 ）： 295 - 307 . doi: 10.1109/tpami.2015.2439281 http://dx.doi.org/10.1109/tpami.2015.2439281

KIM J ， LEE J K ， LEE K M . Deeply-recursive convolutional network for image super-resolution ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 1637 - 1645 . doi: 10.1109/cvpr.2016.181 http://dx.doi.org/10.1109/cvpr.2016.181

LAI W S ， HUANG J B ， AHUJA N ， et al . Deep Laplacian pyramid networks for fast and accurate super-resolution ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 5835 - 5843 . doi: 10.1109/cvpr.2017.618 http://dx.doi.org/10.1109/cvpr.2017.618

ADELSON E H ， ANDERSON C H ， BERGEN J R ， et al . Pyramid methods in image processing ［J］. RCA engineer ， 1984 ， 29 （ 6 ）： 33 – 41 .

BURT P J ， ADELSON E H . The Laplacian Pyramid as a Compact Image Code ［M］. Readings in Computer Vision . Amsterdam ： Elsevier ， 1987 ： 671 - 679 . doi: 10.1016/b978-0-08-051581-6.50065-9 http://dx.doi.org/10.1016/b978-0-08-051581-6.50065-9

PARIS S ， HASINOFF S W ， KAUTZ J . Local Laplacian filters： edge-aware image processing with a Laplacian pyramid ［J］. Communications of the ACM ， 2015 ， 58 （ 3 ）： 81 - 91 . doi: 10.1145/2723694 http://dx.doi.org/10.1145/2723694

GHIASI G ， FOWLKES C C . Laplacian pyramid reconstruction and refinement for semantic segmentation ［C］. Computer Vision-ECCV ， 2016 ， 2016 ： 519 - 534 . doi: 10.1007/978-3-319-46487-9_32 http://dx.doi.org/10.1007/978-3-319-46487-9_32

WANG W C ， CHANG F L . A multi-focus image fusion method based on Laplacian pyramid ［J］. Journal of Computers ， 2011 ， 6 （ 12 ）： 2559 – 2566 . doi: 10.4304/jcp.6.12.2559-2566 http://dx.doi.org/10.4304/jcp.6.12.2559-2566

DENTON E L ， CHINTALA S ， FERGUS R . Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks ［J］. Advances in Neural Information Processing System ， 2015 ， 28 .

LAI W S ， HUANG J B ， AHUJA N ， et al . Fast and accurate image super-resolution with deep Laplacian pyramid networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2019 ， 41 （ 11 ）： 2599 - 2613 . doi: 10.1109/tpami.2018.2865304 http://dx.doi.org/10.1109/tpami.2018.2865304

MCEWEN A S ， ELIASON E M ， BERGSTROM J W ， et al . Mars reconnaissance orbiter's high resolution imaging science experiment （HiRISE）［J］. Journal of Geophysical Research： Planets ， 2007 ， 112 （ E5 ）： E05 S 02 . doi: 10.1029/2005je002605 http://dx.doi.org/10.1029/2005je002605

HE K M ， ZHANG X Y ， REN S Q ， et al . Delving deep into rectifiers： surpassing human-level performance on ImageNet classification ［C］. 2015 IEEE International Conference on Computer Vision . 713，2015 ， Santiago， Chile . IEEE ， 2015 ： 1026 - 1034 . doi: 10.1109/iccv.2015.123 http://dx.doi.org/10.1109/iccv.2015.123

浏览量

608

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

多光谱融合的红外舰船目标轻量化检测

融合生成对抗网络的大气无线光信道密钥提取

渐进式CNN-Transformer语义补偿息肉分割网络

级联残差优化Transformer网络的图像超分辨率重建

基于跨层次聚合网络的实时城市街景语义分割