通道注意力与残差级联的图像超分辨率重建

蔡体健; 彭潇雨; 石亚鹏; 黄稷

doi:10.37188/OPE.20212901.0142

您当前的位置：

首页 >

文章列表页 >

通道注意力与残差级联的图像超分辨率重建

信息科学 | 更新时间：2021-02-04

- 通道注意力与残差级联的图像超分辨率重建
- Channel attention and residual concatenation network for image super-resolution
- 光学精密工程 2021年29卷第1期页码：142-151
- 作者机构：
  
  华东交通大学信息工程学院，江西南昌 330013
- 作者简介：
  
  [ "蔡体健（1968-），女，湖南长沙人，博士，副教授，硕士导师，美国休斯敦大学访问学者。1990年于长沙铁道学院获得学士学位；2002年于南昌大学获得硕士学位；2016年于中南大学获得博士学位。主要从事计算机视觉、深度学习、稀疏表示等方面的研究。Email：lao_cai68@126.com" ]
  [ "彭潇雨（1996-），男，江西抚州人，硕士研究生，2018年于华东交通大学获得学士学位，主要从事图像处理、深度学习方面研究。E-mial：pengxy96@qq.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(61762037);江西省重点研发计划资助项目(20203BBE53029)
- DOI：10.37188/OPE.20212901.0142
  中图分类号： TP391
- 收稿日期：2020-07-21，
  
  修回日期：2020-08-25，
  
  纸质出版日期：2021-01-15
- 稿件说明：
移动端阅览
蔡体健,彭潇雨,石亚鹏等.通道注意力与残差级联的图像超分辨率重建[J].光学精密工程,2021,29(01):142-151.

CAI Ti-jian,PENG Xiao-yu,SHI Ya-peng,et al.Channel attention and residual concatenation network for image super-resolution[J].Optics and Precision Engineering,2021,29(01):142-151.
蔡体健,彭潇雨,石亚鹏等.通道注意力与残差级联的图像超分辨率重建[J].光学精密工程,2021,29(01):142-151. DOI： 10.37188/OPE.20212901.0142.

CAI Ti-jian,PENG Xiao-yu,SHI Ya-peng,et al.Channel attention and residual concatenation network for image super-resolution[J].Optics and Precision Engineering,2021,29(01):142-151. DOI： 10.37188/OPE.20212901.0142.

摘要

为了改善图像超分辨率重建的效果，针对很多超分辨率重建方法中忽略了特征通道间相关信息以及网络数据传递中信息丢失问题，提出了一种通道注意力与残差级联超分辨率重构网络。首先，对输入的低分辨率图像进行浅层的特征提取；随后，通过残差级联组提取深层特征，利用注意力模块自适应地对特征通道的权重进行校正，融合节点将残差级联组的输出特征和浅层特征进行级联融合，保证低分辨率图像的有效信息在网络传递中不被丢失；最后对提取到的特征信息进行亚像素重构。在不同基准数据集上的实验结果表明，不论从主观视觉上还是客观指标比较，所提方法都要优于其他方法，在Urban100数据集上4倍超分辨率的PSNR指标提高了0.1 dB，这都表明该网络在图像超分辨率重建方面有不错的性能。

Abstract

Several existing image super-resolution reconstruction methods face challenges owing to information loss between feature channels and during network data transmission. To eliminate this problem， a channel attention and residual concatenation network for image super-resolution is proposed to improve the effect of image super-resolution reconstruction. Initially， shallow feature extraction is performed on the input low-resolution image. Then， the deep features are extracted by the residual concatenation group， and subsequently the attention module is used to adaptively correct the weights of feature channels. The fusion node concatenates， and fuses the shallow and output features of the residual concatenation group to ensure that there is no loss of effective information of the low-resolution image during transmission. Finally， the extracted feature information is reconstructed using a sub-pixel. The experimental results on different benchmark datasets indicates that the proposed method achieves better results in subjective vision and objective index comparison than existing methods. On the Urban100 dataset， the PSNR index of 4 times super-resolution is increased by 0.1 dB. This indicates that the network performs well in image super-resolution reconstruction.

关键词

Keywords

references

朱福珍，刘越，黄鑫，等 . 改进的稀疏表示遥感图像超分辨重建［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 718 - 725 .

ZHU F ZH ， LIU Y ， HUANG X ， et al . . Remote sensing image super-resolution based on improved sparse representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese）

李勇，王珂，张立保，等 . 多断层融合的肺CT肿瘤靶区超分辨率重建［J］. 光学精密工程， 2010 ， 18 （ 5 ）： 1212 - 1218 .

LI Y ， WANG K ， ZHANG L B ， et al . . Super-resolution reconstruction of pulmonary nodules based on CT multi-section fusion ［J］. Opt. Precision Eng. ， 2010 ， 18 （ 5 ）： 1212 - 1218 . （in Chinese）

KEYS R . Cubic convolution interpolation for digital image processing ［J］. IEEE Transactions on Acoustics ， Speech ， and Signal Processing ， 1981 ， 29 （ 6 ）： 1153 - 1160 .

李键红，吴亚榕，吕巨建 . 基于自相似性与多任务高斯过程回归的单帧图像超分辨率重建［J］. 光学精密工程， 2018 ， 26 （ 11 ）： 2814 - 2826 .

LI J H ， WU Y R ， LV J J . Signle image super-resolution reconstruction algorithm based on image self-similarity and multi-task Gaussian process regression ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 11 ）： 2814 - 2826 . （in Chinese）

韩玉兰，赵永平，王启松，等 . 稀疏表示下的噪声图像超分辨率重构［J］. 光学精密工程， 2017 ， 25 （ 6 ）： 1619 - 1626 .

HAN Y L ， ZHAO Y P ， WANG Q S ， et al . .Reconstruction of super resolution for noise image under the sparse representation ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 6 ）： 1619 - 1626 . （in Chinese）

DAI T ， CAI J ， ZHANG Y ， et al .. Second-order attention network for single image super-resolution ［C］. Proceedings of the IEEE conference on computer vision and pattern recognition ， 2019 ： 11065 - 11074 .

MEI Y ， FAN Y ， ZHOU Y ， et al .. Image super-resolution with cross-scale non-local attention and exhaustive self-exemplars mining ［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition ， 2020 ： 5690 - 5699 .

DONG C ， LOY C C ， HE K ， et al . . Image super-resolution using deep convolutional networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 38 （ 2 ）： 295 - 307 .

KIM J ， KWON LEE J ， MU LEE K . Accurate image super-resolution using very deep convolutional networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2016 ： 1646 - 1654 .

SHI W ， CABALLERO J ， HUSZÁR F ， et al .. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2016 ： 1874 - 1883 .

LAI W S ， HUANG J B ， AHUJA N ， et al .. Deep laplacian pyramid networks for fast and accurate super-resolution ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2017 ： 624 - 632 .

LEDING C ， THEIS L ， HUSZÁR F ， et al .. Photo-realistic single image super-resolution using a generative adversarial network ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2017 ： 4681 - 4690 .

LIM B ， SON S ， KIM H ， et al .. Enhanced deep residual networks for single image super-resolution ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops ， 2017 ： 136 - 144 .

HE K ， ZHANG X ， REN S ， et al .. Deep residual learning for image recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2016 ： 770 - 778 .

IOFFE S ， SZEGEDY C . Batch normalization： Accelerating deep network training by reducing internal covariate shift ［J］. arXiv preprint arXiv：1502 . 03167 ， 2015 .

TONG T ， LI G ， LIU X ， et al .. Image super-resolution using dense skip connections ［C］. Proceedings of the IEEE International Conference on Computer Vision ， 2017 ： 4799 - 4807 .

HUANG G ， LIU Z ， VAN DER MAATEN L ， et al .. Densely connected convolutional networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2017 ： 4700 - 4708 .

TIMOFTE R ， AGUSTSSON E ， VAN GOOL L ， et al .. Ntire 2017 challenge on single image super-resolution： Methods and results ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops ， 2017 ： 114 - 125 .

BEVILACQUA M ， ROUMY A ， GUILLEMOT C ， et al .. Low-complexity single-image super-resolution based on nonnegative neighbor embedding ［C］. British Machine Vision Conference ， 2012 ： 1 - 10 .

ZEYDE R ， ELAD M ， PROTTER M . On single image scale-up using sparse-representations ［C］. International Conference on Curves and Surfaces . Springer ， Berlin， Heidelberg ， 2010 ： 711 - 730 .

MARTIN D ， FOWLKES C ， TAL D ， et al .. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics ［C］. Proceedings Eighth IEEE International Conference on Computer Vision. ICCV 2001. IEEE ， 2001 ， 2 ： 416 - 423 .

HUANG J B ， SINGH A ， AHUJA N . Single image super-resolution from transformed self-exemplars ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2015 ： 5197 - 5206 .

WANG Z ， BOWIK A C ， SHEIKH H R ， et al . . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 .

DONG C ， LOY C C ， TANG X . Accelerating the super-resolution convolutional neural network ［C］. European Conference on Computer Vision . Springer ， Cham ， 2016 ： 391 - 407 .

TAI Y ， YANG J ， LIU X . Image super-resolution via deep recursive residual network ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2017 ： 3147 - 3155 .

ZHANG Y ， TIAN Y ， KONG Y ， et al .. Residual dense network for image super-resolution ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2018 ： 2472 - 2481 .

TAI Y ， YANG J ， LIU X ， et al .. Memnet： A persistent memory network for image restoration ［C］. Proceedings of the IEEE International Conference on Computer Vision ， 2017 ： 4539 - 4547 .

HARIS M ， SHAKHNAROVICH G ， UKITA N . Deep back-projection networks for super-resolution ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2018 ： 1664 - 1673 .

浏览量

1138

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

级联残差优化Transformer网络的图像超分辨率重建

采用空间注意力机制的红外弱小目标检测网络

基于多分支残差注意力网络的水下图像增强

半监督式野生动物夜间目标端到端检测

融合生成对抗网络的大气无线光信道密钥提取