基于多尺度自适应注意力的图像超分辨率网络

周颖; 裴盛虎; 陈海永; 许士博

doi:10.37188/OPE.20243206.0843

您当前的位置：

首页 >

文章列表页 >

基于多尺度自适应注意力的图像超分辨率网络

信息科学 | 更新时间：2024-03-31

- 基于多尺度自适应注意力的图像超分辨率网络
- Image super-resolution network based on multi-scale adaptive attention
- 光学精密工程 2024年32卷第6期页码：843-856
- 作者机构：
  
  1.河北工业大学人工智能与数据科学学院，天津 300130
  2.河北省控制工程技术研究中心，天津 300130
- 作者简介：
  
  [ "周颖（1970—），女，天津人，博士，副教授，硕士生导师，主要从事图像处理和智能控制等方面的研究。E-mail：zhouying2007@163.com" ]
  [ "裴盛虎（1998—），男，河北衡水人，硕士研究生，主要从事图像生成、图像超分辨率重建等方面的研究。E-mail：1650954141@qq.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(U21A20482;62073117);河北省自然科学基金资助项目(F202202064)
- DOI：10.37188/OPE.20243206.0843
  中图分类号： TP391.4
- 纸质出版日期：2024-03-25，
  
  收稿日期：2023-07-23，
  
  修回日期：2023-09-19，
- 稿件说明：
移动端阅览
周颖,裴盛虎,陈海永等.基于多尺度自适应注意力的图像超分辨率网络[J].光学精密工程,2024,32(06):843-856.

ZHOU Ying,PEI Shenghu,CHEN Haiyong,et al.Image super-resolution network based on multi-scale adaptive attention[J].Optics and Precision Engineering,2024,32(06):843-856.
周颖,裴盛虎,陈海永等.基于多尺度自适应注意力的图像超分辨率网络[J].光学精密工程,2024,32(06):843-856. DOI： 10.37188/OPE.20243206.0843.

ZHOU Ying,PEI Shenghu,CHEN Haiyong,et al.Image super-resolution network based on multi-scale adaptive attention[J].Optics and Precision Engineering,2024,32(06):843-856. DOI： 10.37188/OPE.20243206.0843.

摘要

针对大多数图像超分辨率重建方法利用单尺度卷积进行特征提取，导致特征提取不充分的问题，提出基于多尺度自适应注意力的图像超分辨率网络。为充分利用各个层次特征中的上下文信息，设计了多尺度特征融合块，其基本单元由自适应双尺度块、多路径渐进式交互块和自适应双维度注意力依次串联组成。首先，自适应双尺度块自主融合两个尺度的特征，获得了更丰富的上下文特征；其次，多路径渐进式交互块以渐进的方式交互自适应双尺度块的输出特征，提高了上下文特征之间的关联性；最后，自适应双维度注意力自主选择不同维度注意力细化输出特征后，提高了输出特征的鉴别力。实验结果表明，在Set5， Set14， BSD100和Urban100测试集上，本文方法在PSNR和SSIM定量指标上相比于其他主流方法相均有提升，尤其对于纹理细节难以恢复的Urban100测试集，本文方法在比例因子为×4时，相较于现有最优方法SwinIR，PSNR和SSIM指标分别提升了0.05 dB和0.004 5；在视觉效果方面，本文的重建图像具有更多的纹理细节。

Abstract

Aiming at the problem that most image super-resolution methods cannot fully extract features by using single-scale convolution， an image super-resolution network based on multi-scale adaptive attention is proposed. To fully use the contextual information in each hierarchical feature， a multi-scale feature fusion block was designed， whose basic unit consists of an adaptive dual-scale block， a multi-path progressive interactive block， and an adaptive dual-dimensional attention sequentially in series. Firstly， the adaptive dual-scale block autonomously fused the features of two scales to obtain richer contextual features； secondly， the multi-path progressive interactive block interacted the output of the adaptive dual-scale block in a progressive way to improve the correlation between the contextual features； lastly， the adaptive dual-dimensional attention autonomously selected different dimensions of the attention to refine the output features， which makes the output features more discriminative. The experimental results show that on Set5， Set14， BSD100 and Urban100 test sets， the method of this paper improves the PSNR and SSIM quantitative metrics compared to other mainstream methods， especially for the Urban100 test set， where texture details are difficult to be recovered， the method of this paper improves PSNR and SSIM metrics by 0.05 dB and 0.004 5 respectively compared to the existing optimal method， SwinIR， with the scaling factor of ×4； in terms of visual effect， the reconstructed images in this paper have more texture details.

关键词

超分辨率多尺度特征注意力机制自适应权重渐进式信息交互

Keywords

super-resolutionmulti-scale featureattention mechanismadaptive weightsprogressive information interaction

references

HIJJI M， KHAN A， ALWAKEEL M M， et al. Intelligent image super-resolution for vehicle license plate in surveillance applications［J］. Mathematics， 2023， 11（4）： 892. doi: 10.3390/math11040892http://dx.doi.org/10.3390/math11040892

CHEN S L， OGAWA Y， ZHAO C B， et al. Large-scale individual building extraction from open-source satellite imagery via super-resolution-based instance segmentation approach［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2023， 195： 129-152. doi: 10.1016/j.isprsjprs.2022.11.006http://dx.doi.org/10.1016/j.isprsjprs.2022.11.006

WU Q， LI Y W， SUN Y W， et al. An arbitrary scale super-resolution approach for 3D MR images via implicit neural representation［J］. IEEE Journal of Biomedical and Health Informatics， 2023， 27（2）： 1004-1015. doi: 10.1109/jbhi.2022.3223106http://dx.doi.org/10.1109/jbhi.2022.3223106

DONG C， LOY C C， HE K M， et al. Image super-resolution using deep convolutional networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）： 295-307. doi: 10.1109/tpami.2015.2439281http://dx.doi.org/10.1109/tpami.2015.2439281

SHI W Z， CABALLERO J， HUSZÁR F， et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Washington， USA： IEEE， 2016： 1874-1883. doi: 10.1109/cvpr.2016.207http://dx.doi.org/10.1109/cvpr.2016.207

KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Washington， USA： IEEE， 2016： 1646–1654. doi: 10.1109/cvpr.2016.182http://dx.doi.org/10.1109/cvpr.2016.182

TAI Y， YANG J， LIU X M. Image super-resolution via deep recursive residual network［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21-26， 2017. Honolulu， HI. IEEE， 2017： 2790–2798.

LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. July 21-26， 2017. Honolulu， HI， USA. IEEE， 2017： 1132–1140.

程德强，赵佳敏，寇旗旗，等. 多尺度密集特征融合的图像超分辨率重建［J］. 光学精密工程， 2022， 30（20）： 2489-2500. doi: 10.37188/OPE.20223020.2489http://dx.doi.org/10.37188/OPE.20223020.2489

CHENG D Q， ZHAO J M， KOU Q Q， et al. Multi-scale dense feature fusion network for image super-resolution［J］. Opt. Precision Eng.， 2022， 30（20）： 2489-2500.（in Chinese）. doi: 10.37188/OPE.20223020.2489http://dx.doi.org/10.37188/OPE.20223020.2489

CAI Q， LI J X， LI H F， et al. TDPN： texture and detail-preserving network for single image super-resolution［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society， 2022， 31： 2375-2389. doi: 10.1109/tip.2022.3154614http://dx.doi.org/10.1109/tip.2022.3154614

LIU F Q， YANG X M， DE BAETS B. A deep recursive multi-scale feature fusion network for image super-resolution［J］. Journal of Visual Communication and Image Representation， 2023， 90： 103730. doi: 10.1016/j.jvcir.2022.103730http://dx.doi.org/10.1016/j.jvcir.2022.103730

许娇，袁三男. 增强型多尺度残差网络的图像超分辨率重建算法［J］. 激光与光电子学进展， 2023， 60（4）： 3788/LOP212884. doi: 10.3788/LOP212884http://dx.doi.org/10.3788/LOP212884

XU J， YUAN S N. Image super-resolution reconstruction algorithm based on enhanced multi-scale residual network［J］. Laser & Optoelectronics Progress， 2023， 60（4）： 3788/LOP212884.（in Chinese）. doi: 10.3788/LOP212884http://dx.doi.org/10.3788/LOP212884

NIU B， WEN W L， REN W Q， et al. Single Image Super-Resolution via a Holistic Attention Network［M］. Computer Vision-ECCV 2020. Cham： Springer International Publishing， 2020： 191-207. doi: 10.1007/978-3-030-58610-2_12http://dx.doi.org/10.1007/978-3-030-58610-2_12

王杰，徐国明，马健，等. 轻量级注意力级联网络的偏振计算成像超分辨率重建［J］. 光学精密工程， 2022， 30（19）： 2404-2419. doi: 10.37188/OPE.20223019.2404http://dx.doi.org/10.37188/OPE.20223019.2404

WANG J， XU G M， MA J， et al. Polarization computational imaging super-resolution reconstruction with lightweight attention cascading network［J］. Opt. Precision Eng.， 2022， 30（19）： 2404-2419.（in Chinese）. doi: 10.37188/OPE.20223019.2404http://dx.doi.org/10.37188/OPE.20223019.2404

SU J N， GAN M， CHEN G Y， et al. Global learnable attention for single image super-resolution［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023： 1-12. doi: 10.1109/tpami.2022.3229689http://dx.doi.org/10.1109/tpami.2022.3229689

BEHJATI P， RODRIGUEZ P， FERN\'ANDEZ C， et al. Single image super-resolution based on directional variance attention network［J］. Pattern Recognition， 2023， 133： 108997. doi: 10.1016/j.patcog.2022.108997http://dx.doi.org/10.1016/j.patcog.2022.108997

AGUSTSSON E， TIMOFTE R. NTIRE 2017 challenge on single image super-resolution： dataset and study［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. July 21-26， 2017. Honolulu， HI， USA. IEEE， 2017： 1122-1131.

BEVILACQUA M， ROUMY A， GUILLEMOT C， et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding［C］. Proceedings of the British Machine Vision Conference 2012. Surrey. British Machine Vision Association， 2012：135. doi: 10.5244/c.26.135http://dx.doi.org/10.5244/c.26.135

ZEYDE R， ELAD M， PROTTER M. On single image scale-up using sparse-representations［C］. International Conference on Curves and Surfaces. Berlin， Heidelberg： Springer， 2012： 711-730. doi: 10.1007/978-3-642-27413-8_47http://dx.doi.org/10.1007/978-3-642-27413-8_47

ARBELÁEZ P， MAIRE M， FOWLKES C， et al. Contour detection and hierarchical image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（5）： 898-916. doi: 10.1109/tpami.2010.161http://dx.doi.org/10.1109/tpami.2010.161

HUANG J B， SINGH A， AHUJA N. Single image super-resolution from transformed self-exemplars［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. June 7-12， 2015. Boston， MA， USA. IEEE， 2015： 5197–5206.

WANG Y J， LI J H， LU Y， et al. Image quality evaluation based on image weighted separating block peak signal to noise ratio［C］. International Conference on Neural Networks and Signal Processing， 2003. Proceedings of the 2003. December 14-17， 2003. Nanjing. IEEE， 2003： 994-997. doi: 10.1109/icnnsp.2003.1281036http://dx.doi.org/10.1109/icnnsp.2003.1281036

WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612. doi: 10.1109/tip.2003.819861http://dx.doi.org/10.1109/tip.2003.819861

KINGMA DP， BA J L. Adam： a method for stochastic optimization ［J］. arXiv preprint， arXiv：1412.6980， 2014.

WANG Q L， WU B G， ZHU P F， et al. ECA-Net： efficient channel attention for deep convolutional neural networks［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. June 13-19， 2020. Seattle， WA， USA. IEEE， 2020： 11531-11539.

WOO S H， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］. Proceedings of the 15th European Conference on Computer Vision （ECCV）. Berlin， Germany： Springer， 2018： 3-19. doi: 10.1007/978-3-030-01234-2_1http://dx.doi.org/10.1007/978-3-030-01234-2_1

WANG F Y， HU H T， SHEN C. BAM： A Lightweight and Efficient Balanced Attention Mechanism for Single Image Super Resolution［EB/OL］. 2021： arXiv： 2104.07566. http：//arxiv.org/abs/2104.07566http://arxiv.org/abs/2104.07566. doi: 10.1007/s11554-022-01235-xhttp://dx.doi.org/10.1007/s11554-022-01235-x

WANG X H， WANG Q， ZHAO Y Z， et al. Lightweight Single-Image Super-Resolution Network with Attentive Auxiliary Feature Learning［M］. Computer Vision-ACCV 2020. Cham： Springer International Publishing， 2021： 268-285. doi: 10.1007/978-3-030-69532-3_17http://dx.doi.org/10.1007/978-3-030-69532-3_17

ZHANG Y L， TIAN Y P， KONG Y， et al. Residual dense network for image super-resolution［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23， 2018. Salt Lake City， UT. IEEE， 2018： 2472–2481.

LIU C， LEI P C. An efficient group skip-connecting network for image super-resolution［J］. Knowledge-Based Systems， 2021， 222： 107017. doi: 10.1016/j.knosys.2021.107017http://dx.doi.org/10.1016/j.knosys.2021.107017

ANWAR S， BARNES N. Densely residual Laplacian super-resolution［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（3）： 1192-1204. doi: 10.1109/tpami.2020.3021088http://dx.doi.org/10.1109/tpami.2020.3021088

LIANG J Y， CAO J Z， SUN G L， et al. Swinir： image restoration using swin transformer［C］. 2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）. October 11-17， 2021. Montreal， BC， Canada. IEEE， 2021： 1833–1844.

ZUO Y F， XIE J C， WANG H， et al. Gradient-guided single image super-resolution based on joint trilateral feature filtering［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33（2）： 505-520. doi: 10.1109/tcsvt.2022.3204642http://dx.doi.org/10.1109/tcsvt.2022.3204642

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于注意力和宽激活密集残差网络的图像超分辨率重建

结合双注意力和加权动态图卷积的三维点云分类与分割

基于MA-DETR的SAR图像飞机目标检测

融合多尺度特征与注意力的太阳能电池表面缺陷检测

级联残差优化Transformer网络的图像超分辨率重建