Multi-scale dense feature fusion network for image super-resolution

CHENG Deqiang; ZHAO Jiamin; KOU Qiqi; CHEN Liangliang; HAN Chenggong

doi:10.37188/OPE.20223020.2489

您当前的位置：

首页 >

文章列表页 >

Multi-scale dense feature fusion network for image super-resolution

Information Sciences | 更新时间：2022-10-27

- Multi-scale dense feature fusion network for image super-resolution
- Optics and Precision Engineering Vol. 30, Issue 20, Pages: 2489-2500(2022)
- 作者机构：
  
  1.中国矿业大学信息与控制工程学院，江苏徐州 221116
  2.中国矿业大学计算机科学与技术学院，江苏徐州 221116
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223020.2489
  CLC： TP391.4
- Received：09 May 2022，
  
  Revised：02 June 2022，
  
  Published：25 October 2022
- 稿件说明：
移动端阅览
程德强,赵佳敏,寇旗旗等.多尺度密集特征融合的图像超分辨率重建[J].光学精密工程,2022,30(20):2489-2500.

CHENG Deqiang,ZHAO Jiamin,KOU Qiqi,et al.Multi-scale dense feature fusion network for image super-resolution[J].Optics and Precision Engineering,2022,30(20):2489-2500.
程德强,赵佳敏,寇旗旗等.多尺度密集特征融合的图像超分辨率重建[J].光学精密工程,2022,30(20):2489-2500. DOI： 10.37188/OPE.20223020.2489.

CHENG Deqiang,ZHAO Jiamin,KOU Qiqi,et al.Multi-scale dense feature fusion network for image super-resolution[J].Optics and Precision Engineering,2022,30(20):2489-2500. DOI： 10.37188/OPE.20223020.2489.

摘要

针对现有单幅图像超分辨率重建算法提取的图像特征信息单一、高频细节丢失的问题，提出了一种高效利用特征信息的基于多尺度密集特征融合网络的图像超分辨率重建算法。该方法通过含有不同尺度卷积核的多尺度特征融合残差模块提取不同尺度图像特征并将不同尺度的特征融合，以提取丰富的图像特征。在模块间采用密集特征融合结构将不同模块提取到的特征信息充分融合，以更好地保留图像的高频细节、获取更好的视觉感受。大量实验表明，所提出的方法在参数量减少的同时，在四个基准数据集上取得的峰值信噪比和结构相似度均有明显提升，尤其在Set5数据集上4倍重建结果的峰值信噪比相比于DID-D5提升了0.08 dB，且重建图像视觉效果更好、特征信息更加丰富，充分证明了该算法的有效性。

Abstract

Existing single-image super-resolution algorithms lose high-frequency details and cannot extract rich image features. Therefore， an image super-resolution reconstruction algorithm based on a multi-scale dense feature fusion network is proposed to efficiently utilize image features. This algorithm extracts image features of different scales by employing the multi-scale feature fusion residual module with convolution kernels of different scales. It fuses different scale features to better preserve the high-frequency details of images. A dense feature fusion structure is adopted between modules to fully integrate the feature information extracted from different modules， to avoid feature information loss and obtain better visual feeling. Several experiments show that the proposed method can significantly improve the peak signal-to-noise ratio and structural similarity on four benchmark datasets while reducing the number of parameters. In particular， on the Set5 dataset， compared with DID-D5， the peak signal-to-noise ratio of 4× super-resolution increases by 0.08 dB and the reconstructed image has better visual effects and richer feature information， thus confirming the effectiveness of the proposed algorithm.

关键词

Keywords

references

朱福珍，刘越，黄鑫，等 . 改进的稀疏表示遥感图像超分辨重建［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 718 - 725 . doi: 10.13482/j.issn1001-7011.2019.05.004 http://dx.doi.org/10.13482/j.issn1001-7011.2019.05.004

ZHU F Z ， LIU Y ， HUANG X ， et al . Remote sensing image super-resolution based on improved sparse representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese） . doi: 10.13482/j.issn1001-7011.2019.05.004 http://dx.doi.org/10.13482/j.issn1001-7011.2019.05.004

GUO K H ， GUO H F ， REN S ， et al . Towards efficient motion-blurred public security video super-resolution based on back-projection networks ［J］. Journal of Network and Computer Applications ， 2020 ， 166 ： 102691 . doi: 10.1016/j.jnca.2020.102691 http://dx.doi.org/10.1016/j.jnca.2020.102691

刘雪岩，许聿达，雷建昕，等 . 基于视差放大与超分辨率的三维光场腹腔镜标定［J］. 光学精密工程， 2022 ， 30 （ 5 ）： 510 - 517 . doi: 10.37188/OPE.2021.0332 http://dx.doi.org/10.37188/OPE.2021.0332

LIU X Y ， XU Y D ， LEI J X ， et al . Three-dimensional light field endoscope calibration based on light field disparity amplifier and super-resolution network ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 5 ）： 510 - 517 . （in Chinese） . doi: 10.37188/OPE.2021.0332 http://dx.doi.org/10.37188/OPE.2021.0332

LU W ， TAN Y P . Color filter array demosaicking： new method and performance measures ［J］. IEEE Transactions on Image Processing ， 2003 ， 12 （ 10 ）： 1194 - 1210 . doi: 10.1109/tip.2003.816004 http://dx.doi.org/10.1109/tip.2003.816004

IRANI M ， PELEG S . Improving resolution by image registration ［J］. CVGIP： Graphical Models and Image Processing ， 1991 ， 53 （ 3 ）： 231 - 239 . doi: 10.1016/1049-9652(91)90045-l http://dx.doi.org/10.1016/1049-9652(91)90045-l

蔡体健，彭潇雨，石亚鹏，等 . 通道注意力与残差级联的图像超分辨率重建［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

董本志，于明聪，赵鹏 . 基于小波域的图像超分辨率重建方法［J］. 液晶与显示， 2021 ， 36 （ 2 ）： 317 - 326 . doi: 10.37188/CJLCD.2020-0101 http://dx.doi.org/10.37188/CJLCD.2020-0101

DONG B Z ， YU M C ， ZHAO P . Image super-resolution reconstruction based on wavelet domain ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 2 ）： 317 - 326 . （in Chinese） . doi: 10.37188/CJLCD.2020-0101 http://dx.doi.org/10.37188/CJLCD.2020-0101

陈宗航，胡海龙，姚剑敏，等 . 基于改进生成对抗网络的单帧图像超分辨率重建［J］. 液晶与显示， 2021 ， 36 （ 5 ）： 705 - 712 . doi: 10.37188/CJLCD.2020-0250 http://dx.doi.org/10.37188/CJLCD.2020-0250

CHEN Z H ， HU H L ， YAO J M ， et al . Single frame image super-resolution reconstruction based on improved generative adversarial network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 5 ）： 705 - 712 . （in Chinese） . doi: 10.37188/CJLCD.2020-0250 http://dx.doi.org/10.37188/CJLCD.2020-0250

NIU B ， WEN W ， REN W ， et al . Single image super-resolution via a holistic attention network ［C］. European Conference on Computer Vision. Springer ， Glasgow， USA ， 2020 ： 191 - 207 . doi: 10.1007/978-3-030-58610-2_12 http://dx.doi.org/10.1007/978-3-030-58610-2_12

DONG C ， LOY C C ， HE K M ， et al . Image super-resolution using deep convolutional networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 2 ）： 295 - 307 . doi: 10.1109/tpami.2015.2439281 http://dx.doi.org/10.1109/tpami.2015.2439281

DONG C ， LOY C C ， TANG X . Accelerating the super-resolution convolutional neural network ［C］. European Conference on Computer Vision ， Springer ， Cham ， 2016 ： 391 - 407 . doi: 10.1007/978-3-319-46475-6_25 http://dx.doi.org/10.1007/978-3-319-46475-6_25

SHI W ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207

KIM J ， LEE J K ， LEE K M . Accurate image super-resolution using very deep convolutional networks ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1646 - 1654 . doi: 10.1109/cvpr.2016.182 http://dx.doi.org/10.1109/cvpr.2016.182

LIM B ， SON S ， KIM H ， et al . Enhanced deep residual networks for single image super-resolution ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops . Honolulu， HI， USA . IEEE ， 2016 ： 1132 - 1140 . doi: 10.1109/cvprw.2017.151 http://dx.doi.org/10.1109/cvprw.2017.151

KIM J ， LEE J K ， LEE K M . Deeply-recursive convolutional network for image super-resolution ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1637 - 1645 . doi: 10.1109/cvpr.2016.181 http://dx.doi.org/10.1109/cvpr.2016.181

TAI Y ， YANG J ， LIU X M . Image super-resolution via deep recursive residual network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 2790 - 2798 . doi: 10.1109/cvpr.2017.298 http://dx.doi.org/10.1109/cvpr.2017.298

ZHANG Y L ， TIAN Y P ， KONG Y ， et al . Residual dense network for image super-resolution ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 2472 - 2481 . doi: 10.1109/cvpr.2018.00262 http://dx.doi.org/10.1109/cvpr.2018.00262

LI J C ， FANG F M ， MEI K F ， et al . Multi-scale Residual Network for Image Super-resolution ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 527 - 542 . doi: 10.1007/978-3-030-01237-3_32 http://dx.doi.org/10.1007/978-3-030-01237-3_32

HUI Z ， GAO X B ， YANG Y C ， et al . Lightweight image super-resolution with information multi-distillation network ［C］. Proceedings of the 27th ACM International Conference on Multimedia ， 2019 ： 2024 - 2032 . doi: 10.1145/3343031.3351084 http://dx.doi.org/10.1145/3343031.3351084

HE X Y ， MO Z T ， WANG P S ， et al . ODE-inspired network design for single image super-resolution ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 1732 - 1741 . doi: 10.1109/cvpr.2019.00183 http://dx.doi.org/10.1109/cvpr.2019.00183

LI L X ， FENG H S ， ZHENG B ， et al . DID： a nested dense in dense structure with variable local dense blocks for super-resolution image reconstruction ［C］. 2020 25th International Conference on Pattern Recognition （ICPR）. Milan ， Italy . IEEE ， 2020 ： 2582 - 2589 . doi: 10.1109/icpr48806.2021.9413036 http://dx.doi.org/10.1109/icpr48806.2021.9413036

ZEYDE R ， ELAD M ， PROTTER M . On single image scale-up using sparse-representations ［C］. International Conference on Curves and Surfaces . Springer ， Berlin， Heidelberg ， 2010 ： 711 - 730 .

MARTIN D ， FOWLKES C ， TAL D ， et al . A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics ［C］. Proceedings Eighth IEEE International Conference on Computer Vision. ICCV 2001. Vancouver ， BC， Canada . IEEE ， 2001 ： 416 - 423 . doi: 10.1109/iccv.2001.937568 http://dx.doi.org/10.1109/iccv.2001.937568

HUANG J B ， SINGH A ， AHUJA N . Single image super-resolution from transformed self-exemplars ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA， USA . IEEE ， 2015 ： 5197 - 5206 . doi: 10.1109/cvpr.2015.7299156 http://dx.doi.org/10.1109/cvpr.2015.7299156

KEYS R . Cubic convolution interpolation for digital image processing ［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing ， 1981 ， 29 （ 6 ）： 1153 - 1160 . doi: 10.1109/tassp.1981.1163711 http://dx.doi.org/10.1109/tassp.1981.1163711

LAI W S ， HUANG J B ， AHUJA N ， et al . Deep Laplacian pyramid networks for fast and accurate super-resolution ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 5835 - 5843 . doi: 10.1109/cvpr.2017.618 http://dx.doi.org/10.1109/cvpr.2017.618

LUO X T ， XIE Y ， ZHANG Y L ， et al . LatticeNet： towards lightweight image super-resolution with lattice block ［C］. Computer Vision-ECCV ， 2020 ， 2020 ： 279 - 289 . doi: 10.1007/978-3-030-58542-6_17 http://dx.doi.org/10.1007/978-3-030-58542-6_17

Views

750

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Recurrent neural network multi-label aerial images classification

Spatial adaptation and frequency fusion network for single remote sensing image super-resolution

Secret key extraction from atmospheric wireless optical channels by combing with generative adversarial network

Dermoscopic image classification based on multi-scale and three-dimensional interaction feature optimization

Progressive CNN-transformer semantic compensation network for polyp segmentation

Related Author

Ke-jun CHEN

Ye ZHANG

YANG Yichuan

MA Zhongqi

ZHOU Xinyao

ZHENG Fujian

HUANG Hong

TIAN Zhuozhan

Related Institution

Chinese Academy of Sciences.

Changchun Institute of Optics Fine Mechanics and Physics, Chinese Academy of Sciences, State Key Laboratory of Applied Optics

Beijing Institute of Space Machinery and Electronics

Key Laboratory of Optoelectronic Technology and System， Ministry of Education， Chongqing University

Chongqing Research Institute， Changchun University of Science and Technology

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰