轻量级注意力级联网络的偏振计算成像超分辨率重建

王杰; 徐国明; 马健; 王勇; 李毅

doi:10.37188/OPE.20223019.2404

您当前的位置：

首页 >

文章列表页 >

轻量级注意力级联网络的偏振计算成像超分辨率重建

信息科学 | 更新时间：2022-10-24

- 轻量级注意力级联网络的偏振计算成像超分辨率重建
- Polarization computational imaging super-resolution reconstruction with lightweight attention cascading network
- 光学精密工程 2022年30卷第19期页码：2404-2419
- 作者机构：
  
  1.安徽大学互联网学院，安徽合肥 230039
  2.安徽大学农业生态大数据分析与应用技术国家地方联合工程研究中心，安徽合肥 230601
  3.陆军炮兵防空兵学院偏振光成像探测技术安徽省重点实验室，安徽合肥 230031
  4.安徽文达信息工程学院智能技术研究所，安徽合肥 231201
- 作者简介：
  
  [ "王杰（1996-），男，安徽天长人，硕士研究生，中国计算机学会学生会员，2019年于合肥学院获得学士学位，主要从事图像超分辨率重建、深度学习及计算机视觉的研究。E-mail： y20301015@stu.ahu.edu.cn" ]
  [ "徐国明（1979-），男，安徽太和人，博士，教授，硕士生导师，中国光学工程学会高级会员，中国计算机学会高级会员，2004年于中国人民解放军炮兵学院获得硕士学位，2015年于合肥工业大学获得博士学位，主要从事偏振成像探测、计算机视觉及图像处理等方面的研究。E-mail： xgm121@163.com" ]
- 基金信息：
  
  国家自然科学基金项目(61906118);安徽省重大专项项目(202003A06020016);安徽省自然科学基金项目(1908085MF208;2108085MF230);陆军装备部“十三五”预研子课题项目;陆军装备部十三五预研子课题项目，安徽省高校自然科学研究重点项目(KJ2019A0906)
- DOI：10.37188/OPE.20223019.2404
  中图分类号： TP391
- 收稿日期：2022-05-13，
  
  修回日期：2022-06-14，
  
  纸质出版日期：2022-10-10
- 稿件说明：
移动端阅览
王杰,徐国明,马健等.轻量级注意力级联网络的偏振计算成像超分辨率重建[J].光学精密工程,2022,30(19):2404-2419.

WANG Jie,XU Guoming,MA Jian,et al.Polarization computational imaging super-resolution reconstruction with lightweight attention cascading network[J].Optics and Precision Engineering,2022,30(19):2404-2419.
王杰,徐国明,马健等.轻量级注意力级联网络的偏振计算成像超分辨率重建[J].光学精密工程,2022,30(19):2404-2419. DOI： 10.37188/OPE.20223019.2404.

WANG Jie,XU Guoming,MA Jian,et al.Polarization computational imaging super-resolution reconstruction with lightweight attention cascading network[J].Optics and Precision Engineering,2022,30(19):2404-2419. DOI： 10.37188/OPE.20223019.2404.

摘要

深度学习模式下新型偏振计算成像方法存在随着网络深度的增加计算复杂度和内存使用相应增加以及分层特征提取不充分的问题，针对该问题，提出一种轻量级注意力级联网络的偏振计算成像超分辨率方法，采用级联连接和融合连接的方式来深化卷积层的表征能力，以有效地传递浅层特征并减少参数量。设计空间注意力自适应权重机制以提取关键的空间内容特征，构造空间金字塔网络增强多感受野下的偏振特征信息，特别地，上采样模块引入浅层与深层重建双路径，通过融合双层路径特征计算生成高分辨率偏振图像。最后，网络末端信息细化块用以学习更精细的特征并增强重建质量。实验结果表明：本文网络重建图像的纹理细节更加丰富，在全偏振图像集上2倍超分辨率的峰值信噪比为45.12 dB，参数量仅约为MSRN模型的9%。所提方法通过级联方式有效捕捉低频特征信息同时极大地减少参数量，并结合注意力金字塔结构探索深层特征，实现了轻量级网络的高效超分辨率重建效果。

Abstract

The new polarization computational imaging method in deep learning mode leads to higher computational complexity and memory usage as the network depth increases and results in insufficient hierarchical feature extraction. To this end， a lightweight polarization computational imaging super-resolution network with cascade attention is proposed that requires fewer parameters and a lower computational complexity while ensuring the reconstruction accuracy. First， cascade and fusion connections are used to deepen the representational capabilities of the convolution layers to effectively transfer shallow features and reduce the number of parameters. Second， a spatial attention adaptive weighting mechanism is designed to extract polarized multi-parameter spatial content features. A spatial pyramid network is then constructed to enhance the polarization feature information under multiple receptive fields. An upsampling module introduces the shallow and deep reconstruction paths and generates high-resolution polarization images by fusing the features of the two-layer paths. Finally， the network end information refines the blocks to learn finer features and enhance the reconstruction quality. Experiments show that the texture details of the reconstructed images using the proposed method are more abundant. The peak signal-to-noise ratio （PSNR） of two-times super-resolution on the full polarized image set is 45.12 dB， and the number of parameters is approximately 9% of that for a multi-scale residual network （MSRN）. The proposed method effectively captures low-frequency feature information in a cascading manner while significantly reducing the number of parameters. Combined with the attention pyramid structure to explore deep features， an efficient super-resolution reconstruction is realized using a lightweight network.

关键词

Keywords

references

王德江，孙翯，孙雪倩 . 消光比与探测器噪声对基于纳米线栅偏振成像系统偏振精度的影响［J］. 光学精密工程， 2018 ， 26 （ 10 ）： 2371 - 2379 . doi: 10.3788/ope.20182610.2371 http://dx.doi.org/10.3788/ope.20182610.2371

WANG D J ， SUN H ， SUN X Q . Effect of extinction ratio and detector noise on polarization accuracy of nanometer wire grid polarization imaging system ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 10 ）： 2371 - 2379 . （in Chinese） . doi: 10.3788/ope.20182610.2371 http://dx.doi.org/10.3788/ope.20182610.2371

王小龙，王峰，刘晓，等 . 荒漠背景下典型伪装目标的高光谱偏振特性［J］. 激光与光电子学进展， 2018 ， 55 （ 5 ）： 198 - 207 . doi: 10.3788/lop55.051101 http://dx.doi.org/10.3788/lop55.051101

WANG X L ， WANG F ， LIU X ， et al . Hyperspectral polarization characteristics of typical camouflage target under desert background ［J］. Laser ＆ Optoelectronics Progress ， 2018 ， 55 （ 5 ）： 198 - 207 . （in Chinese） . doi: 10.3788/lop55.051101 http://dx.doi.org/10.3788/lop55.051101

王孙晨，张磊，薛模根，等 . 空间调制型全偏振成像系统解调算法优化［J］. 光子学报， 2020 ， 49 （ 12 ）： 152 - 162 . doi: 10.3788/gzxb20204912.1211001 http://dx.doi.org/10.3788/gzxb20204912.1211001

WANG S CH ， ZHANG L ， XUE M G ， et al . Optimization with demodulation algorithm for spatially modulated full polarization imaging system ［J］. Acta Photonica Sinica ， 2020 ， 49 （ 12 ）： 152 - 162 . （in Chinese） . doi: 10.3788/gzxb20204912.1211001 http://dx.doi.org/10.3788/gzxb20204912.1211001

胡巧云，杨伟锋，胡亚东，等 . 空间调制型全Stokes参量偏振成像系统原理及仿真［J］. 光学学报， 2015 ， 35 （ 2 ）： 152 - 158 . doi: 10.3788/aos201535.0211004 http://dx.doi.org/10.3788/aos201535.0211004

HU Q Y ， YANG W F ， HU Y D ， et al . Principle and simulation of a spatially modulated full stokes parameters polarization imaging system ［J］. Acta Optica Sinica ， 2015 ， 35 （ 2 ）： 152 - 158 . （in Chinese） . doi: 10.3788/aos201535.0211004 http://dx.doi.org/10.3788/aos201535.0211004

王成，范之国，金海红，等 . 全偏振大气偏振模式成像系统的设计与优化分析［J］. 物理学报， 2021 ， 70 （ 10 ）： 123 - 131 . doi: 10.7498/aps.70.20210104 http://dx.doi.org/10.7498/aps.70.20210104

WANG C ， FAN ZH G ， JIN H H ， et al . Design and optimization analysis of imaging system of polarized skylight pattern of full polarization ［J］. Acta Physica Sinica ， 2021 ， 70 （ 10 ）： 123 - 131 . （in Chinese） . doi: 10.7498/aps.70.20210104 http://dx.doi.org/10.7498/aps.70.20210104

吴艳，陈凡胜，陈桂林 . 图像复原与超分辨率重构基本适用条件及提高空间分辨率上限的研究［J］. 红外与毫米波学报， 2010 ， 29 （ 5 ）： 351 - 356 . doi: 10.3724/sp.j.1010.2010.00351 http://dx.doi.org/10.3724/sp.j.1010.2010.00351

WU Y ， CHEN F SH ， CHEN G L . Applicable conditions and improving spatial resolution upper limits of image restoration and super-resolution reconstruction ［J］. Journal of Infrared and Millimeter Waves ， 2010 ， 29 （ 5 ）： 351 - 356 . （in Chinese） . doi: 10.3724/sp.j.1010.2010.00351 http://dx.doi.org/10.3724/sp.j.1010.2010.00351

吴笑天，杨航，孙兴龙 . 基于区域选择网络的图像复原及其在计算成像中的应用［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 864 - 876 . doi: 10.37188/OPE.20212904.0864 http://dx.doi.org/10.37188/OPE.20212904.0864

WU X T ， YANG H ， SUN X L . Image restoring method based on region selection network and its application in computational imaging ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 864 - 876 . （in Chinese） . doi: 10.37188/OPE.20212904.0864 http://dx.doi.org/10.37188/OPE.20212904.0864

徐国明，袁宏武，薛模根，等 . 空间调制全偏振计算成像场景迁移超分辨率方法［J］. 计算机辅助设计与图形学学报， 2021 ， 33 （ 9 ）： 1440 - 1449 . doi: 10.3724/sp.j.1089.2021.18699 http://dx.doi.org/10.3724/sp.j.1089.2021.18699

XU G M ， YUAN H W ， XUE M G ， et al . Spatial modulation full polarization computing imaging super-resolution via scene transfer ［J］. Journal of Computer-Aided Design ＆ Computer Graphics ， 2021 ， 33 （ 9 ）： 1440 - 1449 . （in Chinese） . doi: 10.3724/sp.j.1089.2021.18699 http://dx.doi.org/10.3724/sp.j.1089.2021.18699

ZHANG J ， YUAN C G ， HUANG G H ， et al . Acquisition of a full-resolution image and aliasing reduction for a spatially modulated imaging polarimeter with two snapshots ［J］. Applied Optics ， 2018 ， 57 （ 10 ）： 2376 - 2382 . doi: 10.1364/ao.57.002376 http://dx.doi.org/10.1364/ao.57.002376

孟祥超，孙伟伟，任凯，等 . 基于多分辨率分析的GF-5和GF-1遥感影像空—谱融合［J］. 遥感学报， 2020 ， 24 （ 4 ）： 379 - 387 .

MENG X CH ， SUN W W ， REN K ， et al . Spatial-spectral fusion of GF-5/GF-1 remote sensing images based on multiresolution analysis ［J］. Journal of Remote Sensing ， 2020 ， 24 （ 4 ）： 379 - 387 . （in Chinese）

ZHANG L ， NIE J T ， WEI W ， et al . Unsupervised adaptation learning for hyperspectral imagery super-resolution ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 3070 - 3079 . doi: 10.1109/cvpr42600.2020.00314 http://dx.doi.org/10.1109/cvpr42600.2020.00314

XIE Q ， ZHOU M H ， ZHAO Q ， et al . Multispectral and hyperspectral image fusion by MS/HS fusion net ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 1585 - 1594 . doi: 10.1109/cvpr.2019.00168 http://dx.doi.org/10.1109/cvpr.2019.00168

SOH J W ， CHO S ， CHO N I . Meta-transfer learning for zero-shot super-resolution ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 3513 - 3522 . doi: 10.1109/cvpr42600.2020.00357 http://dx.doi.org/10.1109/cvpr42600.2020.00357

WANG Z H ， CHEN J ， HOI S C H . Deep learning for image super-resolution： a survey ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 10 ）： 3365 - 3387 . doi: 10.1109/tpami.2020.2982166 http://dx.doi.org/10.1109/tpami.2020.2982166

DONG C ， LOY C C ， HE K M ， et al . Image super-resolution using deep convolutional networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 2 ）： 295 - 307 . doi: 10.1109/tpami.2015.2439281 http://dx.doi.org/10.1109/tpami.2015.2439281

LIM B ， SON S ， KIM H ， et al . Enhanced deep residual networks for single image super-resolution ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops . Honolulu， HI， USA . IEEE ， 2017 ： 1132 - 1140 . doi: 10.1109/cvprw.2017.151 http://dx.doi.org/10.1109/cvprw.2017.151

LIU J ， ZHANG W J ， TANG Y T ， et al . Residual feature aggregation network for image super-resolution ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 2356 - 2365 . doi: 10.1109/cvpr42600.2020.00243 http://dx.doi.org/10.1109/cvpr42600.2020.00243

ZHANG Y L ， LI K P ， LI K ， et al . Image super-resolution using very deep residual channel attention networks ［C］. Computer Vision-ECCV 2018 ， 2018 ： 286 - 301 . doi: 10.1007/978-3-030-01234-2_18 http://dx.doi.org/10.1007/978-3-030-01234-2_18

LAN R S ， SUN L ， LIU Z B ， et al . MADNet： a fast and lightweight network for single-image super resolution ［J］. IEEE Transactions on Cybernetics ， 2021 ， 51 （ 3 ）： 1443 - 1453 . doi: 10.1109/tcyb.2020.2970104 http://dx.doi.org/10.1109/tcyb.2020.2970104

LI Y H ， IWAMOTO Y ， LIN L F ， et al . VolumeNet： a lightweight parallel network for super-resolution of MR and CT volumetric data ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2021 ， 30 ： 4840 - 4854 . doi: 10.1109/tip.2021.3076285 http://dx.doi.org/10.1109/tip.2021.3076285

WAN J ， YIN H ， LIU Z H ， et al . Lightweight image super-resolution by multi-scale aggregation ［J］. IEEE Transactions on Broadcasting ， 2021 ， 67 （ 2 ）： 372 - 382 . doi: 10.1109/tbc.2020.3028356 http://dx.doi.org/10.1109/tbc.2020.3028356

SHI W Z ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207

DONG C ， LOY C C ， TANG X O . Accelerating the super-resolution convolutional neural network ［C］. Proceedings of the European conference on computer vision. Springer ， Cham ， 2016 ： 391 - 407 . doi: 10.1007/978-3-319-46475-6_25 http://dx.doi.org/10.1007/978-3-319-46475-6_25

AHN N ， KANG B ， SOHN K A . Fast， accurate， and lightweight super-resolution with cascading residual network ［C］. Proceedings of the European conference on computer vision. Springer ， Cham ， 2018 ： 252 - 268 . doi: 10.1007/978-3-030-01249-6_16 http://dx.doi.org/10.1007/978-3-030-01249-6_16

HUI Z ， WANG X M ， GAO X B . Fast and accurate single image super-resolution via information distillation network ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 723 - 731 . doi: 10.1109/cvpr.2018.00082 http://dx.doi.org/10.1109/cvpr.2018.00082

KIM J ， LEE J K ， LEE K M . Deeply-recursive convolutional network for image super-resolution ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1637 - 1645 . doi: 10.1109/cvpr.2016.181 http://dx.doi.org/10.1109/cvpr.2016.181

TAI Y ， YANG J ， LIU X M . Image super-resolution via deep recursive residual network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 2790 - 2798 . doi: 10.1109/cvpr.2017.298 http://dx.doi.org/10.1109/cvpr.2017.298

WANG C ， LI Z ， SHI J . Lightweight image super-resolution with adaptive weighted learning network ［J］. arXiv preprint arXiv： 1904.02358 ， 2019 .

TIAN C W ， XU Y ， ZUO W M ， et al . Coarse-to-fine CNN for image super-resolution ［J］. IEEE Transactions on Multimedia ， 2021 ， 23 ： 1489 - 1502 . doi: 10.1109/tmm.2020.2999182 http://dx.doi.org/10.1109/tmm.2020.2999182

WEI W ， FENG G Q ， ZHANG Q ， et al . Accurate single image super-resolution using cascading dense connections ［J］. Electronics Letters ， 2019 ， 55 （ 13 ）： 739 - 742 . doi: 10.1049/el.2019.0392 http://dx.doi.org/10.1049/el.2019.0392

AHN N ， KANG B ， SOHN K A . Photo-realistic image super-resolution with fast and lightweight cascading residual network ［J］. arXiv preprint arXiv ： 1903.02240 ， 2019 .

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

DAI T ， CAI J R ， ZHANG Y B ， et al . Second-order attention network for single image super-resolution ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 11057 - 11066 . doi: 10.1109/cvpr.2019.01132 http://dx.doi.org/10.1109/cvpr.2019.01132

HU Y T ， LI J ， HUANG Y F ， et al . Channel-wise and spatial feature modulation network for single image super-resolution ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2020 ， 30 （ 11 ）： 3911 - 3927 . doi: 10.1109/tcsvt.2019.2915238 http://dx.doi.org/10.1109/tcsvt.2019.2915238

XU B ， WANG N ， CHEN T ， et al . Empirical evaluation of rectified activations in convolutional network ［J］. arXiv preprint arXiv： 1505 . 00853 ， 2015 .

AGUSTSSON E ， TIMOFTE R . NTIRE 2017 challenge on single image super-resolution： dataset and study ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops . Honolulu， HI， USA . IEEE ， 2017 ： 1122 - 1131 . doi: 10.1109/cvprw.2017.150 http://dx.doi.org/10.1109/cvprw.2017.150

HARIS M ， SHAKHNAROVICH G ， UKITA N . Deep back-projection networks for super-resolution ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 1664 - 1673 . doi: 10.1109/cvpr.2018.00179 http://dx.doi.org/10.1109/cvpr.2018.00179

蔡体健，彭潇雨，石亚鹏，等 . 通道注意力与残差级联的图像超分辨率重建［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

LI J ， FANG F ， MEI K ， et al . Multi-scale residual network for image super-resolution ［C］. Proceedings of the European Conference on Computer Vision（ECCV） . 2018 ： 517 - 532 . doi: 10.1007/978-3-030-01237-3_32 http://dx.doi.org/10.1007/978-3-030-01237-3_32

浏览量

708

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多尺度自适应注意力的图像超分辨率网络

基于注意力和宽激活密集残差网络的图像超分辨率重建

融合边缘增强与非局部模块的遥感图像超分辨率重建生成对抗网络

光学系统与图像处理端到端协同设计及其应用

面向多元场景的轻量级行人检测