强度图像和偏振度图像融合网络的设计

闫德利; 申冲; 王晨光; 唐军; 刘俊

doi:10.37188/OPE.20233108.1256

您当前的位置：

首页 >

文章列表页 >

强度图像和偏振度图像融合网络的设计

信息科学 | 更新时间：2023-05-04

- 强度图像和偏振度图像融合网络的设计
- Design of intensity image and polarization image fusion network
- 光学精密工程 2023年31卷第8期页码：1256-1266
- 作者机构：
  
  1.中北大学仪器与电子学院，山西太原 030051
  2.中北大学信息与通信工程学院，山西太原 030051
- 作者简介：
  
  [ "闫德利（1996-），男，黑龙江齐齐哈尔人，硕士研究生，2020年于中北大学获得学士学位，主要从事偏振目标探测和偏振图像融合的研究。E-mail： yandelijy@163.com" ]
  [ "申冲（1986-），男，河北保定人，教授，博士生导师，2008年于燕山大学获得学士学位，2010年于东南大学获得硕士学位，2014年于东南大学获得博士学位，主要从事偏振光导航和偏振图像融合的研究。E-mail： shenchong@nuc.edu.cn" ]
- 基金信息：
  
  国家自然科学基金创新研究群体资助(51821003);国家自然科学基金优秀青年基金项目资助(51922009);国家自然科学基金面上项目资助(61973281);山西省重点研发计划项目资助(202003D111003);山西省优秀青年培育项目资助(202103021222011)
- DOI：10.37188/OPE.20233108.1256
  中图分类号： TP391.41
- 收稿日期：2022-09-06，
  
  修回日期：2022-11-09，
  
  纸质出版日期：2023-04-25
- 稿件说明：
移动端阅览
闫德利,申冲,王晨光等.强度图像和偏振度图像融合网络的设计[J].光学精密工程,2023,31(08):1256-1266.

YAN Deli,SHEN Chong,WANG Chenguang,et al.Design of intensity image and polarization image fusion network[J].Optics and Precision Engineering,2023,31(08):1256-1266.
闫德利,申冲,王晨光等.强度图像和偏振度图像融合网络的设计[J].光学精密工程,2023,31(08):1256-1266. DOI： 10.37188/OPE.20233108.1256.

YAN Deli,SHEN Chong,WANG Chenguang,et al.Design of intensity image and polarization image fusion network[J].Optics and Precision Engineering,2023,31(08):1256-1266. DOI： 10.37188/OPE.20233108.1256.

摘要

为了弥补强度图像在阴暗处丢失纹理细节的劣势，结合偏振度图像的偏振特性，本文提出了一种强度图像和偏振度图像的融合方法。首先，构建编码器网络提取源图像的语义信息和纹理细节。随后，特征融合网络采用加法策略和残差网络进行图像特征融合。最后，通过解码器网络对融合后的图像特征进行重构获得最终的融合图像。此外，根据源图像和融合图像之间的结构相似性损失和梯度损失，本文提出了一种改进的损失函数来引导融合网络训练。实验结果表明：与其他6种方法中融合效果最好的改进的双通道脉冲耦合神经网络（MD-PCNN）相比，本文方法的客观评价指标平均梯度、信息熵、图像质量、标准差和改进的多尺度结构相似性分别提高了4.3%，1.0%，8.1%，2.5%，3.1%，图像噪声降低了8.8%，且克服了强度图像在阴暗处丢失纹理细节的问题。

Abstract

To overcome the disadvantage that the intensity image loses texture details in the dark， this study proposes a fusion method of the intensity and polarization images that combines the former with the polarization characteristics of the latter. First， an encoder network is constructed to extract the semantic information and texture details of the source image. Subsequently， the feature fusion network adopts an additive strategy and a residual network for image feature fusion. Finally， the fused image features are reconstructed through the decoder network to obtain the final fused image. Furthermore， according to the structural similarity loss and gradient loss between the source and fused images， this study proposes an improved loss function to guide the fusion network training. Experimental results indicate that compared with the modified dual-channel pulse coupled neural network （MD-PCNN）， which has the best fusion effect among the other six methods， the objective evaluation indicators of the proposed method—average gradient， information entropy， image quality， standard deviation， and improved multi-scale structural similarity—are improved by 4.3%， 1.0%， 8.1%， 2.5%， and 3.1%， respectively； the image noise is reduced by 8.8%. Moreover， the problem of losing texture details for intensity images is eliminated.

关键词

Keywords

references

THILAK V ， VOELZ D G ， CREUSERE C D . Polarization-based index of refraction and reflection angle estimation for remote sensing applications ［J］. Applied Optics ， 2007 ， 46 （ 30 ）： 7527 - 7536 . doi: 10.1364/ao.46.007527 http://dx.doi.org/10.1364/ao.46.007527

ZHANG J C ， SHAO J B ， CHEN J L ， et al . PFNet： an unsupervised deep network for polarization image fusion ［J］. Optics Letters ， 2020 ， 45 （ 6 ）： 1507 - 1510 . doi: 10.1364/ol.384189 http://dx.doi.org/10.1364/ol.384189

CHEN W ， YAN L ， CHANDRASEKAR V . Optical polarization remote sensing ［J］. International Journal of Remote Sensing ， 2020 ， 41 （ 13 ）： 4849 - 4852 . doi: 10.1080/01431161.2020.1743529 http://dx.doi.org/10.1080/01431161.2020.1743529

SUN R ， SUN X B ， CHEN F N ， et al . An artificial target detection method combining a polarimetric feature extractor with deep convolutional neural networks ［J］. International Journal of Remote Sensing ， 2020 ， 41 （ 13 ）： 4995 - 5009 . doi: 10.1080/01431161.2020.1727584 http://dx.doi.org/10.1080/01431161.2020.1727584

李岩，张伟杰，陈嘉玉 . 偏振场景目标探测的建模与仿真［J］. 光学精密工程， 2017 ， 25 （ 8 ）： 2233 - 2243 . doi: 10.3788/OPE.20172508.2233 http://dx.doi.org/10.3788/OPE.20172508.2233

LI Y ， ZHANG W J ， CHEN J Y . Modeling and simulation for target detection in polarization scene ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 8 ）： 2233 - 2243 . （in Chinese） . doi: 10.3788/OPE.20172508.2233 http://dx.doi.org/10.3788/OPE.20172508.2233

王利杰，赵海丽，祝勇，等 . 基于多尺度变换的水下偏振图像融合研究［J］. 应用激光， 2018 ， 38 （ 5 ）： 842 - 846 .

WANG L J ， ZHAO H L ， ZHU Y ， et al . Underwater polarization image fusion research based on multiscale transformation ［J］. Applied Laser ， 2018 ， 38 （ 5 ）： 842 - 846 . （in Chinese）

沈薛晨，刘钧，高明 . 基于小波-Contourlet变换的偏振图像融合算法［J］. 红外技术， 2020 ， 42 （ 2 ）： 182 - 189 . doi: 10.3724/sp.j.7100931205 http://dx.doi.org/10.3724/sp.j.7100931205

SHEN X CH ， LIU J ， GAO M . Polarizing image fusion algorithm based on wavelet-contourlet transform ［J］. Infrared Technology ， 2020 ， 42 （ 2 ）： 182 - 189 . （in Chinese） . doi: 10.3724/sp.j.7100931205 http://dx.doi.org/10.3724/sp.j.7100931205

李蕾，郭天太，潘孙强，等 . 基于Laplacian算法的水下偏振图像复原［J］. 电子技术应用， 2019 ， 45 （ 9 ）： 85 - 88 .

LI L ， GUO T T ， PAN S Q ， et al . Underwater polarization image restoration based on Laplacian algorithm ［J］. Application of Electronic Technique ， 2019 ， 45 （ 9 ）： 85 - 88 . （in Chinese）

MA J Y ， YU W ， LIANG P W ， et al . FusionGAN： a generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 . doi: 10.1016/j.inffus.2018.09.004 http://dx.doi.org/10.1016/j.inffus.2018.09.004

姜兆祯，韩裕生，任帅军，等 . 基于改进PCNN模型的偏振图像融合算法［J］. 舰船电子工程， 2021 ， 41 （ 3 ）： 33 - 36， 175 . doi: 10.3969/j.issn.1672-9730.2021.03.009 http://dx.doi.org/10.3969/j.issn.1672-9730.2021.03.009

JIANG ZH ZH ， HAN Y SH ， REN SH J ， et al . Polarized image fusion algorithm based on improved PCNN model ［J］. Ship Electronic Engineering ， 2021 ， 41 （ 3 ）： 33 - 36， 175 . （in Chinese） . doi: 10.3969/j.issn.1672-9730.2021.03.009 http://dx.doi.org/10.3969/j.issn.1672-9730.2021.03.009

王霞，赵家碧，孙晶，等 . 偏振图像融合技术综述［J］. 航天返回与遥感， 2021 ， 42 （ 6 ）： 9 - 21 . doi: 10.3969/j.issn.1009-8518.2021.06.002 http://dx.doi.org/10.3969/j.issn.1009-8518.2021.06.002

WANG X ， ZHAO J B ， SUN J ， et al . Review of polarization image fusion technology ［J］. Spacecraft Recovery & Remote Sensing ， 2021 ， 42 （ 6 ）： 9 - 21 . （in Chinese） . doi: 10.3969/j.issn.1009-8518.2021.06.002 http://dx.doi.org/10.3969/j.issn.1009-8518.2021.06.002

TYO J S ， GOLDSTEIN D L ， CHENAULT D B ， et al . Review of passive imaging polarimetry for remote sensing applications ［J］. Applied Optics ， 2006 ， 45 （ 22 ）： 5453 - 5469 . doi: 10.1364/ao.45.005453 http://dx.doi.org/10.1364/ao.45.005453

ZHANG J CH ， SHAO J B ， CHEN J L ， et al . Polarization image fusion with self-learned fusion strategy ［J］. Pattern Recognition ， 2021 ， 118 ： 108045 . doi: 10.1016/j.patcog.2021.108045 http://dx.doi.org/10.1016/j.patcog.2021.108045

FU Y ， WU X J . A Dual-Branch Network for Infrared and Visible Image Fusion ［C］. 2020 25th International Conference on Pattern Recognition （ICPR）. 1015，2021 ， Milan， Italy. IEEE ， 2021 ： 10675 - 10680 . doi: 10.1109/icpr48806.2021.9412293 http://dx.doi.org/10.1109/icpr48806.2021.9412293

MA K D ， DUANMU Z F ， YEGANEH H ， et al . Multi-exposure image fusion by optimizing A structural similarity index ［J］. IEEE Transactions on Computational Imaging ， 2018 ， 4 （ 1 ）： 60 - 72 . doi: 10.1109/tci.2017.2786138 http://dx.doi.org/10.1109/tci.2017.2786138

WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1109/tip.2003.819861 http://dx.doi.org/10.1109/tip.2003.819861

HOU R C ， ZHOU D M ， NIE R C ， et al . VIF-net： an unsupervised framework for infrared and visible image fusion ［J］. IEEE Transactions on Computational Imaging ， 2020 ， 6 ： 640 - 651 . doi: 10.1109/tci.2020.2965304 http://dx.doi.org/10.1109/tci.2020.2965304

LI H ， WU X J . DenseFuse： a fusion approach to infrared and visible images ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 5 ）： 2614 - 2623 . doi: 10.1109/tip.2018.2887342 http://dx.doi.org/10.1109/tip.2018.2887342

QUAN S J ， QIAN W P ， GUO J H ， et al . Visible and Infrared Image Fusion Based on Curvelet Transform ［C］. The 2014 2nd International Conference on Systems and Informatics （ICSAI 2014）. 1517，2014 ， Shanghai， China. IEEE ， 2015 ： 828 - 832 . doi: 10.1109/icsai.2014.7009399 http://dx.doi.org/10.1109/icsai.2014.7009399

TOET A . Image fusion by a ratio of low-pass pyramid ［J］. Pattern Recognition Letters ， 1989 ， 9 （ 4 ）： 245 - 253 . doi: 10.1016/0167-8655(89)90003-2 http://dx.doi.org/10.1016/0167-8655(89)90003-2

MA J Y ， CHEN C ， LI C ， et al . Infrared and visible image fusion via gradient transfer and total variation minimization ［J］. Information Fusion ， 2016 ， 31 ： 100 - 109 . doi: 10.1016/j.inffus.2016.02.001 http://dx.doi.org/10.1016/j.inffus.2016.02.001

杨艳春，裴佩佩，党建武，等 . 基于交替梯度滤波器和改进PCNN的红外与可见光图像融合［J］. 光学精密工程， 2022 ， 30 （ 9 ）： 1123 - 1138 . doi: 10.37188/OPE.20223009.1123 http://dx.doi.org/10.37188/OPE.20223009.1123

YANG Y CH ， PEI P P ， DANG J W ， et al . Infrared and visible image fusion based on alternating gradient filter and improved PCNN ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 9 ）： 1123 - 1138 . （in Chinese） . doi: 10.37188/OPE.20223009.1123 http://dx.doi.org/10.37188/OPE.20223009.1123

ROBERTS J W ， VAN AARDT J A ， AHMED F B . Assessment of image fusion procedures using entropy， image quality， and multispectral classification ［J］. Journal of Applied Remote Sensing ， 2008 ， 2 （ 1 ）： 023522 . doi: 10.1117/1.2945910 http://dx.doi.org/10.1117/1.2945910

PETROVIĆ V ， XYDEAS C . Evaluation of Image Fusion Performance with Visible Differences ［M］. Lecture Notes in Computer Science . Berlin， Heidelberg ： Springer Berlin Heidelberg ， 2004 ： 380 - 391 . doi: 10.1007/978-3-540-24672-5_30 http://dx.doi.org/10.1007/978-3-540-24672-5_30

刘先红，陈志斌，秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

SHREYAMSHA KUMAR B K . Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform ［J］. Signal， Image and Video Processing ， 2013 ， 7 （ 6 ）： 1125 - 1143 . doi: 10.1007/s11760-012-0361-x http://dx.doi.org/10.1007/s11760-012-0361-x

MA K D ， ZENG K ， WANG Z . Perceptual quality assessment for multi-exposure image fusion ［J］. IEEE Transactions on Image Processing ， 2015 ， 24 （ 11 ）： 3345 - 3356 . doi: 10.1109/tip.2015.2442920 http://dx.doi.org/10.1109/tip.2015.2442920

浏览量

383

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

条件扩散和多通道高低频并行的红外与可见光图像融合

用于夜间撒布地雷探测的可见光偏振图像融合

级联残差优化Transformer网络的图像超分辨率重建

基于二次图像分解的红外图像与可见光图像融合

基于DCIF-GAN的肺部肿瘤PET/CT跨模态医学图像融合