Design of intensity image and polarization image fusion network

YAN Deli; SHEN Chong; WANG Chenguang; TANG Jun; LIU Jun

doi:10.37188/OPE.20233108.1256

您当前的位置：

首页 >

文章列表页 >

Design of intensity image and polarization image fusion network

Information Sciences | 更新时间：2023-05-04

- Design of intensity image and polarization image fusion network
- Optics and Precision Engineering Vol. 31, Issue 8, Pages: 1256-1266(2023)
- 作者机构：
  
  1.中北大学仪器与电子学院，山西太原 030051
  2.中北大学信息与通信工程学院，山西太原 030051
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233108.1256
  CLC： TP391.41
- Received：06 September 2022，
  
  Revised：09 November 2022，
  
  Published：25 April 2023
- 稿件说明：
移动端阅览
闫德利,申冲,王晨光等.强度图像和偏振度图像融合网络的设计[J].光学精密工程,2023,31(08):1256-1266.

YAN Deli,SHEN Chong,WANG Chenguang,et al.Design of intensity image and polarization image fusion network[J].Optics and Precision Engineering,2023,31(08):1256-1266.
闫德利,申冲,王晨光等.强度图像和偏振度图像融合网络的设计[J].光学精密工程,2023,31(08):1256-1266. DOI： 10.37188/OPE.20233108.1256.

YAN Deli,SHEN Chong,WANG Chenguang,et al.Design of intensity image and polarization image fusion network[J].Optics and Precision Engineering,2023,31(08):1256-1266. DOI： 10.37188/OPE.20233108.1256.

摘要

为了弥补强度图像在阴暗处丢失纹理细节的劣势，结合偏振度图像的偏振特性，本文提出了一种强度图像和偏振度图像的融合方法。首先，构建编码器网络提取源图像的语义信息和纹理细节。随后，特征融合网络采用加法策略和残差网络进行图像特征融合。最后，通过解码器网络对融合后的图像特征进行重构获得最终的融合图像。此外，根据源图像和融合图像之间的结构相似性损失和梯度损失，本文提出了一种改进的损失函数来引导融合网络训练。实验结果表明：与其他6种方法中融合效果最好的改进的双通道脉冲耦合神经网络（MD-PCNN）相比，本文方法的客观评价指标平均梯度、信息熵、图像质量、标准差和改进的多尺度结构相似性分别提高了4.3%，1.0%，8.1%，2.5%，3.1%，图像噪声降低了8.8%，且克服了强度图像在阴暗处丢失纹理细节的问题。

Abstract

To overcome the disadvantage that the intensity image loses texture details in the dark， this study proposes a fusion method of the intensity and polarization images that combines the former with the polarization characteristics of the latter. First， an encoder network is constructed to extract the semantic information and texture details of the source image. Subsequently， the feature fusion network adopts an additive strategy and a residual network for image feature fusion. Finally， the fused image features are reconstructed through the decoder network to obtain the final fused image. Furthermore， according to the structural similarity loss and gradient loss between the source and fused images， this study proposes an improved loss function to guide the fusion network training. Experimental results indicate that compared with the modified dual-channel pulse coupled neural network （MD-PCNN）， which has the best fusion effect among the other six methods， the objective evaluation indicators of the proposed method—average gradient， information entropy， image quality， standard deviation， and improved multi-scale structural similarity—are improved by 4.3%， 1.0%， 8.1%， 2.5%， and 3.1%， respectively； the image noise is reduced by 8.8%. Moreover， the problem of losing texture details for intensity images is eliminated.

关键词

Keywords

references

THILAK V ， VOELZ D G ， CREUSERE C D . Polarization-based index of refraction and reflection angle estimation for remote sensing applications ［J］. Applied Optics ， 2007 ， 46 （ 30 ）： 7527 - 7536 . doi: 10.1364/ao.46.007527 http://dx.doi.org/10.1364/ao.46.007527

ZHANG J C ， SHAO J B ， CHEN J L ， et al . PFNet： an unsupervised deep network for polarization image fusion ［J］. Optics Letters ， 2020 ， 45 （ 6 ）： 1507 - 1510 . doi: 10.1364/ol.384189 http://dx.doi.org/10.1364/ol.384189

CHEN W ， YAN L ， CHANDRASEKAR V . Optical polarization remote sensing ［J］. International Journal of Remote Sensing ， 2020 ， 41 （ 13 ）： 4849 - 4852 . doi: 10.1080/01431161.2020.1743529 http://dx.doi.org/10.1080/01431161.2020.1743529

SUN R ， SUN X B ， CHEN F N ， et al . An artificial target detection method combining a polarimetric feature extractor with deep convolutional neural networks ［J］. International Journal of Remote Sensing ， 2020 ， 41 （ 13 ）： 4995 - 5009 . doi: 10.1080/01431161.2020.1727584 http://dx.doi.org/10.1080/01431161.2020.1727584

李岩，张伟杰，陈嘉玉 . 偏振场景目标探测的建模与仿真［J］. 光学精密工程， 2017 ， 25 （ 8 ）： 2233 - 2243 . doi: 10.3788/OPE.20172508.2233 http://dx.doi.org/10.3788/OPE.20172508.2233

LI Y ， ZHANG W J ， CHEN J Y . Modeling and simulation for target detection in polarization scene ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 8 ）： 2233 - 2243 . （in Chinese） . doi: 10.3788/OPE.20172508.2233 http://dx.doi.org/10.3788/OPE.20172508.2233

王利杰，赵海丽，祝勇，等 . 基于多尺度变换的水下偏振图像融合研究［J］. 应用激光， 2018 ， 38 （ 5 ）： 842 - 846 .

WANG L J ， ZHAO H L ， ZHU Y ， et al . Underwater polarization image fusion research based on multiscale transformation ［J］. Applied Laser ， 2018 ， 38 （ 5 ）： 842 - 846 . （in Chinese）

沈薛晨，刘钧，高明 . 基于小波-Contourlet变换的偏振图像融合算法［J］. 红外技术， 2020 ， 42 （ 2 ）： 182 - 189 . doi: 10.3724/sp.j.7100931205 http://dx.doi.org/10.3724/sp.j.7100931205

SHEN X CH ， LIU J ， GAO M . Polarizing image fusion algorithm based on wavelet-contourlet transform ［J］. Infrared Technology ， 2020 ， 42 （ 2 ）： 182 - 189 . （in Chinese） . doi: 10.3724/sp.j.7100931205 http://dx.doi.org/10.3724/sp.j.7100931205

李蕾，郭天太，潘孙强，等 . 基于Laplacian算法的水下偏振图像复原［J］. 电子技术应用， 2019 ， 45 （ 9 ）： 85 - 88 .

LI L ， GUO T T ， PAN S Q ， et al . Underwater polarization image restoration based on Laplacian algorithm ［J］. Application of Electronic Technique ， 2019 ， 45 （ 9 ）： 85 - 88 . （in Chinese）

MA J Y ， YU W ， LIANG P W ， et al . FusionGAN： a generative adversarial network for infrared and visible image fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 . doi: 10.1016/j.inffus.2018.09.004 http://dx.doi.org/10.1016/j.inffus.2018.09.004

姜兆祯，韩裕生，任帅军，等 . 基于改进PCNN模型的偏振图像融合算法［J］. 舰船电子工程， 2021 ， 41 （ 3 ）： 33 - 36， 175 . doi: 10.3969/j.issn.1672-9730.2021.03.009 http://dx.doi.org/10.3969/j.issn.1672-9730.2021.03.009

JIANG ZH ZH ， HAN Y SH ， REN SH J ， et al . Polarized image fusion algorithm based on improved PCNN model ［J］. Ship Electronic Engineering ， 2021 ， 41 （ 3 ）： 33 - 36， 175 . （in Chinese） . doi: 10.3969/j.issn.1672-9730.2021.03.009 http://dx.doi.org/10.3969/j.issn.1672-9730.2021.03.009

王霞，赵家碧，孙晶，等 . 偏振图像融合技术综述［J］. 航天返回与遥感， 2021 ， 42 （ 6 ）： 9 - 21 . doi: 10.3969/j.issn.1009-8518.2021.06.002 http://dx.doi.org/10.3969/j.issn.1009-8518.2021.06.002

WANG X ， ZHAO J B ， SUN J ， et al . Review of polarization image fusion technology ［J］. Spacecraft Recovery & Remote Sensing ， 2021 ， 42 （ 6 ）： 9 - 21 . （in Chinese） . doi: 10.3969/j.issn.1009-8518.2021.06.002 http://dx.doi.org/10.3969/j.issn.1009-8518.2021.06.002

TYO J S ， GOLDSTEIN D L ， CHENAULT D B ， et al . Review of passive imaging polarimetry for remote sensing applications ［J］. Applied Optics ， 2006 ， 45 （ 22 ）： 5453 - 5469 . doi: 10.1364/ao.45.005453 http://dx.doi.org/10.1364/ao.45.005453

ZHANG J CH ， SHAO J B ， CHEN J L ， et al . Polarization image fusion with self-learned fusion strategy ［J］. Pattern Recognition ， 2021 ， 118 ： 108045 . doi: 10.1016/j.patcog.2021.108045 http://dx.doi.org/10.1016/j.patcog.2021.108045

FU Y ， WU X J . A Dual-Branch Network for Infrared and Visible Image Fusion ［C］. 2020 25th International Conference on Pattern Recognition （ICPR）. 1015，2021 ， Milan， Italy. IEEE ， 2021 ： 10675 - 10680 . doi: 10.1109/icpr48806.2021.9412293 http://dx.doi.org/10.1109/icpr48806.2021.9412293

MA K D ， DUANMU Z F ， YEGANEH H ， et al . Multi-exposure image fusion by optimizing A structural similarity index ［J］. IEEE Transactions on Computational Imaging ， 2018 ， 4 （ 1 ）： 60 - 72 . doi: 10.1109/tci.2017.2786138 http://dx.doi.org/10.1109/tci.2017.2786138

WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1109/tip.2003.819861 http://dx.doi.org/10.1109/tip.2003.819861

HOU R C ， ZHOU D M ， NIE R C ， et al . VIF-net： an unsupervised framework for infrared and visible image fusion ［J］. IEEE Transactions on Computational Imaging ， 2020 ， 6 ： 640 - 651 . doi: 10.1109/tci.2020.2965304 http://dx.doi.org/10.1109/tci.2020.2965304

LI H ， WU X J . DenseFuse： a fusion approach to infrared and visible images ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 5 ）： 2614 - 2623 . doi: 10.1109/tip.2018.2887342 http://dx.doi.org/10.1109/tip.2018.2887342

QUAN S J ， QIAN W P ， GUO J H ， et al . Visible and Infrared Image Fusion Based on Curvelet Transform ［C］. The 2014 2nd International Conference on Systems and Informatics （ICSAI 2014）. 1517，2014 ， Shanghai， China. IEEE ， 2015 ： 828 - 832 . doi: 10.1109/icsai.2014.7009399 http://dx.doi.org/10.1109/icsai.2014.7009399

TOET A . Image fusion by a ratio of low-pass pyramid ［J］. Pattern Recognition Letters ， 1989 ， 9 （ 4 ）： 245 - 253 . doi: 10.1016/0167-8655(89)90003-2 http://dx.doi.org/10.1016/0167-8655(89)90003-2

MA J Y ， CHEN C ， LI C ， et al . Infrared and visible image fusion via gradient transfer and total variation minimization ［J］. Information Fusion ， 2016 ， 31 ： 100 - 109 . doi: 10.1016/j.inffus.2016.02.001 http://dx.doi.org/10.1016/j.inffus.2016.02.001

杨艳春，裴佩佩，党建武，等 . 基于交替梯度滤波器和改进PCNN的红外与可见光图像融合［J］. 光学精密工程， 2022 ， 30 （ 9 ）： 1123 - 1138 . doi: 10.37188/OPE.20223009.1123 http://dx.doi.org/10.37188/OPE.20223009.1123

YANG Y CH ， PEI P P ， DANG J W ， et al . Infrared and visible image fusion based on alternating gradient filter and improved PCNN ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 9 ）： 1123 - 1138 . （in Chinese） . doi: 10.37188/OPE.20223009.1123 http://dx.doi.org/10.37188/OPE.20223009.1123

ROBERTS J W ， VAN AARDT J A ， AHMED F B . Assessment of image fusion procedures using entropy， image quality， and multispectral classification ［J］. Journal of Applied Remote Sensing ， 2008 ， 2 （ 1 ）： 023522 . doi: 10.1117/1.2945910 http://dx.doi.org/10.1117/1.2945910

PETROVIĆ V ， XYDEAS C . Evaluation of Image Fusion Performance with Visible Differences ［M］. Lecture Notes in Computer Science . Berlin， Heidelberg ： Springer Berlin Heidelberg ， 2004 ： 380 - 391 . doi: 10.1007/978-3-540-24672-5_30 http://dx.doi.org/10.1007/978-3-540-24672-5_30

刘先红，陈志斌，秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242

SHREYAMSHA KUMAR B K . Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform ［J］. Signal， Image and Video Processing ， 2013 ， 7 （ 6 ）： 1125 - 1143 . doi: 10.1007/s11760-012-0361-x http://dx.doi.org/10.1007/s11760-012-0361-x

MA K D ， ZENG K ， WANG Z . Perceptual quality assessment for multi-exposure image fusion ［J］. IEEE Transactions on Image Processing ， 2015 ， 24 （ 11 ）： 3345 - 3356 . doi: 10.1109/tip.2015.2442920 http://dx.doi.org/10.1109/tip.2015.2442920

Views

495

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Polarized image feature fusion in power inspection

Infrared and visible image fusion based on multi-scale spatial attention complementary

Adaptive color compensation and multi-scale fusion for underwater image enhancement

X-ray image fusion for ancient bronze mirror based on intuitionistic fuzzy set entropy measure and salient feature detection

Conditional diffusion and multi-channel high-low frequency parallel fusion of infrared and visible light images

Related Author

NI Mengyao

PENG Yuanlong

HU Shang

YAN Longchuan

ZHENG Jinkun

CAO Danhua

ZHANG Yongxing

LIAN Bowen

Related Institution

School of Optical and Electronic Information， Huazhong University of Science and Technology

State Grid Information & Telecommunication Branch

State Grid JiangXi Electric Power Supply Co

National Key Laboratory of Adaptive Optics

Institute on Optics and Electronics Technology， Chinese Academy of Sciences

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰