A novel image fusion method with fractional saliency detection and QFWA in NSST

Jian-ping LIN; Yi-peng LIAO

doi:10.37188/OPE.20212906.1406

您当前的位置：

首页 >

文章列表页 >

A novel image fusion method with fractional saliency detection and QFWA in NSST

Information Sciences | 更新时间：2021-07-03

- A novel image fusion method with fractional saliency detection and QFWA in NSST
- Optics and Precision Engineering Vol. 29, Issue 6, Pages: 1406-1419(2021)
- 作者机构：
  
  1.阳光学院人工智能学院，福建福州 350015
  2.福州大学物理与信息工程学院，福建福州 350108
- 作者简介：
  
  E-mail： fzu_lyp@163.com
- 基金信息：
- DOI：10.37188/OPE.20212906.1406
  CLC： TP394.1;TH691.9
- Received：12 November 2020，
  
  Revised：27 December 2020，
  
  Published：15 June 2021
- 稿件说明：
移动端阅览
林剑萍,廖一鹏.结合分数阶显著性检测及量子烟花算法的NSST域图像融合[J].光学精密工程,2021,29(06):1406-1419.

LIN Jian-ping,LIAO Yi-peng.A novel image fusion method with fractional saliency detection and QFWA in NSST[J].Optics and Precision Engineering,2021,29(06):1406-1419.
林剑萍,廖一鹏.结合分数阶显著性检测及量子烟花算法的NSST域图像融合[J].光学精密工程,2021,29(06):1406-1419. DOI： 10.37188/OPE.20212906.1406.

LIN Jian-ping,LIAO Yi-peng.A novel image fusion method with fractional saliency detection and QFWA in NSST[J].Optics and Precision Engineering,2021,29(06):1406-1419. DOI： 10.37188/OPE.20212906.1406.

摘要

针对传统红外与可见光图像融合算法中存在的细节纹理信息不够清晰，边缘信息保留不够充分等问题，提出一种基于分数阶显著性及改进量子烟花算法的非下采样Shearlet变换（NSST）域图像融合方法。首先对红外与可见光图像进行NSST分解，低频分量先进行基于分数阶微分增强的显著性检测；然后按照显著图匹配度的融合规则进行融合，高频子带采用梯度变化和灰度差异加权策略进行融合；接着对量子烟花算法进行改进，并对高低频融合参数进行优化；最后输出最佳的融合图像。通过实验表明：基于分数阶微分增强的显著性检测具有较好的视觉显著效果，改进量子烟花算法的寻优能力强、收敛效率高，所提方法得到的融合图像有效地综合红外与可见光图像中的细节信息，与现有方法相比具有较好的融合效果，且自适应能力强、无需人工干预。

Abstract

In traditional infrared and visible image fusion algorithms， some research problems such as inadequate detail texture information and insufficient edge information retention. Therefore， a non-subsampled shearlet transform （NSST） image fusion method based on fractional saliency detection and improved quantum fireworks algorithm is proposed. First， an NSST decomposition is performed for infrared and visible images， and the saliency detection is also executed on the basis of the fractional differential enhancement for low-frequency components， and then fusion is carried out according to the rules of the saliency map matching degree. The high-frequency subbands are merged by the gradient variation and gray difference weighting strategy. Second， the quantum fireworks algorithm is improved， and the high- and low-frequency fusion parameters are optimized by the improved quantum fireworks algorithm. Finally， the best fusion image can be generated. The experiment results showed that the saliency detection based on fractional differential enhancement can achieve good visual saliency. Moreover， the improved quantum fireworks algorithm has strong optimization ability and high convergence efficiency. As a result， the fusion image obtained by the proposed method effectively integrates the detailed information into the infrared and visible images. Compared with the existing methods， the proposed method realizes a better fusion effect with strong self-adjustment ability without any human intervention.

关键词

Keywords

references

JIAYI MA ， YONG MA ， CHANG LI . Infrared and visible image fusion methods and applications： A survey ［J］ . Information Fusion ， 2019 ： 153 - 178 .

刘先红，秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1242 - 1253 .

LIU X H ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese）

JIN HY ， JIAO LC ， LIU F ， et al . Fusion of infrared and visual images based on contrast pyramid directional filter banks using clonal selection optimizing ［J］. Optical Engineering . 2008 ， 47 （ 2 ）： 027002（1-8 ）

MS . NALINI B. KOLEKAR， PROF.R.P. SHELKIKAR.A Review on Wavelet transform based image fusion and classification ［J］. International Journal of Application or Innovation in Engineering & Management （IJAIEM） . 2016 ， 5 （ 3 ）： 111 - 115 .

ZHANG Y K ， HE S ， CHENG Y J . Image Fusion Algorithm Based on Contourlet Transform ［J］. Advanced Materials Research ， 2014 ， 1044-1045 ： 1173 - 1177 .

ADU J ， GAN J ， WANG Y ， et al . Image fusion based on nonsubsampled contourlet transform for infrared and visible light image ［J］. Infrared Physics & Technology ， 2013 ， 61 ： 94 - 100 .

江泽涛，何玉婷，张少钦 . 一种基于对比度增强和柯西模糊函数的红外与弱可见光图像融合算法［J］. 光子学报， 2019 ， 48 （ 6 ）： 0610001 .

JIANG Z T ， HE Y T ， ZHANG SH Q . Infrared and low-light-level visible image fusion algorithm based on contrast enhance mentand cauchy fuzzy function ［J］. Acta Photonica Sinica ， 2019 ， 48 （ 6 ）： 0610001 . （in Chinese）

吴冬鹏，毕笃彦，何林远，等 . 基于NSSCT的红外与可见光图像融合［J］. 光学学报， 2017 ， 37 （ 7 ）： 0710003 .

WU D P ， BI D Y ， HE L Y ， et al . A fusion algorithm of infrared and visible image based on NSSCT ［J］. Acta Optica Sinica ， 37 （ 7 ）： 0710003 . （in Chinese）

LI H ， QIU H ， YU Z ， et al . Infrared and visible image fusion scheme based on NSCT and low-level visual features ［J］. Infrared Physics ＆ Technology ， 2016 ， 76 ： 174 - 184 ．

甄媚，王书朋 . 可见光与红外图像自适应加权平均融合方法［J］. 红外技术， 2019 ， 41 （ 4 ）： 49 - 54 .

ZHEN M ， WANG S P . An adaptive weighted average fusion method for visible and infrared images ［J］. Infrared Technology ， 2019 ， 41 （ 4 ）： 49 - 54 . （in Chinese）

丁文杉，毕笃彦，何林远，等 . 基于稀疏特征的红外与可见光图像融合［J］. 光子学报， 2018 ， 47 （ 9 ）： 910002 - 0910002 .

DING W S ， BI D Y ， HE L Y ， et al . Infrared and visible image fusion based on sparse feature ［J］. Acta Photonica Sinica ， 2018 ， 47 （ 9 ）： 910002 - 0910002 . （in Chinese）

赵康，吴谨 . 一种改进的基于区域梯度—能量的图像融合方法［J］. 液晶与显示， 2016 ， 31 （ 3 ）： 331 - 337 ．

ZHAO K ， WU J . Improved image fusion algorithm based on regional gradient and regional energy ［J］. Chinese Journal of Liquid Crystals and Displays ， 2016 ， 31 （ 3 ）： 331 - 337 ．（in Chinese）

傅志中，王雪，李晓峰，等 . 基于视觉显著性和NSCT的红外与可见光图像融合［J］. 电子科技大学学报， 2017 ， 46 （ 2 ）： 357 - 362 .

FU Z Z ， WANG X ， Li X F ， et al . Infrared and visible image fusion based on visual saliency and NSCT ［J］. Journal of University of Electronic Science and Technology of China ， 2017 ， 46 （ 2 ）： 357 - 362 . （in Chinese）

易翔，王炳健 . 视觉显著性指导的红外与可见光图像融合算法［J］. 西安电子科技大学学报， 2019 ， 46 （ 1 ）： 27 - 32，38 .

YI X ， WANG B J . Fusion of infrared and visual images guided by visual saliency ［J］. Journal of Xidian University ， 2019 . 46 （ 1 ）： 27 - 32，38 . （in Chinese）

戴进墩，刘亚东，毛先胤，等 . 基于FDST和双通道PCNN的红外与可见光图像融合［J］. 红外与激光工程， 2019 ， 48 （ 2 ）： 0204001 ．

DAI J D ， LIU Y D ， MAO X Y ， et al . Infrared and visible image fusion based on FDST and dual-channel PCNN ［J］. Infrared and Laser Engineering ， 2019 ， 48 （ 2 ）： 0204001 ．（in Chinese）

LIM W . Nonseparable shearlet transform ［J］. IEEE Trans on Image Processing ， 2013 ， 22 （ 5 ）： 2056 - 2065 .

丁鹏，张叶，贾平，等 . 基于视觉显著性的海面舰船检测技术［J］. 电子学报， 2018 ， 46 （ 1 ）： 127 - 134 .

DING P ， ZHANG Y ， JIA P ， et al . Ship Detection on sea surface based on visual saliency ［J］. Acta Electronica Sinica ， 2018 ， 46 （ 1 ）： 127 - 134 . （in Chinese）

林剑萍，廖一鹏 . 结合分数阶微分及Retinex的NSCT自适应低照度图像增强［J］. 液晶与显示， 2020 （ 4 ）： 360 - 373 .

LIN J P ， LIAO Y P ． NSCT adaptive low illumination image enhancement combining fractional differential and retinex ［J］. Liquid Crystals and Displays ， 2020 （ 4 ）： 360 - 373 . （in Chinese）

LYU X ， HU Z ， ZHOU H ， et al . Application of improved MCKD method based on QGA in planetary gear compound fault diagnosis ［J］. Measurement ， 2019 ， 139 ： 236 - 248 .

廖一鹏，张进，王志刚，等 . 结合双模多尺度CNN特征及自适应深度 KELM的浮选工况识别［J］. 光学精密工程， 2020 ，（ 8 ）： 1785 - 1798 .

LIAO Y P ， ZHANG J ， WANG Z G ， et al . Flotation performance recognition based on dual-modality multiscale CNN features and adaptive deep learning KELM ［J］. Opt. Precision Eng. ， 2020 ，（ 8 ）： 1785 - 1798 . （in Chinese）

金杉，金志刚 . 基于量子狼群进化的多目标汇聚节点覆盖算法［J］. 电子与信息学报， 2017 ， 39 （ 5 ）： 1178 - 1184 .

JIN S ， JIN Z G . Multi-objective sink nodes coverage algorithm based on quantum wolf pack evolution ［J］. Journal of Electronics & Information Technology ， 2017 ， 39 （ 5 ）： 1178 - 1184 . （in Chinese）

谭营，郑少秋 . 烟花算法研究进展［J］. 智能系统学报， 2014 ， 9 （ 5 ）： 515 - 528 .

TAN Y ， ZHENG S Q . Recent advances in fireworks algorithm ［J］. CAAI Transactions on Intelligent Systems ， 2014 ， 9 （ 5 ）： 515 - 528 . （in Chinese）

蔡延光，陈厚仁，戚远航 . 变邻域量子烟花算法求解CVRP ［J］. 计算机工程与应用， 2019 ， 55 （ 9 ）： 230 - 236 .

CAI Y G ， CHEN H R ， QI Y H . Variable neighborhood quantum fireworks algorithm for solving CVRP ［J］. Computer Engineering and Applications ， 2019 ， 55 （ 9 ）： 230 - 236 . （in Chinese）

Views

855

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Multiscale semantic injective fusion of nighttime infrared and visible

Hole feature detection for aircraft parts by integrating visual saliency and group decision making

Infrared and visible image fusion based on fast alternating guided filtering and CNN

Infrared and visible image fusion based on alternating gradient filter and improved PCNN

Fractional differential weighted guided filtering for image texture preservation for medical ultrasound

Related Author

WANG Zeyu

LI Yi

LI Jialong

YANG Yanchun

ZHU Weidong

MEI Biao

TIAN Jiachun

WANG Liang

Related Institution

School of Electronical and Information Engineering，Lanzhou Jiaotong University

School of Mechanical Engineering， Zhejiang University

Quanzhou Institute of Equipment Manufacturing， Fujian Institute of Research on the Structure of Matter， Chinese Academy of Sciences

AVIC Xi'an Aircraft Industry Group Company Ltd.

Polytechnic Institute， Zhejiang University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰