Visible and infrared image matching based on CycleGAN-SIFT

Shuai HAO; Yingqi WU; Xu MA; Tian HE; Hu WEN; Feng WANG

doi:10.37188/OPE.20223005.0602

您当前的位置：

首页 >

文章列表页 >

Visible and infrared image matching based on CycleGAN-SIFT

Information Sciences | 更新时间：2022-03-25

- Visible and infrared image matching based on CycleGAN-SIFT
- Optics and Precision Engineering Vol. 30, Issue 5, Pages: 602-614(2022)
- 作者机构：
  
  1.西安科技大学电气与控制工程学院，陕西西安 710054
  2.西安科技大学安全科学与工程学院，陕西西安 710054
  3.渭南师范学院物理与电气工程学院，陕西渭南 714000
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223005.0602
  CLC： TP394.1
- Received：20 August 2021，
  
  Revised：16 September 2021，
  
  Published：10 March 2022
- 稿件说明：
移动端阅览
郝帅,吴瑛琦,马旭等.基于CycleGAN-SIFT的可见光和红外图像匹配[J].光学精密工程,2022,30(05):602-614.

HAO Shuai,WU Yingqi,MA Xu,et al.Visible and infrared image matching based on CycleGAN-SIFT[J].Optics and Precision Engineering,2022,30(05):602-614.
郝帅,吴瑛琦,马旭等.基于CycleGAN-SIFT的可见光和红外图像匹配[J].光学精密工程,2022,30(05):602-614. DOI： 10.37188/OPE.20223005.0602.

HAO Shuai,WU Yingqi,MA Xu,et al.Visible and infrared image matching based on CycleGAN-SIFT[J].Optics and Precision Engineering,2022,30(05):602-614. DOI： 10.37188/OPE.20223005.0602.

摘要

针对红外图像和可见光图像因成像机理不同导致传统匹配算法匹配精度不高、鲁棒性差的问题，提出一种基于CycleGAN-SIFT的可见光和红外图像匹配算法。为了减小可见光图像与红外图像之间特征差异对匹配结果造成的影响，通过迁移学习共享权重的方式在可见光图像和红外图像基础上利用CycleGAN生成伪红外图像，利用SIFT特征提取算法分别提取伪红外图像和红外图像的特征点并进行匹配。为了降低错误匹配率，利用RANSAC剔除误匹配点对。最后，将伪红外图像上的特征点映射至可见光图像，从而实现可见光图像与红外图像的匹配。为了验证所提出算法的有效性，从OTCBVS和TNO Image Fusion Dataset数据集中任选4组异源图像，并分别在无噪声、有噪声以及存在角度畸变3种情况下与SIFT、Canny-SIFT、SURF以及CMM-Net 4种经典算法进行比较。实验结果表明，在不考虑角度畸变和噪声干扰的条件下，所提出算法的匹配正确率可达95%以上；当存在角度畸变和噪声干扰情况时，本文算法的匹配正确率依然在95%以上，具有匹配精度高、鲁棒性强的优点。

Abstract

Traditional infrared and visible image matching algorithms generally have the problems of low matching accuracy and poor robustness due to the different imaging mechanisms of source images. To solve this problem， a visible-infrared image matching algorithm based on the CycleGAN-SIFT was proposed. To reduce the influence of feature differences between visible and infrared images， a pseudo-infrared image was generated by CycleGAN by applying transfer learning and sharing weight. The feature extraction algorithm， known as scale-invariant feature transform（SIFT）， was used to extract and match the feature points of the pseudo-infrared image with those of the infrared image. Then， to reduce the false matching rate， random sample consensus（RANSAC） was used to eliminate the false matching point pairs. Finally， the feature points of the pseudo-infrared image were mapped to the visible image， thus finalizing the match between the visible and infrared images. To verify the effectiveness of the proposed algorithm， four groups of heterogeneous images were selected from the OTCBVS and TNO image fusion dataset and tested under the three conditions of no noise， noise， and angle distortion. Experimental results show that the matching accuracy of the proposed algorithm can reach over 95% when the angle distortion and noise interference are not considered. In the presence of angle distortion and noise interference， the matching accuracy still remains above 95%， thereby confirming the high matching accuracy and strong robustness of the proposed algorithm.

关键词

Keywords

references

毛远宏，贺占庄，马钟，等 . 采用类内迁移学习的红外/可见光异源图像匹配［J］. 西安交通大学学报， 2020 ， 54 （ 1 ）： 49 - 55 . doi: 10.7652/xjtuxb202001007 http://dx.doi.org/10.7652/xjtuxb202001007

MAO Y H ， HE ZH ZH ， MA ZH ， et al . Infrared-visible heterogenous image matching based on intra-class transfer learning ［J］. Journal of Xi'an Jiaotong University ， 2020 ， 54 （ 1 ）： 49 - 55 . （in Chinese） . doi: 10.7652/xjtuxb202001007 http://dx.doi.org/10.7652/xjtuxb202001007

罗世彬，刘海桥，胡茂青，等 . 无人飞行器异源图像匹配辅助惯性导航定位技术综述［J］. 国防科技大学学报， 2020 ， 42 （ 6 ）： 1 - 10 . doi: 10.11887/j.cn.202006001 http://dx.doi.org/10.11887/j.cn.202006001

LUO SH B ， LIU H Q ， HU M Q ， et al . Review of multi-modal image matching assisted inertial navigation positioning technology for unmanned aerial vehicle ［J］. Journal of National University of Defense Technology ， 2020 ， 42 （ 6 ）： 1 - 10 . （in Chinese） . doi: 10.11887/j.cn.202006001 http://dx.doi.org/10.11887/j.cn.202006001

李海波，曹云峰，丁萌，等 . 基于异源图像特征的显著性融合检测方法［J］. 计算机技术与发展， 2018 ， 28 （ 3 ）： 1 - 5 . doi: 10.3969/j.issn.1673-629X.2018.03.001 http://dx.doi.org/10.3969/j.issn.1673-629X.2018.03.001

LI H B ， CAO Y F ， DING M ， et al . A saliency fusion detection method based on image features from different sensors ［J］. Computer Technology and Development ， 2018 ， 28 （ 3 ）： 1 - 5 . （in Chinese） . doi: 10.3969/j.issn.1673-629X.2018.03.001 http://dx.doi.org/10.3969/j.issn.1673-629X.2018.03.001

明国辉，委民正 . SURF算法在无人机倾斜摄影测量三维建模中的应用［J］. 测绘工程， 2017 ， 26 （ 9 ）： 41 - 45 . doi: 10.19349/j.cnki.issn1006-7949.2017.09.009 http://dx.doi.org/10.19349/j.cnki.issn1006-7949.2017.09.009

MING G H ， WEI M ZH . Research on 3D modeling based on SURF for oblique photogrammetric technique ［J］. Engineering of Surveying and Mapping ， 2017 ， 26 （ 9 ）： 41 - 45 . （in Chinese） . doi: 10.19349/j.cnki.issn1006-7949.2017.09.009 http://dx.doi.org/10.19349/j.cnki.issn1006-7949.2017.09.009

MAES F ， VANDERMEULEN D ， SUETENS P . Medical image registration using mutual information ［J］. Proceedings of the IEEE ， 2003 ， 91 （ 10 ）： 1699 - 1722 . doi: 10.1109/jproc.2003.817864 http://dx.doi.org/10.1109/jproc.2003.817864

蔡潇 . 基于相位特征的异源图像匹配算法［J］. 光学与光电技术， 2021 ， 19 （ 1 ）： 48 - 53 . doi: 10.1109/tocs53301.2021.9689044 http://dx.doi.org/10.1109/tocs53301.2021.9689044

CAI X . Heterogeneous image matching algorithm based on phase feature ［J］. Optics & Optoelectronic Technology ， 2021 ， 19 （ 1 ）： 48 - 53 . （in Chinese） . doi: 10.1109/tocs53301.2021.9689044 http://dx.doi.org/10.1109/tocs53301.2021.9689044

LOWE D G . Object recognition from local scale-invariant features ［C］. Proceedings of the Seventh IEEE International Conference on Computer Vision. 2027，1999 ， Kerkyra， Greece. IEEE ， 1999 ： 1150 - 1157 . doi: 10.1109/iccv.1999.790410 http://dx.doi.org/10.1109/iccv.1999.790410

张文卿，李为相，李为，等 . 改进的SURF特征快速匹配算法［J］. 计算机工程与设计， 2019 ， 40 （ 12 ）： 3526 - 3532 .

ZHANG W Q ， LI W X ， LI W ， et al . Improved SURF feature fast matching algorithm ［J］. Computer Engineering and Design ， 2019 ， 40 （ 12 ）： 3526 - 3532 . （in Chinese）

吴一全，谢芬 . 基于对比度Harris的快速鲁棒图像配准算法［J］. 北京理工大学学报， 2020 ， 40 （ 3 ）： 316 - 324 .

WU Y Q ， XIE F . A fast and robust image registration algorithm based on contrast Harris ［J］. Transactions of Beijing Institute of Technology ， 2020 ， 40 （ 3 ）： 316 - 324 . （in Chinese）

CANNY J . A computational approach to edge detection ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1986 ， PAMI- 8 （ 6 ）： 679 - 698 . doi: 10.1109/tpami.1986.4767851 http://dx.doi.org/10.1109/tpami.1986.4767851

岳娟，高思莉，李范鸣，等 . 具有近似仿射尺度不变特征的快速图像匹配［J］. 光学精密工程， 2020 ， 28 （ 10 ）： 2349 - 2359 . doi: 10.37188/OPE.20202810.2349 http://dx.doi.org/10.37188/OPE.20202810.2349

YUE J ， GAO S L ， LI F M ， et al . Fast image matching algorithm with approximate affine and scale invariance ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 10 ）： 2349 - 2359 . （in Chinese） . doi: 10.37188/OPE.20202810.2349 http://dx.doi.org/10.37188/OPE.20202810.2349

胡育诚，芮挺，杨成松，等 . 基于改进SIFT的无人机航拍图像快速配准研究［J］. 计算机科学， 2021 ， 48 （ 8 ）： 134 - 138 . doi: 10.11896/jsjkx.200600140 http://dx.doi.org/10.11896/jsjkx.200600140

HU Y CH ， RUI T ， YANG CH S ， et al . Study on aerial image fast registration from UAV ［J］. Computer Science ， 2021 ， 48 （ 8 ）： 134 - 138 . （in Chinese） . doi: 10.11896/jsjkx.200600140 http://dx.doi.org/10.11896/jsjkx.200600140

丁国绅，乔延利，易维宁，等 . 基于高光谱图像的改进SIFT特征提取与匹配［J］. 光学精密工程， 2020 ， 28 （ 4 ）： 954 - 962 .

DING G SH ， QIAO Y L ， YI W N ， et al . Improved SIFT feature extraction and matching technology based on hyperspectral image ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 4 ）： 954 - 962 . （in Chinese）

刘凯，汪侃，杨晓梅，等 . 基于DoG检测图像特征点的快速二进制描述子［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 485 - 496 .

LIU K ， WANG K ， YANG X M ， et al . DoG keypoint detection based fast binary descriptor ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 485 - 496 . （in Chinese）

蓝朝桢，卢万杰，于君明，等 . 异源遥感影像特征匹配的深度学习算法［J］. 测绘学报， 2021 ， 50 （ 2 ）： 189 - 202 .

LAN CH ZH ， LU W J ， YU J M ， et al . Deep learning algorithm for feature matching of cross modality remote sensing images ［J］. Acta Geodaetica et Cartographica Sinica ， 2021 ， 50 （ 2 ）： 189 - 202 . （in Chinese）

HAN X F ， LEUNG T ， JIA Y Q ， et al . MatchNet： Unifying feature and metric learning for patch-based matching ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 712，2015 ， Boston， MA， USA. IEEE ， 2015 ： 3279 - 3286 . doi: 10.1109/cvpr.2015.7298948 http://dx.doi.org/10.1109/cvpr.2015.7298948

MA J Y ， MA Y ， LI C . Infrared and visible image fusion methods and applications： a survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 . doi: 10.1016/j.inffus.2018.02.004 http://dx.doi.org/10.1016/j.inffus.2018.02.004

Views

1254

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Fast image matching algorithm with approximate affine and scale invariance

Improved SIFT feature extraction and matching technology based on hyperspectral image

Visual measurement of high-temperature welding deformation for high-strength steel sheet

Improved hybrid spill-tree algorithm for fast target matching recognition of satellite images

Image mosaic algorithm based on area blocking and SIFT

Related Author

Neng-bin CAI

Fan-ming LI

Si-li GAO

Juan YUE

Guo-shen DING

Wei FANG

Wei-ning YI

Li-li DU

Related Institution

Shanghai Key Laboratory of Crime Scene Evidence

Key Laboratory of Intelligent Infrared Perception, Shanghai Institute of Technical Physics, Chinese Academy of Sciences

Key Laboratory of Optical Calibration and Characterization, Anhui Institute of Optics and Fine Mechanics, Chinese Academy of Sciences

University of Science and Technology of China

School of Mechanical Engineering, Xinjiang University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰