Template matching with multi-feature co-occurrence matrix

Su-peng JIANG; Wei XIANG; Yun-peng LIU; Hai-bo LUO

doi:10.37188/OPE.20212906.1459

您当前的位置：

首页 >

文章列表页 >

Template matching with multi-feature co-occurrence matrix

Information Sciences | 更新时间：2021-07-03

- Template matching with multi-feature co-occurrence matrix
- Optics and Precision Engineering Vol. 29, Issue 6, Pages: 1459-1467(2021)
- 作者机构：
  
  1.中国科学院沈阳自动化研究所，辽宁沈阳 110016
  2.中国科学院机器人与智能制造创新研究院，辽宁沈阳 110169
  3.中国科学院大学，北京 100049
  4.中国科学院光电信息处理重点实验室，辽宁沈阳 110016
  5.辽宁省图像理解与视觉计算重点实验室，辽宁沈阳 110016
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20212906.1459
  CLC： TP391.4
- Received：22 September 2020，
  
  Revised：20 November 2020，
  
  Published：15 June 2021
- 稿件说明：
移动端阅览
江苏蓬,向伟,刘云鹏等.采用多特征共生矩阵的模板匹配[J].光学精密工程,2021,29(06):1459-1467.

JIANG Su-peng,XIANG Wei,LIU Yun-peng,et al.Template matching with multi-feature co-occurrence matrix[J].Optics and Precision Engineering,2021,29(06):1459-1467.
江苏蓬,向伟,刘云鹏等.采用多特征共生矩阵的模板匹配[J].光学精密工程,2021,29(06):1459-1467. DOI： 10.37188/OPE.20212906.1459.

JIANG Su-peng,XIANG Wei,LIU Yun-peng,et al.Template matching with multi-feature co-occurrence matrix[J].Optics and Precision Engineering,2021,29(06):1459-1467. DOI： 10.37188/OPE.20212906.1459.

摘要

为解决在模板匹配过程中，目标图像发生局部遮挡、背景变化、光照变化以及剧烈非刚性形变等情况而出现的匹配失败问题，本文提出了一种基于多特征融合的共生矩阵模板匹配算法。首先，采用多特征融合的方法提取图像信息。分别提取图像的颜色特征、深度特征、方向梯度直方图（HOG）特征，通过主成分分析（PCA）与K均值聚类的方法实现多通道多特征融合；随后，以共生矩阵作为相似性度量方法，通过统计相似性特征信息来代替直接施加距离计算；最后，计算滑动窗口中每一组像素点对的共生概率，并加权求和作为匹配得分，由此在目标图像上寻找最佳匹配区域。通过实验对比，本文算法的AUC （Area Under Curve）得分为0.658 6，较目前最好的几种模板匹配算法DDIS-D、DDIS-C、BBS算法分别提高了：7.9%，8.1%，20.2%。采用特征融合的方法能够充分利用图像信息，有效提高匹配的准确率；共生矩阵可以捕获图像的纹理相似性，且这种度量方法仅与共生统计有关，与实际像素无关，能够在一定程度上克服复杂场景对匹配结果带来的影响。实验结果表明本文的方法匹配精度更高、鲁棒性更强。

Abstract

Accurately identifying the target object in complex scenes （such as those involving partial occlusion， cluttered backgrounds， imbalanced illumination， and nonrigid deformations） is one of the difficulties involved in the study of template matching. To overcome the problem of precise matching under these conditions， we propose a co-occurrence matrix template matching algorithm based on multi-feature fusion. First， we extracted the color feature， depth feature， and HOG feature of the image. Thereafter， PCA and K-means clustering were used to realize multi-feature fusion. This method employs the co-occurrence matrix as its similarity measurement； this is different from traditional methods that directly use distance calculations. Finally， the matching score was calculated as the weighted sum of the probability of each window. Moreover， the region with the highest score was regarded as the best matching area. The area under the curve score of our algorithm was 0.658 6， which was 7.9%， 8.1%， and 20.2% higher than those of DDIS-D， DDIS-C， and BBS， respectively. The experimental results showed that multi-feature fusion is an effective approach for exploiting image information. With the aid of the co-occurrence matrix， the method can capture the similarities in image textures. Moreover， this measurement focuses on the co-occurrence statistics alone， rather than the actual pixels； this overcomes the impact of complex scenes on matching. The proposed method also achieves higher matching accuracy and better robustness than traditional methods.

关键词

Keywords

references

周唯 . 基于自适应多尺度模板匹配的视盘检测方法［J］. 信息与控制， 2020 ， 49 （ 2 ）： 154 - 162 .

ZHOU W . Optic disk detection approach based on adaptive multi-scale template matching ［J］. Information and control ， 2020 ， 49 （ 2 ）： 154 - 162 . （in Chinese）

孙可，张钧萍 . 局部自适应方向模板匹配的高分辨率遥感影像道路提取［J］. 光学精密工程， 2015 ， 23 （ 10 z）： 509 - 515 .

SUN K ， ZHANG J P . Road extraction from high-resolution remote sensing imagery based on local adaptive directional template match ［J］. Opt. Precision Eng. ， 2015 ， 23 （ 10 z）： 509 - 515 . （in Chinese）

DEKEL T ， ORON S ， RUBINSTEIN M ， et al . Best-buddies similarity for robust template matching ［C］. Proceedings of the Computer Vision and Pattern Recognition （CVPR）， Boston， MA， USA ： IEEE ， 2015 ： 2021 - 2029 .

ORON S ， DEKEL T ， XUE T ， et al . Best-buddies similarity-robust template matching using mutual nearest neighbors ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 40 （ 8 ）： 1799 - 1813 .

王刚，孙晓亮，尚洋，等 . 一种基于最佳相似点对的稳健模板匹配［J］. 光学学报， 2017 ， 37 （ 3 ）： 274 - 280 .

WANG G ， SUN X L ， SHANG Y ， et al . A Robust Template Matching Algorithm Based on Best-Buddies Similarity ［J］. Acta Optica Sinica ， 2017 ， 37 （ 3 ）： 274 - 280 . （in Chinese）

TALMI I ， MECHREZ R ， ZELINK-MANOR L . Template matching with deformable diversity similarity ［C］. Proceedings of the Computer Vision and Pattern Recognition （CVPR）， Honolulu ， Hawaii ， USA ： IEEE ， 2017 ： 1311 - 1319 .

逯睿琦 . 多尺度显著性区域提取的模板匹配［J］. 光学精密工程， 2018 ， 26 （ 11 ）： 2776 - 2784 .

LU R Q . Template matching with multi-scale saliency ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 11 ）： 2776 - 2784 . （in Chinese）

TALKER L ， MOSES Y ， SHIMSHONI I . Efficient sliding window computation for NN-based template matching ［C］. Proceedings of the 15th European Conference on Computer Vision（ECCV）， Munich， Germany ： Springer ， 2018 ： 409 - 424 .

HSEU H W ， BHALERAO A ， WILSON R . Image Matching Based on the Co-occurrence Matrix ［M］. United Kingdom ： University of Warwick Press ， 1999 .

JEVNISEK R ， AVIDAN S . Co-occurrence filter ［C］. Proceedings of the Computer Vision and Pattern Recognition （CVPR）， Honolulu ， Hawaii ， USA ： IEEE ， 2017 ： 3816 - 3824 .

KAT R ， JEVNISEK R ， AVIDAN S . Matching pixels using co-occurrence statistics ［C］. Proceedings of the Computer Vision and Pattern Recognition （CVPR）， Salt Lake City， UT， USA ： IEEE ， 2018 ： 1751 - 1759 .

ANNA D ， ITAI L ， ASHUTOSH T . Co-occurrence Based Texture Synthesis ［C］. Proceedings of the Computing Research Repository （CoRR）， online： IEEE ， 2020 .

SUMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］. Proceedings of the International Conference on Learning Representations （ICLR）， San Diego， CA， USA ， 2015 .

MA C ， HUANG J B ， YAG H ， et al . Hierarchical convolutional features for visual tracking ［C］. Proceedings of the International Conference on Computer Vision （ICCV）， Santiago， Chile ： IEEE ， 2015 ： 3074 - 3082 .

王军，何昕，魏仲慧，等 . 基于多特征匹配的快速星图识别算法［J］. 光学精密工程， 2019 ， 27 （ 8 ）： 1870 - 1879 .

WANG J ， HE X ， WEI Z H ， et al . Fast star identification algorithm based on multi-feature matching ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 8 ）： 1870 - 1879 . （in Chinese）

韩贵金，朱虹 . 基于HOG和颜色特征融合的人体姿态估计［J］. 模式识别与人工智能， 2014 ， 27 （ 9 ）： 769 - 777 .

HANG G J ， ZHU H . Human pose estimation based on fusion of HOG and color feature ［J］. Pattern Recognition and Artificial Intelligence ， 2014 ， 27 （ 9 ）： 769 - 777 . （in Chinese）

GANESH R N . Advances in Principal Component Analysis ［M］. Springer ： Singapore ， 2018 .

李荟娆 . K-means聚类方法的改进及其应用［D］. 哈尔滨：东北农业大学， 2014 .

LI H R . Improved k-means Clustering Method and its Application ［D］. Harbin ： Northeast Agricultural University ， 2014 . （in Chinese）

WU Y ， LIM J ， YANG M H . Online object tracking： A benchmark ［C］. Proceedings of the Computer Vision and Pattern Recognition （CVPR）， Portland ， OR ， USA ： IEEE ， 2013 ： 2411 - 2418 .

WU Y ， LIM J ， YANG M H . Hierarchical convolutional features for visual tracking ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 9 ）： 1834 - 1848 .

Views

793

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Objective Evaluation for Low-Light-Level Image Intensifier Based on Dual-Model

Design of partial overlap point cloud registration network driven by overlap score and matching matrix

A method for underwater vehicle attitude measurement based on Snell’s window and its polarization mode

Infrared and visible images fusion based on improved multi-scale structural fusion

Infrared image generation with unpaired training samples

Related Author

SHI Ji-fang

YANG Bin

HAN Zhan-suo

XIE Qi

SUN Yu-nan

YI Jianbing

CHEN Xin

CAO Feng

Related Institution

西安应用光学研究所，陕西西安 710065

School of Information Engineering， Jiangxi University of Science and Technology

Jiangxi Province Key Laboratory of Multidimensional Intelligent Perception and Control

Longnan Dingtai electronic Technology Co.， Ltd.

Technology Liaoning Provincial Key Laboratory of Micro Nanosystems， Dalian University

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰