采用多特征共生矩阵的模板匹配

江苏蓬; 向伟; 刘云鹏; 罗海波

doi:10.37188/OPE.20212906.1459

您当前的位置：

首页 >

文章列表页 >

采用多特征共生矩阵的模板匹配

信息科学 | 更新时间：2021-07-03

- 采用多特征共生矩阵的模板匹配
- Template matching with multi-feature co-occurrence matrix
- 光学精密工程 2021年29卷第6期页码：1459-1467
- 作者机构：
  
  1.中国科学院沈阳自动化研究所，辽宁沈阳 110016
  2.中国科学院机器人与智能制造创新研究院，辽宁沈阳 110169
  3.中国科学院大学，北京 100049
  4.中国科学院光电信息处理重点实验室，辽宁沈阳 110016
  5.辽宁省图像理解与视觉计算重点实验室，辽宁沈阳 110016
- 作者简介：
  
  [ "江苏蓬（1994-），女，辽宁本溪人，博士研究生，2017年于郑州大学获得学士学位，2017年至今年在中国科学院沈阳自动化研究所攻读博士学位，主要从事图像匹配、目标跟踪等方面的研究。E-mail： jiangsupeng@sia.cn" ]
  [ "罗海波（1967-），男，辽宁沈阳人，博士，研究员，博士生导师，1990年于哈尔滨工业大学获得学士学位，2009年于中国科学院沈阳自动化研究所获得博士学位，中国图像图形学学会会员，辽宁省人工智能学会理事，先后参与过包括载人航天工程等国家重点工程在内的数十个科研项目的研究工作。主要从事实时图像处理、自动目标识别、先进制导技术等方向的研究。 E-mail：luohb@sia.cn" ]
- 基金信息：
  
  中科院国防科技创新基金项目(Y8K4160401)
- DOI：10.37188/OPE.20212906.1459
  中图分类号： TP391.4
- 收稿日期：2020-09-22，
  
  修回日期：2020-11-20，
  
  纸质出版日期：2021-06-15
- 稿件说明：
移动端阅览
江苏蓬,向伟,刘云鹏等.采用多特征共生矩阵的模板匹配[J].光学精密工程,2021,29(06):1459-1467.

JIANG Su-peng,XIANG Wei,LIU Yun-peng,et al.Template matching with multi-feature co-occurrence matrix[J].Optics and Precision Engineering,2021,29(06):1459-1467.
江苏蓬,向伟,刘云鹏等.采用多特征共生矩阵的模板匹配[J].光学精密工程,2021,29(06):1459-1467. DOI： 10.37188/OPE.20212906.1459.

JIANG Su-peng,XIANG Wei,LIU Yun-peng,et al.Template matching with multi-feature co-occurrence matrix[J].Optics and Precision Engineering,2021,29(06):1459-1467. DOI： 10.37188/OPE.20212906.1459.

摘要

为解决在模板匹配过程中，目标图像发生局部遮挡、背景变化、光照变化以及剧烈非刚性形变等情况而出现的匹配失败问题，本文提出了一种基于多特征融合的共生矩阵模板匹配算法。首先，采用多特征融合的方法提取图像信息。分别提取图像的颜色特征、深度特征、方向梯度直方图（HOG）特征，通过主成分分析（PCA）与K均值聚类的方法实现多通道多特征融合；随后，以共生矩阵作为相似性度量方法，通过统计相似性特征信息来代替直接施加距离计算；最后，计算滑动窗口中每一组像素点对的共生概率，并加权求和作为匹配得分，由此在目标图像上寻找最佳匹配区域。通过实验对比，本文算法的AUC （Area Under Curve）得分为0.658 6，较目前最好的几种模板匹配算法DDIS-D、DDIS-C、BBS算法分别提高了：7.9%，8.1%，20.2%。采用特征融合的方法能够充分利用图像信息，有效提高匹配的准确率；共生矩阵可以捕获图像的纹理相似性，且这种度量方法仅与共生统计有关，与实际像素无关，能够在一定程度上克服复杂场景对匹配结果带来的影响。实验结果表明本文的方法匹配精度更高、鲁棒性更强。

Abstract

Accurately identifying the target object in complex scenes （such as those involving partial occlusion， cluttered backgrounds， imbalanced illumination， and nonrigid deformations） is one of the difficulties involved in the study of template matching. To overcome the problem of precise matching under these conditions， we propose a co-occurrence matrix template matching algorithm based on multi-feature fusion. First， we extracted the color feature， depth feature， and HOG feature of the image. Thereafter， PCA and K-means clustering were used to realize multi-feature fusion. This method employs the co-occurrence matrix as its similarity measurement； this is different from traditional methods that directly use distance calculations. Finally， the matching score was calculated as the weighted sum of the probability of each window. Moreover， the region with the highest score was regarded as the best matching area. The area under the curve score of our algorithm was 0.658 6， which was 7.9%， 8.1%， and 20.2% higher than those of DDIS-D， DDIS-C， and BBS， respectively. The experimental results showed that multi-feature fusion is an effective approach for exploiting image information. With the aid of the co-occurrence matrix， the method can capture the similarities in image textures. Moreover， this measurement focuses on the co-occurrence statistics alone， rather than the actual pixels； this overcomes the impact of complex scenes on matching. The proposed method also achieves higher matching accuracy and better robustness than traditional methods.

关键词

Keywords

references

周唯 . 基于自适应多尺度模板匹配的视盘检测方法［J］. 信息与控制， 2020 ， 49 （ 2 ）： 154 - 162 .

ZHOU W . Optic disk detection approach based on adaptive multi-scale template matching ［J］. Information and control ， 2020 ， 49 （ 2 ）： 154 - 162 . （in Chinese）

孙可，张钧萍 . 局部自适应方向模板匹配的高分辨率遥感影像道路提取［J］. 光学精密工程， 2015 ， 23 （ 10 z）： 509 - 515 .

SUN K ， ZHANG J P . Road extraction from high-resolution remote sensing imagery based on local adaptive directional template match ［J］. Opt. Precision Eng. ， 2015 ， 23 （ 10 z）： 509 - 515 . （in Chinese）

DEKEL T ， ORON S ， RUBINSTEIN M ， et al . Best-buddies similarity for robust template matching ［C］. Proceedings of the Computer Vision and Pattern Recognition （CVPR）， Boston， MA， USA ： IEEE ， 2015 ： 2021 - 2029 .

ORON S ， DEKEL T ， XUE T ， et al . Best-buddies similarity-robust template matching using mutual nearest neighbors ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 40 （ 8 ）： 1799 - 1813 .

王刚，孙晓亮，尚洋，等 . 一种基于最佳相似点对的稳健模板匹配［J］. 光学学报， 2017 ， 37 （ 3 ）： 274 - 280 .

WANG G ， SUN X L ， SHANG Y ， et al . A Robust Template Matching Algorithm Based on Best-Buddies Similarity ［J］. Acta Optica Sinica ， 2017 ， 37 （ 3 ）： 274 - 280 . （in Chinese）

TALMI I ， MECHREZ R ， ZELINK-MANOR L . Template matching with deformable diversity similarity ［C］. Proceedings of the Computer Vision and Pattern Recognition （CVPR）， Honolulu ， Hawaii ， USA ： IEEE ， 2017 ： 1311 - 1319 .

逯睿琦 . 多尺度显著性区域提取的模板匹配［J］. 光学精密工程， 2018 ， 26 （ 11 ）： 2776 - 2784 .

LU R Q . Template matching with multi-scale saliency ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 11 ）： 2776 - 2784 . （in Chinese）

TALKER L ， MOSES Y ， SHIMSHONI I . Efficient sliding window computation for NN-based template matching ［C］. Proceedings of the 15th European Conference on Computer Vision（ECCV）， Munich， Germany ： Springer ， 2018 ： 409 - 424 .

HSEU H W ， BHALERAO A ， WILSON R . Image Matching Based on the Co-occurrence Matrix ［M］. United Kingdom ： University of Warwick Press ， 1999 .

JEVNISEK R ， AVIDAN S . Co-occurrence filter ［C］. Proceedings of the Computer Vision and Pattern Recognition （CVPR）， Honolulu ， Hawaii ， USA ： IEEE ， 2017 ： 3816 - 3824 .

KAT R ， JEVNISEK R ， AVIDAN S . Matching pixels using co-occurrence statistics ［C］. Proceedings of the Computer Vision and Pattern Recognition （CVPR）， Salt Lake City， UT， USA ： IEEE ， 2018 ： 1751 - 1759 .

ANNA D ， ITAI L ， ASHUTOSH T . Co-occurrence Based Texture Synthesis ［C］. Proceedings of the Computing Research Repository （CoRR）， online： IEEE ， 2020 .

SUMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］. Proceedings of the International Conference on Learning Representations （ICLR）， San Diego， CA， USA ， 2015 .

MA C ， HUANG J B ， YAG H ， et al . Hierarchical convolutional features for visual tracking ［C］. Proceedings of the International Conference on Computer Vision （ICCV）， Santiago， Chile ： IEEE ， 2015 ： 3074 - 3082 .

王军，何昕，魏仲慧，等 . 基于多特征匹配的快速星图识别算法［J］. 光学精密工程， 2019 ， 27 （ 8 ）： 1870 - 1879 .

WANG J ， HE X ， WEI Z H ， et al . Fast star identification algorithm based on multi-feature matching ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 8 ）： 1870 - 1879 . （in Chinese）

韩贵金，朱虹 . 基于HOG和颜色特征融合的人体姿态估计［J］. 模式识别与人工智能， 2014 ， 27 （ 9 ）： 769 - 777 .

HANG G J ， ZHU H . Human pose estimation based on fusion of HOG and color feature ［J］. Pattern Recognition and Artificial Intelligence ， 2014 ， 27 （ 9 ）： 769 - 777 . （in Chinese）

GANESH R N . Advances in Principal Component Analysis ［M］. Springer ： Singapore ， 2018 .

李荟娆 . K-means聚类方法的改进及其应用［D］. 哈尔滨：东北农业大学， 2014 .

LI H R . Improved k-means Clustering Method and its Application ［D］. Harbin ： Northeast Agricultural University ， 2014 . （in Chinese）

WU Y ， LIM J ， YANG M H . Online object tracking： A benchmark ［C］. Proceedings of the Computer Vision and Pattern Recognition （CVPR）， Portland ， OR ， USA ： IEEE ， 2013 ： 2411 - 2418 .

WU Y ， LIM J ， YANG M H . Hierarchical convolutional features for visual tracking ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 9 ）： 1834 - 1848 .

浏览量

793

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于双重模型的微光像增强器分辨力

重叠分数与匹配矩阵驱动的部分重叠点云配准网络设计

基于Snell窗及偏振模式的水下载体航姿测量

改进多尺度结构化融合的红外与可见光图像融合

非成对训练样本条件下的红外图像生成