融合卷积块注意力模块和Siamese神经网络的人脸识别算法

孟祥周; 李映君; 王桂从; 蒙天生

doi:10.37188/OPE.20233121.3192

您当前的位置：

首页 >

文章列表页 >

融合卷积块注意力模块和Siamese神经网络的人脸识别算法

信息科学 | 更新时间：2023-11-16

- 融合卷积块注意力模块和Siamese神经网络的人脸识别算法
- Face recognition algorithm incorporating CBAM and Siamese neural network
- 光学精密工程 2023年31卷第21期页码：3192-3202
- 作者机构：
  
  济南大学机械工程学院，山东济南 250022
- 作者简介：
  
  [ "孟祥周（1999-），男，山东济宁人，硕士研究生，2021年于济南大学获得学士学位，主要研究方向为图像识别和处理技术。E-mail：743141727@qq.com" ]
  [ "李映君（1982-），男，山东莱阳人，博士，教授，硕士生导师，2004年于山东科技大学获得学士学位，2007年于沈阳理工大学获得硕士学位，2010年于大连理工大学获得博士学位，主要研究方向为传感器与执行器测控技术、工业机器人技术、智能化仪器仪表技术。E-mail： me_liyj@ujn.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(51875250);山东省自然科学基金资助项目(ZR2023ME109);山东省高等学校青创科技支持计划(2019KJB018);济南市“新高校20条”项目(202228116)
- DOI：10.37188/OPE.20233121.3192
  中图分类号： TP394.1;TH691.9
- 收稿日期：2023-05-30，
  
  修回日期：2023-07-05，
  
  纸质出版日期：2023-11-10
- 稿件说明：
移动端阅览
孟祥周,李映君,王桂从等.融合卷积块注意力模块和Siamese神经网络的人脸识别算法[J].光学精密工程,2023,31(21):3192-3202.

MENG Xiangzhou,LI Yingjun,WANG Guicong,et al.Face recognition algorithm incorporating CBAM and Siamese neural network[J].Optics and Precision Engineering,2023,31(21):3192-3202.
孟祥周,李映君,王桂从等.融合卷积块注意力模块和Siamese神经网络的人脸识别算法[J].光学精密工程,2023,31(21):3192-3202. DOI： 10.37188/OPE.20233121.3192.

MENG Xiangzhou,LI Yingjun,WANG Guicong,et al.Face recognition algorithm incorporating CBAM and Siamese neural network[J].Optics and Precision Engineering,2023,31(21):3192-3202. DOI： 10.37188/OPE.20233121.3192.

摘要

针对传统人脸识别方法识别性能较差，基于深度学习的方法在非限制条件下识别较为困难，人脸特征区分性弱，识别精度容易受到姿势、表情等方面影响的问题，提出了一种引入卷积块注意力模块的孪生神经网络模型结构。该结构是基于孪生神经网络（Siamese neural network）的基础框架进行改进的，在框架中引入改进的VGG11_BN模型进行特征提取。该模型是在VGG11结构的基础上引入批归一化（Batch Normalization，BN）技术，在原模型结构的基础上，提出引入CBAM混合注意力机制的特征提取网络；最后，针对目前亚洲人的人脸识别训练较少的情况，采用更加符合亚洲人脸特征的CASIA-FaceV5数据集进行识别训练。实验结果表明：本文算法在人脸识别方面的准确率达到了96.67%，并且在CAS-PEAL-R1人脸数据集上比SRGES，VGG11+siamese算法的准确率分别提升6.05%，6.7%。该算法可以在多因素影响下更好地进行人脸识别验证，具有良好的稳定性。

Abstract

Traditional face recognition methods have poor recognition performance； deep learning-based methods face difficulty recognizing under unrestricted conditions， face features are weakly differentiated， and recognition accuracy is easily affected by pose and expression. To address this， a twin neural network model structure that introduces a Convolutional Block Attention Module （CBAM） hybrid attention mechanism is proposed. First， the algorithm structure based on the basic framework of the Siamese neural network was improved and the improved VGG11 into the framework is introduced. The BN model for feature extraction is used， which introduces batch normalization （BN） technology based on the VGG11 structure. Second， a feature extraction network incorporating a CBAM mixed attention mechanism was introduced based on the original model structure. Finally， in response to the lack of facial recognition training for Asians， the CASIA-FaceV5 dataset was employed， which is more aligned with Asian facial features， for recognition training. The experimental results show that the algorithm’s accuracy reaches 96.67% in face recognition， and the accuracy on CAS-PEAL-R1 face dataset is 6.05% and 6.7% higher than that of SRGES and VGG11+siamese algorithms， respectively. The algorithm in this study can better verify facial recognition under multiple factors， has good robustness， and greater application value.

关键词

Keywords

references

刘可佳，马荣生，唐子木，等 . 采用优化卷积神经网络的红外目标识别系统［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 822 - 831 . doi: 10.37188/OPE.20212904.0822 http://dx.doi.org/10.37188/OPE.20212904.0822

LIU K J ， MA R SH ， TANG Z M ， et al . Design of infrared target recognition system with optimized convolutional neural network ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 822 - 831 . （in Chinese） . doi: 10.37188/OPE.20212904.0822 http://dx.doi.org/10.37188/OPE.20212904.0822

胡麟苗，张湧，楼晨风 . 基于内容特征提取的短波红外-可见光人脸识别［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 160 - 171 . doi: 10.37188/ope.20212901.0160 http://dx.doi.org/10.37188/ope.20212901.0160

HU L M ， ZHANG Y ， LOU CH F . Shortwave infrared visible-light face recognition based on content feature extraction ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 160 - 171 . （in Chinese） . doi: 10.37188/ope.20212901.0160 http://dx.doi.org/10.37188/ope.20212901.0160

LI M ， HUANG B ， TIAN G . A comprehensive survey on 3D face recognition methods ［J］. Engineering Applications of Artificial Intelligence ， 2022 ， 110 ： 104669 . doi: 10.1016/j.engappai.2022.104669 http://dx.doi.org/10.1016/j.engappai.2022.104669

GUO M H ， XU T X ， LIU J J ， et al . Attention mechanisms in computer vision： a survey ［J］. Computational Visual Media ， 2022 ， 8 （ 3 ）： 331 - 368 . doi: 10.1007/s41095-022-0271-y http://dx.doi.org/10.1007/s41095-022-0271-y

KHAN A A ， SHAIKH A A ， SHAIKH Z A ， et al . IPM-Model： AI and metaheuristic-enabled face recognition using image partial matching for multimedia forensics investigation with genetic algorithm ［J］. Multimedia Tools and Applications ， 2022 ， 81 （ 17 ）： 23533 - 23549 . doi: 10.1007/s11042-022-12398-x http://dx.doi.org/10.1007/s11042-022-12398-x

CONWAY D ， SIMON L ， LECHERVY A ， et al . Training Face Verification Models from Generated Face Identity Data ［EB/OL］. 2021 ： arXiv ： 2108 . 00800 . https：//arxiv.org/abs/2108.00800.pdf https://arxiv.org/abs/2108.00800.pdf . doi: 10.48550/arXiv.2108.00800 http://dx.doi.org/10.48550/arXiv.2108.00800

曹海燕，曹广 . 基于几何特征的人脸识别方法研究［J］. 电子技术， 2021 ， 50 （ 6 ）： 27 - 29 .

CAO H Y ， CAO G . Research on face recognition method based on geometric features ［J］. Electronic Technology ， 2021 ， 50 （ 6 ）： 27 - 29 . （in Chinese）

LIYAKAT K K S ， MANE V A ， PARADESHI K P ， et al . Development of pose invariant face recognition method based on PCA and artificial neural network ［J］. Journal of Algebraic Statistics ， 2022 ， 13 （ 3 ）： 3676 - 3684 .

JAYA P A ， KUMAR P K ， SAUNAK S ， et al . A deep learning technique for biometric authentication using ECG beat template matching ［J］. Information ， 2023 ， 14 （ 2 ）： 65 . doi: 10.3390/info14020065 http://dx.doi.org/10.3390/info14020065

HINTON G E ， SALAKHUTDINOV R R . Reducing the dimensionality of data with neural networks ［J］. Science ， 2006 ， 313 （ 5786 ）： 504 - 507 . doi: 10.1126/science.1127647 http://dx.doi.org/10.1126/science.1127647

SCHROFF F ， KALENICHENKO D ， PHILBIN J . FaceNet： a unified embedding for face recognition and clustering ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. June 7 - 12 ， 2015 . Boston， MA， USA. IEEE ， 2015 ： 815 - 823 .

薛继伟，孙宇锐，辛纪元 . 基于ArcFace算法的人脸识别应用研究［J］. 电子设计工程， 2022 ， 30 （ 11 ）： 168 - 172 .

XUE J W ， SUN Y R ， XIN J Y . Research on the application of face recognition based on ArcFace algorithm ［J］. Electronic Design Engineering ， 2022 ， 30 （ 11 ）： 168 - 172 . （in Chinese）

孙运达，万雪，李盛阳 . 基于孪生网络的航天器部件追踪［J］. 光学精密工程， 2021 ， 29 （ 12 ）： 2915 - 2923 . doi: 10.37188/OPE.20212912.2915 http://dx.doi.org/10.37188/OPE.20212912.2915

SUN Y D ， WAN X ， LI SH Y . Siamese network based satellite component tracking ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 12 ）： 2915 - 2923 . （in Chinese） . doi: 10.37188/OPE.20212912.2915 http://dx.doi.org/10.37188/OPE.20212912.2915

MATHI R ， MOTHUKURI J V ， PASUMARTHY V A ， et al . Face recognition in different scenarios using Siamese network ［C］. 2022 IEEE 3rd Global Conference for Advancement in Technology （GCAT）. October 7 - 9 ， 2022 . Bangalore， India. IEEE ， 2022 ： 1 - 6 .

KOCH G R . Siamese neural networks for one-shot image recognition ［C］. ICML Deep Learning Workshop ， 2015 .

SONG C L ， JI S Y . Face recognition method based on Siamese networks under non-restricted conditions ［J］. IEEE Access ， 2022 ， 10 ： 40432 - 40444 . doi: 10.1109/access.2022.3167143 http://dx.doi.org/10.1109/access.2022.3167143

BROMLEY J ， GUYON I ， LECUN Y ， et al . Signature verification using a “Siamese” time delay neural network ［C］. Proceedings of the 6th International Conference on Neural Information Processing Systems . 29 November 1993， Denver， Colorado. New York ： ACM ， 1993： 737 - 744 . doi: 10.1142/s0218001493000339 http://dx.doi.org/10.1142/s0218001493000339

SIMONYAN K ， ZISSERMAN A . Very Deep Convolutional Networks for Large - scale Image Recognition ［EB/OL］. 2014 ： arXiv ： 1409 . 1556 . https：//arxiv.org/abs/1409.1556.pdf https://arxiv.org/abs/1409.1556.pdf .

IOFFE S ， SZEGEDY C . Batch normalization： accelerating deep network training by reducing internal covariate shift ［C］. Proceedings of the 32nd International Conference on International Conference on Machine Learning-Volume 37. New York ： ACM ， 2015 ： 448 - 456 .

张晋婧，刘双峰，丰雷，等 . 融合注意力机制的人脸识别算法研究［J］. 国外电子测量技术， 2023 ， 42 （ 2 ）： 107 - 113 .

ZHANG J J ， LIU SH F ， FENG L ， et al . Research on face recognition algorithm integrating attention mechanism ［J］. Foreign Electronic Measurement Technology ， 2023 ， 42 （ 2 ）： 107 - 113 . （in Chinese）

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18 - 23 ， 2018 . Salt Lake City， UT. IEEE ， 2018 ： 7132 - 7141 .

ALMADAN A ， KRISHNAN A ， RATTANI A . BWCFace： open-set face recognition using body-worn camera ［C］. 2020 19th IEEE International Conference on Machine Learning and Applications （ICMLA）. December 14 - 17 ， 2020 . Miami， FL， USA. IEEE ， 2020 ： 1036 - 1043 .

马艳军，于佃海，吴甜，等 . 飞桨：源于产业实践的开源深度学习平台［J］. 数据与计算发展前沿， 2019 （ 1 ）： 105 - 115 .

MA Y J ， YU D H ， WU T ， et al . PaddlePaddle： an open-source deep Lear ［J］. Frontiers of Data & Computing ， 2019 （ 1 ）： 105 - 115 . （in Chinese）

SMITH L N . Cyclical learning rates for training neural networks ［C］. 2017 IEEE Winter Conference on Applications of Computer Vision （WACV）. March 24 - 31 ， 2017 . Santa Rosa， CA， USA. IEEE ， 2017 .

GAO W ， CAO B ， SHAN S G ， et al . The CAS-PEAL large-scale Chinese face database and baseline evaluations ［J］. IEEE Transactions on Systems， Man， and Cybernetics ， Part A： Systems and Humans， 2008 ， 38 （ 1 ）： 149 - 161 . doi: 10.1109/tsmca.2007.909557 http://dx.doi.org/10.1109/tsmca.2007.909557

刘悦婷 . 基于LWSFLA-SVM的人脸识别算法［J］. 宝鸡文理学院学报（自然科学版）， 2016 ， 36 （ 3 ）： 40 - 44 . doi: 10.13467/j.cnki.jbuns.2016.03.001 http://dx.doi.org/10.13467/j.cnki.jbuns.2016.03.001

LIU Y T . Face recognition algorithm based on LWSFLA-SVM ［J］. Journal of Baoji University of Arts and Sciences （Natural Science Edition）， 2016 ， 36 （ 3 ）： 40 - 44 . （in Chinese） . doi: 10.13467/j.cnki.jbuns.2016.03.001 http://dx.doi.org/10.13467/j.cnki.jbuns.2016.03.001

DING Y ， QI L ， TIE Y ， et al . Single sample per person face recognition based on sparse representation with extended generic set ［C］. 2018 International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery （CyberC）. October 18 - 20 ， 2018 . Zhengzhou， China. IEEE ， 2018 ： 37 - 375 .

马杲东，吕非，童莹，等 . 基于核扩展混合块字典的单样本人脸识别研究［J］. 计算机技术与发展， 2022 ， 32 （ 1 ）： 104 - 110， 116 . doi: 10.3969/j.issn.1673-629X.2022.01.018 http://dx.doi.org/10.3969/j.issn.1673-629X.2022.01.018

MA G D ， LÜ F ， TONG Y ， et al . Face recognition with a single training sample per person based on kernel extended hybrid block dictionary learning ［J］. Computer Technology and Development ， 2022 ， 32 （ 1 ）： 104 - 110， 116 . （in Chinese） . doi: 10.3969/j.issn.1673-629X.2022.01.018 http://dx.doi.org/10.3969/j.issn.1673-629X.2022.01.018

潘惠苹，任艳，徐春 . 基于核典型相关分析和支持向量机的图像识别技术［J］. 南京理工大学学报， 2022 ， 46 （ 3 ）： 284 - 290 .

PAN H P ， REN Y ， XU CH . Image recognition technology based on kernel canonical correlation analysis and support vector machine ［J］. Journal of Nanjing University of Science and Technology ， 2022 ， 46 （ 3 ）： 284 - 290 . （in Chinese）

浏览量

736

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

融合知识蒸馏和注意力机制的光伏热斑检测

基于LL-GG-LG Net的CT和PET医学图像融合

基于改进BiSeNet的实时图像语义分割

多尺度注意力线束端子实时语义分割网络

面向三维点云的场景识别方法综述