基于内容特征提取的短波红外-可见光人脸识别

胡麟苗; 张湧; 楼晨风

doi:10.37188/OPE.20212901.0160

您当前的位置：

首页 >

文章列表页 >

基于内容特征提取的短波红外-可见光人脸识别

信息科学 | 更新时间：2021-02-04

- 基于内容特征提取的短波红外-可见光人脸识别
- Shortwave infrared visible-light face recognition based on content feature extraction
- 光学精密工程 2021年29卷第1期页码：160-171
- 作者机构：
  
  1.中国科学院上海技术物理研究所，上海 200083
  2.中国科学院红外探测与成像技术重点实验室，上海 200083
  3.中国科学院大学，北京 100049
- 作者简介：
  
  [ "胡麟苗（1992-），男，江苏镇江人，博士研究生，2015年于中国科学技术大学取得学士学位，主要从事机器视觉、红外图像处理以及深度学习相关方面的研究。E-mail：dy11hlm@hotmail.com" ]
  [ "张　湧（1969-），男，四川宜宾人，研究员，博士生导师，1997年于华东师范大学取得博士学位。主要从事红外成像系统技术、红外视频图像处理方面的研究工作。E-mail：zybxy@sina.com" ]
- 基金信息：
  
  上海市现场物证重点实验室开放课题资助项目(2017XCWZK08);国家十三五国防预研资助项目(JZX2016-0404/Y72-2)
- DOI：10.37188/OPE.20212901.0160
  中图分类号： TP391
- 收稿日期：2020-05-21，
  
  修回日期：2020-07-10，
  
  纸质出版日期：2021-01-15
- 稿件说明：
移动端阅览
胡麟苗,张湧,楼晨风.基于内容特征提取的短波红外-可见光人脸识别[J].光学精密工程,2021,29(01):160-171.

HU Lin-miao,ZHANG Yong,LOU Chen-feng.Shortwave infrared visible-light face recognition based on content feature extraction[J].Optics and Precision Engineering,2021,29(01):160-171.
胡麟苗,张湧,楼晨风.基于内容特征提取的短波红外-可见光人脸识别[J].光学精密工程,2021,29(01):160-171. DOI： 10.37188/OPE.20212901.0160.

HU Lin-miao,ZHANG Yong,LOU Chen-feng.Shortwave infrared visible-light face recognition based on content feature extraction[J].Optics and Precision Engineering,2021,29(01):160-171. DOI： 10.37188/OPE.20212901.0160.

摘要

为了实现短波红外-可见光人脸图像的跨模态识别，提出了基于内容特征提取的短波红外-可见光人脸识别框架。首先建立了短波红外-可见光人脸图像数据集，对图像翻译框架DRIT进行改进，更为准确地获取图像的内容特征并得到更好的翻译结果；接着，采用改进的图像翻译框架中的内容特征提取器进行内容特征提取，以克服模态差异对识别的干扰，然后设计识别网络，基于内容特征完成跨模态的短波红外-可见光人脸识别任务。在自建短波红外-可见光人脸图像数据集上对改进的图像翻译框架和跨模态人脸识别框架进行测试，实验结果表明，改进的DRIT图像翻译框架中的内容特征提取器可以更准确地进行内容特征提取，应用于识别任务时识别准确率提升了12.89%，整体识别框架对短波红外人脸识别准确率达到88.86%。本文提出的基于内容特征提取的识别方案有效克服了模态差异，获得了较好的短波红外-可见光人脸识别结果。

Abstract

To recognize shortwave-infrared（SWIR） face images according to enrolled visible-light（VIS） face images， a SWIR-VIS face recognition framework based on content feature extraction is proposed. Initially， a SWIR-VIS face image dataset was established. DRIT–an image translation frame–is modified to extract content features more accurately， and consequently obtains better translation results. Then， the content feature extractors in the improved DRIT framework overcome the interference of the modal difference on the recognition. The network used to recognize SWIR faces based on content features was adopted to complete the cross-modal SWIR-VIS face recognition task. The proposed network is evaluated on a self-built SWIR-VIS face image dataset， and compared with the existing widely used methods. Experimental results indicate that the improved DRIT could extract content features more accurately， and consequently the recognition accuracy with content extractors from the improved DRIT model is 12.89% higher than that with the original DRIT content extractors. The recognition accuracy of the proposed framework in the task of SWIR-VIS recognition was 88.86%. The proposed framework can effectively overcome the modality gap and improves the recognition accuracy.

关键词

Keywords

references

DUTTA A K . Imaging beyond human vision ［C］. International Conference on Electrical and Control Engineering ， 2014 ： 224 - 229 .

CAO Z ， SCHMID N A ， BOURLAI T . Composite multilobe descriptors for cross-spectral recognition of full and partial face ［J］. Optical Engineering ， 2016 ， 55 （ 8 ）： 083107 .

BIHN M ， GUNTHER M ， LEMMOND D ， et al . Evaluating a convolutional neural network on short-wave infra-red images ［C］. 2018 IEEE Winter Applications of Computer Vision Workshops （WACVW）. IEEE ， 2018 ： 18 - 27

HAREL M ， MOSHE Y . Tone mapping for shortwave infrared face images ［C］. 2014 IEEE 28th Convention of Electrical & Electronics Engineers in Israel （IEEEI）. IEEE ， 2014 ： 1 - 5 .

DENG J ， GUO J ， XUE N ， et al . Arcface： Additive angular margin loss for deep face recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2019 ： 4690 - 4699 .

LEZAMA J ， QIU Q ， SAPIRO G . Not afraid of the dark： Nir-vis face recognition via cross-spectral hallucination and low-rank embedding ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2017 ： 6628 - 6637 .

FU C ， WU X ， HU Y ， et al . Dual variational generation for low shot heterogeneous face recognition ［C］. Advances in Neural Information Processing Systems ， 2019 ： 2670 - 2679 .

PARKHI O M ， VEDALDI A ， ZISSERMAN A . Deep face recognition ［J］. Proceedings of the British Machine Vision Conference （BMVC）， 2015 ： 41 . 1-41 . 12 .

杜振龙，沈海洋，宋国美，等 . 基于改进CycleGAN的图像风格迁移［J］. 光学精密工程， 2019 ， 27 （ 8 ）： 1836 - 1844

DU ZH L ， SHEN H Y ， SONG G M ， et al . Image style transfer based on improved CycleGAN ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 8 ）： 1836 - 1844 . （in Chinese）

SHAHAM T R ， DEKEL T ， MICHAELI T ， et al . SinGAN： Learning a generative model from a single natural image ［C］. Proceedings of the IEEE International Conference on Computer Vision ， 2019 ： 4570 - 4580 .

XIANG X ， TIAN Y ， ZHANG Y ， et al . Zooming Slow-Mo： Fast and accurate one-stage space-time video super-resolution ［J］. arXiv preprint arXiv： 2002 . 11616 ， 2020 .

朱福珍，刘越，黄鑫，等 . 改进的稀疏表示遥感图像超分辨重建［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 718 - 725

ZHU F ZH ， LIU Y ， HUANG X ， et al . Remote sensing image super-resolution based on improved sparse representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese）

刘超，张晓晖 . 超低照度下微光图像的深度卷积自编码网络复原［J］. 光学精密工程， 2018 ， 26 （ 4 ）： 951 - 961

LIU CH ， ZHANG X H . Deep convolutional autoencoder networks approach to low-light level image restoration under extreme low-light illumination ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 4 ）： 951 - 961 . （in Chinese）

杨植凯，卜乐平，王腾，等 . 基于循环一致性对抗网络的室内火焰图像场景迁移［J］. 光学精密工程， 2020 ， 28 （ 3 ）： 745 - 758

YANG ZH K ， BU L P ， WANG T ， et al . Scenemigration of indoor flame image based on Cycle-Consistent adversarial networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 3 ）： 745 - 758 . （in Chinese）

ISOLA P ， ZHU J Y ， ZHOU T ， et al . Image-to-image translation with conditional adversarial networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2017 ： 5967 - 5976 .

ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］. Proceedings of the IEEE International Conference on Computer Vision ， 2017 ： 2223 - 2232 .

HUANG X ， LIU M Y ， BELONGIE S ， et al . Multimodal unsupervised image-to-image translation ［C］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018 ： 172 - 189 .

LEE H ， TSENG H ， HUANG J ， et al . Diverse Image-to-Image Translation via Disentangled Representations ［C］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018 ： 36 - 52 .

EMAMI H ， ALIABADI M M ， DONG M ， et al . SPA-GAN： Spatial Attention GAN for Image-to-Image Translation ［J］. IEEE Transactions on Multimedia ， 2020 ： 1 - 1 .

KIM J ， KIM M ， KANG H ， et al . U-GAT-IT： Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation ［C］. International Conference on Learning Representations ， 2020 .

WU X ， HE R ， SUN Z . A lightened cnn for deep face representation ［J］. arXiv preprint arXiv：1511.02683 ， 2015 ， 4 （ 8 ）.

SCHROFF F ， KALENICHENKO D ， PHILBIN J . Facenet： A unified embedding for face recognition and clustering ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2015 ： 815 - 823 .

浏览量

1366

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

融合卷积块注意力模块和Siamese神经网络的人脸识别算法

一种分布式人脸识别方法及性能优化

联合Gabor降维特征与奇异值特征的人脸识别

三维到二维:人脸本征形状描述图

用于人脸识别的相对梯度直方图特征描述