基于内容特征提取的短波红外-可见光人脸识别

基于内容特征提取的短波红外-可见光人脸识别 Shortwave infrared visible-light face recognition based on content feature extraction 1 2 3 first-author 胡麟苗（1992-），男，江苏镇江人，博士研究生，2015年于中国科学技术大学取得学士学位，主要从事机器视觉、红外图像处理以及深度学习相关方面的研究。E-mail：dy11hlm@hotmail.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445050&type= 22.01333618 32.00402832 胡麟苗（1992-），男，江苏镇江人，博士研究生，2015年于中国科学技术大学取得学士学位，主要从事机器视觉、红外图像处理以及深度学习相关方面的研究。E-mail：dy11hlm@hotmail.com 1 2 corresp E-mail： zybxy@sina.com E-mail： zybxy@sina.com 张　湧（1969-），男，四川宜宾人，研究员，博士生导师，1997年于华东师范大学取得博士学位。主要从事红外成像系统技术、红外视频图像处理方面的研究工作。E-mail：zybxy@sina.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445061&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445057&type= 22.01330566 32.00410461 张　湧（1969-），男，四川宜宾人，研究员，博士生导师，1997年于华东师范大学取得博士学位。主要从事红外成像系统技术、红外视频图像处理方面的研究工作。E-mail：zybxy@sina.com zybxy@sina.com 1 2 3 中国科学院 上海技术物理研究所， 上海 200083 中国科学院 上海技术物理研究所， 上海 200083 Shanghai Institute of Technical Physics， Chinese Academy of Science， Shanghai 200083， China Shanghai Institute of Technical Physics， Chinese Academy of Science， Shanghai 200083， China 中国科学院红外探测与成像技术重点实验室， 上海 200083 中国科学院红外探测与成像技术重点实验室， 上海 200083 Key Laboratory of Infrared System Detection and Imaging Technology， Chinese Academy of Science， Shanghai 200083， China Key Laboratory of Infrared System Detection and Imaging Technology， Chinese Academy of Science， Shanghai 200083， China 中国科学院大学， 北京 100049 中国科学院大学， 北京 100049 University of Chinese Academy of Science， Beijing 100049， China University of Chinese Academy of Science， Beijing 100049， China 为了实现短波红外-可见光人脸图像的跨模态识别，提出了基于内容特征提取的短波红外-可见光人脸识别框架。首先建立了短波红外-可见光人脸图像数据集，对图像翻译框架DRIT进行改进，更为准确地获取图像的内容特征并得到更好的翻译结果；接着，采用改进的图像翻译框架中的内容特征提取器进行内容特征提取，以克服模态差异对识别的干扰，然后设计识别网络，基于内容特征完成跨模态的短波红外-可见光人脸识别任务。在自建短波红外-可见光人脸图像数据集上对改进的图像翻译框架和跨模态人脸识别框架进行测试，实验结果表明，改进的DRIT图像翻译框架中的内容特征提取器可以更准确地进行内容特征提取，应用于识别任务时识别准确率提升了12.89%，整体识别框架对短波红外人脸识别准确率达到88.86%。本文提出的基于内容特征提取的识别方案有效克服了模态差异，获得了较好的短波红外-可见光人脸识别结果。 To recognize shortwave-infrared（SWIR） face images according to enrolled visible-light（VIS） face images， a SWIR-VIS face recognition framework based on content feature extraction is proposed. Initially， a SWIR-VIS face image dataset was established. DRIT–an image translation frame–is modified to extract content features more accurately， and consequently obtains better translation results. Then， the content feature extractors in the improved DRIT framework overcome the interference of the modal difference on the recognition. The network used to recognize SWIR faces based on content features was adopted to complete the cross-modal SWIR-VIS face recognition task. The proposed network is evaluated on a self-built SWIR-VIS face image dataset， and compared with the existing widely used methods. Experimental results indicate that the improved DRIT could extract content features more accurately， and consequently the recognition accuracy with content extractors from the improved DRIT model is 12.89% higher than that with the original DRIT content extractors. The recognition accuracy of the proposed framework in the task of SWIR-VIS recognition was 88.86%. The proposed framework can effectively overcome the modality gap and improves the recognition accuracy. 图像翻译 短波红外图像 人脸识别 内容特征 image translation short-wave infrared images face recognition content feature 1 引　言 1 人脸识别自被提出以来就是计算机视觉研究的重点，近年来，随着深度学习的发展，基于可见光人脸图像的识别准确率得到了很大提高。目前的可见光人脸识别算法在公开的可见光人脸数据集（如LFW，MegaFace）上可以达到高于99%的准确率，这得益于不断发展的人脸识别算法、不断提升的计算能力和可以广泛获取的可见光人脸图像。但是，在实际应用中，可见光成像系统受环境干扰较为严重，在雾天、夜晚等环境成像质量较差，对人脸识别性能影响较大。为了解决可见光成像受干扰问题，在暗光条件下可以成像的短波红外成像系统成为另一个重要的图像来源。 短波红外是肉眼不可见的红外辐射波段之一，它属于主动成像波段，需要光源对成像目标进行照明，依靠物体表面反射的短波红外辐射进行成像，对雾、霭、烟尘等均有较好的穿透能力 ［ 1 1 - 2 2 1-2 ］ 。自然界中的大气辉光、星光和月光等均可作为短波红外的光源，其中大气辉光为主要自然光源，具有照射均匀的优点。作为对比，近红外成像系统主要的自然光源为月光，受月相、地月角度影响较大，容易产生方向性的阴影 ［ 3 3 ］ 。短波红外成像系统和近红外成像系统均可依靠主动式的人工光源进行成像，但短波红外人工光源具有更好的不可见性 ［ 4 4 ］ ，配合短波红外成像系统可以有效增强安防监控系统的隐蔽性。 短波红外的波段特性使得其可用于夜间成像，但也正因为其与可见光不同的光谱特性，它所成的图像与可见光图像有较大的模态差异。目前的人脸识别系统中注册图像多为可见光图像，在应用短波红外成像系统获取人脸图像后，需要将短波红外图像与可见光注册图像进行匹配，两者间的模态差异会对匹配造成干扰。由于短波图像与可见光模态差异较大，用于可见光人脸识别的算法如InsightFace ［ 5 5 ］ 直接应用于短波红外-可见光人脸识别时表现不佳。已有的针对近红外-可见光人脸识别的算法如 ［ 6 6 - 7 7 6-7 ］ ，采用可见光预训练、近红外精调网络来生成对应近红外、可见光人脸图像的方式克服模态差异。由于近红外-可见光间模态差异小于短波红外光-可见光间的模态差异，图像生成难度相对更小，可见光图像上的预训练可以弥补数据量不足的缺陷，得到较好的识别结果。 在短波红外-可见光人脸识别研究中，Bihn等 ［ 3 3 ］ 提出直接应用在可见光数据集上预训练的VGG-Face（Visual Geometry Group-Face） ［ 8 8 ］ 作为特征提取器，采用网络输出的特征对短波红外图像进行识别。但短波红外由于更小的数据量与更大的模态差异，在可见光图像上训练出的特征提取网络并不能很好克服短波红外-可见光间模态差异带来的干扰，在短波红外-可见光人脸识别任务中该方法准确度难以令人满意。 要进行跨模态的短波红外-可见光人脸识别，核心问题是消除模态差异的干扰。一个解决思路是找到一个短波红外人脸图像和可见光人脸图像共同拥有且可以用于识别的特征。它必须是两个图像域图像共有的特征，且与图像包含的内容信息相关，与图像所属图像域无关。在图像翻译研究中，研究者提出的“内容特征”这一概念可以用于解决这一问题。 图像翻译是指在保留输入图像内容的前提下，将输入图像翻译为目标图像域的图像的过程。它是近年来深度学习尤其是生成对抗网络在计算机视觉领域的重要应用之一，常被用于风格迁移 ［ 9 9 ］ 、图像生成 ［ 10 10 ］ 、图像超分辨 ［ 11 11 - 12 12 11-12 ］ 、图像去噪 ［ 13 13 ］ 及场景变换 ［ 14 14 ］ 等多个方面。较早的图像翻译框架如Pix2Pix ［ 15 15 ］ ，CycleGAN（Cycle Generative Adversarial Network） ［ 16 16 ］ 等采用生成对抗网络对输入图像直接进行转换。而之后的研究如MUNIT（Multimodal Unsupervised Image-to-Image Translation） ［ 17 17 ］ ，DRIT（Diverse Image-to-Image Translation） ［ 18 18 ］ 等提出了图像的内容特征、风格特征分离的新思想。它们认为图像的特征空间可以分为内容特征和风格特征两部分。图像的内容特征是指与图像内容信息相关的部分，包含图像中的具体物体及物体的整体结构等。风格信息是指图像中与图像域相关的部分，包含了图像的纹理信息等。可以将图像翻译过程分解为输入图像内容特征、风格特征的提取，目标图像域风格特征的获取以及基于输入内容特征和目标域风格特征的图像生成过程。部分研究者选择将注意力机制引入图像翻译 ［ 19 19 - 20 20 19-20 ］ ，使网络可以对图像中的重要区域给予更多关注。 图像翻译方法中提出的“内容特征”符合跨模态人脸识别任务中用于消除模态差异的方法的要求。受此启发，本文提出了基于内容特征提取的短波红外-可见光人脸识别框架，将短波红外-可见光人脸识别问题分解为跨图像域内容特征提取和基于内容特征的识别两个子问题。在短波红外-可见光人脸数据集上对图像翻译网络进行训练，将图像翻译框架中的内容特征提取器从框架中分离，用于待识别图像内容特征的提取；采用内容特征识别网络将待识别图像的内容特征与可见光注册图像的内容特征进行匹配，从而克服模态差异完成短波红外-可见光人脸识别任务。 本文的主要贡献为：（1）提出基于内容特征提取的短波红外-可见光人脸识别方法，将图像翻译方法中的内容特征用于消除模态差异对短波红外-可见光图像识别的影响；（2）对图像翻译框架DRIT进行改进，提出域内内容一致性函数和跨域内容一致性函数，提升内容特征提取器对特征提取的准确性；（3）设计了基于内容特征的识别网络，完成了短波红外-可见光人脸图像的识别，在短波红外-可见光人脸图像数据集上达到88.86%的准确率。 2 基于内容特征提取的人脸识别网络 1 在跨图像域的短波红外-可见光人脸识别中，模态差异会对识别造成较大干扰，如 图1 图1 所示，图中“F_X-X”指采用普通的特征提取网络对图像提取的识别特征。同一目标在不同图像域中的图像间的差异可能会大于不同目标间的差异，传统的分类方式很难克服这一干扰。 为了解决短波红外-可见光人脸识别任务中模态差异的干扰问题，受图像翻译中内容特征特性的启发，本文将短波红外-可见光人脸识别问题分解为两个子问题：跨图像域内容特征的提取和基于内容特征的识别。 2.1　整体结构 2 基于内容特征提取的人脸识别框架由内容特征提取器和基于内容特征的识别网络两个子模块构成。如 图2 图2 所示，（c）中的内容特征提取器由（a）和（b）中的训练得到。 内容特征提取器从训练好的图像翻译框架中固化得到。引入了内容特征、风格特征分离思想的图像翻译框架DRIT设置了多种机制来实现对内容特征的提取。在研究中发现，由DRIT得到的内容特征提取器对内容特征提取的准确性仍无法满足人脸识别任务的要求，因此我们对该网络进行改进，提出了域内内容一致性损失函数和跨域内容一致性损失函数，提升网络中内容特征提取器对内容特征提取的准确性。将改进的DRIT模型中的内容特征提取器作为最终用于识别网络的内容特征提取器，提升了识别的准确率。 内容特征提取过程完成了从不同图像域图像中提取属于同一空间的特征的目标，基于内容特征的识别类似于可见光人脸识别过程，由特征处理和分类两部分构成。本文设计了用于内容特征识别的网络，与内容特征提取器结合，构成了整体识别框架，完成了短波红外-可见光人脸识别任务。 2.2　内容特征提取器 2 2 . 2 . 1　DRIT模型 3 DRIT模型为Lee等提出的无监督图像翻译模型，它在循环一致性的基础上引入了内容、风格特征分离思想。内容特征指图像中较为低层的特征，例如图像中的方向、边缘等信息，而风格特征则是图像中较为高层的信息，如图像的颜色、纹理等信息。 DRIT模型由内容特征编码器（ <math id="M1"><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi mathvariant="normal">*</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445082&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445080&type= 9.65199947 4.65666676 ， <math id="M2"><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi mathvariant="normal">*</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445088&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445085&type= 9.65199947 4.65666676 ）、风格特征编码器（ <math id="M3"><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><mi mathvariant="normal">*</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445092&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445090&type= 9.56733322 4.65666676 ， <math id="M4"><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><mi mathvariant="normal">*</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445098&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445095&type= 9.48266697 4.65666676 ）、生成器（ <math id="M5"><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445103&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445101&type= 4.48733330 3.72533321 ， <math id="M6"><msub><mrow><mi>G</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445108&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445105&type= 4.31799984 3.72533321 ）、内容特征判别器及图像域判别器构成。内容特征编码器和风格特征编码器用于图像内容、风格特征的提取，在网络中，两个图像域的内容特征的最后几层共享参数，以保证从两个图像域获取的内容特征属于同一空间。同时还设置了内容特征判别器，用于判别输入的内容特征来自哪个图像域，内容特征提取器的优化目标之一就是使得判别器无法区分输入的内容特征来自哪个图像域。 在训练时，DRIT模型会将输入图像的内容特征与自身的风格特征组合进行生成（ 图2 图2 （b）），在理想情况下，生成的图像应与输入图像一致，以图像域A为例，应有： <math id="M7"><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445114&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445111&type= 4.82599974 3.72533321 - <math id="M8"><msub><mrow/><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445118&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445115&type= 63.16133499 4.65666676 。同时，DRIT会将同时输入的两幅分别属于不同图像域的图像的内容和风格特征重新组合，生成对应的翻译图像，并对两个翻译结果再次进行内容、风格的交换组合，得到跨域重建结果（ 图2 图2 （a））： <math display="block" id="M9"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mi>u</mi><mo>=</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi>v</mi><mo>=</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo>-</mo><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo>-</mo><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445123&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445121&type= 54.94866943 22.01333427 . 此时跨域重建结果与原始输入图像之间也存在约束： a input = a aross-reconstruct ， b input = b aross-reconstruct 。基于这些约束关系，DRIT模型将输入图像与自身重建图像、跨域重建图像的L1距离作为损失函数，保证了翻译结果与输入图像在内容上的相似性。 DRIT模型在猫狗变换等任务中取得了较好的结果，但在短波红外-可见光人脸图像数据集上，翻译结果与参考图像相似度较低。尤其在对识别影响较大的眼睛、鼻子等部位，输出结果与真实图像差距较大。本文采用预训练好的Facenet模型对DRIT的输出结果进行识别，识别准确率仅为22%。 本文对DRIT框架进行分析，认为造成这一问题的主要原因是DRIT模型提取的内容特征的准确性不足，与DRIT模型的结构相关。第一，该框架被设计用于无监督的图像翻译，更强调输出结果风格的准确性，框架中的内容特征判别器仅判断输入的特征是否属于同一特征空间，对内容特征与输入图像的相关性未做判断。第二，框架中设置的基于循环一致性的重建损失函数仅从图像层面判断重建结果的准确性，未对内容特征进行约束。在图像翻译过程中，除了内容特征提取器，生成器也会对生成结果造成影响，仅依靠生成图像与输入图像的相似性，很难对内容特征提取的准确性进行直接判断。这些问题导致框架对同一内容的不同图像域图像提取的内容特征并不一致，干扰了翻译的准确性，导致在识别框架中，内容特征提取器的跨模态优势不明显。 针对DRIT存在的问题，本文在原有框架的基础上设计、引入了两个新损失函数，以优化原模型存在的内容特征提取准确性不足的问题。它们均基于内容特征提取器获得的内容特征进行计算，更好地对内容特征提取器进行优化。 2 . 2 . 2　基于目标一致性的跨域内容一致性损失函数 3 针对DRIT目标一致性差的问题，本文引入了跨域内容一致性损失函数。在2.2.1节描述的DRIT的训练过程中，输入图像经过交换特征得到生成图像 <math id="M10"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445128&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445126&type= 1.86266661 2.79399991 ， <math id="M11"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445133&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445130&type= 1.86266661 2.79399991 ， <math id="M12"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445138&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445136&type= 1.86266661 2.79399991 ， <math id="M13"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445142&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445140&type= 1.86266661 2.79399991 分别由输入图像 <math id="M14"><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445148&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445145&type= 6.09599972 3.72533321 ， <math id="M15"><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445152&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445149&type= 6.09599972 3.72533321 的内容特征生成（ 公式（1） 公式（1） ），对 <math id="M16"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445156&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445153&type= 1.86266661 2.79399991 ， <math id="M17"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445162&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445159&type= 1.86266661 2.79399991 进行内容特征提取： <math display="block" id="M18"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msubsup><mrow><mi>z</mi></mrow><mrow><mi>u</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><mo>=</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msubsup><mrow><mi>z</mi></mrow><mrow><mi>v</mi></mrow><mrow><mi>c</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo><mo>=</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445165&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445164&type= 70.69666290 10.49866676 . 对于期望情况，此时获得的内容特征应与从输入图像提取的内容特征一致，即： <math display="block" id="M19"><msubsup><mrow><mi>z</mi></mrow><mrow><mi>u</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445171&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445168&type= 73.15200043 4.65666676 . 计算输入图像与生成图像的内容特征间的L2距离，并将之作为跨域内容一致性损失函数，以引导生成器从包含相同内容特征的不同域图像中提取相同的内容特征，强化两个图像域中内容特征提取器的一致性： <math display="block" id="M20"><mtable columnalign="left"><mtr><mtd><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi mathvariant="bold-italic">a</mi></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>a</mi><mo stretchy="false">)</mo><mo>-</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">]</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi mathvariant="bold-italic">b</mi></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>b</mi><mo stretchy="false">)</mo><mo>-</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">]</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445176&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445173&type= 69.25733185 12.86933327 . 2 . 2 . 3　基于循环一致性的域内内容特征一致性损失函数 3 DRIT模型在训练中使用原输入图像的内容特征和属性特征进行了自身重建，得到自身重建图像 a self-reconstruct ， b self-reconstruct ，同时还使用从生成图像提取的内容特征与原属性特征进行了循环重建，得到了循环重建图像 a cross-reconstruct ， b cross-reconstruct 。在这两个重建过程中，重建图像使用的内容特征也是来自于输入图像。那么，从重建图像提取内容特征，也应与输入图像的内容特征一致： <math display="block" id="M21"><mtable columnalign="left"><mtr><mtd><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">f</mi><mo>-</mo><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445181&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445178&type= 46.73600006 10.07533360 ， <math display="block" id="M22"><mtable columnalign="left"><mtr><mtd><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo>-</mo><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445185&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445182&type= 74.93000031 15.40933418 ， 输入图像 <math id="M23"><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445189&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445188&type= 6.09599972 3.72533321 以及对应的重建图像与 式（5） 式（5） 和 式（6） 式（6） 类似。 两类重建图像均与输入图像属于同一图像域，内容特征提取由同一个内容特征提取器完成。本文使用对应域图像的内容提取器从重建图像与循环图像获取内容特征，并分别计算它们与输入图像内容特征的L2距离，作为域内内容特征一致性损失函数。该损失函数形式如 式（7） 式（7） 所示： <math display="block" id="M24"><mtable columnalign="left"><mtr><mtd><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>a</mi></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mfenced separators="|"><mrow><mi>a</mi></mrow></mfenced><mo>-</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mfenced separators="|"><mrow><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">f</mi><mo>-</mo><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub></mrow></mfenced></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>a</mi></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mfenced separators="|"><mrow><mi>a</mi></mrow></mfenced><mo>-</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mfenced separators="|"><mrow><msub><mrow><mi>a</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo>-</mo><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub></mrow></mfenced></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>b</mi></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mfenced separators="|"><mrow><mi>b</mi></mrow></mfenced><mo>-</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mfenced separators="|"><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">f</mi><mo>-</mo><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub></mrow></mfenced></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>b</mi></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mfenced separators="|"><mrow><mi>b</mi></mrow></mfenced><mo>-</mo><msubsup><mrow><mi>E</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>C</mi></mrow></msubsup><mfenced separators="|"><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo>-</mo><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></msub></mrow></mfenced></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445194&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445192&type= 56.72666550 44.61933136 . 通过设置域内内容特征一致性损失函数，我们强化了内容特征提取器对属于同一图像域且含有相同内容特征的图像进行特征提取时内容特征的一致性， 改进的DRIT模型的损失函数为DRIT模型的损失函数与新增损失函数的和： <math display="block" id="M25"><mtable columnalign="left"><mtr><mtd><mi>L</mi><mo>=</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">D</mi><mi mathvariant="normal">R</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">T</mi></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">D</mi><mi mathvariant="normal">R</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">T</mi></mrow></msub><mo>+</mo><msubsup><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msubsup><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msubsup><mo>+</mo></mtd></mtr><mtr><mtd><msubsup><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msubsup><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi></mrow></msubsup></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445198&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445196&type= 48.42933273 8.72066689 . 2.3　基于内容特征的跨域识别网络 2 人脸识别通常包含图像预处理、特征提取、特征分类几部分。特征提取和分类多由深度神经网络完成。可见光人脸识别网络如Facenet、SphereFace和InsightFace等主要对损失函数进行优化，提出的损失函数如triplet loss（Facenet），ArcFace loss（InsightFace）等在可见光人脸识别任务中取得较好结果，其中ArcFace loss应用较广、效果较好。 经过内容特征提取后，两个图像域的图像被映射为属于同一特征空间的内容特征，此时的识别任务与可见光人脸识别类似，可由特征处理网络和分类部分完成。针对提取后的内容特征，本文设计了跨域识别网络，用于对内容特征进行进一步提取以及分类。 2 . 3 . 1　特征处理网络 3 人脸识别任务中，特征处理网络多以残差结构作为基本单元，通过多个单元的堆叠构成。文献 ［ 5 5 ］ 中提出了改进的残差单元，在可见光人脸识别任务中获得较好结果。 卷积神经网络中，常用的激活函数如ReLU等会给出一个稀疏的输出，Wu等 ［ 21 21 ］ 提出了MFM（Max-Feature-Map）激活函数层，可以进行特征选择并输出更为紧实的特征。 在本文提出的方案中，内容特征通道数为256，本文设置的特征处理网络去除了较浅的单元，由15个深度为256、3个深度为512的改进的残差单元组成特征处理网络，且采用MFM作为激活函数。 2 . 3 . 2　分类损失函数 3 虽然可见光识别算法中提出的损失函数在短波红外-可见光人脸识别中直接应用时效果不佳，使用InsightFace网络直接进行短波红外-可见光人脸识别时准确率仅为64.97%，但在使用内容特征提取器将不同域图像翻译到同一特征空间后，ArcFace loss成为识别任务较好的选择，因此本文提出的框架将ArcFace loss作为基于内容特征的识别网络中的损失函数。 ArcFace loss是对分类任务中经典的Softmax的改进。它在角度空间对分类损失进行优化，达到加大类间距离、减小类内距离的效果，在可见光人脸识别任务中取得了优秀的结果。Softmax分类器中Softmax层的输入为最后一个全连接层的输出 <math id="M26"><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi mathvariant="bold-italic">X</mi><mo>+</mo><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445201&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445200&type= 15.83266640 3.21733332 ， <math id="M27"><mi mathvariant="bold-italic">W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445205&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445203&type= 3.72533321 2.96333337 ， <math id="M28"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445208&type= 2.70933342 2.79399991 ， <math id="M29"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445216&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445213&type= 1.86266661 2.79399991 分别为权值向量、特征向量和偏置值。将偏置值置零，对网络最后一层全连接层的特征与权重均进行L2归一化，再计算两者的点积，将点积值视为权重向量与特征向量的余弦值，使用反余弦函数解得权重向量与当前特征向量的角度值 <math id="M30"><mi>θ</mi><mo>=</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mfenced separators="|"><mrow><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi mathvariant="bold-italic">X</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445225&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445222&type= 28.10933304 4.48733330 ，在当前角度上加预设的角度间隔（Angular margin）m，使用余弦函数得到增加了角度间隔的余弦值 <math id="M31"><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mfenced separators="|"><mrow><mi>θ</mi><mo>+</mo><mi>m</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445234&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445227&type= 17.61066628 4.06400013 ，将余弦值乘以放大尺度s后再进行Softmax计算，最终得到ArcFace损失函数： <math display="block" id="M32"><mi>L</mi><mo>=</mo><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfrac><mrow><msup><mrow><mi>e</mi></mrow><mrow><mi>s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mo stretchy="false">(</mo><msub><mrow><mi>θ</mi></mrow><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub><mo>+</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msup></mrow><mrow><msup><mrow><mi>e</mi></mrow><mrow><mi>s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mo stretchy="false">(</mo><msub><mrow><mi>θ</mi></mrow><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub><mo>+</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msup><mo>+</mo><msubsup><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo>≠</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><msup><mrow><mi>e</mi></mrow><mrow><mi>s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mtext> </mtext><msub><mrow><mi>θ</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></msup></mrow></mrow></mfrac></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445244&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445237&type= 66.80200195 12.53066635 . 3 实验与分析 1 3.1　数据集 2 根据调研，目前还没有公开可获取的短波红外-可见光人脸数据集，因此本文采集短波红外与可见光人脸图像并建立数据集。可见光人脸图像采集设备为尼康的D5600单反相机，短波红外人脸图像的采集设备为Xenics公司的Bobcat320短波相机。Bobcat320为一款采用InGaAs传感器的短波红外相机，可以采集波长范围为 <math id="M33"><mn mathvariant="normal">0.9</mn><mo>~</mo><mn mathvariant="normal">1.7</mn><mtext> </mtext><mi mathvariant="normal">μ</mi><mi mathvariant="normal">m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445247&type= 18.37266731 3.64066648 的短波红外辐射。采集中，两台相机均设置为视频模式，单反相机采集分辨率为1 920×1 080的视频数据，Bobcat320相机采集分辨率为 <math id="M34"><mn mathvariant="normal">320</mn><mo>×</mo><mn mathvariant="normal">256</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445256&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=9445253&type= 15.91733360 2.79399991 的视频数据，采集过程中保证被采集对象头部位于画面中心位置。 数据集共包含207个目标，其中男性目标123，女性84。采集条件为半受控环境，在固定光照、距离下采集了目标不同角度、表情下的短波红外与可见光图像（如 图3 图3 所示）。对采集的图像数据进行了眼部标注，并根据眼部位置进行了裁剪与对齐。 在实验中，随机选取不同性别各16个目标作为测试集，将剩余目标作为训练集，每个目标随机选取了7~10对图像构成训练集，实际训练集包含1 500张短波图像和1 500张可见光图像，测试集则包含745张短波红外图像和745张可见光人脸图像。 3.2　实验设置 2 3 . 2 . 1　实验平台 3 实验平台为搭载英特尔8700k处理器及单张英伟达RTX2080Ti显卡的计算机，在自建短波红外-可见光人脸数据集的训练集上对模型进行训练、调试参数，在测试集上对模型性能进行评估，保证训练集与测试集数据没有重合部分。 3 . 2 . 2　参数设置 3 本文提出的改进的DRIT模型在原DRIT模型的基础上增加了新的损失函数，为了验证所提改进的效果，以DRIT模型为基准，在实验中原DRIT部分参数按文献［ 18 18 ］设置，调节本文提出的两个新损失函数的权重来验证本文所提改进的有效性并获取最优参数设置。之后，使用测试集图像进行短波红外-可见光的人脸图像翻译任务的验证，与其他图像翻译框架的表现进行对比。在实验中发现，在将跨域内容一致性损失函数的权重设置为5.5，域内内容一致性损失函数的权重设置为5时，训练得到的内容特征提取器在识别任务中取得最好结果。 对于基于内容特征的跨域识别网络，将 公式（9） 公式（9） 中的角度余裕 m 设置为0.5。受实验硬件条件限制，将batch大小设置为32，对网络进行训练，学习率初始设置为0.000 1，在不同阶段依次减小为0.000 05，0.000 01，0.000 001。 3.3　结果评估 2 对图像翻译模型DRIT，本文对其的改进主要是为了获取更高质量的内容特征提取器，在识别中更为准确地提取内容特征。提升内容特征提取的准确性，图像翻译结果与真实图像的相似性也应随之提升。因此，采用主观观察与客观识别的方式对改进的DRIT模型的翻译结果进行评估。在测试集上，采用训练好的改进的DRIT模型对短波红外图像进行图像翻译，观察其与真实参考图像的相似度。同时，采用在可见光图像上预训练好的Facenet ［ 22 22 ］ 网络对模型输出的结果进行识别，以识别准确率来评估模型对内容特征提取的准确性。Facenet模型为Schroff等提出的基于深度神经网络的人脸识别模型，在实验中应用在LFW数据集上识别精度达到99.65%的预训练模型作为识别模型，对本文所提改进的DRIT模型和对比框架的翻译结果进行识别。 人脸识别任务通常可以分为两类：（1）身份识别：已有参考图像数据集，识别采集到的图像中目标的身份；（2）身份验证：给定一张参考图像和一张待判断图像，判断两幅图像中的目标是否为同一目标。本文所提框架的预期应用场景为暗光条件下的安防、监控场景，在该场景下，人脸识别需要面对的主要是第一类问题即识别问题，需要从已有可见光图像数据集中找到与待判定短波红外图像相符的目标。对该类问题，通常采用Rank-1准确率作为判断指标。Rank-1准确率即识别算法对输入的待检测图像进行识别，将概率最高的1个结果作为识别结果时，算法识别正确的概率。在实验中，算法均仅在训练集进行训练，在测试集上进行识别测试。 3.4　对比算法 2 3 . 4 . 1　短波红外-可见光人脸图像翻译 3 作为对比，以DRIT为基准参考模型测试图像翻译结果，同时选取较为常见的图像翻译框架CycleGAN ［ 16 16 ］ ，MUNIT ［ 17 17 ］ ，UGATIT（Unsupervised Generative Attentional Image-to-Image Translation） ［ 20 20 ］ 作为图像翻译效果的对比算法。 CycleGAN：首创性地引入循环一致性思想，使得无成对图像的图像翻译成为可能，且在相应数据集上取得了较好结果； MUNIT：采用了内容与特征分离的思想进行图像翻译，与DRIT模型的区别主要在内容特征与风格特征结合的方式上以及循环一致性的实现方式； UGATIT：在CycleGAN的基础上增加了新的注意力机制与正则化方法，提升了图像翻译效果。 3 . 4 . 2　短波红外-可见光人脸图像识别 3 针对短波红外-可见光人脸识别的相关研究较少，本文将针对该问题的在基于可见光预训练的VGG-Face方法、可见光人脸识别方法InsightFace以及针对近红外-可见光人脸识别的DVG方法作为对比算法。 基于可见光预训练的短波红外-可见光人脸识别方法：Bihn等 ［ 3 3 ］ 提出，短波红外人脸图像与可见光人脸图像虽然有模态差距，但通过深度卷积网络可以从可见光图像中学习人脸结构信息，用于短波红外人脸图像的识别。该方案采用VGG-Face网络在可见光人脸图像数据集上进行训练，训练完成后，使用网络对短波图像进行特征提取，采用全连接层“fc7”输出的4 096维的特征向量作为识别特征，通过计算特征间距离判断两幅图像是否属于同一类别。 InsighFace：InsightFace为Deng等人提出的可见光人脸识别方法，提出了ArcFace和改进的残差单元，在可见光识别任务中得到较好的识别准确率。 DVG：DVG方法是基于图像翻译的另一种方法。该方法首先采用成对的近红外和可见光图像对生成器进行训练，之后采用训练好的生成器生成大规模、成对的近红外和可见光图像，与真实的近红外、可见光图像共同用于识别网络的训练，采用最终训练完成的网络完成识别任务。 本文在短波红外-可见光人脸图像数据集的训练集上对各对比算法进行训练，在测试集上测试各方法的识别Rank-1准确率，与本文提出的方法进行对比。 3.5　实验结果与分析 2 3 . 5 . 1　改进的DRIT模型内容特征提取 3 本文提出的对DRIT模型的改进的主要目的是使内容特征提取器可以更准确地提取内容特征。若内容特征提取的准确性增加，图像翻译框架翻译结果也会得到提升，本文首先对改进的DRIT模型图像翻译的结果进行评估，间接评估内容特征提取的准确性。 在相同训练集上对经典的无监督图像翻译框架CycleGAN，MUNIT模型、DRIT模型和UGATIT模型进行训练，并在相同的测试集上进行图像翻译，对翻译结果进行观察，得到主观性能判断。采用Facenet模型对翻译结果进行识别，将本文提出的改进的DRIT模型的结果与之进行对比。 图4 图4 为图像翻译结果对比，可以看到，MUNIT框架的结果仅大致轮廓与输入、参考图像相似，在细节上有很多模糊，对观察干扰严重；CycleGAN模型翻译结果在大致结构上与参考图像相似，部分图像眼部周围存在失真情况，且整体皮肤色调与参考图像差异较大，对识别算法容易造成干扰；UGATIT模型结果上高频波纹较少，图像整体观感与可见光图像接近，但存在器官与输入图像不相符的情况，且在头部有一定偏转角度时，翻译结果失真较为严重；DRIT模型画面整体模糊，在轮廓、细节等方面均存在波纹现象；本文提出的改进的DRIT模型翻译结果与参考图像相似度较高，且在头部有一定偏转情况下依然有相对较好的表现（如 图4 图4 倒数第2行所示）。 当头部偏转角度较大（水平或俯仰偏转大于20°）时，改进的DRIT模型存在翻译失真较大的情况。该现象的产生主要是因为训练数据以脸部正面图像为主（约占总训练集的91%），网络难以学习偏转较大时的映射信息。 对图像翻译框架输出图像的Facenet识别结果如 表1 表1 所示，其中Real指使用预训练的模型对本数据集测试集中可见光图像进行识别的表现，其余结果均为Facenet网络对图像翻译结果进行测试的结果。改进的DRIT模型（DRIT-adv）翻译结果在Facenet算法下的准确率为27.6%，相对原DRIT模型提升5.4%，也优于对比的CycleGAN模型、MUNIT模型及UGATIT模型。 Method Facenet accuracy Real CycleGAN MUNIT UGATIT DRIT DRIT+L-intra DRIT+L-cross DRIT-adv 77.0 16.5 21.3 17.2 22.2 24.4 23.0 27.6 本文提出的改进的DRIT模型相对于原DRIT图像翻译质量有较大提升，翻译结果的可识别性增强，说明本文所做的改进可以使得网络更为准确地获取图像的内容特征，也提升了图像翻译的质量。 3 . 5 . 2　短波红外-可见光人脸图像识别 3 内容特征提取器与基于内容特征的识别网络相结合，构成了本文提出的短波红外-可见光人脸识别框架。在完成改进的DRIT模型的训练后，固化其中的内容特征编码器，将图像内容特征输入基于内容特征的识别网络进行识别。 在自建短波-可见光人脸数据集上，跨模态人脸识别实验结果如 表2 表2 所示。采用预训练的VGG-Face进行特征提取识别的Rank-1准确率仅为22.42%，与可见光人脸识别算法对图像翻译结果进行识别的准确率相当。DVG框架中训练得到的识别网络在测试集上的识别准确率为66.04%。采用原DRIT模型内容特征编码器提取内容特征的Rank-1准确率为75.97%，优于将图像翻译结果直接用于识别的方案，也优于Bihn等提出的基于VGG-Face的方法和DVG方案。在仅应用跨域内容一致性损失函数时（DRIT+L-cross），模型的Rank-1准确率提高了6.31%；在仅应用域内内容一致性损失函数时（DRIT+L-intra），模型的Rank-1准确率相较于改进前提升了8.86%；当采用本文改进得到的图像内容特征提取器时（DRIT-adv），模型的Rank-1准确率达到88.86%。 Method Rank-1/% InsightFace VGG-Face DVG 64.97 22.42 66.04 DRIT DRIT+L-cross DRIT+L-intra DRIT-adv 75.97 82.28 84.83 88.86 本文提出的基于内容特征提取的方案有效地消除了模态差异对识别的干扰，构建的基于内容特征的识别网络可以依据内容特征完成短波红外-可见光人脸识别。而本文对DRIT模型做出的改进在单独应用（DRIT+L-cross，DRIT+L-intra）与联合应用（DRIT-adv）时均有效提升了内容特征提取器对图像内容特征提取的准确性，提高了整体识别框架识别的准确率。 4 结　论 1 本文提出了基于内容特征提取的短波红外-可见光人脸图像识别框架。将短波-可见光人脸识别问题分解为内容特征提取和基于内容特征的识别两个子问题进行处理，以克服光谱特性差异带来的图像模态差异的干扰。提出将无监督图像翻译框架提取的内容特征用于减小图像的跨模态差距并对跨模态图像翻译框架DRIT进行了改进，通过增加域内内容一致性损失函数和跨域内容一致性损失函数提升了内容特征提取的准确性。设计了基于内容特征的特征处理、识别网络，根据内容特征设置网络结构，与内容特征提取器共同构成了具有较高识别率的短波红外-可见光人脸识别框架。在自建短波红外-可见光人脸数据集上进行测试，达到88.86%的识别准确率。 参考文献 DUTTA A K . Imaging beyond human vision ［C］. International Conference on Electrical and Control Engineering ， 2014 ： 224 - 229 . Imaging beyond human vision CAO Z ， SCHMID N A ， BOURLAI T . Composite multilobe descriptors for cross-spectral recognition of full and partial face ［J］. Optical Engineering ， 2016 ， 55 （ 8 ）： 083107 . Composite multilobe descriptors for cross-spectral recognition of full and partial face BIHN M ， GUNTHER M ， LEMMOND D ， et al . Evaluating a convolutional neural network on short-wave infra-red images ［C］. 2018 IEEE Winter Applications of Computer Vision Workshops （WACVW）. IEEE ， 2018 ： 18 - 27 Evaluating a convolutional neural network on short-wave infra-red images HAREL M ， MOSHE Y . Tone mapping for shortwave infrared face images ［C］. 2014 IEEE 28th Convention of Electrical & Electronics Engineers in Israel （IEEEI）. IEEE ， 2014 ： 1 - 5 . Tone mapping for shortwave infrared face images DENG J ， GUO J ， XUE N ， et al . Arcface： Additive angular margin loss for deep face recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2019 ： 4690 - 4699 . Arcface： Additive angular margin loss for deep face recognition LEZAMA J ， QIU Q ， SAPIRO G . Not afraid of the dark： Nir-vis face recognition via cross-spectral hallucination and low-rank embedding ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2017 ： 6628 - 6637 . Not afraid of the dark： Nir-vis face recognition via cross-spectral hallucination and low-rank embedding FU C ， WU X ， HU Y ， et al . Dual variational generation for low shot heterogeneous face recognition ［C］. Advances in Neural Information Processing Systems ， 2019 ： 2670 - 2679 . Dual variational generation for low shot heterogeneous face recognition PARKHI O M ， VEDALDI A ， ZISSERMAN A . Deep face recognition ［J］. Proceedings of the British Machine Vision Conference （BMVC） ， 2015 ： 41 . 1-41 . 12 . Deep face recognition 杜振龙 ， 沈海洋 ， 宋国美 ， 等 . 基于改进CycleGAN的图像风格迁移 ［J］. 光学 精密工程 ， 2019 ， 27 （ 8 ）： 1836 - 1844 基于改进CycleGAN的图像风格迁移 DU ZH L ， SHEN H Y ， SONG G M ， et al . Image style transfer based on improved CycleGAN ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 8 ）： 1836 - 1844 . （in Chinese） Image style transfer based on improved CycleGAN SHAHAM T R ， DEKEL T ， MICHAELI T ， et al . SinGAN： Learning a generative model from a single natural image ［C］. Proceedings of the IEEE International Conference on Computer Vision ， 2019 ： 4570 - 4580 . SinGAN： Learning a generative model from a single natural image XIANG X ， TIAN Y ， ZHANG Y ， et al . Zooming Slow-Mo： Fast and accurate one-stage space-time video super-resolution ［J］. arXiv preprint arXiv： 2002 . 11616 ， 2020 . Zooming Slow-Mo： Fast and accurate one-stage space-time video super-resolution 朱福珍 ， 刘 越 ， 黄 鑫 ， 等 . 改进的稀疏表示遥感图像超分辨重建 ［J］. 光学 精密工程 ， 2019 ， 27 （ 3 ）： 718 - 725 改进的稀疏表示遥感图像超分辨重建 ZHU F ZH ， LIU Y ， HUANG X ， et al . Remote sensing image super-resolution based on improved sparse representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese） Remote sensing image super-resolution based on improved sparse representation 刘超 ， 张晓晖 . 超低照度下微光图像的深度卷积自编码网络复原 ［J］. 光学 精密工程 ， 2018 ， 26 （ 4 ）： 951 - 961 超低照度下微光图像的深度卷积自编码网络复原 LIU CH ， ZHANG X H . Deep convolutional autoencoder networks approach to low-light level image restoration under extreme low-light illumination ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 4 ）： 951 - 961 . （in Chinese） Deep convolutional autoencoder networks approach to low-light level image restoration under extreme low-light illumination 杨植凯 ， 卜乐平 ， 王 腾 ， 等 . 基于循环一致性对抗网络的室内火焰图像场景迁移 ［J］. 光学 精密工程 ， 2020 ， 28 （ 3 ）： 745 - 758 基于循环一致性对抗网络的室内火焰图像场景迁移 YANG ZH K ， BU L P ， WANG T ， et al . Scenemigration of indoor flame image based on Cycle-Consistent adversarial networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 3 ）： 745 - 758 . （in Chinese） Scenemigration of indoor flame image based on Cycle-Consistent adversarial networks ISOLA P ， ZHU J Y ， ZHOU T ， et al . Image-to-image translation with conditional adversarial networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2017 ： 5967 - 5976 . Image-to-image translation with conditional adversarial networks ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］. Proceedings of the IEEE International Conference on Computer Vision ， 2017 ： 2223 - 2232 . Unpaired image-to-image translation using cycle-consistent adversarial networks HUANG X ， LIU M Y ， BELONGIE S ， et al . Multimodal unsupervised image-to-image translation ［C］. Proceedings of the European Conference on Computer Vision （ECCV） ， 2018 ： 172 - 189 . Multimodal unsupervised image-to-image translation LEE H ， TSENG H ， HUANG J ， et al . Diverse Image-to-Image Translation via Disentangled Representations ［C］. Proceedings of the European Conference on Computer Vision （ECCV） ， 2018 ： 36 - 52 . Diverse Image-to-Image Translation via Disentangled Representations EMAMI H ， ALIABADI M M ， DONG M ， et al . SPA-GAN： Spatial Attention GAN for Image-to-Image Translation ［J］. IEEE Transactions on Multimedia ， 2020 ： 1 - 1 . SPA-GAN： Spatial Attention GAN for Image-to-Image Translation KIM J ， KIM M ， KANG H ， et al . U-GAT-IT： Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation ［C］. International Conference on Learning Representations ， 2020 . U-GAT-IT： Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation WU X ， HE R ， SUN Z . A lightened cnn for deep face representation ［J］. arXiv preprint arXiv：1511.02683 ， 2015 ， 4 （ 8 ）. A lightened cnn for deep face representation SCHROFF F ， KALENICHENKO D ， PHILBIN J . Facenet： A unified embedding for face recognition and clustering ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2015 ： 815 - 823 . Facenet： A unified embedding for face recognition and clustering 10.37188/OPE.20212901.0160 TP391 A 1004-924X（2021）01-0160-12 胡麟苗,张湧,楼晨风.基于内容特征提取的短波红外-可见光人脸识别[J].光学精密工程,2021,29(01):160-171. 胡麟苗,张湧,楼晨风.基于内容特征提取的短波红外-可见光人脸识别[J].光学精密工程,2021,29(01):160-171. HU Lin-miao,ZHANG Yong,LOU Chen-feng.Shortwave infrared visible-light face recognition based on content feature extraction[J].Optics and Precision Engineering,2021,29(01):160-171. HU Lin-miao,ZHANG Yong,LOU Chen-feng.Shortwave infrared visible-light face recognition based on content feature extraction[J].Optics and Precision Engineering,2021,29(01):160-171. 国家十三五国防预研资助项目(No.JZX2016-0404/Y72-2）；上海市现场物证重点实验室基金资助项目（No.2017XCWZK08） 2020-05-21 2020-07-10 2021-01-15 2021-03-25 光学精密工程 1 29