基于多尺度密集特征融合的单图像翻译

基于多尺度密集特征融合的单图像翻译 Single-image translation based on multi-scale dense feature fusion 1 first-author 李启航（1997-），男，河南郑州人，西北大学信息科学与技术学院2020级硕士研究生在读，现主要从事计算机视觉、图像风格迁移方面的研究。Email： liqihang@stumail.nwu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785693&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785710&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785677&type= 22.01332855 32.00399780 李启航 （1997-），男，河南郑州人，西北大学信息科学与技术学院2020级硕士研究生在读，现主要从事计算机视觉、图像风格迁移方面的研究。Email： liqihang@stumail.nwu.edu.cn liqihang@stumail.nwu.edu.cn 1 1 2 1 corresp E-mail： 1925995331@qq.com E-mail： 1925995331@qq.com 耿国华（1955-），女，山东莱西人，教授，博士生导师，1976 和1988 年于西北大学分别获得学士和硕士学位，主要从事虚拟现实、可视化技术、图像处理和智能信息处理等领域的理论及应用工程创新研究。E-mail： 1925995331@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785712&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785699&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785698&type= 22.01333618 32.00400925 耿国华 （1955-），女，山东莱西人，教授，博士生导师，1976 和1988 年于西北大学分别获得学士和硕士学位，主要从事虚拟现实、可视化技术、图像处理和智能信息处理等领域的理论及应用工程创新研究。E-mail： 1925995331@qq.com 1925995331@qq.com 西北大学 信息科学与技术学院，陕西 西安 710127 西北大学 信息科学与技术学院，陕西 西安 710127 School of Information Science and Technology， Northwest University， Xi ’an 710127， China School of Information Science and Technology， Northwest University， Xi ’an 710127， China 西北大学 数学学院，陕西 西安 710127 西北大学 数学学院，陕西 西安 710127 School of Mathematics， Northwest University， Xi ’an 710127， China School of Mathematics， Northwest University， Xi ’an 710127， China 为了解决现有的单图像翻译模型生成的图像质量低、细节特征差的问题，本文提出了基于多尺度密集特征融合的单图像翻译模型。该模型首先借用多尺度金字塔结构思想，对原图像和目标图像进行下采样，得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取，将提取到的风格特征从原图像迁移到目标图像中，通过与判别器不断的博弈对抗，生成所需要的翻译图像；最后，本文通过渐进式增长生成器训练的方式，在训练的每个阶段中不断增加密集特征模块，实现生成图像从全局风格到局部风格的迁移，生成所需要的翻译图像。本文在各种无监督图像到图像翻译任务上进行了广泛的实验，实验结果表明，与现有的方法相比，本文的方法训练时长缩短了75%，并且生成图像的SIFID值平均降低了22.18%。本文的模型可以更好地捕获源域和目标域之间分布的差异，提高图像翻译的质量。 To solve the problems of low image quality and poor detail features generated by the existing single image translation models， a single image translation model based on multi-scale dense feature fusion is proposed in this paper. First， in this model， the idea of multi-scale pyramid structure is used to downsample the original and target images to obtain input images of different sizes. Then， in the generator， images of different sizes are input into the dense feature module for style feature extraction， which are transferred from the original image to the target image， and the required translation image is generated through continuous game confrontation with the discriminator. Finally， dense feature modules are added in each stage of training by means of incremental growth generator training， which realizes the migration of generated images from global to local styles， and generates the required translation images. Extensive experiments have been conducted on various unsupervised images to perform image translation tasks. The experimental results demonstrate that in contrast to the existing methods， the training time of this method is shortened by 80%， and the SIFID value of the generated image is reduced by 22.18%. Therefore， the model proposed in this paper can better capture the distribution difference between the source and target domains， and improve the quality of image translation. 单图像翻译 图像风格迁移 生成对抗网络 密集特征融合 多尺度结构 single-image translation image style transfer GAN dense feature fusion multi-scale structure 1 引　言 1 无监督图像到图像的翻译（Unsupervised Image-to-Image Translation， UI2I）旨在学习源图像域向目标图像域转换的映射函数，在改变源图像域风格特征的同时保持其几何形状不变。例如，马到斑马的转换，风景照到艺术画的转换等等。UI2I在医学图像 ［ 1 1 ］ 、超分辨率 ［ 2 2 ］ 、图像上色 ［ 3 3 ］ 、风格迁移 ［ 4 4 - 5 5 4-5 ］ 、图像遥感 ［ 6 6 ］ 等应用上具有出色表现，因此受到了机器学习和计算机视觉领域研究人员的广泛关注。 近年来，随着人工智能的兴起，生成对抗网络（Generative Adversarial Network， GAN）的出现推动了UI2I领域的进一步发展。GAN ［ 7 7 ］ 由一个生成器和一个判别器组成，其本质是生成器和判别器的相互对抗与博弈。虽然GAN可以成功地用于生成视觉逼真的图像，但仍存在一些挑战。例如，在没有成对训练样本的UI2I任务中，GAN存在对抗损失无约束的问题，即源域和目标域之间可能存在多个映射，导致模型训练不稳定、图像翻译不能成功，这些问题限制了其实际的应用。针对这个问题，CycleGAN ［ 8 8 ］ 、DiscoGAN ［ 9 9 ］ 和DualGAN ［ 10 10 ］ 引入了循环一致性损失，学习从目标域到源域的反向映射，并度量重建图像与输入图像是否相同。循环一致性损失能够确保翻译后的图像具有与目标域相似的纹理信息，且不会发生几何变化。 尽管CycleGAN等 ［ 8 8 - 10 10 8-10 ］ 方法成功地解决了在UI2I任务中损失无约束的问题，但是这些方法仍需要大量的未配对图像进行训练。在实际使用中收集大量的未配对图像难度较大，所以此方法不具有普适性。为了解决数据集的问题，One-Shot无监督学习通过使用源域和目标域的单幅图像实现风格的转换，在UI2I中得到了广泛的应用。最近提出的SinGAN ［ 11 11 ］ 研究表明，因为图像信息驻留在构成图像补丁的内部统计信息中，所以可以仅从单个自然图像中提取大量信息。但它仅限于学习单个图像分布，不适合UI2I中一组图像之间的转换。而Lin等人 ［ 12 12 ］ 提出的TuiGAN，通过在同一尺度上使用循环一致性损失 ［ 8 8 ］ 来约束两幅图像之间的结构差异，实现了两幅未配对图像的翻译。然而，这种仅仅依靠连续改变感受野来提取两幅图像之间潜在关系的方案，并不能有效地在不同尺度上捕捉源域和目标域之间分布的差异，这通常伴随着大量噪声的产生，导致生成图像质量低，出现伪影、扭曲等不符合人类视觉的部分。所以现有的One-Shot方法在图像风格的提取中存在着特征提取不准确、风格转换不全面等问题。因此，如何在少样本条件下保证翻译图像几何形状不发生改变并实现风格的准确迁移是目前UI2I任务的最大挑战。 针对以上问题，本文提出了一种新的单图像翻译模型。该模型基于密集特征 ［ 13 13 ］ 的多尺度融合 ［ 14 14 ］ ，同时引入渐进式增长生成器 ［ 15 15 ］ ，通过端到端的并行训练方式将生成的图像从全局结构逐渐细化到局部细节，并在训练过程中不断进行密集特征模块的迭代增长，从而实现不同尺度上特征信息的细粒度提取。实验分析表明，在多个具有挑战性的图像翻译任务中，与最新的UI2I方法相比，本文的方法可以更好地保留图像细节，使生成图像的SIFID值 ［ 11 11 ］ 平均降低22.18%，同时减少75%模型训练时间。 2 本文方法 1 2.1　网络结构 2 假设用 <math id="M1"><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785996&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786009&type= 2.87866688 2.79399991 和 <math id="M2"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785998&type= 2.53999996 2.79399991 表示两个图像域且每个域仅有一幅图像，例如风景照和莫奈画。本文的目标是通过多尺度密集特征融合来推断 <math id="M3"><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785996&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786009&type= 2.87866688 2.79399991 和 <math id="M4"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785998&type= 2.53999996 2.79399991 之间的有效映射，因此本文的方法共包含两个翻译模型： <math id="M5"><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785996&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786009&type= 2.87866688 2.79399991 → <math id="M6"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785998&type= 2.53999996 2.79399991 、 <math id="M7"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785998&type= 2.53999996 2.79399991 → <math id="M8"><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785996&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786009&type= 2.87866688 2.79399991 。其中，由 <math id="M9"><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785996&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786009&type= 2.87866688 2.79399991 图像域转换到 <math id="M10"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785998&type= 2.53999996 2.79399991 图像域的网络结构如 图1 图1 所示。对于 <math id="M11"><mo>∀</mo><mi>n</mi><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>N</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786058&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786048&type= 27.77066803 3.55599999 ，该网络由两个对称的金字塔结构生成器 <math id="M12"><msubsup><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785774&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785771&type= 5.75733376 3.97933316 、 <math id="M13"><msubsup><mrow><mi>G</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786007&type= 5.75733376 3.97933316 及一个金字塔结构判别器 <math id="M14"><msubsup><mrow><mi>D</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785779&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785784&type= 4.31799984 3.97933316 组成。同理，若 <math id="M15"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785998&type= 2.53999996 2.79399991 图像域转换到 <math id="M16"><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785996&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786009&type= 2.87866688 2.79399991 图像域，则网络结构由两个对称的金字塔结构生成器 <math id="M17"><msubsup><mrow><mi>G</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786007&type= 5.75733376 3.97933316 、 <math id="M18"><msubsup><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786215&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786225&type= 5.75733376 3.97933316 及一个金字塔结构判别器 <math id="M19"><msubsup><mrow><mi>D</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785966&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785978&type= 4.48733330 3.97933316 组成。值得注意的是，生成器 <math id="M20"><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785817&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785815&type= 5.75733376 3.72533321 和 <math id="M21"><msub><mrow><mi>G</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785790&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785789&type= 5.75733376 3.72533321 以及判别器 <math id="M22"><msub><mrow><mi>D</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785791&type= 4.48733330 3.72533321 和 <math id="M23"><msub><mrow><mi>D</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785795&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785827&type= 4.31799984 3.72533321 具有相似的结构，但权重不同。 由于训练样本仅有两幅图像 <math id="M24"><msub><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785848&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785846&type= 2.87866688 3.72533321 和 <math id="M25"><msub><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785834&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785849&type= 2.70933342 3.72533321 ，为了充分利用数据，尽可能多地提取两幅图像特征信息，本文将 <math id="M26"><msub><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785838&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785836&type= 2.87866688 3.72533321 和 <math id="M27"><msub><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785850&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785840&type= 2.70933342 3.72533321 下采样到 <math id="M28"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785956&type= 2.87866688 2.87866688 个不同的尺度，把整个训练过程分为 <math id="M29"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785956&type= 2.87866688 2.87866688 个阶段（如 图1 图1 中的阶段1到阶段 <math id="M30"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785956&type= 2.87866688 2.87866688 ），每个阶段利用不同尺度的图像训练。第 <math id="M31"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786257&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786256&type= 1.86266661 2.79399991 个阶段 <math id="M32"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785866&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785865&type= 2.87866688 3.97933316 和 <math id="M33"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785877&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785876&type= 2.87866688 3.97933316 的尺度计算如 式（1） 式（1） 所示： <math display="block" id="M34"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow><mrow><mi>N</mi></mrow></msubsup><mo>×</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msubsup><mo>/</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow><mrow><mi>N</mi></mrow></msubsup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mfrac><mrow><mi>N</mi><mo>-</mo><mi>n</mi></mrow><mrow><mi>N</mi></mrow></mfrac></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785879&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785868&type= 44.19599915 6.94266701 ， 其中： <math id="M35"><mi>n</mi><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>N</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785881&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785880&type= 25.48466682 3.55599999 ， <math id="M36"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785872&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785882&type= 2.87866688 3.97933316 和 <math id="M37"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785887&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785885&type= 2.87866688 3.97933316 是模型设置的图像最小尺度， <math id="M38"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>N</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785889&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785888&type= 3.38666677 3.97933316 和 <math id="M39"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>N</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785905&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785904&type= 3.38666677 3.97933316 是模型设置的图像最大尺度， <math id="M40"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785956&type= 2.87866688 2.87866688 是训练的总阶段数。 如 图1 图1 所示，为了更精确地捕捉不同尺度的原图像和目标图像之间分布的差异，本文利用密集特征模块 ［ 13 13 ］ 来进行图像特征的提取和融合，加强了图像特征的复用，进而不断优化翻译图像的细节特征。其次，本文引入了渐进式增长生成器 ［ 15 15 ］ ，在训练过程中不断添加新的密集特征模块来增加生成器的大小，同时共享上一阶段训练得到的权重，以端到端的方式并行训练，从而加速了模型的收敛速度。最后，本文通过对抗损失约束生成器生成与目标图像在视觉上相似的翻译图像，采用空间相关性损失 ［ 16 16 ］ 来有效地保持原图像与翻译图像场景结构的一致性，采用循环一致性损失 ［ 8 8 ］ 解决模式崩溃问题。 与传统UI2I方法不同的是，本文的方法仅需两幅未配对的图像即可完成各种UI2I任务且图像翻译质量高、模型训练速度快、能够保留更多的图像细节特征、生成更加真实的图像。 2.2　密集特征融合 2 研究表明 ［ 17 17 ］ ，低维特征对于保持图像结构贡献较大，高维特征对于保持图像纹理和颜色非常重要。尽管高维特征拥有较为丰富的细节信息，但是其所包含的语义信息较为匮乏。并且在深度学习网络中，随着网络深度的加深，梯度消失问题会愈加明显 ［ 18 18 ］ ，从而导致低维特征不能得到有效地利用。 针对以上问题，本文基于DenseNet设计了一种密集特征融合模块。首先，采用三个3×3卷积从输入图像提取特征。其次，将各个阶段提取到的图像特征进行拼接融合，并利用这些特征将原图像的特征向量转换为目标图像的特征向量。同时为了避免拼接操作造成输出特征维度过大的问题，采用1×1卷积降低输出特征维度。最后通过一个3×3卷积输出翻译图像。整体过程如 图2 图2 所示。 由 图2 图2 可以看出，与DenseNet不同的是，本文针对单图像翻译任务设计的密集特征模块仅由三个卷积块及一个转换层组成，以防止网络的卷积层数过多导致训练过拟合。同时为了保证在多阶段训练过程中每阶段的图像尺度不变，本文去掉了DenseNet转换层中平均池化操作。最后，由于数据仅有两幅图像，能够提取的图像特征有限，因此本文将每一层输出的特征数设置为16。 密集特征模块利用一种全新的连接模式，将之前所有阶段的输出特征进行融合，然后作为当前阶段的输入特征。同理，当前阶段的输出特征也将作为后面所有阶段输入特征的一部分。这种方式加强了图像特征的复用，最大程度地利用了不同阶段的图像特征，并采用跨连接操作有效地解决了梯度消失的问题。其中，密集特征模块的第 <math id="M41"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785921&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785908&type= 1.18533325 2.79399991 个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射，其表达式如 式（2） 式（2） 所示： <math display="block" id="M42"><msub><mrow><mi>x</mi></mrow><mrow><mi>l</mi></mrow></msub><mo>=</mo><msub><mrow><mi>H</mi></mrow><mrow><mi>l</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785925&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785911&type= 41.65599823 4.48733330 <math display="block" id="M43"><mo>,</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785928&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785926&type= 1.86266661 3.13266683 其中， <math id="M44"><msub><mrow><mi>H</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785934&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785915&type= 3.80999994 3.72533321 代表特征融合，表示将第 <math id="M45"><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785935&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785932&type= 3.21733332 3.72533321 阶段到第 <math id="M46"><msub><mrow><mi>x</mi></mrow><mrow><mi>l</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785954&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785951&type= 6.34999990 3.72533321 阶段的所有输出特征按通道组合在一起。 2.3　渐进式增长生成器 2 为了加强各阶段图像特征之间的关联，同时加快模型的收敛速度，本文引入了渐进式增长生成器。具体来说，在进行图像翻译时，每次都从图像最小的尺度和最小的生成器开始。在训练过程中，每个阶段都从前一阶段获取原始特征作为输入，且前一阶段参数值不是固定的。一旦任意阶段模型收敛，则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小。重复这个过程 <math id="M47"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785956&type= 2.87866688 2.87866688 次，直到达到模型设置的图像最大尺度。 对于任意阶段 <math id="M48"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786257&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786256&type= 1.86266661 2.79399991 ，本文的网络有两个生成器 <math id="M49"><msubsup><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785940&type= 5.75733376 3.97933316 、 <math id="M50"><msubsup><mrow><mi>G</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786007&type= 5.75733376 3.97933316 及两个判别器 <math id="M51"><msubsup><mrow><mi>D</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785966&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785978&type= 4.48733330 3.97933316 、 <math id="M52"><msubsup><mrow><mi>D</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785968&type= 4.31799984 3.97933316 。 <math id="M53"><msubsup><mrow><mi>D</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785988&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785986&type= 4.48733330 3.97933316 和 <math id="M54"><msubsup><mrow><mi>D</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785975&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785972&type= 4.31799984 3.97933316 可以保证翻译图像属于正确的图像域， <math id="M55"><msubsup><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785994&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785990&type= 5.75733376 3.97933316 使 <math id="M56"><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785996&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786009&type= 2.87866688 2.79399991 图像域映射到 <math id="M57"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785998&type= 2.53999996 2.79399991 图像域得到翻译图像 <math id="M58"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786005&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786003&type= 4.23333359 3.97933316 ， <math id="M59"><msubsup><mrow><mi>G</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786007&type= 5.75733376 3.97933316 则反向映射得到翻译图像 <math id="M60"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786026&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786012&type= 4.23333359 3.97933316 。即 <math id="M61"><mo>∀</mo><mi>n</mi><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>N</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786058&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786048&type= 27.77066803 3.55599999 ： <math display="block" id="M62"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786019&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786032&type= 21.75933456 4.65666676 ， <math display="block" id="M63"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786036&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786035&type= 21.67466736 4.65666676 . 通过渐进式增加生成器大小的多尺度训练结构，使本文的模型在所有阶段仅需训练一个生成器 <math id="M64"><msub><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786053&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786040&type= 5.75733376 3.72533321 和一个生成器 <math id="M65"><msub><mrow><mi>G</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786045&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786055&type= 5.75733376 3.72533321 ，能够以端到端的方式并行训练。此外利用两次权重共享的方法解决了重复训练生成器的弊端，进一步加快了模型的收敛速度。其次，每个阶段添加的密集特征模块负责捕捉不同尺度的原图像和目标图像分布的差异，结合密集特征模块的优势，可以保留更多的图像细节特征。 2.4　损失函数 2 本文一共使用了四种损失函数，分别为对抗损失、循环一致性损失、空间相关性损失、总变差损失。详细描述如下。 2 . 4 . 1　总损失 3 对于 <math id="M66"><mo>∀</mo><mi>n</mi><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>N</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786058&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786048&type= 27.77066803 3.55599999 ，第 <math id="M67"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786257&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786256&type= 1.86266661 2.79399991 个阶段的总损失定义如下： <math display="block" id="M68"><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">L</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">D</mi><mi mathvariant="normal">V</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">Y</mi><mi mathvariant="normal">C</mi></mrow></msub><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">Y</mi><mi mathvariant="normal">C</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786068&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786050&type= 36.66066742 4.06400013 <math display="block" id="M69"><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">V</mi></mrow></msub><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">V</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786067&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786071&type= 26.41600037 4.06400013 ， 其中： <math id="M70"><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">D</mi><mi mathvariant="normal">V</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mi mathvariant="normal">、</mi><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">Y</mi><mi mathvariant="normal">C</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mi mathvariant="normal">、</mi><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786084&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786073&type= 21.75933456 4.23333359 、 <math id="M71"><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">V</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786086&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786085&type= 5.58799982 3.97933316 分别是第 <math id="M72"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786257&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786256&type= 1.86266661 2.79399991 个阶段的对抗损失、循环一致性损失、空间相关性损失、总变差损失。 <math id="M73"><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">Y</mi><mi mathvariant="normal">C</mi></mrow></msub><mi mathvariant="normal">、</mi><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><mi>、</mi><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">V</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786092&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786090&type= 18.11866570 3.97933316 是平衡各项损失函数的超参数。在每个阶段 <math id="M74"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786257&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786256&type= 1.86266661 2.79399991 ，生成器的目标是最小化 <math id="M75"><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">L</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786115&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786097&type= 6.68866634 3.97933316 ，判别器的目标是最大化 <math id="M76"><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">L</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786106&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786104&type= 6.68866634 3.97933316 。 2 . 4 . 2　对抗损失 3 本文采用对抗损失 ［ 7 7 ］ 鼓励生成器生成与目标域图像在视觉上相似的图像。在图像翻译的每个阶段，有两个判别器 <math id="M77"><msubsup><mrow><mi>D</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786111&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786117&type= 4.48733330 3.97933316 和 <math id="M78"><msubsup><mrow><mi>D</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786112&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786120&type= 4.31799984 3.97933316 ，分别以 <math id="M79"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786126&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786128&type= 4.23333359 3.97933316 和 <math id="M80"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786145&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786143&type= 4.23333359 3.97933316 作为输入，输出为输入的图像是对应域中自然图像的概率。本文中使用了WGAN-GP ［ 19 19 ］ 损失，它可以通过权值剪切和梯度惩罚有效增加训练的稳定性： <math display="block" id="M81"><mtable><mtr><mtd><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">D</mi><mi mathvariant="normal">V</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>D</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>-</mo><msubsup><mrow><mi>D</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><msubsup><mrow><mi>D</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>-</mo></mtd></mtr><mtr><mtd><msubsup><mrow><mi>D</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">E</mi><mi mathvariant="normal">N</mi></mrow></msub><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mo>∇</mo></mrow><mrow><msubsup><mrow><mover accent="true"><mi>I</mi><mo>̂</mo></mover></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></mrow></msub><msubsup><mrow><mi>D</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mover accent="true"><mi>I</mi><mo>̂</mo></mover></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>-</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">E</mi><mi mathvariant="normal">N</mi></mrow></msub><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mo>∇</mo></mrow><mrow><msubsup><mrow><mover accent="true"><mi>I</mi><mo>̂</mo></mover></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></mrow></msub><msubsup><mrow><mi>D</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mover accent="true"><mi>I</mi><mo>̂</mo></mover></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786148&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786133&type= 67.81800079 26.24666595 其中： <math id="M82"><msubsup><mrow><mover accent="true"><mi>I</mi><mo>̂</mo></mover></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><mi>α</mi><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mi>α</mi></mrow></mfenced><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786151&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786149&type= 33.86666870 4.57200003 ， <math id="M83"><msubsup><mrow><mover accent="true"><mi>I</mi><mo>̂</mo></mover></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><mi>α</mi><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mi>α</mi></mrow></mfenced><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786155&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786152&type= 33.95133591 4.57200003 ， <math id="M84"><mi>α</mi><mo>∈</mo><mo stretchy="false">(</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786160&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786158&type= 14.13933277 3.55599999 ， <math id="M85"><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">E</mi><mi mathvariant="normal">N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786167&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786163&type= 5.92666674 3.72533321 为惩罚系数。 2 . 4 . 3　循环一致性损失 3 为缓解模式崩溃问题，本文对生成器添加循环一致性约束 ［ 8 8 ］ 。给定图像 <math id="M86"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>∈</mo><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786171&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786139&type= 9.56733322 4.23333359 和 <math id="M87"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>∈</mo><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786173&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786172&type= 9.14400005 4.23333359 ，图像 <math id="M88"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786175&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786190&type= 2.87866688 3.97933316 从 <math id="M89"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786195&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786176&type= 2.87866688 3.97933316 翻译到 <math id="M90"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786180&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786197&type= 4.23333359 3.97933316 ，再从 <math id="M91"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786200&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786199&type= 4.23333359 3.97933316 翻译到 <math id="M92"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786185&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786183&type= 5.75733376 3.97933316 后，图像应保留输入图像的属性，保证翻译图像的完整性： <math display="block" id="M93"><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">Y</mi><mi mathvariant="normal">C</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786205&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786203&type= 53.42466354 5.50333309 ， 其中： <math id="M94"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786202&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786201&type= 24.55333328 4.65666676 ， <math id="M95"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786219&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786211&type= 24.29933357 4.65666676 。 2 . 4 . 4　空间相关性损失 3 为保证输入图像和输出图像的颜色分布相似，且空间结构不发生改变。本文对生成器添加了空间相关性损失 ［ 16 16 ］ 。空间相关性损失只为了捕捉图像中的空间关系，以精确地表达场景的结构，而不是使用原始像素或特征，综合了图像的外观和结构。例如，给定图像 <math display="block" id="M96"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>∈</mo><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786214&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786213&type= 9.56733322 4.23333359 ，经过生成器 <math display="block" id="M97"><msubsup><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786215&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786225&type= 5.75733376 3.97933316 翻译后，图像的颜色和纹理不应发生变化： <math display="block" id="M98"><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786216&type= 37.08399963 5.58799982 <math display="block" id="M99"><mo>+</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786235&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786232&type= 31.66533470 5.58799982 ， 其中： <math id="M100"><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>,</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786237&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786236&type= 45.63533020 4.65666676 。 2 . 4 . 5　总变差损失 3 为避免噪声对图像的影响，本文引入总变差（Total Variation， TV）损失 ［ 20 20 ］ ，帮助去除翻译图像中的粗糙纹理，达到平滑图像、消除噪声的作用，促使翻译图像具有空间连续性，避免结果过度像素化。它通过计算图像中相邻像素值的差值来鼓励图像由多个补丁块组成。设 <math id="M101"><mi>x</mi><mo stretchy="false">[</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786239&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786251&type= 10.75266743 3.97933316 表示图像 <math id="M102"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786241&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786240&type= 2.03200006 2.79399991 位于第 <math id="M103"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786244&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786242&type= 1.10066664 2.79399991 行第 <math id="M104"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786246&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786255&type= 1.10066664 3.64066648 列的像素，第 <math id="M105"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786257&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786256&type= 1.86266661 2.79399991 个阶段TV损失计算如下： <math display="block" id="M106"><msubsup><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">V</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">v</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">v</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786265&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786264&type= 39.62400055 4.65666676 ， 其中： <math id="M107"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">v</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mo>∑</mo><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mrow><mo> </mo></mrow><mroot><mrow><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">[</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">]</mo><mo>-</mo><mi>x</mi><msup><mrow><mo stretchy="false">[</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">]</mo><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786268&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786266&type= 63.24599838 6.01133299 ， <math id="M108"><mi>x</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi>I</mi></mrow><mrow><mi>A</mi><mi>B</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>I</mi></mrow><mrow><mi>B</mi><mi>A</mi></mrow><mrow><mi>n</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786270&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786269&type= 19.47333336 4.48733330 。 3 实验与结果分析 1 本文以CycleGAN、SinGAN、TuiGAN为基线，使用图像质量评价指标Single Image Fréchet Inception Distance （SIFID）在Monet2Photo、Horse2Zebra、GrumpifyCat数据集上，评估所提出的方法。SIFID ［ 11 11 ］ 通过计算原图像和翻译图像深度特征之间的Fréchet Inception Distance （FID） ［ 21 21 ］ 来评估翻译图像的质量，SIFID分数越低，两幅图像风格越相似，翻译图像质量越高。 3.1　实验细节 2 本实验基于Python3.6和pytorch1.2，使用NVIDIA RTX-2080TI显卡训练。在实验中，利用Adam ［ 22 22 ］ 优化算法训练网络，其中 <math id="M109"><msub><mrow><mi>β</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786262&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786272&type= 3.13266683 4.57200003 =0.5， <math id="M110"><msub><mrow><mi>β</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786277&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786278&type= 3.13266683 4.57200003 =0.999。初始学习率为0.000 5，训练总阶段数为5，batchsize大小为1，图像的最小尺度为100×100，最大尺度为250×250，权重参数 <math id="M111"><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">Y</mi><mi mathvariant="normal">C</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786294&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786280&type= 6.09600019 3.72533321 =1 ［ 8 8 ］ ， <math id="M112"><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786283&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786282&type= 3.13266683 3.72533321 =0.5 ［ 16 16 ］ ， <math id="M113"><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">E</mi><mi mathvariant="normal">N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786286&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786284&type= 5.92666674 3.72533321 =0.1 ［ 11 11 ］ ， <math id="M114"><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">V</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786288&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786287&type= 4.91066647 3.72533321 =0.1 ［ 20 20 ］ 。对于判别器，本文使用马尔可夫判别器（PatchGAN ［ 23 23 ］ ），其具有与生成器相同的感受野，尺寸为11×11。 3.2　数据集 2 Monet2Photo数据集由1 193幅莫奈绘画和7 038张风景照片组成，该数据集由CycleGAN ［ 8 8 ］ 发布。Horse2Zebra数据集包含1 067幅马图像、1 344幅斑马图像作为训练图像，120幅马图像、140幅斑马图像作为测试图像，该数据集在CycleGAN ［ 8 8 ］ 中收集。GrumpifyCat数据集包含88幅蓝猫图像和214幅猫图像，该数据集在CUT ［ 5 5 ］ 中收集。 3.3　实验分析 2 3 . 3 . 1　实验结果 3 为确保实验结果准确，本文使用CycleGAN、SinGAN、TuiGAN的官方代码和默认配置训练。其中，CycleGAN使用源域和目标域完整的数据集训练，SinGAN使用源域仅有一幅图像训练，TuiGAN和本文使用源域和目标域都有一幅图像训练。 分别应用训练得到的CycleGAN、SinGAN、TuiGAN和本文的模型在3个具有挑战性的任务上进行图像翻译实验，这3个任务包括马↔斑马、风景↔莫奈画、蓝猫↔猫，部分实验结果如 图3 图3 所示。 图3 图3 中第一列是原图像，第二列是目标图像，第三列到第六列分别为CycleGAN、SinGAN、TuiGAN和本文的图像翻译结果。 从实验结果对比可以发现，本文的方法总体上优于SinGAN和TuiGAN，在某些情况下甚至比使用完整数据集训练的CycleGAN效果更好。本文从以下三个实验结果进行详细分析对比： （1）在马→斑马翻译任务上，CycleGAN生成的图像虽然具有斑马的纹理，但没有斑马的颜色特征。SinGAN仅改变了背景中草的颜色，无法学习斑马的整体风格特征。TuiGAN虽然捕捉到斑马的纹理特征及颜色特征，但其生成细节较差，如斑马头部和腹部条纹紊乱。本文方法生成的图像同时具有斑马的纹理特征和颜色特征，且纹理更加细致，生成的斑马条纹更加接近于目标图像。 （2）在莫奈画→风景翻译任务上，CycleGAN生成的图像结构完整、清晰、不含噪声，图像质量较高，而在生成图像的风格特征方面，由于其使用完整的数据集进行训练，因此生成图像的风格特征是目标图像域的整体风格特征，而不是目标图像的风格特征，例如目标图像的天空是浅蓝色、树木是棕色，生成图像的天空是蓝色、树木是绿色。SinGAN和TuiGAN虽然都传递了目标图像的整体颜色特征，但生成图像的空间结构发生了改变，如山的轮廓不完整。本文方法生成的图像能够准确地迁移目标图像的整体风格特征，且空间结构完整。 （3）在蓝猫→猫翻译任务上，由于该数据集较少，CycleGAN容易发生过拟合现象，导致训练不稳定，如生成的图像仅保留了目标图像的颜色特征，但空间结构发生了较大的变化，图像噪声过多。SinGAN在翻译结果上改变了原图像的全局颜色，不能传递高级语义信息，无法学习目标图像的风格特征。TuiGAN生成的图像虽然具有目标图像的整体风格特征，但图像伪影过多，图像质量较差。本文方法生成的图像具有目标图像的风格特征，同时几乎不存在伪影，图像质量高，能够取得更加逼真的风格迁移的效果。 3 . 3 . 2　图像质量评估 3 表1 表1 给出了用SIFID、SSIM、PSNR图像质量评价指标对CycleGAN、SinGAN、TuiGAN和本文所提出方法在3个翻译任务上结果的比较。 2 Method 3 Horse2Zebra 3 Monet2Photo 3 GrumpifyCat SIFID SSIM PSNR SIFID SSIM PSNR SIFID SSIM PSNR CycleGAN 3.51 0.47 14.52 0.31 0.73 16.67 958.75 0.09 9.15 SinGAN 28.56 0.38 8.72 618.96 0.24 14.69 946.54 0.29 14.61 TuiGAN 2.53 0.42 12.69 0.52 0.41 12.18 0.68 0.61 16.36 Ours 1.78 0.52 16.23 0.36 0.54 13.33 0.54 0.81 18.84 从 表1 表1 可知，在风景↔莫奈画翻译任务上，CycleGAN的各项质量评价指标更好，这是由于CycleGAN使用的是完整的数据集训练，相比单图像翻译模型，其生成的翻译图像通常质量更高且风格迁移效果更好。 在马↔斑马和蓝猫↔猫这两个翻译任务上，本文的方法都取得了更好的SIFID、SSIM、PSNR评分，这说明本文的模型成功地捕捉了原图像和目标图像之间分布的差异，能够生成质量更高、结构更加完整、风格迁移效果更加逼真的翻译图像，在某些情况下甚至比使用完整数据集训练的CycleGAN效果更好。相比TuiGAN，本文模型在马↔斑马、风景↔莫奈画、蓝猫↔猫这三个翻译任务上，SIFID平均降低22.18%，SSIM平均提高28.33%，PSNR平均提高17.12%。 3 . 3 . 3　模型参数评估 3 因CycleGAN需要使用完整的数据集训练，故不参与本节的模型参数评估。在评估实验中，按照SinGAN和TuiGAN官方代码的默认配置训练模型。 图4 图4 给出了SinGAN、TuiGAN以及本文的模型参数总量和在马↔斑马翻译任务上的训练时长。 由 图3 图3 和 图4 图4 可知，本文模型在马↔斑马翻译任务上取得了比SinGAN、TuiGAN更好的实验结果，并且参数量远远少于SinGAN和TuiGAN模型。此外，在训练模型时间上，本文模型较TuiGAN缩短了约3/4，这表明本文端到端的训练方式可以有效地加快模型收敛速度，结合密集特征模块的优点，大幅度地减少了模型的参数量。 3 . 3 . 4　模型通用性评估 3 为了进一步验证本文的模型在单图像翻译任务上的通用性，本文展示了在三项对象转换任务上的结果，这三项任务是：狗对象互换、狐狸对象互换、猫对象互换。实验结果如 图5 图5 所示。 从 图5 图5 可以看出，本文的模型在许多情况下都具有良好的性能，可以生成内容真实、质量较高、风格迁移效果较好的翻译图像，这表明本文的模型在单图像翻译任务中具有一定的通用性。 3.4　消融分析 2 为了验证本文所提出的方法在单图像翻译任务上的有效性，本文基于马↔斑马、风景↔莫奈画、蓝猫↔猫翻译任务共设置了5个消融实验。部分实验结果如 图6 图6 所示。实验在本文模型的基础之上：（Ⅰ） 剔除密集特征模块，改用ResNet模块；（Ⅱ） 剔除渐进式增长生成器，同时不共享每阶段训练的权重；（Ⅲ） 剔除空间相关性损失；（Ⅳ） 剔除循环一致性损失；（Ⅴ） 剔除总变差损失；（Ⅵ） 本文方法。 从 图6 图6 可以看出：（Ⅰ） 用ResNet替换密集特征模块，各尺度的图像特征不能得到有效地利用，容易造成翻译图像出现伪影等不符合人类视觉的部分。（Ⅱ） 若不渐进式增加生成器的大小，生成器不能更好地传递图像特征，同时训练时长增加。（Ⅲ） 如果没有空间相关性损失，生成的结果会受到颜色和纹理不准确的影响。（Ⅳ） 在没有循环一致性损失的情况下，本文的模型不能保证翻译图像的完整性。（Ⅴ） 如果没有总变差损失，本文的模型可能会产生一些噪声，如生成结果中左侧部分的粉色。 如 表2 表2 所示，通过计算本文模型不同变体的SIFID、SSIM、PSNR来评估消融实验结果。本文的完整模型仍然获得了最好的三项图像质量评价指标，这证明了本文所提出的方法在单图像翻译任务上的有效性。 2 Ablation 3 Horse2Zebra 3 Monet2Photo 3 GrumpifyCat SIFID SSIM PSNR SIFID SSIM PSNR SIFID SSIM PSNR Ⅰ 2.34 0.35 13.68 0.57 0.41 12.16 0.81 0.61 15.75 Ⅱ 1.93 0.42 14.69 0.45 0.41 11.87 0.68 0.68 16.96 Ⅲ 3.53 0.23 12.39 1.79 0.27 10.34 2.86 0.22 14.09 Ⅳ 4.16 0.27 11.86 2.16 0.21 9.29 3.61 0.34 13.52 Ⅴ 1.84 0.48 15.97 0.39 0.49 12.85 0.59 0.78 18.74 Ours 1.78 0.52 16.23 0.36 0.54 13.33 0.54 0.81 18.84 4 结　论 1 本文提出了一种基于多尺度密集特征融合的单图像翻译模型，适用于仅有两幅未配对图像的数据集。该模型在循序递增的图像尺度上多阶段训练，首先学习图像的全局结构，再学习图像的纹理和风格特征。本文设计的密集特征模块在不同尺度的图像上进行特征提取和融合，加强了图像特征的复用，解决了梯度消失的问题，提高了图像翻译的质量。同时本文引入了渐进式增长生成器，使模型以端到端的方式训练，加速了网络的收敛，改善了融合不同尺度特征时直接维度拼接带来的信息损失。实验结果表明，在数据极其有限的图像翻译任务中，本文的方法能够生成细节更加丰富、内容更加逼真的高质量图像。在马↔斑马、风景↔莫奈画、蓝猫↔猫这三个翻译任务上，本文方法的图像质量评价指标相比TuiGAN都更好，SIFID平均降低了22.18%，SSIM平均提高了28.33%，PSNR平均提高了17.12%。此外，本文模型的训练时长较TuiGAN减少了约75%。 参考文献 吕晓琪 ， 吴凉 ， 谷宇 ， 等 . 基于三维卷积神经网络的低剂量CT肺结节检测 ［J］. 光学 精密工程 ， 2018 ， 26 （ 5 ）： 1211 - 1218 . doi: 10.3788/OPE.20182605.1211 http://dx.doi.org/10.3788/OPE.20182605.1211 基于三维卷积神经网络的低剂量CT肺结节检测 LV X Q ， WU L ， GU Y ， et al . Detection of low dose CT pulmonary nodules based on 3D convolution neural network ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1211 - 1218 . （in Chinese） . doi: 10.3788/OPE.20182605.1211 http://dx.doi.org/10.3788/OPE.20182605.1211 Detection of low dose CT pulmonary nodules based on 3D convolution neural network KIM J ， LEE J K ， LEE K M . Accurate image super-resolution using very deep convolutional networks ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 1646 - 1654 . doi: 10.1109/cvpr.2016.182 http://dx.doi.org/10.1109/cvpr.2016.182 Accurate image super-resolution using very deep convolutional networks ZHANG R ， ISOLA P ， EFROS A A . Colorful image colorization ［C］. Computer Vision-ECCV 2016 ， 2016 ： 649 - 666 . doi: 10.1007/978-3-319-46487-9_40 http://dx.doi.org/10.1007/978-3-319-46487-9_40 Colorful image colorization 杜振龙 ， 沈海洋 ， 宋国美 ， 等 . 基于改进CycleGAN的图像风格迁移 ［J］. 光学 精密工程 ， 2019 ， 27 （ 8 ）： 1836 - 1844 . doi: 10.3788/ope.20192708.1836 http://dx.doi.org/10.3788/ope.20192708.1836 基于改进CycleGAN的图像风格迁移 DU Z L ， SHEN H Y ， SONG G M ， et al . Image style transfer based on improved CycleGAN ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 8 ）： 1836 - 1844 . （in Chinese） . doi: 10.3788/ope.20192708.1836 http://dx.doi.org/10.3788/ope.20192708.1836 Image style transfer based on improved CycleGAN PARK T ， EFROS A A ， ZHANG R ， et al . Contrastive learning for unpaired image-to-image translation ［C］. Computer Vision-ECCV 2020 ， 2020 ： 319 - 345 . doi: 10.1007/978-3-030-58545-7_19 http://dx.doi.org/10.1007/978-3-030-58545-7_19 Contrastive learning for unpaired image-to-image translation 李宇 ， 刘雪莹 ， 张洪群 ， 等 . 基于卷积神经网络的光学遥感图像检索 ［J］. 光学 精密工程 ， 2018 ， 26 （ 1 ）： 200 - 207 . doi: 10.3788/OPE.20182601.0200 http://dx.doi.org/10.3788/OPE.20182601.0200 基于卷积神经网络的光学遥感图像检索 LI Y ， LIU X Y ， ZHANG H Q ， et al . Optical remote sensing image retrieval based on convolutional neural networks ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 1 ）： 200 - 207 . （in Chinese） . doi: 10.3788/OPE.20182601.0200 http://dx.doi.org/10.3788/OPE.20182601.0200 Optical remote sensing image retrieval based on convolutional neural networks GOODFELLOW I ， POUGET A J ， MIRZA M ， et al . Generative adversarial nets ［J］. Advances in neural information processing systems ， 2014 ， 27 . Generative adversarial nets ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2242 - 2251 . doi: 10.1109/iccv.2017.244 http://dx.doi.org/10.1109/iccv.2017.244 Unpaired image-to-image translation using cycle-consistent adversarial networks KIM T ， CHA M ， KIM H ， et al . Learning to discover cross-domain relations with generative adversarial networks ［C］. International Conference on Machine Learning. PMLR ， 2017 ： 1857- 1865 .. doi: 10.1109/iccvw.2017.229 http://dx.doi.org/10.1109/iccvw.2017.229 Learning to discover cross-domain relations with generative adversarial networks YI Z L ， ZHANG H ， TAN P ， et al . DualGAN： unsupervised dual learning for image-to-image translation ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2868 - 2876 . doi: 10.1109/iccv.2017.310 http://dx.doi.org/10.1109/iccv.2017.310 DualGAN： unsupervised dual learning for image-to-image translation SHAHAM T R ， DEKEL T ， MICHAELI T . SinGAN： learning a generative model from a single natural image ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 272，2019 ， Seoul， Korea （South）. IEEE ， 2019 ： 4569 - 4579 . doi: 10.1109/iccv.2019.00467 http://dx.doi.org/10.1109/iccv.2019.00467 SinGAN： learning a generative model from a single natural image LIN J X ， PANG Y X ， XIA Y C ， et al . TuiGAN： learning versatile image-to-image translation with two unpaired images ［C］. Computer Vision-ECCV 2020 ， 2020 ： 18 - 35 . doi: 10.1007/978-3-030-58548-8_2 http://dx.doi.org/10.1007/978-3-030-58548-8_2 TuiGAN： learning versatile image-to-image translation with two unpaired images HUANG G ， LIU Z ， MAATEN LVAN DER ， et al . Densely connected convolutional networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 2261 - 2269 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243 Densely connected convolutional networks KARRAS T ， AILA ， LAINE S ， et al . Progressive growing of GANs for improved quality， stability， and variation ［EB/OL］. 2017： arXiv ： 1710 .10196［cs.NE］. https：//arxiv.org/abs/1710.10196 https://arxiv.org/abs/1710.10196 Progressive growing of GANs for improved quality， stability， and variation HINZ T ， FISHER M ， WANG O ， et al . Improved techniques for training single-image GANs ［C］. 2021 IEEE Winter Conference on Applications of Computer Vision . 38，2021 ， Waikoloa ， HI， USA . IEEE ， 2021 ： 1299 - 1308 . doi: 10.1109/wacv48630.2021.00134 http://dx.doi.org/10.1109/wacv48630.2021.00134 Improved techniques for training single-image GANs ZHENG C X ， CHAM T J ， CAI J F . The spatially-correlative loss for various image translation tasks ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 16402 - 16412 . doi: 10.1109/cvpr46437.2021.01614 http://dx.doi.org/10.1109/cvpr46437.2021.01614 The spatially-correlative loss for various image translation tasks LEE H Y ， TSENG H Y ， HUANG J B ， et al . Diverse image-to-image translation via disentangled representations ［C］. Computer Vision-ECCV 2018 ， 2018 ： 35 - 51 . doi: 10.1007/978-3-030-01246-5_3 http://dx.doi.org/10.1007/978-3-030-01246-5_3 Diverse image-to-image translation via disentangled representations HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90 Deep residual learning for image recognition GULRAJANI I ， AHMED F ， ARJOVSKY M ， et al . Improved training of wasserstein gans ［J］. arXiv preprint arXiv： 1704.00028 ， 2017 . Improved training of wasserstein gans PUMAROLA A ， AGUDO A ， MARTINEZ A M ， et al . GANimation： anatomically-aware facial animation from a single image ［J］. Computer Vision-ECCV：European Conference on Computer Vision： Proceedings European Conference on Computer Vision ， 2018 ， 11214 ： 835 - 851 . doi: 10.1007/978-3-030-01249-6_50 http://dx.doi.org/10.1007/978-3-030-01249-6_50 GANimation： anatomically-aware facial animation from a single image HEUSEL M ， RAMSAUER H ， UNTERTHINER T ， et al . GANs trained by a two time-scale update rule converge to a local Nash equilibrium ［J］. Advances in neural information processing systems ， 2017 . doi: 10.48550/arXiv.1706.08500 http://dx.doi.org/10.48550/arXiv.1706.08500 GANs trained by a two time-scale update rule converge to a local Nash equilibrium NEWEY W K . Adaptive estimation of regression models via moment restrictions ［J］. Journal of Econometrics ， 1988 ， 38 （ 3 ）： 301 - 339 . doi: 10.1016/0304-4076(88)90048-6 http://dx.doi.org/10.1016/0304-4076(88)90048-6 Adaptive estimation of regression models via moment restrictions DEMIR U ， UNAL G . Patch-based image inpainting with generative adversarial networks ［EB/OL］. 2018： arXiv ： 1803 .07422［cs.CV］. https：//arxiv.org/abs/1803.07422 https://arxiv.org/abs/1803.07422 Patch-based image inpainting with generative adversarial networks 10.37188/OPE.20223010.1217 TP391 A 1004-924X（2022）10-1217-11 李启航,冯龙,杨清等.基于多尺度密集特征融合的单图像翻译[J].光学精密工程,2022,30(10):1217-1227. 李启航,冯龙,杨清等.基于多尺度密集特征融合的单图像翻译[J].光学精密工程,2022,30(10):1217-1227. LI Qihang,FENG Long,YANG Qing,et al.Single-image translation based on multi-scale dense feature fusion[J].Optics and Precision Engineering,2022,30(10):1217-1227. LI Qihang,FENG Long,YANG Qing,et al.Single-image translation based on multi-scale dense feature fusion[J].Optics and Precision Engineering,2022,30(10):1217-1227. 国家自然科学基金资助项目（No.61731015）；国家重点研发计划资助项目（No. 2019YFC1521103，No.2020YFC1523301）；陕西省重点产业链资助项目（No.2019ZDLSF07-02）；青海省重点研发计划资助项目（No.2020-SF-142） 2021-12-22 2022-01-18 2022-05-25 2022-06-21 光学精密工程 10 30