基于多尺度密集特征融合的单图像翻译

李启航; 冯龙; 杨清; 王雨; 耿国华

doi:10.37188/OPE.20223010.1217

您当前的位置：

首页 >

文章列表页 >

基于多尺度密集特征融合的单图像翻译

信息科学 | 更新时间：2022-06-21

- 基于多尺度密集特征融合的单图像翻译
- Single-image translation based on multi-scale dense feature fusion
- 光学精密工程 2022年30卷第10期页码：1217-1227
- 作者机构：
  
  1.西北大学信息科学与技术学院，陕西西安 710127
  2.西北大学数学学院，陕西西安 710127
- 作者简介：
  
  [ "李启航（1997-），男，河南郑州人，西北大学信息科学与技术学院2020级硕士研究生在读，现主要从事计算机视觉、图像风格迁移方面的研究。Email： liqihang@stumail.nwu.edu.cn" ]
  [ "耿国华（1955-），女，山东莱西人，教授，博士生导师，1976 和1988 年于西北大学分别获得学士和硕士学位，主要从事虚拟现实、可视化技术、图像处理和智能信息处理等领域的理论及应用工程创新研究。E-mail： 1925995331@qq.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(61731015);国家重点研发计划资助项目(2019YFC1521103;2020YFC1523301);陕西省重点产业链资助项目(2019ZDLSF07-02);青海省重点研发计划资助项目(2020-SF-142)
- DOI：10.37188/OPE.20223010.1217
  中图分类号： TP391
- 收稿日期：2021-12-22，
  
  修回日期：2022-01-18，
  
  纸质出版日期：2022-05-25
- 稿件说明：
移动端阅览
李启航,冯龙,杨清等.基于多尺度密集特征融合的单图像翻译[J].光学精密工程,2022,30(10):1217-1227.

LI Qihang,FENG Long,YANG Qing,et al.Single-image translation based on multi-scale dense feature fusion[J].Optics and Precision Engineering,2022,30(10):1217-1227.
李启航,冯龙,杨清等.基于多尺度密集特征融合的单图像翻译[J].光学精密工程,2022,30(10):1217-1227. DOI： 10.37188/OPE.20223010.1217.

LI Qihang,FENG Long,YANG Qing,et al.Single-image translation based on multi-scale dense feature fusion[J].Optics and Precision Engineering,2022,30(10):1217-1227. DOI： 10.37188/OPE.20223010.1217.

摘要

为了解决现有的单图像翻译模型生成的图像质量低、细节特征差的问题，本文提出了基于多尺度密集特征融合的单图像翻译模型。该模型首先借用多尺度金字塔结构思想，对原图像和目标图像进行下采样，得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取，将提取到的风格特征从原图像迁移到目标图像中，通过与判别器不断的博弈对抗，生成所需要的翻译图像；最后，本文通过渐进式增长生成器训练的方式，在训练的每个阶段中不断增加密集特征模块，实现生成图像从全局风格到局部风格的迁移，生成所需要的翻译图像。本文在各种无监督图像到图像翻译任务上进行了广泛的实验，实验结果表明，与现有的方法相比，本文的方法训练时长缩短了75%，并且生成图像的SIFID值平均降低了22.18%。本文的模型可以更好地捕获源域和目标域之间分布的差异，提高图像翻译的质量。

Abstract

To solve the problems of low image quality and poor detail features generated by the existing single image translation models， a single image translation model based on multi-scale dense feature fusion is proposed in this paper. First， in this model， the idea of multi-scale pyramid structure is used to downsample the original and target images to obtain input images of different sizes. Then， in the generator， images of different sizes are input into the dense feature module for style feature extraction， which are transferred from the original image to the target image， and the required translation image is generated through continuous game confrontation with the discriminator. Finally， dense feature modules are added in each stage of training by means of incremental growth generator training， which realizes the migration of generated images from global to local styles， and generates the required translation images. Extensive experiments have been conducted on various unsupervised images to perform image translation tasks. The experimental results demonstrate that in contrast to the existing methods， the training time of this method is shortened by 80%， and the SIFID value of the generated image is reduced by 22.18%. Therefore， the model proposed in this paper can better capture the distribution difference between the source and target domains， and improve the quality of image translation.

关键词

Keywords

references

吕晓琪，吴凉，谷宇，等 . 基于三维卷积神经网络的低剂量CT肺结节检测［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1211 - 1218 . doi: 10.3788/OPE.20182605.1211 http://dx.doi.org/10.3788/OPE.20182605.1211

LV X Q ， WU L ， GU Y ， et al . Detection of low dose CT pulmonary nodules based on 3D convolution neural network ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1211 - 1218 . （in Chinese） . doi: 10.3788/OPE.20182605.1211 http://dx.doi.org/10.3788/OPE.20182605.1211

KIM J ， LEE J K ， LEE K M . Accurate image super-resolution using very deep convolutional networks ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 1646 - 1654 . doi: 10.1109/cvpr.2016.182 http://dx.doi.org/10.1109/cvpr.2016.182

ZHANG R ， ISOLA P ， EFROS A A . Colorful image colorization ［C］. Computer Vision-ECCV 2016 ， 2016 ： 649 - 666 . doi: 10.1007/978-3-319-46487-9_40 http://dx.doi.org/10.1007/978-3-319-46487-9_40

杜振龙，沈海洋，宋国美，等 . 基于改进CycleGAN的图像风格迁移［J］. 光学精密工程， 2019 ， 27 （ 8 ）： 1836 - 1844 . doi: 10.3788/ope.20192708.1836 http://dx.doi.org/10.3788/ope.20192708.1836

DU Z L ， SHEN H Y ， SONG G M ， et al . Image style transfer based on improved CycleGAN ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 8 ）： 1836 - 1844 . （in Chinese） . doi: 10.3788/ope.20192708.1836 http://dx.doi.org/10.3788/ope.20192708.1836

PARK T ， EFROS A A ， ZHANG R ， et al . Contrastive learning for unpaired image-to-image translation ［C］. Computer Vision-ECCV 2020 ， 2020 ： 319 - 345 . doi: 10.1007/978-3-030-58545-7_19 http://dx.doi.org/10.1007/978-3-030-58545-7_19

李宇，刘雪莹，张洪群，等 . 基于卷积神经网络的光学遥感图像检索［J］. 光学精密工程， 2018 ， 26 （ 1 ）： 200 - 207 . doi: 10.3788/OPE.20182601.0200 http://dx.doi.org/10.3788/OPE.20182601.0200

LI Y ， LIU X Y ， ZHANG H Q ， et al . Optical remote sensing image retrieval based on convolutional neural networks ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 1 ）： 200 - 207 . （in Chinese） . doi: 10.3788/OPE.20182601.0200 http://dx.doi.org/10.3788/OPE.20182601.0200

GOODFELLOW I ， POUGET A J ， MIRZA M ， et al . Generative adversarial nets ［J］. Advances in neural information processing systems ， 2014 ， 27 .

ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2242 - 2251 . doi: 10.1109/iccv.2017.244 http://dx.doi.org/10.1109/iccv.2017.244

KIM T ， CHA M ， KIM H ， et al . Learning to discover cross-domain relations with generative adversarial networks ［C］. International Conference on Machine Learning. PMLR ， 2017 ： 1857- 1865 .. doi: 10.1109/iccvw.2017.229 http://dx.doi.org/10.1109/iccvw.2017.229

YI Z L ， ZHANG H ， TAN P ， et al . DualGAN： unsupervised dual learning for image-to-image translation ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2868 - 2876 . doi: 10.1109/iccv.2017.310 http://dx.doi.org/10.1109/iccv.2017.310

SHAHAM T R ， DEKEL T ， MICHAELI T . SinGAN： learning a generative model from a single natural image ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 272，2019 ， Seoul， Korea （South）. IEEE ， 2019 ： 4569 - 4579 . doi: 10.1109/iccv.2019.00467 http://dx.doi.org/10.1109/iccv.2019.00467

LIN J X ， PANG Y X ， XIA Y C ， et al . TuiGAN： learning versatile image-to-image translation with two unpaired images ［C］. Computer Vision-ECCV 2020 ， 2020 ： 18 - 35 . doi: 10.1007/978-3-030-58548-8_2 http://dx.doi.org/10.1007/978-3-030-58548-8_2

HUANG G ， LIU Z ， MAATEN LVAN DER ， et al . Densely connected convolutional networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 2261 - 2269 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243

KARRAS T ， AILA ， LAINE S ， et al . Progressive growing of GANs for improved quality， stability， and variation ［EB/OL］. 2017： arXiv ： 1710 .10196［cs.NE］. https：//arxiv.org/abs/1710.10196 https://arxiv.org/abs/1710.10196

HINZ T ， FISHER M ， WANG O ， et al . Improved techniques for training single-image GANs ［C］. 2021 IEEE Winter Conference on Applications of Computer Vision . 38，2021 ， Waikoloa ， HI， USA . IEEE ， 2021 ： 1299 - 1308 . doi: 10.1109/wacv48630.2021.00134 http://dx.doi.org/10.1109/wacv48630.2021.00134

ZHENG C X ， CHAM T J ， CAI J F . The spatially-correlative loss for various image translation tasks ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 16402 - 16412 . doi: 10.1109/cvpr46437.2021.01614 http://dx.doi.org/10.1109/cvpr46437.2021.01614

LEE H Y ， TSENG H Y ， HUANG J B ， et al . Diverse image-to-image translation via disentangled representations ［C］. Computer Vision-ECCV 2018 ， 2018 ： 35 - 51 . doi: 10.1007/978-3-030-01246-5_3 http://dx.doi.org/10.1007/978-3-030-01246-5_3

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

GULRAJANI I ， AHMED F ， ARJOVSKY M ， et al . Improved training of wasserstein gans ［J］. arXiv preprint arXiv： 1704.00028 ， 2017 .

PUMAROLA A ， AGUDO A ， MARTINEZ A M ， et al . GANimation： anatomically-aware facial animation from a single image ［J］. Computer Vision-ECCV：European Conference on Computer Vision： Proceedings European Conference on Computer Vision ， 2018 ， 11214 ： 835 - 851 . doi: 10.1007/978-3-030-01249-6_50 http://dx.doi.org/10.1007/978-3-030-01249-6_50

HEUSEL M ， RAMSAUER H ， UNTERTHINER T ， et al . GANs trained by a two time-scale update rule converge to a local Nash equilibrium ［J］. Advances in neural information processing systems ， 2017 . doi: 10.48550/arXiv.1706.08500 http://dx.doi.org/10.48550/arXiv.1706.08500

NEWEY W K . Adaptive estimation of regression models via moment restrictions ［J］. Journal of Econometrics ， 1988 ， 38 （ 3 ）： 301 - 339 . doi: 10.1016/0304-4076(88)90048-6 http://dx.doi.org/10.1016/0304-4076(88)90048-6

DEMIR U ， UNAL G . Patch-based image inpainting with generative adversarial networks ［EB/OL］. 2018： arXiv ： 1803 .07422［cs.CV］. https：//arxiv.org/abs/1803.07422 https://arxiv.org/abs/1803.07422

浏览量

611

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

非成对训练样本条件下的红外图像生成

多尺度密集特征融合的图像超分辨率重建

基于改进CycleGAN的图像风格迁移-第五届新型光电探测技术及其应用研讨会推荐

基于改进CycleGAN的图像风格迁移