Single-image translation based on multi-scale dense feature fusion

Qihang LI; Long FENG; Qing YANG; Yu WANG; Guohua GENG

doi:10.37188/OPE.20223010.1217

您当前的位置：

首页 >

文章列表页 >

Single-image translation based on multi-scale dense feature fusion

Information Sciences | 更新时间：2022-06-21

- Single-image translation based on multi-scale dense feature fusion
- Optics and Precision Engineering Vol. 30, Issue 10, Pages: 1217-1227(2022)
- 作者机构：
  
  1.西北大学信息科学与技术学院，陕西西安 710127
  2.西北大学数学学院，陕西西安 710127
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223010.1217
  CLC： TP391
- Received：22 December 2021，
  
  Revised：18 January 2022，
  
  Published：25 May 2022
- 稿件说明：
移动端阅览
李启航,冯龙,杨清等.基于多尺度密集特征融合的单图像翻译[J].光学精密工程,2022,30(10):1217-1227.

LI Qihang,FENG Long,YANG Qing,et al.Single-image translation based on multi-scale dense feature fusion[J].Optics and Precision Engineering,2022,30(10):1217-1227.
李启航,冯龙,杨清等.基于多尺度密集特征融合的单图像翻译[J].光学精密工程,2022,30(10):1217-1227. DOI： 10.37188/OPE.20223010.1217.

LI Qihang,FENG Long,YANG Qing,et al.Single-image translation based on multi-scale dense feature fusion[J].Optics and Precision Engineering,2022,30(10):1217-1227. DOI： 10.37188/OPE.20223010.1217.

摘要

为了解决现有的单图像翻译模型生成的图像质量低、细节特征差的问题，本文提出了基于多尺度密集特征融合的单图像翻译模型。该模型首先借用多尺度金字塔结构思想，对原图像和目标图像进行下采样，得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取，将提取到的风格特征从原图像迁移到目标图像中，通过与判别器不断的博弈对抗，生成所需要的翻译图像；最后，本文通过渐进式增长生成器训练的方式，在训练的每个阶段中不断增加密集特征模块，实现生成图像从全局风格到局部风格的迁移，生成所需要的翻译图像。本文在各种无监督图像到图像翻译任务上进行了广泛的实验，实验结果表明，与现有的方法相比，本文的方法训练时长缩短了75%，并且生成图像的SIFID值平均降低了22.18%。本文的模型可以更好地捕获源域和目标域之间分布的差异，提高图像翻译的质量。

Abstract

To solve the problems of low image quality and poor detail features generated by the existing single image translation models， a single image translation model based on multi-scale dense feature fusion is proposed in this paper. First， in this model， the idea of multi-scale pyramid structure is used to downsample the original and target images to obtain input images of different sizes. Then， in the generator， images of different sizes are input into the dense feature module for style feature extraction， which are transferred from the original image to the target image， and the required translation image is generated through continuous game confrontation with the discriminator. Finally， dense feature modules are added in each stage of training by means of incremental growth generator training， which realizes the migration of generated images from global to local styles， and generates the required translation images. Extensive experiments have been conducted on various unsupervised images to perform image translation tasks. The experimental results demonstrate that in contrast to the existing methods， the training time of this method is shortened by 80%， and the SIFID value of the generated image is reduced by 22.18%. Therefore， the model proposed in this paper can better capture the distribution difference between the source and target domains， and improve the quality of image translation.

关键词

Keywords

references

吕晓琪，吴凉，谷宇，等 . 基于三维卷积神经网络的低剂量CT肺结节检测［J］. 光学精密工程， 2018 ， 26 （ 5 ）： 1211 - 1218 . doi: 10.3788/OPE.20182605.1211 http://dx.doi.org/10.3788/OPE.20182605.1211

LV X Q ， WU L ， GU Y ， et al . Detection of low dose CT pulmonary nodules based on 3D convolution neural network ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1211 - 1218 . （in Chinese） . doi: 10.3788/OPE.20182605.1211 http://dx.doi.org/10.3788/OPE.20182605.1211

KIM J ， LEE J K ， LEE K M . Accurate image super-resolution using very deep convolutional networks ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 1646 - 1654 . doi: 10.1109/cvpr.2016.182 http://dx.doi.org/10.1109/cvpr.2016.182

ZHANG R ， ISOLA P ， EFROS A A . Colorful image colorization ［C］. Computer Vision-ECCV 2016 ， 2016 ： 649 - 666 . doi: 10.1007/978-3-319-46487-9_40 http://dx.doi.org/10.1007/978-3-319-46487-9_40

杜振龙，沈海洋，宋国美，等 . 基于改进CycleGAN的图像风格迁移［J］. 光学精密工程， 2019 ， 27 （ 8 ）： 1836 - 1844 . doi: 10.3788/ope.20192708.1836 http://dx.doi.org/10.3788/ope.20192708.1836

DU Z L ， SHEN H Y ， SONG G M ， et al . Image style transfer based on improved CycleGAN ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 8 ）： 1836 - 1844 . （in Chinese） . doi: 10.3788/ope.20192708.1836 http://dx.doi.org/10.3788/ope.20192708.1836

PARK T ， EFROS A A ， ZHANG R ， et al . Contrastive learning for unpaired image-to-image translation ［C］. Computer Vision-ECCV 2020 ， 2020 ： 319 - 345 . doi: 10.1007/978-3-030-58545-7_19 http://dx.doi.org/10.1007/978-3-030-58545-7_19

李宇，刘雪莹，张洪群，等 . 基于卷积神经网络的光学遥感图像检索［J］. 光学精密工程， 2018 ， 26 （ 1 ）： 200 - 207 . doi: 10.3788/OPE.20182601.0200 http://dx.doi.org/10.3788/OPE.20182601.0200

LI Y ， LIU X Y ， ZHANG H Q ， et al . Optical remote sensing image retrieval based on convolutional neural networks ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 1 ）： 200 - 207 . （in Chinese） . doi: 10.3788/OPE.20182601.0200 http://dx.doi.org/10.3788/OPE.20182601.0200

GOODFELLOW I ， POUGET A J ， MIRZA M ， et al . Generative adversarial nets ［J］. Advances in neural information processing systems ， 2014 ， 27 .

ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2242 - 2251 . doi: 10.1109/iccv.2017.244 http://dx.doi.org/10.1109/iccv.2017.244

KIM T ， CHA M ， KIM H ， et al . Learning to discover cross-domain relations with generative adversarial networks ［C］. International Conference on Machine Learning. PMLR ， 2017 ： 1857- 1865 .. doi: 10.1109/iccvw.2017.229 http://dx.doi.org/10.1109/iccvw.2017.229

YI Z L ， ZHANG H ， TAN P ， et al . DualGAN： unsupervised dual learning for image-to-image translation ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2868 - 2876 . doi: 10.1109/iccv.2017.310 http://dx.doi.org/10.1109/iccv.2017.310

SHAHAM T R ， DEKEL T ， MICHAELI T . SinGAN： learning a generative model from a single natural image ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 272，2019 ， Seoul， Korea （South）. IEEE ， 2019 ： 4569 - 4579 . doi: 10.1109/iccv.2019.00467 http://dx.doi.org/10.1109/iccv.2019.00467

LIN J X ， PANG Y X ， XIA Y C ， et al . TuiGAN： learning versatile image-to-image translation with two unpaired images ［C］. Computer Vision-ECCV 2020 ， 2020 ： 18 - 35 . doi: 10.1007/978-3-030-58548-8_2 http://dx.doi.org/10.1007/978-3-030-58548-8_2

HUANG G ， LIU Z ， MAATEN LVAN DER ， et al . Densely connected convolutional networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 2261 - 2269 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243

KARRAS T ， AILA ， LAINE S ， et al . Progressive growing of GANs for improved quality， stability， and variation ［EB/OL］. 2017： arXiv ： 1710 .10196［cs.NE］. https：//arxiv.org/abs/1710.10196 https://arxiv.org/abs/1710.10196

HINZ T ， FISHER M ， WANG O ， et al . Improved techniques for training single-image GANs ［C］. 2021 IEEE Winter Conference on Applications of Computer Vision . 38，2021 ， Waikoloa ， HI， USA . IEEE ， 2021 ： 1299 - 1308 . doi: 10.1109/wacv48630.2021.00134 http://dx.doi.org/10.1109/wacv48630.2021.00134

ZHENG C X ， CHAM T J ， CAI J F . The spatially-correlative loss for various image translation tasks ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 16402 - 16412 . doi: 10.1109/cvpr46437.2021.01614 http://dx.doi.org/10.1109/cvpr46437.2021.01614

LEE H Y ， TSENG H Y ， HUANG J B ， et al . Diverse image-to-image translation via disentangled representations ［C］. Computer Vision-ECCV 2018 ， 2018 ： 35 - 51 . doi: 10.1007/978-3-030-01246-5_3 http://dx.doi.org/10.1007/978-3-030-01246-5_3

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

GULRAJANI I ， AHMED F ， ARJOVSKY M ， et al . Improved training of wasserstein gans ［J］. arXiv preprint arXiv： 1704.00028 ， 2017 .

PUMAROLA A ， AGUDO A ， MARTINEZ A M ， et al . GANimation： anatomically-aware facial animation from a single image ［J］. Computer Vision-ECCV：European Conference on Computer Vision： Proceedings European Conference on Computer Vision ， 2018 ， 11214 ： 835 - 851 . doi: 10.1007/978-3-030-01249-6_50 http://dx.doi.org/10.1007/978-3-030-01249-6_50

HEUSEL M ， RAMSAUER H ， UNTERTHINER T ， et al . GANs trained by a two time-scale update rule converge to a local Nash equilibrium ［J］. Advances in neural information processing systems ， 2017 . doi: 10.48550/arXiv.1706.08500 http://dx.doi.org/10.48550/arXiv.1706.08500

NEWEY W K . Adaptive estimation of regression models via moment restrictions ［J］. Journal of Econometrics ， 1988 ， 38 （ 3 ）： 301 - 339 . doi: 10.1016/0304-4076(88)90048-6 http://dx.doi.org/10.1016/0304-4076(88)90048-6

DEMIR U ， UNAL G . Patch-based image inpainting with generative adversarial networks ［EB/OL］. 2018： arXiv ： 1803 .07422［cs.CV］. https：//arxiv.org/abs/1803.07422 https://arxiv.org/abs/1803.07422

Views

611

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Infrared image generation with unpaired training samples

Multi-scale dense feature fusion network for image super-resolution

Image Style Transfer Based on Improved CycleGAN

Image styletransfer based on improved Cycle

Related Author

CAI Wei

JIANG Bo

JIANG Xinhao

YANG Zhiyong

CHENG Deqiang

ZHAO Jiamin

KOU Qiqi

CHEN Liangliang

Related Institution

Armament Launch Theory and Technology Key Discipline Laboratory of PRC， Rocket Force University of Engineering， Xi′an

School of Information and Control Engineering，China University of Mining and Technology

School of Computer Science and Technology，China University of Mining and Technology

School of Computer Science and Technology， Nanjing TECH University

School of Computer Science and Technology, Nanjing TECH University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰