联合3D建模与改进CycleGAN的故障数据集扩增方法

李宝平; 戚恒熠; 王满利; 魏坡

doi:10.37188/OPE.20233116.2406

您当前的位置：

首页 >

文章列表页 >

联合3D建模与改进CycleGAN的故障数据集扩增方法

信息科学 | 更新时间：2023-08-25

- 联合3D建模与改进CycleGAN的故障数据集扩增方法
- Equipment fault dataset amplification method combine 3D model with improved CycleGAN
- 光学精密工程 2023年31卷第16期页码：2406-2417
- 作者机构：
  
  河南理工大学物理与电子信息学院，河南焦作 454000
- 作者简介：
  
  [ "李宝平（1981-），男，博士，讲师，2016年于中国传媒大学获得博士学位，现河南理工大学物电学院从事教学科研工作，主要研究方向为计算机视觉及人工智能。E-mail： libaoping@hpu.edu.cn" ]
  [ "戚恒熠（1999-），男，河南开封人，硕士研究生，2021年于河南理工大学获得学士学位，主要从事计算机视觉、图像处理等方面的研究。E-mail： mystericq@home.hpu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(52074305);河南理工大学博士基金资助项目(B2021-64)
- DOI：10.37188/OPE.20233116.2406
  中图分类号： TP391.4
- 收稿日期：2022-11-16，
  
  修回日期：2023-01-28，
  
  纸质出版日期：2023-08-25
- 稿件说明：
移动端阅览
李宝平,戚恒熠,王满利等.联合3D建模与改进CycleGAN的故障数据集扩增方法[J].光学精密工程,2023,31(16):2406-2417.

LI Baoping,QI Hengyi,WANG Manli,et al.Equipment fault dataset amplification method combine 3D model with improved CycleGAN[J].Optics and Precision Engineering,2023,31(16):2406-2417.
李宝平,戚恒熠,王满利等.联合3D建模与改进CycleGAN的故障数据集扩增方法[J].光学精密工程,2023,31(16):2406-2417. DOI： 10.37188/OPE.20233116.2406.

LI Baoping,QI Hengyi,WANG Manli,et al.Equipment fault dataset amplification method combine 3D model with improved CycleGAN[J].Optics and Precision Engineering,2023,31(16):2406-2417. DOI： 10.37188/OPE.20233116.2406.

摘要

基于深度学习的设备故障检测系统性能很大程度上依赖于样本集的规模及类别多样性。由于工业生产中难以全面采集各类故障样本，由此就有样本集扩增需求。本文提出联合3D模型和改进CycleGAN的故障数据集扩增方法。首先，提出利用3D建模软件模拟生成各类故障图片，将其作为CycleGAN迁移网络输入，约束引导生成真实故障图像，以解决样本不足及分布不均衡问题；其次，对CycleGAN网络生成器进行改进，提出U-ResNet生成器，用以解决数据集扩增过程中的边缘模糊和梯度消失问题。将该方法应用于带式输送机跑偏检测任务，结果表明相较于其他扩增方法，该方法训练过程中轮廓结构收敛快，时效性好，应用于目标检测网络准确率达到98.1%，较原真实数据集提升4.5%。说明该数据集扩增方法可以满足故障数据集类别分布均衡，图像质量高的要求。

Abstract

The performance of deep-learning-based equipment fault detection systems relies heavily on the size and class diversity of the sample set. Because it is difficult to collect all types of fault sample comprehensively in industrial production， there is a demand for sample set augmentation. A fault dataset amplification method combining 3D modeling with an improved cycle generative adversarial network （CycleGAN） is proposed. First， various equipment malfunction images generated by 3D modeling software are applied to the CycleGAN network training to guide it in generating pseudo-real images to address the problem of insufficient samples and an uneven distribution. Second， a U-ResNet generator is used in the CycleGAN network to solve the problem of edge blurring and gradient vanishing during network training. The method was applied to the task of belt conveyor deviation detection. The experimental results show that the contour structure of the method converges quickly in the training process and has good timeliness in comparison with other amplification methods. The accuracy rate of the method is 98.1% when applying to the target detection network， which is 4.5% higher than that of the original real dataset. It meets the basic requirements of a balanced distribution of amplified datasets and high image quality.

关键词

Keywords

references

SHIN H ， AHN Y ， TAE S ， et al . Enhancement of multi-class structural defect recognition using generative adversarial network ［J］. Sustainability ， 2021 ， 13 （ 22 ）： 12682 . doi: 10.3390/su132212682 http://dx.doi.org/10.3390/su132212682

SHORTEN C ， KHOSHGOFTAAR T M . A survey on image data augmentation for deep learning ［J］. Journal of Big Data ， 2019 ， 6 （ 1 ）： 1 - 48 . doi: 10.1186/s40537-019-0197-0 http://dx.doi.org/10.1186/s40537-019-0197-0

CHEN L ， WANG H J ， MENG X H . Remote sensing image dataset expansion based on generative adversarial networks with modified shuffle attention ［J］. Sensors ， 2021 ， 21 （ 14 ）： 4867 . doi: 10.3390/s21144867 http://dx.doi.org/10.3390/s21144867

ZHANG H G ， HU X G ， MA D Z ， et al . Insufficient data generative model for pipeline network leak detection using generative adversarial networks ［J］. IEEE Transactions on Cybernetics ， 2022 ， 52 （ 7 ）： 7107 - 7120 . doi: 10.1109/tcyb.2020.3035518 http://dx.doi.org/10.1109/tcyb.2020.3035518

SANDFORT V ， YAN K ， PICKHARDT P J ， et al . Data augmentation using generative adversarial networks （CycleGAN） to improve generalizability in CT segmentation tasks ［J］. Scientific Reports ， 2019 ， 9 ： 16884 . doi: 10.1038/s41598-019-52737-x http://dx.doi.org/10.1038/s41598-019-52737-x

SU W C ， YE H ， CHEN S Y ， et al . DrawingInStyles： portrait image generation and editing with spatially conditioned StyleGAN ［J］. IEEE Transactions on Visualization and Computer Graphics ， 2022 . doi: 10.1109/tvcg.2022.3178734 http://dx.doi.org/10.1109/tvcg.2022.3178734

GOODFELLOW I ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial networks ［J］. Communications of the ACM ， 2020 ， 63 （ 11 ）： 139 - 144 . doi: 10.1145/3422622 http://dx.doi.org/10.1145/3422622

RADFORD A ， METZ L ， CHINTALA S . Unsupervised representation learning with deep convolutional generative adversarial networks ［C］. 4th International Conference on Learning Representations， ICLR 2016 - Conference Track Proceedings ， 2016 .

ARJOVSKY M ， CHINTALA S ， BOTTOU L . Wasserstein generative adversarial networks ［C］. Proceedings of the 34th International Conference on Machine Learning - Volume 70. 611，2017 ， Sydney， NSW， Australia. New York ： ACM ， 2017 ： 214 - 223 .

GULRAJANI I ， AHMED F ， ARJOVSKY M ， et al . Improved training of wasserstein GANs ［C］. Proceedings of the 31st International Conference on Neural Information Processing Systems. December 4 - 9 ， 2017， Long Beach， California， USA. New York ： ACM ， 2017： 5769 - 5779 .

ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 2242 - 2251 . doi: 10.1109/iccv.2017.244 http://dx.doi.org/10.1109/iccv.2017.244

王昊天，刘庆省，陈亮，等 . 改进的CycleGAN网络用于水下显微图像颜色校正［J］. 光学精密工程， 2022 ， 30（ 12 ） 1499 - 1508 . doi: 10.37188/OPE.20223012.1499 http://dx.doi.org/10.37188/OPE.20223012.1499

WANG H T ， LIU Q S ， CHEN L ， et al . Improved CycleGAN network for underwater microscopic image color correction ［J］. Opt. Precision Eng. ， 2022 ， 30（ 12 ） 1499 - 1508 （in Chinese） . doi: 10.37188/OPE.20223012.1499 http://dx.doi.org/10.37188/OPE.20223012.1499

HU A N ， XIE Z ， XU Y Y ， et al . Unsupervised haze removal for high-resolution optical remote-sensing images based on improved generative adversarial networks ［J］. Remote Sensing ， 2020 ， 12 （ 24 ）： 4162 . doi: 10.3390/rs12244162 http://dx.doi.org/10.3390/rs12244162

WANG X T ， YU K ， WU S X ， et al . ESRGAN ： Enhanced Super-Resolution Generative Adversarial Networks ［M］. Lecture Notes in Computer Science . Cham ： Springer International Publishing ， 2019 ： 63 - 79 . doi: 10.1007/978-3-030-11021-5_5 http://dx.doi.org/10.1007/978-3-030-11021-5_5

郝帅，吴瑛琦，马旭，等 . 基于CycleGAN-SIFT的可见光和红外图像匹配［J］. 光学精密工程， 2022 ， 30（ 5 ） 602 - 614 . doi: 10.37188/OPE.20223005.0592 http://dx.doi.org/10.37188/OPE.20223005.0592

HAO S ， WU Y Q ， MA X ， et al . Visible and infrared image matching based on CycleGAN-SIFT ［J］. Opt. Precision Eng. ， 2022 ， 30（ 5 ） 602 - 614 （in Chinese） . doi: 10.37188/OPE.20223005.0592 http://dx.doi.org/10.37188/OPE.20223005.0592

凡志邈，夏伟杰，刘雪 . 基于修正CycleGAN的声呐图像库构建方法研究［J］. 声学技术， 2021 ， 40（ 6 ） 890 - 894 . doi: 10.3969/j.issn.1000-3630.2021.6.sxjs202106023 http://dx.doi.org/10.3969/j.issn.1000-3630.2021.6.sxjs202106023

FAN Z M ， XIA W J ， LIU X . Modified CycleGAN based sonar image library construction ［J］. Technical Acoustics ， 2021 ， 40（ 6 ） 890 - 894 （in Chinese） . doi: 10.3969/j.issn.1000-3630.2021.6.sxjs202106023 http://dx.doi.org/10.3969/j.issn.1000-3630.2021.6.sxjs202106023

杨植凯，卜乐平，王腾，等 . 基于循环一致性对抗网络的室内火焰图像场景迁移［J］. 光学精密工程， 2020 ， 28（ 3 ） 745 - 758 . doi: 10.3788/ope.20202803.0745 http://dx.doi.org/10.3788/ope.20202803.0745

YANG Z K ， BU L P ， WANG T ， et al . Scenemigration of indoor flame image based on Cycle-Consistent adversarial networks ［J］. Opt. Precision Eng. ， 2020 ， 28（ 3 ） 745 - 758 （in Chinese） . doi: 10.3788/ope.20202803.0745 http://dx.doi.org/10.3788/ope.20202803.0745

崔克彬，潘锋 . 用于绝缘子故障检测的CycleGAN小样本库扩增方法研究［J］. 计算机工程与科学， 2022 ， 44（ 3 ） 509 - 515 . doi: 10.3969/j.issn.1007-130X.2022.03.017 http://dx.doi.org/10.3969/j.issn.1007-130X.2022.03.017

CUI K B ， PAN F . A CycleGAN small sample library amplification method for faulty insulator detection ［J］. Computer Engineering and Science ， 2022 ， 44（ 3 ） 509 - 515 （in Chinese） . doi: 10.3969/j.issn.1007-130X.2022.03.017 http://dx.doi.org/10.3969/j.issn.1007-130X.2022.03.017

杜振龙，沈海洋，宋国美，等 . 基于改进CycleGAN的图像风格迁移［J］. 光学精密工程， 2019 ， 27（ 8 ） 1836 - 1844 . doi: 10.3788/ope.20192708.1836 http://dx.doi.org/10.3788/ope.20192708.1836

DU Z L ， SHEN H Y ， SONG G M ， et al . Image style transfer based on improved CycleGAN ［J］. Opt. Precision Eng. ， 2019 ， 27（ 8 ） 1836 - 1844 （in Chinese） . doi: 10.3788/ope.20192708.1836 http://dx.doi.org/10.3788/ope.20192708.1836

DOU H ， CHEN C ， HU X ， et al . Asymmetric CycleGAN for image-to-image translations with uneven complexities ［J］. Neurocomputing ， 2020 ， 415 ： 114 - 122 . doi: 10.1016/j.neucom.2020.07.044 http://dx.doi.org/10.1016/j.neucom.2020.07.044

PARIS S ， HASINOFF S W ， KAUTZ J . Local Laplacian filters ［J］. ACM Transactions on Graphics ， 2011 ， 30 （ 4 ）： 1 - 12 . doi: 10.1145/2010324.1964963 http://dx.doi.org/10.1145/2010324.1964963

RONNEBERGER O ， FISCHER P ， BROX T . U-Net ： Convolutional Networks for Biomedical Image Segmentation ［M］. Lecture Notes in Computer Science . Cham ： Springer International Publishing ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 27 - 30 ， 2016， Las Vegas， NV， USA. IEEE ， 2016： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

ISOLA P ， ZHU J Y ， ZHOU T H ， et al . Image-to-image translation with conditional adversarial networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 5967 - 5976 . doi: 10.1109/cvpr.2017.632 http://dx.doi.org/10.1109/cvpr.2017.632

BENNY Y ， GALANTI T ， BENAIM S ， et al . Evaluation metrics for conditional image generation ［J］. International Journal of Computer Vision ， 2021 ， 129 （ 5 ）： 1 - 20 . doi: 10.1007/s11263-020-01424-w http://dx.doi.org/10.1007/s11263-020-01424-w

CHEN M J ， BOVIK A C . Fast structural similarity index algorithm ［J］. Journal of Real-Time Image Processing ， 2011 ， 6 （ 4 ）： 281 - 287 . doi: 10.1007/s11554-010-0170-9 http://dx.doi.org/10.1007/s11554-010-0170-9

HUYNH-THU Q ， GHANBARI M . Scope of validity of PSNR in image/video quality assessment ［J］. Electronics Letters ， 2008 ， 44 （ 13 ）： 800 - 801 . doi: 10.1049/el:20080522 http://dx.doi.org/10.1049/el:20080522

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

改进的CycleGAN网络用于水下显微图像颜色校正