联合训练生成对抗网络的半监督分类方法

徐哲; 耿杰; 蒋雯; 张卓; 曾庆捷

doi:10.37188/OPE.20212905.1127

您当前的位置：

首页 >

文章列表页 >

联合训练生成对抗网络的半监督分类方法

信息科学 | 更新时间：2021-07-08

- 联合训练生成对抗网络的半监督分类方法
- Co-training generative adversarial networks for semi-supervised classification method
- 光学精密工程 2021年29卷第5期页码：1127-1135
- 作者机构：
  
  西北工业大学电子信息学院，西安 710072
- 作者简介：
  
  [ "徐　哲（1998-），男，陕西汉中人，硕士研究生，2020年于西北工业大学获得学士学位，主要从事深度学习与图像处理的研究。Email： xuzhenwpu@126.com" ]
  [ "耿　杰（1990-），男，山西晋中人，副教授，硕士生导师，2013年于大连理工大学获得学士学位，2018年于大连理工大学获得博士学位，主要从事深度学习与图像处理的研究，Email： gengjie@nwpu.edu.cn" ]
- 基金信息：
  
  装备预研领域基金资助项目(61400010304);国家自然科学基金资助项目(61901376)
- DOI：10.37188/OPE.20212905.1127
  中图分类号： TP391
- 收稿日期：2020-11-04，
  
  修回日期：2021-01-04，
  
  纸质出版日期：2021-05-15
- 稿件说明：
移动端阅览
徐哲,耿杰,蒋雯等.联合训练生成对抗网络的半监督分类方法[J].光学精密工程,2021,29(05):1127-1135.

XU Zhe,GENG Jie,JIANG Wen,et al.Co-training generative adversarial networks for semi-supervised classification method[J].Optics and Precision Engineering,2021,29(05):1127-1135.
徐哲,耿杰,蒋雯等.联合训练生成对抗网络的半监督分类方法[J].光学精密工程,2021,29(05):1127-1135. DOI： 10.37188/OPE.20212905.1127.

XU Zhe,GENG Jie,JIANG Wen,et al.Co-training generative adversarial networks for semi-supervised classification method[J].Optics and Precision Engineering,2021,29(05):1127-1135. DOI： 10.37188/OPE.20212905.1127.

摘要

深度神经网络需要大量数据进行监督训练学习，而实际应用中往往难以获取大量标签数据。半监督学习可以减小深度网络对标签数据的依赖，基于半监督学习的生成对抗网络可以提升分类效果，但仍存在训练不稳定的问题。为进一步提高网络的分类精度并解决网络训练不稳定的问题，本文提出一种基于联合训练生成对抗网络的半监督分类方法，通过两个判别器的联合训练来消除单个判别器的分布误差，同时选取无标签数据中置信度高的样本来扩充标签数据集，提高半监督分类精度并提升网络模型的泛化能力。在CIFAR-10和SVHN数据集上的实验结果表明，本文方法在不同数量的标签数据下都获得更好的分类精度。当标签数量为2 000时，在CIFAR-10数据集上分类精度可达80.36%；当标签数量为10时，相比于现有的半监督方法，分类精度提升了约5%。在一定程度上解决了GAN网络在小样本条件下的过拟合问题。

Abstract

Deep neural networks require a large amount of data for supervised learning； however， it is difficult to obtain enough labeled data in practical applications. Semi-supervised learning can train deep neural networks with limited samples. Semi-supervised generative adversarial networks can yield superior classification performance； however， they are unstable during training in classical networks. To further improve the classification accuracy and solve the problem of training instability for networks， we propose a semi-supervised classification model called co-training generative adversarial networks （CT-GAN） for image classification. In the proposed model， co-training of two discriminators is applied to eliminate the distribution error of a single discriminator and unlabeled samples with higher confidence are selected to expand the training set， which can be utilized for semi-supervised classification and enhance the generalization of deep networks. Experimental results on the CIFAR-10 dataset and the SVHN dataset showed that the proposed method achieved better classification accuracies with different numbers of labeled data. The classification accuracy was 80.36% with 2000 labeled data on the CIFAR-10 dataset， whereas it improved by about 5% compared with the existing semi-supervised method with 10 labeled data. To a certain extent， the problem of GAN overfitting under a few sample conditions is solved.

关键词

Keywords

references

WANG W ， YANG Y ， WANG X ， et al . Development of convolutional neural network and its application in image classification： a survey ［J］. Optical Engineering ， 2019 ， 58 （ 4 ）： 040901 .

LOWE D G . Distinctive image features from scale-invariant keypoints ［J］. International journal of computer vision ， 2004 ， 60 （ 2 ）： 91 - 110 .

DALAL N ， TRIGGS B . Histograms of oriented gradients for human detection ［C］. 2005 IEEE computer society conference on computer vision and pattern recognition （CVPR' 05 ）. IEEE ， 2005， 1 ： 886 - 893 .

HUANG F J ， LECUN Y . Large-scale learning with svm and convolutional netw for generic object recognition ［C］. 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition ， 2006 ， 10 .

陈科峻，张叶 . 循环神经网络多标签航空图像分类［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1404 - 1413 .

CHEN K J ， ZHANG Y . Recurrent neural network multi-label aerial images classification ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1404 - 1413 . （in Chinese）

黄鸿，唐玉枭，段宇乐 . 半监督多图嵌入的高光谱影像特征提取［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 443 - 456 .

HUANG H ， TANG Y X ， DUAN Y L . Feature extraction of hyperspectral image with semi-supervised multi-graph embedding ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 443 - 456 . （in Chinese）

赵浩光，王平，董超，等 . 结合多尺度视觉显著性的舰船目标检测［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1395 - 1403 .

ZHAO H G ， WANG P ， DONG CH ， et al . Ship detection based on the multi-scale visual saliency model ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1395 - 1403 . （in Chinese）

陈炜炜，严群，姚剑敏 . 基于AttentionGAN和形态学重建的TFT阵列缺陷检测［J］. 液晶与显示， 2020 ， 35 （ 12 ）： 1270 - 1277 .

CHEN W W ， YAN Q ， YAO J M . TFT array defect detection based on AttentionGAN and morphological ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 12 ）： 1270 - 1277 . （in Chinese）

GOODFELLOW I ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial nets ［C］. Advances in neural information processing systems ， 2014 ： 2672 - 2680 .

RADFORD ， ALEC ， METZLUKE ， et al . Unsupervised representation learning with deep convolutional generative adversarial networks . arXiv preprint arXiv ： 1511 . 06434 （ 2015 ）.

ARJOVSKY M ， CHINTALA S ， BOTTOU L . Wasserstein gan ［J］. arXiv preprint arXiv： 1701.07875 ， 2017 .

SHAHAM T R ， DEKEL T ， MICHAELI T . Singan： Learning a generative model from a single natural image ［C］. Proceedings of the IEEE International Conference on Computer Vision ， 2019 ： 4570 - 4580 .

KARNEWAR A ， WANG O . Msg-gan： Multi-scale gradients for generative adversarial networks ［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition ， 2020 ： 7799 - 7808 .

ZHANG H ， GOODFELLOW I ， METAXAS D ， et al . Self-attention generative adversarial networks ［C］. International conference on machine learning. PMLR ， 2019 ： 7354 - 7363 .

ODENA A . Semi-supervised learning with generative adversarial networks ［J］. arXiv preprint arXiv： 1606.01583 ， 2016 .

LI W ， WANG Z ， LI J ， et al . Semi-supervised learning based on generative adversarial network： a comparison between good GAN and bad GAN approach ［C］. CVPR Workshops ， 2019 .

Salimans T ， Goodfellow I ， Zaremba W ， et al . Improved techniques for training gans ［C］. Advances in neural information processing systems ， 2016 ： 2234 - 2242 .

浏览量

474

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于卷积神经网络的光学遥感图像检索

基于多分支残差注意力网络的水下图像增强

基于策略梯度和伪孪生网络的异源图像匹配

面向点云分类和分割的形状自适应特征聚合网络

半监督式野生动物夜间目标端到端检测