基于标签嵌入方法的纺织品瑕疵识别网络

刘颖; 姜威; 李冠典; 陈磊; 赵爽

doi:10.37188/OPE.20233110.1563

您当前的位置：

首页 >

文章列表页 >

基于标签嵌入方法的纺织品瑕疵识别网络

信息科学 | 更新时间：2023-05-25

- 基于标签嵌入方法的纺织品瑕疵识别网络
- Textile defect recognition network based on label embedding
- 光学精密工程 2023年31卷第10期页码：1563-1579
- 作者机构：
  
  长春理工大学电子信息工程学院，吉林长春 130000
- 作者简介：
  
  [ "刘颖（1983-），女，吉林长春人，2015年获得长春理工大学电子信息工程系博士学位，现为长春理工大学电子与信息工程学院讲师，主要从事姿态估计、动作识别、人/车重识别相关的计算机视觉方面的研究。E-mail： liuying02@cust.edu.cn" ]
  [ "姜威（1998-），女，吉林长春人，在读硕士，2020年于吉林师范大学获得电子信息工程学士学位，现为长春理工大学电子与信息工程学院硕士研究生，主要从事语义分割和目标检测方面的研究。" ]
- 基金信息：
  
  吉林省自然科学基金资助项目(20210101182JC)
- DOI：10.37188/OPE.20233110.1563
  中图分类号： TP391
- 收稿日期：2022-06-10，
  
  修回日期：2022-08-10，
  
  纸质出版日期：2023-05-25
- 稿件说明：
移动端阅览
刘颖,姜威,李冠典等.基于标签嵌入方法的纺织品瑕疵识别网络[J].光学精密工程,2023,31(10):1563-1579.

LIU Ying,JIANG Wei,LI Guandian,et al.Textile defect recognition network based on label embedding[J].Optics and Precision Engineering,2023,31(10):1563-1579.
刘颖,姜威,李冠典等.基于标签嵌入方法的纺织品瑕疵识别网络[J].光学精密工程,2023,31(10):1563-1579. DOI： 10.37188/OPE.20233110.1563.

LIU Ying,JIANG Wei,LI Guandian,et al.Textile defect recognition network based on label embedding[J].Optics and Precision Engineering,2023,31(10):1563-1579. DOI： 10.37188/OPE.20233110.1563.

摘要

卷积神经网络（Convolutional Neural Network， CNN）可用于工业生产环境下的纺织品疵点的鉴别与分类。针对实际场景下的纺织品瑕疵存在瑕疵类型视觉区分度小和实际数据样本采集时的瑕疵类别不平衡问题，本文提出了基于标签嵌入方法的纺织品瑕疵识别网络（Textile Defect Recognition Network Based on Label Embedding， TDRNet）。首先，算法调整了基础骨干网络的结构，从而提高模型的分类精度；接着算法还设计了标签嵌入模块（Label Embedded Module， LEM），并使用该模块来生成模型的类别权重偏移；然后，本文提出了分布感知损失函数（Distribution Perception Loss， DP Loss）调整算法的类别分布，从而减小同类瑕疵特征的类内距并增大异类瑕疵特征的类间距；最后，本文引入了Seesaw Loss损失函数，通过抑制少数类别的负样本梯度并提高对误分类时的样本损失来动态平衡模型训练过程中在不同样本下的更新梯度，以缓解少数类别的误分类率。在自制的“广东智能制造”布匹瑕疵分类数据集中，本文提出的框架在粗粒度分类和细粒度分类两个任务上的top1错误率可达16.35%和17.12%，而top5错误率在细粒度分类任务上低至5.20%。与其他分类模型相比，TDRNet在对比实验中取得了最优的结果。此外，TDRNet与近5年经典的细粒度分类模型进行了比较，并取得了SOTA结果，这充分表明了TDRNet的先进性。

Abstract

A convolutional neural network （CNN） can be used in the industrial production environment to identify and classify textile defects. To overcome the problems in the visual discrimination of small defect types and imbalance of textile defect categories in actual scenes， a textile defect recognition network （TDRNet） based on label embedding method is proposed. First， the backbone structure is adjusted to improve the classification accuracy of the model. Then， a label embedded module （LEM） is constructed to generate the category weight offset of the model. Subsequently， a distribution perception loss function （DP loss） is proposed to adjust the class distribution of the algorithm； this reduces the distance of homogenous defect features and increases the distance of heterogeneous features. Finally， the seesaw loss function is introduced to dynamically balance the gradient update for different samples during the model training process by suppressing the negative sample gradient of a few categories and increasing the sample loss during misclassification， thereby alleviating the misclassification rate of a few categories. In the self-made "Guangdong intelligent manufacturing" cloth defect classification dataset， the top1 error rate of our framework for rough-grained and fine-grained classifications reached 16.35% and 17.12%， respectively， whereas the top5 error rate of fine-grained classification was as low as 5.20%. Compared with other classification models， TDRNet achieved the best results. In addition， TDRNet was compared with the classical fine-grained classification model in recent five years and achieved state-of-the-art （SOTA） performance， fully demonstrating the enhancements provided.

关键词

Keywords

references

庄集超 . 基于深度卷积神经网络的布匹瑕疵点检测算法研究［D］. 秦皇岛：燕山大学， 2020 . doi: 10.1109/ccdc52312.2021.9601431 http://dx.doi.org/10.1109/ccdc52312.2021.9601431

ZHUANG J C . Research on Detection Algorithm Based on Deep Convolution Neural Network for Fabric Defects ［D］. Qinhuangdao ： Yanshan University ， 2020 . （in Chinese） . doi: 10.1109/ccdc52312.2021.9601431 http://dx.doi.org/10.1109/ccdc52312.2021.9601431

CHEN J H ， JAIN A K . A structural approach to identify defects in textured images ［C］. Proceedings of the 1988 IEEE International Conference on Systems， Man， and Cybernetics . 8 - 12 ， 1988， Beijing， China. IEEE ， 2002： 29 - 32 . doi: 10.1109/icsmc.1988.754234 http://dx.doi.org/10.1109/icsmc.1988.754234

COHEN F S ， FAN Z ， ATTALI S . Automated inspection of textile fabrics using textural models ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1991 ， 13 （ 8 ）： 803 - 808 . doi: 10.1109/34.85670 http://dx.doi.org/10.1109/34.85670

黄佩璠 . 基于深度学习的布匹瑕疵检测识别的研究和应用［D］. 南昌：南昌大学， 2021 .

HUANG P F . Research and Application of Fabric Defect Detection and Recognition Based on Deep Learning ［D］. Nanchang ： Nanchang University ， 2021 . （in Chinese）

CHIU S H ， CHOU S ， LIAW J J ， et al . Textural defect segmentation using a Fourier-domain maximum likelihood estimation method ［J］. Textile Research Journal ， 2002 ， 72 （ 3 ）： 253 - 258 . doi: 10.1177/004051750207200312 http://dx.doi.org/10.1177/004051750207200312

JING J F ， FAN X T ， LI P F . Automated fabric defect detection based on multiple Gabor filters and KPCA ［J］. International Journal of Multimedia and Ubiquitous Engineering ， 2016 ， 11 （ 6 ）： 93 - 106 . doi: 10.14257/ijmue.2016.11.6.09 http://dx.doi.org/10.14257/ijmue.2016.11.6.09

LIANG Z ， XU B ， CHI Z ， et al . Intelligent characterization and evaluation of yarn surface appearance using saliency map analysis， wavelet transform and fuzzy ARTMAP neural network ［J］. Expert Systems With Applications ， 2012 ， 39 （ 4 ）： 4201 - 4212 . doi: 10.1016/j.eswa.2011.09.114 http://dx.doi.org/10.1016/j.eswa.2011.09.114

陈彦彤，陈伟楠，张献中，等 . 基于深度卷积神经网络的蝇类面部识别［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1558 - 1567 . doi: 10.37188/OPE.20202807.1558 http://dx.doi.org/10.37188/OPE.20202807.1558

CHEN Y T ， CHEN W N ， ZHANG X Z ， et al . Fly facial recognition based on deep convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1558 - 1567 . （in Chinese） . doi: 10.37188/OPE.20202807.1558 http://dx.doi.org/10.37188/OPE.20202807.1558

王宸，张秀峰，刘超，等 . 改进YOLOv3的轮毂焊缝缺陷检测［J］. 光学精密工程， 2021 ， 29 （ 8 ）： 1942 - 1954 . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942

WANG C ， ZHANG X F ， LIU C ， et al . Detection method of wheel hub weld defects based on the improved YOLOv3 ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 8 ）： 1942 - 1954 . （in Chinese） . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942

JI L Y ， JIANG X Y ， GAO Y B ， et al . ADR-Net： context extraction network based on M-Net for medical image segmentation ［J］. Medical Physics ， 2020 ， 47 （ 9 ）： 4254 - 4264 . doi: 10.1002/mp.14364 http://dx.doi.org/10.1002/mp.14364

WANG C Y ， LI L F . Multi-scale residual deep network for semantic segmentation of buildings with regularizer of shape representation ［J］. Remote Sensing ， 2020 ， 12 （ 18 ）： 2932 . doi: 10.3390/rs12182932 http://dx.doi.org/10.3390/rs12182932

LIU W J ， ZHANG Y J ， FAN H S ， et al . A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image ［J］. IEEE Access ， 2020 ， 8 ： 131814 - 131825 . doi: 10.1109/access.2020.3009976 http://dx.doi.org/10.1109/access.2020.3009976

陈欣，万敏杰，马超，等 . 采用多尺度特征融合SSD的遥感图像小目标检测［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA C ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

王阳，陈薇伊，马军山 . 基于卷积神经网络的乳腺癌良恶性诊断［J］. 软件工程， 2022 ， 25 （ 1 ）： 6 - 9 .

WANG Y ， CHEN W Y ， MA J S . Diagnosis of benign and malignant breast cancer based on convolutional neural network ［J］. Software Engineer ， 2022 ， 25 （ 1 ）： 6 - 9 . （in Chinese）

UZEN H ， TURKOGLU M ， HANBAY D . Texture defect classification with multiple pooling and filter ensemble based on deep neural network ［J］. Expert Systems With Applications ， 2021 ， 175 ： 114838 . doi: 10.1016/j.eswa.2021.114838 http://dx.doi.org/10.1016/j.eswa.2021.114838

余永维，韩鑫，杜柳青 . 基于Inception-SSD算法的零件识别［J］. 光学精密工程， 2020 ， 28 （ 8 ）： 1799 - 1809 .

YU Y W ， HAN X ， DU L Q . Target part recognition based Inception-SSD algorithm ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1799 - 1809 . （in Chinese）

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［J］. Communications of the ACM ， 2017 ， 60 （ 6 ）： 84 - 90 . doi: 10.1145/3065386 http://dx.doi.org/10.1145/3065386

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep Residual Learning for Image Recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 27 - 30 ， 2016， Las Vegas， NV， USA. IEEE ， 2016： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

HU J ， SHEN L ， SUN G . Squeeze-and-Excitation Networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

OUYANG W B ， XU B G ， HOU J ， et al . Fabric defect detection using activation layer embedded convolutional neural network ［J］. IEEE Access ， 2019 ， 7 ： 70130 - 70140 . doi: 10.1109/access.2019.2913620 http://dx.doi.org/10.1109/access.2019.2913620

陆贵家 . 基于Cascade R-CNN改进的花色布匹瑕疵智能识别方法［J］. 现代信息科技， 2020 ， 4 （ 23 ）： 20 - 24 .

LU G J . Improved intelligent recognition method of pattern and color fabric defects based on cascade R-CNN ［J］. Modern Informationn Technology ， 2020 ， 4 （ 23 ）： 20 - 24 . （in Chinese）

PENG P R ， WANG Y ， HAO C ， et al . Automatic fabric defect detection method using PRAN-net ［J］. Applied Sciences ， 2020 ， 10 （ 23 ）： 8434 . doi: 10.3390/app10238434 http://dx.doi.org/10.3390/app10238434

Tianchi . Smart Diagnosis of Cloth Flaw Dataset ［DB/OL］. （ 2020 ）. https：//tianchi.aliyun.com/dataset/79336 https://tianchi.aliyun.com/dataset/79336

SMITH L N . Cyclical Learning Rates for Training Neural Networks ［C］. 2017 IEEE Winter Conference on Applications of Computer Vision （WACV）. 2431，2017 ， Santa Rosa， CA， USA. IEEE ， 2017 ： 464 - 472 . doi: 10.1109/wacv.2017.58 http://dx.doi.org/10.1109/wacv.2017.58

TAN M ， LE Q . EfficientNet： Rethinking Model Scaling for Convolutional Neural Networks ［C］. International conference on machine learning. PMLR ， 2019 ： 6105 - 6114 .

HUANG G ， LIU Z ， VAN DER MAATEN L ， et al . Densely Connected Convolutional Networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 2261 - 2269 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243

XIE S N ， GIRSHICK R ， DOLLÁR P ， et al . Aggregated Residual Transformations for Deep Neural Networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 5987 - 5995 . doi: 10.1109/cvpr.2017.634 http://dx.doi.org/10.1109/cvpr.2017.634

ZAGORUYKO S ， KOMODAKIS N . Wide residual networks ［J］. arXiv preprint arXiv： 1605.07146 ， 2016 . doi: 10.5244/c.30.87 http://dx.doi.org/10.5244/c.30.87

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An image is worth 16x16 words： Transformers for image recognition at scale ［J］. arXiv preprint arXiv： 2010.11929 ， 2020 .

SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［J］. arXiv preprint arXiv： 1409.1556 ， 2014 .

ZHENG H L ， FU J L ， MEI T ， et al . Learning Multi-Attention Convolutional Neural Network for Fine-Grained Image Recognition ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 5219 - 5227 . doi: 10.1109/iccv.2017.557 http://dx.doi.org/10.1109/iccv.2017.557

FU J L ， ZHENG H L ， MEI T . Look Closer to See Better： Recurrent Attention Convolutional Neural Network for Fine-Grained Image Recognition ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 4476 - 4484 . doi: 10.1109/cvpr.2017.476 http://dx.doi.org/10.1109/cvpr.2017.476

HU T ， QI H ， HUANG Q ， et al . See better before looking closer： Weakly supervised data augmentation network for fine-grained visual classification ［J］. arXiv preprint arXiv： 1901.09891 ， 2019 .

ZHENG H L ， FU J L ， ZHA Z J ， et al . Looking for the Devil in the Details： Learning Trilinear Attention Sampling Network for Fine-Grained Image Recognition ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 5007 - 5016 . doi: 10.1109/cvpr.2019.00515 http://dx.doi.org/10.1109/cvpr.2019.00515

CHEN Y ， BAI Y L ， ZHANG W ， et al . Destruction and Construction Learning for Fine-Grained Image Recognition ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 5152 - 5161 . doi: 10.1109/cvpr.2019.00530 http://dx.doi.org/10.1109/cvpr.2019.00530

HE J ， CHEN J N ， LIU S ， et al . TransFG： a transformer architecture for fine-grained recognition ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2022 ， 36 （ 1 ）： 852 - 860 . doi: 10.1609/aaai.v36i1.19967 http://dx.doi.org/10.1609/aaai.v36i1.19967

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

渐进式CNN-Transformer语义补偿息肉分割网络

级联残差优化Transformer网络的图像超分辨率重建

基于跨层次聚合网络的实时城市街景语义分割

CNN-Transformer结合对比学习的高光谱与LiDAR数据协同分类

基于分数阶微分的高光谱图像特征提取与分类