基于Swin Transformer轻量化的TFT-LCD面板缺陷分类算法

夏衍; 罗晨; 周怡君; 贾磊

doi:10.37188/OPE.20233122.3357

您当前的位置：

首页 >

文章列表页 >

基于Swin Transformer轻量化的TFT-LCD面板缺陷分类算法

信息科学 | 更新时间：2023-11-28

- 基于Swin Transformer轻量化的TFT-LCD面板缺陷分类算法
- A lightweight deep learning model for TFT-LCD circuits defect classification based on swin transformer
- 光学精密工程 2023年31卷第22期页码：3357-3370
- 作者机构：
  
  1.东南大学机械工程学院，江苏南京 211189
  2.无锡尚实电子科技有限公司，江苏无锡 214174
- 作者简介：
  
  [ "夏衍（1998-），男，安徽安庆人，硕士，2020年于东北大学获得学士学位，2023年于东南大学获得硕士学位，主要从事图像处理、深度学习的研究。E-mail:xiayan@wxautowell.com" ]
  [ "罗晨（1980-），女，江苏扬州人，博士，副教授，博士生导师，2002年于东南大学获得学士学位,2005年于上海交通大学获得硕士学位，2010年于上海交通大学获得博士学位，主要从事机器视觉、三维测量、机器人等方面的研究。E-mail:chenluo@seu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(51975119);无锡市“太湖之光”科技攻关（产业前瞻及关键技术研发）项目资助(G20222011)
- DOI：10.37188/OPE.20233122.3357
  中图分类号： TP394.1
- 收稿日期：2023-03-30，
  
  修回日期：2023-05-10，
  
  纸质出版日期：2023-11-25
- 稿件说明：
移动端阅览
夏衍,罗晨,周怡君等.基于Swin Transformer轻量化的TFT-LCD面板缺陷分类算法[J].光学精密工程,2023,31(22):3357-3370.

XIA Yan,LUO Chen,ZHOU Yijun,et al.A lightweight deep learning model for TFT-LCD circuits defect classification based on swin transformer[J].Optics and Precision Engineering,2023,31(22):3357-3370.
夏衍,罗晨,周怡君等.基于Swin Transformer轻量化的TFT-LCD面板缺陷分类算法[J].光学精密工程,2023,31(22):3357-3370. DOI： 10.37188/OPE.20233122.3357.

XIA Yan,LUO Chen,ZHOU Yijun,et al.A lightweight deep learning model for TFT-LCD circuits defect classification based on swin transformer[J].Optics and Precision Engineering,2023,31(22):3357-3370. DOI： 10.37188/OPE.20233122.3357.

摘要

在TFT-LCD面板缺陷检测中，检测对象背景复杂、缺陷细微且种类繁多，而工业生产实时性要求高，传统的缺陷分类算法往往难以兼顾精度和速度要求，无法适用于实际生产应用。为均衡TFT-LCD面板缺陷分类的准确率和速率，提出一种基于Swin Transformer的轻量化深度学习图像分类模型。首先对模型每层输入的特征图进行Token融合以减少模型计算量，从而提高模型的轻量化水平。其次引入深度可分离卷积模块以帮助模型增加卷积归纳偏置，从而缓解模型对海量数据的依赖问题。最后使用知识蒸馏方法来克服模型轻量化导致的检测精度下降问题。在自制TFT-LCD面板缺陷分类数据集上的实验表明，本文提出的改进模型相比基线模型，FLOPs计算量降低了2.6 G，速度指标提升了17%，而Top-1 Acc精度仅损失1.3%，且与其他图像分类主流模型相比，在自制数据集和公开数据集上都具有更均衡的精度和速度。

Abstract

Defect detection in thin film transistor-liquid crystal display （TFT-LCD） circuits is a challenging task because of the complex background setting， different types of defects involved， and real-time detection requirements from industry. Traditional methods have difficulties in satisfying the dual requirements of detection speed and accuracy. To address this challenge， in this study， a deep learning method is developed for image classification based on the Swin Transformer technique. First， token merging is used to reduce the computational complexity of each layer of the model， thus improving computation efficiency. Then， a depthwise separable convolution module is introduced to add convolutional bias to reduce the reliance on massive data. Finally， a knowledge distillation method is applied to overcome the problem of reduced detection accuracy caused by the less-intensive computation design. Experimental results on the self-made dataset demonstrate that the proposed method achieves a 2.6 G FLOPs reduction and a 17% speed improvement compared to baseline models， with only a 1.3% Top-1 accuracy precision reduction. More importantly， the proposed model achieves better balance on accuracy and detection speed on both self-made and public datasets than existing mainstream models on image classification in the TFT-LCD manufacturing industry.

关键词

Keywords

references

HARALICK R M ， SHANMUGAM K ， DINSTEIN I . Textural features for image classification ［J］. IEEE Transactions on Systems， Man， and Cybernetics ， 1973 ， SMC-3（ 6 ）： 610 - 621 . doi: 10.1109/tsmc.1973.4309314 http://dx.doi.org/10.1109/tsmc.1973.4309314

DALAL N ， TRIGGS B . Histograms of oriented gradients for human detection ［C］. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05） . 20 - 25 ， 2005， San Diego， CA， USA. IEEE ， 2005： 886 - 893 . doi: 10.1109/cvpr.2005.177 http://dx.doi.org/10.1109/cvpr.2005.177

STOCKMAN G ， SHAPIRO LG . Computer Vision ［M］. New Jersey ： Prentice Hall ， 2002 ： 69 - 73 .

PLATT J C . Sequential minimal optimization： a fast algorithm for training support vector machines ［S］. Microsoft Research Technical Report， 1998 . doi: 10.7551/mitpress/1130.003.0016 http://dx.doi.org/10.7551/mitpress/1130.003.0016

KANG S B ， LEE J H ， SONG K Y ， et al . Automatic defect classification of TFT-LCD panels using machine learning ［C］. 2009 IEEE International Symposium on Industrial Electronics . 5 - 8 ， 2009， Seoul， Korea （South）. IEEE ， 2009： 2175 - 2177 . doi: 10.1109/isie.2009.5213760 http://dx.doi.org/10.1109/isie.2009.5213760

HUANG W ， LU H T . Defect Classification of TFT-LCD with bag of visual words approach ［C］. 2012 IEEE 6th International Conference on Information and Automation for Sustainability . 27 - 29 ， 2012， Beijing. IEEE ， 2013： 167 - 170 . doi: 10.1109/iciafs.2012.6419899 http://dx.doi.org/10.1109/iciafs.2012.6419899

KONG L F ， SHEN J ， HU Z L ， et al . Detection of Water-Stains defects in TFT-LCD based on machine vision ［C］. 2018 11th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics （CISP-BMEI） . 13 - 15 ， 2018， Beijing， China. IEEE ， 2019： 1 - 5 . doi: 10.1109/cisp-bmei.2018.8633154 http://dx.doi.org/10.1109/cisp-bmei.2018.8633154

肖术明，王绍举，常琳，等 . 面向手写数字图像的压缩感知快速分类［J］. 光学精密工程， 2021 ， 29 （ 7 ）： 1709 - 1719 . doi: 10.37188/OPE.20212907.1709 http://dx.doi.org/10.37188/OPE.20212907.1709

XIAO S M ， WANG S J ， CHANG L ， et al . Compressive sensing fast classification for handwritten digital images ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 7 ）： 1709 - 1719 . （in Chinese） . doi: 10.37188/OPE.20212907.1709 http://dx.doi.org/10.37188/OPE.20212907.1709

苗传开，娄树理，李婷，等 . 基于弱监督学习的多标签红外图像分类算法［J］. 光学精密工程， 2022 ， 30 （ 20 ）： 2501 - 2509 . doi: 10.37188/ope.20223020.2501 http://dx.doi.org/10.37188/ope.20223020.2501

MIAO C K ， LOU S L ， LI T ， et al . Multi-label infrared image classification algorithm based on weakly supervised learning ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 20 ）： 2501 - 2509 . （in Chinese） . doi: 10.37188/ope.20223020.2501 http://dx.doi.org/10.37188/ope.20223020.2501

CHIKONTWE P ， KIM S ， PARK S H . CAD： Co-Adapting discriminative features for improved Few-Shot classification ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 18 - 24 ， 2022， New Orleans， LA， USA. IEEE ， 2022： 14534 - 14543 . doi: 10.1109/cvpr52688.2022.01415 http://dx.doi.org/10.1109/cvpr52688.2022.01415

ZHANG Z ， XUE Z ， CHEN Y ， et al . Boosting Verified Training for Robust Image Classifications via Abstraction ［EB/OL］. 2023 ： arXiv ： 2303 . 11552 . https：//arxiv.org/abs/2303.11552.pdf https://arxiv.org/abs/2303.11552.pdf . doi: 10.1109/cvpr52729.2023.01559 http://dx.doi.org/10.1109/cvpr52729.2023.01559

CHEN W ， GAO Y ， GAO L ， et al . A new ensemble approach based on deep convolutional neural networks for steel surface defect classification ［J］. Procedia CIRP ， 2018 ， 72 ： 1069 - 1072 . doi: 10.1016/j.procir.2018.03.264 http://dx.doi.org/10.1016/j.procir.2018.03.264

FU G ， SUN P ， ZHU W ， et al . A deep-learning-based approach for fast and robust steel surface defects classification ［J］. Optics and Lasers in Engineering ， 2019 ， 121 ： 397 - 405 . doi: 10.1016/j.optlaseng.2019.05.005 http://dx.doi.org/10.1016/j.optlaseng.2019.05.005

KONOVALENKO I ， MARUSCHAK P ， BREZINOVÁ J ， et al . Steel surface defect classification using deep residual neural network ［J］. Metals ， 2020 ， 10 （ 6 ）： 846 . doi: 10.3390/met10060846 http://dx.doi.org/10.3390/met10060846

HE D ， XU K ， WANG D . Design of multi-scale receptive field convolutional neural network for surface inspection of hot rolled steels ［J］. Image and Vision Computing ， 2019 ， 89 ： 12 - 20 . doi: 10.1016/j.imavis.2019.06.008 http://dx.doi.org/10.1016/j.imavis.2019.06.008

HASELMANN M ， GRUBER D . Supervised machine learning based surface inspection by synthetizing artificial defects ［C］. 2017 16th IEEE International Conference on Machine Learning and Applications （ICMLA） . 18 - 21 ， 2017， Cancun， Mexico. IEEE ， 2018： 390 - 395 . doi: 10.1109/icmla.2017.0-130 http://dx.doi.org/10.1109/icmla.2017.0-130

LIU Z ， LIN Y T ， CAO Y ， et al . Swin transformer： hierarchical vision transformer using shifted windows ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . 10 - 17 ， 2021， Montreal， QC， Canada. IEEE ， 2022： 9992 - 10002 . doi: 10.1109/iccv48922.2021.00986 http://dx.doi.org/10.1109/iccv48922.2021.00986

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An image is worth 16 x 16 words： transformers for image recognition at scale［EB/OL］. 2020 ： arXiv ： 2010 . 11929 . https：//arxiv.org/abs/2010.11929.pdf https://arxiv.org/abs/2010.11929.pdf

BOLYA D ， FU C ， DAI X ， et al . Token Merging ： your ViT but Faster ［EB/OL］. 2022 ： arXiv ： 2210 . 09461 . https：//arxiv.org/abs/2210.09461.pdf https://arxiv.org/abs/2210.09461.pdf

CHOLLET F . Xception： deep learning with depthwise separable convolutions ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 1800 - 1807 . doi: 10.1109/cvpr.2017.195 http://dx.doi.org/10.1109/cvpr.2017.195

HINTON G ， VINYALS O ， DEAN J . Distilling The Knowledge in a Neural Network ［EB/OL］. 2015 ： arXiv ： 1503 . 02531 . https：//arxiv.org/abs/1503.02531.pdf https://arxiv.org/abs/1503.02531.pdf . doi: 10.5860/choice.189890 http://dx.doi.org/10.5860/choice.189890

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 27 - 30 ， 2016， Las Vegas， NV， USA. IEEE ， 2016： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

HUANG G ， LIU Z ， VAN DER MAATEN L ， et al . Densely connected convolutional networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 2261 - 2269 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243

TAN M ， LE Q V . EfficientNetV 2： Smaller Models and Faster Training ［EB/OL］. 2021 ： arXiv ： 2104 . 00298 . https：//arxiv.org/abs/2104.00298.pdf https://arxiv.org/abs/2104.00298.pdf .

MEHTA S ， RASTEGARI M . Separable Self - Attention for Mobile Vision Transformers ［EB/OL］. 2022 ： arXiv ： 2206 . 02680 . https：//arxiv.org/abs/2206.02680.pdf https://arxiv.org/abs/2206.02680.pdf . doi: 10.1145/3503161.3548540 http://dx.doi.org/10.1145/3503161.3548540

LIU Z ， MAO H Z ， WU C Y ， et al . A ConvNet for the 2020s ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 18 - 24 ， 2022， New Orleans， LA， USA. IEEE ， 2022： 11966 - 11976 . doi: 10.1109/cvpr52688.2022.01167 http://dx.doi.org/10.1109/cvpr52688.2022.01167

WOO S ， DEBNATH S ， HU R H ， et al . ConvNeXt V2： Co-Designing and scaling convnets with masked autoencoders ［C］. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 17 - 24 ， 2023， Vancouver， BC， Canada. IEEE ， 2023： 16133 - 16142 . doi: 10.1109/cvpr52729.2023.01548 http://dx.doi.org/10.1109/cvpr52729.2023.01548

FANG Y X ， WANG W ， XIE B H ， et al . EVA： exploring the limits of masked visual representation learning at scale ［C］. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 17 - 24 ， 2023， Vancouver， BC， Canada. IEEE ， 2023： 19358 - 19369 . doi: 10.1109/cvpr52729.2023.01855 http://dx.doi.org/10.1109/cvpr52729.2023.01855

FANG Y ， SUN Q ， WANG X ， et al . EVA -02： a Visual Representation for Neon Genesis ［EB/OL］. 2023 ： arXiv ： 2303 . 11331 . https：//arxiv.org/abs/2303.11331.pdf https://arxiv.org/abs/2303.11331.pdf . doi: 10.1109/cvpr52729.2023.01855 http://dx.doi.org/10.1109/cvpr52729.2023.01855

浏览量

1115

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于知识蒸馏的Transformer视觉跟踪器

LightDiffu-DCE：基于光照强度扩散的低光照图像增强

多级图特征融合引导相机位姿回归

基于机载的红外动态目标视频实时超分辨率重建

多尺度与三维交互特征优化的皮肤镜图像分类