基于知识蒸馏的低分辨率陶瓷基板图像瑕疵检测

郭峰; 孙小栋; 朱启兵; 黄敏; 徐晓祥

doi:10.37188/OPE.20233120.3065

您当前的位置：

首页 >

文章列表页 >

基于知识蒸馏的低分辨率陶瓷基板图像瑕疵检测

信息科学 | 更新时间：2023-11-27

- 基于知识蒸馏的低分辨率陶瓷基板图像瑕疵检测
- Defect detection of low-resolution ceramic substrate image based on knowledge distillation
- 光学精密工程 2023年31卷第20期页码：3065-3076
- 作者机构：
  
  1.江南大学轻工过程先进控制教育部重点实验室，江苏无锡 214122
  2.无锡市创凯电气控制设备有限公司，江苏无锡 214400
- 作者简介：
  
  [ "郭峰（1998-），男，湖北麻城人，硕士研究生，2020年武汉科技大学获得学士学位，主要从事深度学习目标检测方面的研究。E-mail： guofeng20_20@163.com" ]
  [ "朱启兵（1973-），男，安徽合肥人，教授，博士生导师，2006年于东北大学获得博士学位，主要从事传感与检测技术、信息感知与智能处理、物联网技术等领域的研究工作。E-mail： zhuqib@163.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(62273166)
- DOI：10.37188/OPE.20233120.3065
  中图分类号： TP391.4
- 收稿日期：2023-04-10，
  
  修回日期：2023-07-17，
  
  纸质出版日期：2023-10-25
- 稿件说明：
移动端阅览
郭峰,孙小栋,朱启兵等.基于知识蒸馏的低分辨率陶瓷基板图像瑕疵检测[J].光学精密工程,2023,31(20):3065-3076.

GUO Feng,SUN Xiaodong,ZHU Qibing,et al.Defect detection of low-resolution ceramic substrate image based on knowledge distillation[J].Optics and Precision Engineering,2023,31(20):3065-3076.
郭峰,孙小栋,朱启兵等.基于知识蒸馏的低分辨率陶瓷基板图像瑕疵检测[J].光学精密工程,2023,31(20):3065-3076. DOI： 10.37188/OPE.20233120.3065.

GUO Feng,SUN Xiaodong,ZHU Qibing,et al.Defect detection of low-resolution ceramic substrate image based on knowledge distillation[J].Optics and Precision Engineering,2023,31(20):3065-3076. DOI： 10.37188/OPE.20233120.3065.

摘要

陶瓷基板是电子器件的重要基础材料，利用机器视觉技术结合深度学习策略实现陶瓷基板的瑕疵检测对保证产品质量具有重要的意义。增加成像设备的视场以实现多个陶瓷基板的同时成像，可以显著提高陶瓷基板的检测速度；但也带来了图像分辨率的降低，并最终导致瑕疵检测精度的降低。针对上述问题，本文提出了一种基于知识蒸馏的低分辨率陶瓷基板瑕疵自动检测方法。该方法利用YOLOv5框架分别构建了教师网络和学生网络，基于知识蒸馏思想将教师网络获得的高分辨率图像特征信息指导学生网络的训练，以提高学生网络对低分辨率陶瓷基板图像的瑕疵检测能力；同时，在教师网络中引入基于Coordinate Attention （CA）注意力思想的特征融合模块，使得教师网络学习到的特征同时适应高分辨率图像信息和低分辨率图像信息，从而能较好地指导学生网络的训练；最后，引入基于Gradient Harmonizing Mechanism（GHM）的置信度损失函数，以提高瑕疵的检出率。实验结果表明，本文基于知识蒸馏的陶瓷基板瑕疵检测方法对于224×224分辨率输入图像的污渍、异物、多金、缺瓷以及损伤这五类瑕疵检测的平均准确率和平均召回率分别达到了96.80%和90.01%，相比于目前主流的目标检测算法，本文算法取得了更好的检测结果。

Abstract

Ceramic substrate is a vital foundational material of electronic devices， and implementing defect detection for ceramic substrates using machine vision technology combined with deep learning strategies holds significant importance in ensuring product quality. Increasing the field of view of the imaging equipment to make simultaneous imaging of multiple ceramic substrates possible can significantly improve the detection speed of a ceramic substrate. However， it also results in decreased image resolution and subsequently reduces the accuracy of defect detection. To solve these problems， a low-resolution ceramic substrate defect automatic detection method based on knowledge distillation is proposed. The method utilizes the YOLOv5 framework to construct a teacher network and a student network. Based on the idea of knowledge distillation， high-resolution image feature information obtained by the teacher network is used to guide the training of the student network to improve the defect detection ability of the student network for low-resolution ceramic substrate images. Moreover， a feature fusion module based on the coordinate attention （CA） idea is introduced into the teacher network， enabling it to learn features that adapt to both high-resolution and low-resolution image information， thus better guiding the training of the student network. Finally， a confidence loss function based on the gradient harmonizing mechanism （GHM） is introduced to enhance the defect detection rate. Experimental results demonstrate that the proposed ceramic substrate defect detection method based on knowledge distillation achieves an average accuracy and average recall of 96.80% and 90.01%， respectively， for the detection of five types of defect-stain， foreign matter， gold edge bulge， ceramic gap， and damage-in low-resolution （224×224） input images. Compared with current mainstream object detection algorithms， the proposed algorithm achieves better detection results.

关键词

Keywords

references

郭峰，朱启兵，黄敏，等 . 基于改进YOLOV4的陶瓷基板瑕疵检测［J］. 光学精密工程， 2022 ， 30 （ 13 ）： 1631 - 1641 . doi: 10.37188/OPE.20223013.1631 http://dx.doi.org/10.37188/OPE.20223013.1631

GUO F ， ZHU Q B ， HUANG M ， et al . Defect detection in ceramic substrate based on improved YOLOV4 ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 13 ）： 1631 - 1641 . （in Chinese） . doi: 10.37188/OPE.20223013.1631 http://dx.doi.org/10.37188/OPE.20223013.1631

LI J C ， FANG F M ， MEI K F ， et al . Multi - Scale Residual Network for Image Super - Resolution ［M］. Computer Vision - ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 527 - 542 . doi: 10.1007/978-3-030-01237-3_32 http://dx.doi.org/10.1007/978-3-030-01237-3_32

QI L ， KUEN J ， GU J X ， et al . Multi-scale aligned distillation for low-resolution detection ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 20 - 25 ， 2021， Nashville， TN， USA. IEEE ， 2021： 14438 - 14448 . doi: 10.1109/cvpr46437.2021.01421 http://dx.doi.org/10.1109/cvpr46437.2021.01421

HINTON G ， VINYALS O ， DEAN J . Distilling The Knowledge in a Neural Network ［EB/OL］. 2015 ： arXiv ： 1503 . 02531 . https：//arxiv.org/abs/1503.02531.pdf https://arxiv.org/abs/1503.02531.pdf . doi: 10.5860/choice.189890 http://dx.doi.org/10.5860/choice.189890

HE T ， SHEN C H ， TIAN Z ， et al . Knowledge adaptation for efficient semantic segmentation ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 578 - 587 . doi: 10.1109/cvpr.2019.00067 http://dx.doi.org/10.1109/cvpr.2019.00067

LIU Y F ， SHU C Y ， WANG J D ， et al . Structured knowledge distillation for dense prediction ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2023 ， 45 （ 6 ）： 7035 - 7049 . doi: 10.1109/tpami.2020.3001940 http://dx.doi.org/10.1109/tpami.2020.3001940

CHEN G B ， CHOI W ， YU X ， et al . Learning efficient object detection models with knowledge distillation ［C］. Proceedings of the 31st International Conference on Neural Information Processing Systems . 4-9，2017 ， Long Beach， California， USA. New York ： ACM ， 2017 ： 742 - 751 .

WANG T ， YUAN L ， ZHANG X P ， et al . Distilling object detectors with fine-grained feature imitation ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 4928 - 4937 . doi: 10.1109/cvpr.2019.00507 http://dx.doi.org/10.1109/cvpr.2019.00507

ZHANG L ， MA K . Improve object detection with feature-based knowledge distillation： towards accurate and efficient detectors ［C］. International Conference on Learning Representations， Addis Ababa， Ethiopia . 2020 .

褚晶辉，史李栋，井佩光，等 . 适用于目标检测的上下文感知知识蒸馏网络［J］. 浙江大学学报（工学版）， 2022 ， 56 （ 3 ）： 503 - 509 .

CHU J H ， SHI L D ， JING P G ， et al . Context-aware knowledge distillation network for object detection ［J］. Journal of Zhejiang University （Engineering Science）， 2022 ， 56 （ 3 ）： 503 - 509 . （in Chinese）

HOU Q B ， ZHOU D Q ， FENG J S . Coordinate attention for efficient mobile network design ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 20 - 25 ， 2021， Nashville， TN， USA. IEEE ， 2021： 13708 - 13717 . doi: 10.1109/cvpr46437.2021.01350 http://dx.doi.org/10.1109/cvpr46437.2021.01350

LIU S ， QI L ， QIN H F ， et al . Path aggregation network for instance segmentation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 8759 - 8768 . doi: 10.1109/cvpr.2018.00913 http://dx.doi.org/10.1109/cvpr.2018.00913

黄震华，杨顺志，林威，等 . 知识蒸馏研究综述［J］. 计算机学报， 2022 ， 45（ 3 ） 624 - 653 . doi: 10.11897/SP.J.1016.2022.00624 http://dx.doi.org/10.11897/SP.J.1016.2022.00624

HUANG Z H ， YANG S Z ， LIN W ， et al . Knowledge distillation： a survey ［J］. Chinese Journal of Computers ， 2022 ， 45（ 3 ） 624 - 653 . （in Chinese） . doi: 10.11897/SP.J.1016.2022.00624 http://dx.doi.org/10.11897/SP.J.1016.2022.00624

FU K ， SHI P P ， SONG Y F ， et al . Ultrafast video attention prediction with coupled knowledge distillation ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 10802 - 10809 . doi: 10.1609/aaai.v34i07.6710 http://dx.doi.org/10.1609/aaai.v34i07.6710

LI B Y ， LIU Y ， WANG X G . Gradient harmonized single-stage detector ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2019 ， 33 （ 1 ）： 8577 - 8584 . doi: 10.1609/aaai.v33i01.33018577 http://dx.doi.org/10.1609/aaai.v33i01.33018577

KISANTAL M ， WOJNA Z ， MURAWSKI J ， et al . Augmentation for Small Object Detection ［EB/OL］. 2019 ： arXiv ： 1902 . 07296 . https：//arxiv.org/abs/1902.07296.pdf https://arxiv.org/abs/1902.07296.pdf . doi: 10.5121/csit.2019.91713 http://dx.doi.org/10.5121/csit.2019.91713

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

CAI Z W ， VASCONCELOS N . Cascade R-CNN： delving into high quality object detection ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 6154 - 6162 . doi: 10.1109/cvpr.2018.00644 http://dx.doi.org/10.1109/cvpr.2018.00644

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： Optimal Speed and Accuracy of Object Detection ［EB/OL］. 2020 ： arXiv ： 2004 . 10934 . https：//arxiv.org/abs/2004.10934.pdf https://arxiv.org/abs/2004.10934.pdf

GE Z ， LIU S ， WANG F ， et al . YOLOX： Exceeding YOLO Series in 2021 ［EB/OL］. 2021 ： arXiv ： 2107 . 08430 . https：//arxiv.org/abs/2107.08430.pdf https://arxiv.org/abs/2107.08430.pdf

LI C ， LI L ， JIANG H ， et al . YOLOv6： A Single-Stage Object Detection Framework for Industrial Applications ［EB/OL］. 2022 ： arXiv ： 2209 . 02976 . https：//arxiv.org/abs/2209.02976.pdf https://arxiv.org/abs/2209.02976.pdf

WANG C Y ， BOCHKOVSKIY A ， LIAO H Y M . YOLOv7： Trainable Bag-of-Freebies Sets New State-of-the-Art for Real-Time Object Detectors ［EB/OL］. 2022 ： arXiv ： 2207 . 02696 . https：//arxiv.org/abs/2207.02696.pdf https://arxiv.org/abs/2207.02696.pdf . doi: 10.1109/cvpr52729.2023.00721 http://dx.doi.org/10.1109/cvpr52729.2023.00721

浏览量

257

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

融合特征重组和注意力的小样本战斗部破片群目标检测

柔性浅埋物的声-振智能探测

多模态跨级特征知识转移下音频目标检测网络

融合知识蒸馏和注意力机制的光伏热斑检测

强化特征提取能力的下颌骨骨折检测3M-YOLOv5网络