并行特征提取和渐进特征融合的计算机主板装配缺陷检测

陈俊英; 李朝阳; 黄汉涛; 董戌泽

doi:10.37188/OPE.20243210.1622

您当前的位置：

首页 >

文章列表页 >

并行特征提取和渐进特征融合的计算机主板装配缺陷检测

信息科学 | 更新时间：2024-06-11

- 并行特征提取和渐进特征融合的计算机主板装配缺陷检测
- Computer motherboard assembly defect detection using parallel feature extraction and progressive feature fusion
- 光学精密工程 2024年32卷第10期页码：1622-1637
- 作者机构：
  
  西安建筑科技大学信息与控制工程学院，陕西西安 710055
- 作者简介：
  
  [ "陈俊英（1980-），女，内蒙古丰镇人，博士，副教授，硕士生导师，新南威尔士大学访问学者。2004年于西安交通大学获得硕士学位，2010年于西安交通大学获得博士学位，现为西安建筑科技大学信息与控制工程学院教师，主要从事计算机视觉及机器学习方面的研究。E-mail：chenjy@xauat.edu.cn" ]
  [ "李朝阳（2000-），男，陕西咸阳人，硕士研究生，主要从事机器视觉及图像处理缺陷检测方面的研究。E-mail：nicholas@xauat.edu.cn" ]
- 基金信息：
  
  国家自然科学基金项目(62103316);陕西省自然科学基础研究计划项目(2023-JC-YB-562)
- DOI：10.37188/OPE.20243210.1622
  中图分类号： TP394.1;TH691.9
- 收稿日期：2023-12-08，
  
  修回日期：2024-03-05，
  
  纸质出版日期：2024-05-25
- 稿件说明：
移动端阅览
陈俊英,李朝阳,黄汉涛等.并行特征提取和渐进特征融合的计算机主板装配缺陷检测[J].光学精密工程,2024,32(10):1622-1637.

CHEN Junying,LI Zhaoyang,HUANG Hantao,et al.Computer motherboard assembly defect detection using parallel feature extraction and progressive feature fusion[J].Optics and Precision Engineering,2024,32(10):1622-1637.
陈俊英,李朝阳,黄汉涛等.并行特征提取和渐进特征融合的计算机主板装配缺陷检测[J].光学精密工程,2024,32(10):1622-1637. DOI： 10.37188/OPE.20243210.1622.

CHEN Junying,LI Zhaoyang,HUANG Hantao,et al.Computer motherboard assembly defect detection using parallel feature extraction and progressive feature fusion[J].Optics and Precision Engineering,2024,32(10):1622-1637. DOI： 10.37188/OPE.20243210.1622.

摘要

针对计算机主板装配缺陷检测中的元器件位置分布复杂、缺陷目标不显著及多尺度等问题，本文提出了一种并行特征提取和互交叉渐进特征融合的端到端的缺陷检测算法。首先，结合部分卷积和视觉Transformer提出了一种并行残差特征提取网络，利用部分卷积的低计算复杂度的优势提取局部特征，同时利用视觉Transformer的长距离建模能力扩大模型的感受野，增强网络的特征提取能力。其次，引入注意力机制和特征渐进融合机制，提出了一种多尺度注意力互交叉的渐进特征融合网络，增强检测模型的特征融合能力。在公开数据集上的实验结果表明，该算法的平均精度均值（mAP）达到了94.63%，相较于基线模型YOLOv5提升了4.62%，并优于其他几种先进模型，检测速度达到了25 FPS。实现了较好的检测精度与速度的平衡，为实际工业环境下计算机主板表面装配缺陷检测自动化和智能化的实现提供了一种快速、有效的方法。

Abstract

In view of the complex distribution of component positions， lack of prominent defect targets， and multi-scale issues in the detection of defects in computer motherboard assembly， this paper proposed an end-to-end defect detection algorithm based on parallel feature extraction and cross-attention progressive feature fusion. Firstly， a parallel residual feature extraction network was proposed by combining partial convolution and visual Transformer. The low computational complexity of partial convolution was utilized to extract local features， while the long-distance modeling ability of visual Transformer was utilized to expand the receptive field of the model and enhance the feature extraction ability of the network. Secondly， the cross-attention mechanism was introduced to progressively fuse multi-scale features， and a multi-scale cross-attention progressive feature fusion network was constructed to enhance the feature fusion ability of the detection model. The experimental results on the public dataset show that the mean average accuracy （mAP） of the algorithm reaches 94.63%， which is 4.62% higher than the baseline model YOLOv5 and is superior to several other advanced models. The detection speed reaches 25 FPS， achieving a good balance between detection accuracy and speed. It provides a fast and effective method for the automation and intelligence of surface assembly defect detection on computer motherboards in the actual industrial environment.

关键词

Keywords

references

陶显，侯伟，徐德 . 基于深度学习的表面缺陷检测方法综述［J］. 自动化学报， 2021 ， 47 （ 5 ）： 1017 - 1034 .

TAO X ， HOU W ， XU D . A survey of surface defect detection methods based on deep learning ［J］. Acta Automatica Sinica ， 2021 ， 47 （ 5 ）： 1017 - 1034 . （in Chinese）

卞佰成，陈田，吴入军，等 . 基于改进YOLOv3的印刷电路板缺陷检测算法［J］. 浙江大学学报（工学版）， 2023 ， 57 （ 4 ）： 735 - 743 .

BIAN B C ， CHEN T ， WU R J ， et al . Improved YOLOv3-based defect detection algorithm for printed circuit board ［J］. Journal of Zhejiang University （Engineering Science）， 2023 ， 57 （ 4 ）： 735 - 743 . （in Chinese）

陈亚芳，廖飞，黄新宇，等 . 多尺度YOLOv5的太阳能电池缺陷检测［J］. 光学精密工程， 2023 ， 31 （ 12 ）： 1804 - 1815 . doi: 10.37188/OPE.20233112.1804 http://dx.doi.org/10.37188/OPE.20233112.1804

CHEN Y F ， LIAO F ， HUANG X Y ， et al . Multi-scale YOLOv5 for solar cell defect detection ［J］. Opt. Precision Eng. ， 2023 ， 31 （ 12 ）： 1804 - 1815 . （in Chinese） . doi: 10.37188/OPE.20233112.1804 http://dx.doi.org/10.37188/OPE.20233112.1804

李可，吴忠卿，吉勇，等 . 改进U-Net芯片X线图像焊缝气泡缺陷检测方法［J］. 华中科技大学学报（自然科学版）， 2022 ， 50 （ 6 ）： 104 - 110 . doi: 10.13245/j.hust.220613 http://dx.doi.org/10.13245/j.hust.220613

LI K ， WU Z Q ， JI Y ， et al . Detection method of weld bubble defect in chip X-ray image based on improved U-Net network ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2022 ， 50 （ 6 ）： 104 - 110 . （in Chinese） . doi: 10.13245/j.hust.220613 http://dx.doi.org/10.13245/j.hust.220613

沈宗礼，余建波 . 基于迁移学习与深度森林的晶圆图缺陷识别［J］. 浙江大学学报（工学版）， 2020 ， 54 （ 6 ）： 1228 - 1239 .

SHEN Z L ， YU J B . Wafer map defect recognition based on transfer learning and deep forest ［J］. Journal of Zhejiang University （Engineering Science）， 2020 ， 54 （ 6 ）： 1228 - 1239 . （in Chinese）

TU G M ， QIN J H ， XIONG N . Algorithm of computer mainboard quality detection for real-time based on QD-YOLO ［J］. Electronics ， 2022 ， 11 （ 15 ）： 2424 . doi: 10.3390/electronics11152424 http://dx.doi.org/10.3390/electronics11152424

陈仁祥，詹赞，胡小林，等 . 基于多注意力Faster RCNN的噪声干扰下印刷电路板缺陷检测［J］. 仪器仪表学报， 2021 ， 42 （ 12 ）： 167 - 174 .

CHEN R X ， ZHAN Z ， HU X L ， et al . Printed circuit board defect detection based on the multi-attentive faster RCNN under noise interference ［J］. Chinese Journal of Scientific Instrument ， 2021 ， 42 （ 12 ）： 167 - 174 . （in Chinese）

LUO J X ， YANG Z Y ， LI S P ， et al . FPCB surface defect detection： a decoupled two-stage object detection framework ［J］. IEEE Transactions on Instrumentation and Measurement. IEEE ， 2021 ： 1 - 11 . doi: 10.1109/tim.2021.3092510 http://dx.doi.org/10.1109/tim.2021.3092510

ADIBHATLA V A ， CHIH H C ， HSU C C ， et al . Applying deep learning to defect detection in printed circuit boards via a newest model of you-only-look-once ［J］. Mathematical Biosciences and Engineering： MBE ， 2021 ， 18 （ 4 ）： 4411 - 4428 . doi: 10.3934/mbe.2021223 http://dx.doi.org/10.3934/mbe.2021223

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An Image is Worth 16 x 16 Words： Transformers for Image Recognition at Scale［EB/OL］. 2020 ： arXiv ： 2010 . 11929 . http：//arxiv.org/abs/2010.11929 http://arxiv.org/abs/2010.11929

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv 4： Optimal Speed and Accuracy of Object Detection ［EB/OL］. 2020 ： arXiv ： 2004 . 10934 . http：//arxiv.org/abs/2004.10934 http://arxiv.org/abs/2004.10934 . doi: 10.48550/arXiv.2004.10934 http://dx.doi.org/10.48550/arXiv.2004.10934

李彬，汪诚，丁相玉，等 . 改进YOLOv4的表面缺陷检测算法［J］. 北京航空航天大学学报， 2023 ， 49 （ 3 ）： 710 - 717 .

LI B ， WANG C ， DING X Y ， et al . Surface defect detection algorithm based on improved YOLOv4 ［J］. Journal of Beijing University of Aeronautics and Astronautics ， 2023 ， 49 （ 3 ）： 710 - 717 . （in Chinese）

潘睿志，林涛，李超，等 . 基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究［J］. 光学精密工程， 2023 ， 31 （ 8 ）： 1174 - 1187 . doi: 10.37188/OPE.20233108.1174 http://dx.doi.org/10.37188/OPE.20233108.1174

PAN R Z ， LIN T ， LI C ， et al . Research on multi size automobile rim weld detection and positioning system based on depth learning ［J］. Opt. Precision Eng. ， 2023 ， 31 （ 8 ）： 1174 - 1187 . （in Chinese） . doi: 10.37188/OPE.20233108.1174 http://dx.doi.org/10.37188/OPE.20233108.1174

郭峰，朱启兵，黄敏，等 . 基于改进YOLOV4的陶瓷基板瑕疵检测［J］. 光学精密工程， 2022 ， 30 （ 13 ）： 1631 - 1641 . doi: 10.37188/OPE.20223013.1631 http://dx.doi.org/10.37188/OPE.20223013.1631

GUO F ， ZHU Q B ， HUANG M ， et al . Defect detection in ceramic substrate based on improved YOLOV4 ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 13 ）： 1631 - 1641 . （in Chinese） . doi: 10.37188/OPE.20223013.1631 http://dx.doi.org/10.37188/OPE.20223013.1631

CHEN J R ， KAO S H ， HE H ， et al . Run ， Don't Walk ： Chasing Higher FLOPS for Faster Neural Networks ［C］. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver， BC， Canada . IEEE ， 2023 ： 12021 - 12031 . doi: 10.1109/cvpr52729.2023.01157 http://dx.doi.org/10.1109/cvpr52729.2023.01157

WU B C ， XU C F ， DAI X L ， et al . Visual Transformers ： Token - Based Image Representation and Processing for Computer Vision ［EB/OL］. 2020 ： arXiv ： 2006 . 03677 . http：//arxiv.org/abs/2006.03677 http://arxiv.org/abs/2006.03677 . doi: 10.1109/iccv48922.2021.00064 http://dx.doi.org/10.1109/iccv48922.2021.00064

HAN K ， WANG Y H ， TIAN Q ， et al . GhostNet： more features from cheap operations ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 1577 - 1586 . doi: 10.1109/cvpr42600.2020.00165 http://dx.doi.org/10.1109/cvpr42600.2020.00165

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu ， HI， USA . IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

LIU S ， QI L ， QIN H F ， et al . Path aggregation network for instance segmentation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 8759 - 8768 . doi: 10.1109/cvpr.2018.00913 http://dx.doi.org/10.1109/cvpr.2018.00913

YANG G Y ， LEI J ， ZHU Z K ， et al . AFPN： asymptotic feature pyramid network for object detection ［C］. 2023 IEEE International Conference on Systems， Man， and Cybernetics （SMC）. Honolulu ， Oahu ， HI， USA . IEEE ， 2023 ： 2184 - 2189 . doi: 10.1109/smc53992.2023.10394415 http://dx.doi.org/10.1109/smc53992.2023.10394415

孙备，党昭洋，吴鹏，等 . 多尺度互交叉注意力改进的单无人机对地伪装目标检测定位方法［J］. 仪器仪表学报， 2023 ， 44 （ 6 ）： 54 - 65 .

SUN B ， DANG Z Y ， WU P ， et al . Multi scale cross attention improved method of single unmanned aerial vehicle for ground camouflage target detection and localization ［J］. Chinese Journal of Scientific Instrument ， 2023 ， 44 （ 6 ）： 54 - 65 . （in Chinese）

XIN Y ， ZHOU Z ， XIA Y ， et al . Computer Motherboard Production Defects ［EB/OL］. 2023 ： Kaggle ： https：//doi.org/10.34740 /KAGGLE/DS/2764127 https://doi.org/10.34740/KAGGLE/DS/2764127 .

周中，张俊杰，鲁四平 . 基于改进YOLOv4的隧道衬砌裂缝检测算法［J］. 铁道学报， 2023 ， 45 （ 10 ）： 162 - 170 . doi: 10.3969/j.issn.1001-8360.2023.10.019 http://dx.doi.org/10.3969/j.issn.1001-8360.2023.10.019

ZHOU Z ， ZHANG J J ， LU S P . Tunnel lining crack detection algorithm based on improved YOLOv4 ［J］. Journal of the China Railway Society ， 2023 ， 45 （ 10 ）： 162 - 170 . （in Chinese） . doi: 10.3969/j.issn.1001-8360.2023.10.019 http://dx.doi.org/10.3969/j.issn.1001-8360.2023.10.019

DING J G ， LI W ， PEI L L ， et al . Sw-YoloX： an anchor-free detector based transformer for sea surface object detection ［J］. Expert Systems with Applications ， 2023 ， 217 ： 119560 . doi: 10.1016/j.eswa.2023.119560 http://dx.doi.org/10.1016/j.eswa.2023.119560

WANG H F ， WANG Z F ， DU M N ， et al . Score-CAM： score-weighted visual explanations for convolutional neural networks ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Seattle ， WA ， USA . IEEE ， 2020 ： 111 - 119 . doi: 10.1109/cvprw50498.2020.00020 http://dx.doi.org/10.1109/cvprw50498.2020.00020

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据