Computer motherboard assembly defect detection using parallel feature extraction and progressive feature fusion

CHEN Junying; LI Zhaoyang; HUANG Hantao; DONG Xuze

doi:10.37188/OPE.20243210.1622

您当前的位置：

首页 >

文章列表页 >

Computer motherboard assembly defect detection using parallel feature extraction and progressive feature fusion

Information Sciences | 更新时间：2024-06-11

- Computer motherboard assembly defect detection using parallel feature extraction and progressive feature fusion
- Optics and Precision Engineering Vol. 32, Issue 10, Pages: 1622-1637(2024)
- 作者机构：
  
  西安建筑科技大学信息与控制工程学院，陕西西安 710055
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20243210.1622
  CLC： TP394.1;TH691.9
- Published：25 May 2024，
  
  Received：08 December 2023，
  
  Revised：05 March 2024，
- 稿件说明：
移动端阅览
陈俊英,李朝阳,黄汉涛等.并行特征提取和渐进特征融合的计算机主板装配缺陷检测[J].光学精密工程,2024,32(10):1622-1637.

CHEN Junying,LI Zhaoyang,HUANG Hantao,et al.Computer motherboard assembly defect detection using parallel feature extraction and progressive feature fusion[J].Optics and Precision Engineering,2024,32(10):1622-1637.
陈俊英,李朝阳,黄汉涛等.并行特征提取和渐进特征融合的计算机主板装配缺陷检测[J].光学精密工程,2024,32(10):1622-1637. DOI： 10.37188/OPE.20243210.1622.

CHEN Junying,LI Zhaoyang,HUANG Hantao,et al.Computer motherboard assembly defect detection using parallel feature extraction and progressive feature fusion[J].Optics and Precision Engineering,2024,32(10):1622-1637. DOI： 10.37188/OPE.20243210.1622.

摘要

针对计算机主板装配缺陷检测中的元器件位置分布复杂、缺陷目标不显著及多尺度等问题，本文提出了一种并行特征提取和互交叉渐进特征融合的端到端的缺陷检测算法。首先，结合部分卷积和视觉Transformer提出了一种并行残差特征提取网络，利用部分卷积的低计算复杂度的优势提取局部特征，同时利用视觉Transformer的长距离建模能力扩大模型的感受野，增强网络的特征提取能力。其次，引入注意力机制和特征渐进融合机制，提出了一种多尺度注意力互交叉的渐进特征融合网络，增强检测模型的特征融合能力。在公开数据集上的实验结果表明，该算法的平均精度均值（mAP）达到了94.63%，相较于基线模型YOLOv5提升了4.62%，并优于其他几种先进模型，检测速度达到了25 FPS。实现了较好的检测精度与速度的平衡，为实际工业环境下计算机主板表面装配缺陷检测自动化和智能化的实现提供了一种快速、有效的方法。

Abstract

In view of the complex distribution of component positions， lack of prominent defect targets， and multi-scale issues in the detection of defects in computer motherboard assembly， this paper proposed an end-to-end defect detection algorithm based on parallel feature extraction and cross-attention progressive feature fusion. Firstly， a parallel residual feature extraction network was proposed by combining partial convolution and visual Transformer. The low computational complexity of partial convolution was utilized to extract local features， while the long-distance modeling ability of visual Transformer was utilized to expand the receptive field of the model and enhance the feature extraction ability of the network. Secondly， the cross-attention mechanism was introduced to progressively fuse multi-scale features， and a multi-scale cross-attention progressive feature fusion network was constructed to enhance the feature fusion ability of the detection model. The experimental results on the public dataset show that the mean average accuracy （mAP） of the algorithm reaches 94.63%， which is 4.62% higher than the baseline model YOLOv5 and is superior to several other advanced models. The detection speed reaches 25 FPS， achieving a good balance between detection accuracy and speed. It provides a fast and effective method for the automation and intelligence of surface assembly defect detection on computer motherboards in the actual industrial environment.

关键词

计算机主板装配缺陷检测并行特征提取渐进特征融合视觉Transformer部分卷积

Keywords

detection of defects in computer motherboard assemblyparallel feature extractionprogressive feature fusionvisual transformerpartial convolution

references

陶显，侯伟，徐德. 基于深度学习的表面缺陷检测方法综述［J］. 自动化学报， 2021， 47（5）： 1017-1034.

TAO X， HOU W， XU D. A survey of surface defect detection methods based on deep learning［J］. Acta Automatica Sinica， 2021， 47（5）： 1017-1034.（in Chinese）

卞佰成，陈田，吴入军，等. 基于改进YOLOv3的印刷电路板缺陷检测算法［J］. 浙江大学学报（工学版）， 2023， 57（4）： 735-743.

BIAN B C， CHEN T， WU R J， et al. Improved YOLOv3-based defect detection algorithm for printed circuit board［J］. Journal of Zhejiang University （Engineering Science）， 2023， 57（4）： 735-743.（in Chinese）

陈亚芳，廖飞，黄新宇，等. 多尺度YOLOv5的太阳能电池缺陷检测［J］. 光学精密工程， 2023， 31（12）： 1804-1815. doi: 10.37188/OPE.20233112.1804http://dx.doi.org/10.37188/OPE.20233112.1804

CHEN Y F， LIAO F， HUANG X Y， et al. Multi-scale YOLOv5 for solar cell defect detection［J］. Opt. Precision Eng.， 2023， 31（12）： 1804-1815.（in Chinese）. doi: 10.37188/OPE.20233112.1804http://dx.doi.org/10.37188/OPE.20233112.1804

李可，吴忠卿，吉勇，等. 改进U-Net芯片X线图像焊缝气泡缺陷检测方法［J］. 华中科技大学学报（自然科学版）， 2022， 50（6）： 104-110. doi: 10.13245/j.hust.220613http://dx.doi.org/10.13245/j.hust.220613

LI K， WU Z Q， JI Y， et al. Detection method of weld bubble defect in chip X-ray image based on improved U-Net network［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2022， 50（6）： 104-110.（in Chinese）. doi: 10.13245/j.hust.220613http://dx.doi.org/10.13245/j.hust.220613

沈宗礼，余建波. 基于迁移学习与深度森林的晶圆图缺陷识别［J］. 浙江大学学报（工学版）， 2020， 54（6）： 1228-1239.

SHEN Z L， YU J B. Wafer map defect recognition based on transfer learning and deep forest［J］. Journal of Zhejiang University （Engineering Science）， 2020， 54（6）： 1228-1239.（in Chinese）

TU G M， QIN J H， XIONG N. Algorithm of computer mainboard quality detection for real-time based on QD-YOLO［J］. Electronics， 2022， 11（15）： 2424. doi: 10.3390/electronics11152424http://dx.doi.org/10.3390/electronics11152424

陈仁祥，詹赞，胡小林，等. 基于多注意力Faster RCNN的噪声干扰下印刷电路板缺陷检测［J］. 仪器仪表学报， 2021， 42（12）： 167-174.

CHEN R X， ZHAN Z， HU X L， et al. Printed circuit board defect detection based on the multi-attentive faster RCNN under noise interference［J］. Chinese Journal of Scientific Instrument， 2021， 42（12）： 167-174.（in Chinese）

LUO J X， YANG Z Y， LI S P， et al. FPCB surface defect detection： a decoupled two-stage object detection framework［J］. IEEE Transactions on Instrumentation and Measurement. IEEE， 2021： 1-11. doi: 10.1109/tim.2021.3092510http://dx.doi.org/10.1109/tim.2021.3092510

ADIBHATLA V A， CHIH H C， HSU C C， et al. Applying deep learning to defect detection in printed circuit boards via a newest model of you-only-look-once［J］. Mathematical Biosciences and Engineering： MBE， 2021， 18（4）： 4411-4428. doi: 10.3934/mbe.2021223http://dx.doi.org/10.3934/mbe.2021223

DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An Image is Worth 16x16 Words： Transformers for Image Recognition at Scale［EB/OL］. 2020： arXiv： 2010.11929. http：//arxiv.org/abs/2010.11929http://arxiv.org/abs/2010.11929

BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection［EB/OL］. 2020： arXiv： 2004.10934. http：//arxiv.org/abs/2004.10934http://arxiv.org/abs/2004.10934. doi: 10.48550/arXiv.2004.10934http://dx.doi.org/10.48550/arXiv.2004.10934

李彬，汪诚，丁相玉，等. 改进YOLOv4的表面缺陷检测算法［J］. 北京航空航天大学学报， 2023， 49（3）： 710-717.

LI B， WANG C， DING X Y， et al. Surface defect detection algorithm based on improved YOLOv4［J］. Journal of Beijing University of Aeronautics and Astronautics， 2023， 49（3）： 710-717.（in Chinese）

潘睿志，林涛，李超，等. 基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究［J］. 光学精密工程， 2023， 31（8）： 1174-1187. doi: 10.37188/OPE.20233108.1174http://dx.doi.org/10.37188/OPE.20233108.1174

PAN R Z， LIN T， LI C， et al. Research on multi size automobile rim weld detection and positioning system based on depth learning［J］. Opt. Precision Eng.， 2023， 31（8）： 1174-1187.（in Chinese）. doi: 10.37188/OPE.20233108.1174http://dx.doi.org/10.37188/OPE.20233108.1174

郭峰，朱启兵，黄敏，等. 基于改进YOLOV4的陶瓷基板瑕疵检测［J］. 光学精密工程， 2022， 30（13）： 1631-1641. doi: 10.37188/OPE.20223013.1631http://dx.doi.org/10.37188/OPE.20223013.1631

GUO F， ZHU Q B， HUANG M， et al. Defect detection in ceramic substrate based on improved YOLOV4［J］. Opt. Precision Eng.， 2022， 30（13）： 1631-1641.（in Chinese）. doi: 10.37188/OPE.20223013.1631http://dx.doi.org/10.37188/OPE.20223013.1631

CHEN J R， KAO S H， HE H， et al. Run， Don't Walk： Chasing Higher FLOPS for Faster Neural Networks［C］. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Vancouver， BC， Canada. IEEE， 2023： 12021-12031. doi: 10.1109/cvpr52729.2023.01157http://dx.doi.org/10.1109/cvpr52729.2023.01157

WU B C， XU C F， DAI X L， et al. Visual Transformers： Token-Based Image Representation and Processing for Computer Vision［EB/OL］. 2020： arXiv： 2006.03677. http：//arxiv.org/abs/2006.03677http://arxiv.org/abs/2006.03677. doi: 10.1109/iccv48922.2021.00064http://dx.doi.org/10.1109/iccv48922.2021.00064

HAN K， WANG Y H， TIAN Q， et al. GhostNet： more features from cheap operations［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， WA， USA. IEEE， 2020： 1577-1586. doi: 10.1109/cvpr42600.2020.00165http://dx.doi.org/10.1109/cvpr42600.2020.00165

LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA. IEEE， 2017： 936-944. doi: 10.1109/cvpr.2017.106http://dx.doi.org/10.1109/cvpr.2017.106

LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA. IEEE， 2018： 8759-8768. doi: 10.1109/cvpr.2018.00913http://dx.doi.org/10.1109/cvpr.2018.00913

YANG G Y， LEI J， ZHU Z K， et al. AFPN： asymptotic feature pyramid network for object detection［C］. 2023 IEEE International Conference on Systems， Man， and Cybernetics （SMC）. Honolulu， Oahu， HI， USA. IEEE， 2023： 2184-2189. doi: 10.1109/smc53992.2023.10394415http://dx.doi.org/10.1109/smc53992.2023.10394415

孙备，党昭洋，吴鹏，等. 多尺度互交叉注意力改进的单无人机对地伪装目标检测定位方法［J］. 仪器仪表学报， 2023， 44（6）： 54-65.

SUN B， DANG Z Y， WU P， et al. Multi scale cross attention improved method of single unmanned aerial vehicle for ground camouflage target detection and localization［J］. Chinese Journal of Scientific Instrument， 2023， 44（6）： 54-65.（in Chinese）

XIN Y， ZHOU Z， XIA Y， et al. Computer Motherboard Production Defects［EB/OL］. 2023： Kaggle： https：//doi.org/10.34740 /KAGGLE/DS/2764127https://doi.org/10.34740/KAGGLE/DS/2764127.

周中，张俊杰，鲁四平. 基于改进YOLOv4的隧道衬砌裂缝检测算法［J］. 铁道学报， 2023， 45（10）： 162-170. doi: 10.3969/j.issn.1001-8360.2023.10.019http://dx.doi.org/10.3969/j.issn.1001-8360.2023.10.019

ZHOU Z， ZHANG J J， LU S P. Tunnel lining crack detection algorithm based on improved YOLOv4［J］. Journal of the China Railway Society， 2023， 45（10）： 162-170.（in Chinese）. doi: 10.3969/j.issn.1001-8360.2023.10.019http://dx.doi.org/10.3969/j.issn.1001-8360.2023.10.019

DING J G， LI W， PEI L L， et al. Sw-YoloX： an anchor-free detector based transformer for sea surface object detection［J］. Expert Systems with Applications， 2023， 217： 119560. doi: 10.1016/j.eswa.2023.119560http://dx.doi.org/10.1016/j.eswa.2023.119560

WANG H F， WANG Z F， DU M N， et al. Score-CAM： score-weighted visual explanations for convolutional neural networks［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Seattle， WA， USA. IEEE， 2020： 111-119. doi: 10.1109/cvprw50498.2020.00020http://dx.doi.org/10.1109/cvprw50498.2020.00020

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

No data

Related Institution

No data

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰