Research on multi size automobile rim weld detection and positioning system based on depth learning

PAN Ruizhi; LIN Tao; LI Chao; HU Bo

doi:10.37188/OPE.20233108.1174

您当前的位置：

首页 >

文章列表页 >

Research on multi size automobile rim weld detection and positioning system based on depth learning

Information Sciences | 更新时间：2023-05-04

- Research on multi size automobile rim weld detection and positioning system based on depth learning
- Optics and Precision Engineering Vol. 31, Issue 8, Pages: 1174-1187(2023)
- 作者机构：
  
  成都理工大学机电工程学院，四川成都 610059
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233108.1174
  CLC： TP394.1
- Received：16 September 2022，
  
  Revised：17 October 2022，
  
  Published：25 April 2023
- 稿件说明：
移动端阅览
潘睿志,林涛,李超等.基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究[J].光学精密工程,2023,31(08):1174-1187.

PAN Ruizhi,LIN Tao,LI Chao,et al.Research on multi size automobile rim weld detection and positioning system based on depth learning[J].Optics and Precision Engineering,2023,31(08):1174-1187.
潘睿志,林涛,李超等.基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究[J].光学精密工程,2023,31(08):1174-1187. DOI： 10.37188/OPE.20233108.1174.

PAN Ruizhi,LIN Tao,LI Chao,et al.Research on multi size automobile rim weld detection and positioning system based on depth learning[J].Optics and Precision Engineering,2023,31(08):1174-1187. DOI： 10.37188/OPE.20233108.1174.

摘要

为了实现汽车轮辋生产装备自动化与智能化，提升汽车轮辋的生产效率，降低人工成本，本文提出了一种基于YOLOv5s算法的多尺寸汽车轮辋焊缝检测与定位系统。首先，由图像采集装置拍摄实际生产中的多尺寸轮辋焊缝图像，构建轮辋焊缝数据集，使用K-means算法重新生成数据集锚定框，提升网络的收敛速度和特征提取能力；其次，引入CBAM（Convolutional Block Attention Module）混合域注意力机制，提高模型对于轮辋焊缝关注度，减少背景干扰；然后，采用EIOU（Efficient Intersection Over Union Loss）边框位置回归损失函数，提高轮辋焊缝识别框的准确率；最后，增加了ASFF（Adaptively Spatial Feature Fusion）自适应特征融合网络，使目标检测模型对多个级别的特征进行空间滤波。实验结果表明，改进后的算法准确率和mAP0.5分别达到了98.4%和99.2%，相比于原YOLOv5s算法分别提高了4.5%和3.7%。训练好的模型采用推理加速框架TensorRT进行加速部署在工控机上，搭配视觉检测软件与工业触摸屏形成交互及显示平台，经过在实际生产环境对多批次不同尺寸的3000个轮辋焊缝验证，其漏检率在0.5%左右，满足汽车企业对于多尺寸轮辋焊缝检测精度要求。

Abstract

In order to realize the automation and intelligence of automobile rim production equipment， improve the production efficiency of automobile rims， and reduce labor costs， this paper proposes a multi size automobile rim weld detection and positioning system based on YOLOv5s algorithm. First， the image acquisition device captures the image of the multi size rim weld seam in actual production， builds the rim weld seam data set， and uses K-means algorithm to regenerate the anchor frame of the data set to improve the convergence speed and feature extraction ability of the network； Secondly， CBAM （Convolutional Block Attention Module， CBAM） mixed domain attention mechanism is introduced to improve the model's attention to the rim weld and reduce background interference； Then， EIOU （Efficient Intersection Over Union Loss， EIOU） frame position regression loss function is used to improve the accuracy of rim weld identification frame； Finally， ASFF （Adaptive Spatial Feature Fusion， ASFF） adaptive feature fusion network is added to enable the target detection model to perform spatial filtering on multiple levels of features. The experimental results show that the accuracy and mAP0.5 of the improved algorithm are 98.4% and 99.2% respectively， which are 4.5% and 3.7% higher than the original YOLOv5s algorithm. The trained model is accelerated and deployed on the industrial personal computer using the reasoning acceleration framework TensorRT， and forms an interactive and display platform with the visual inspection software and the industrial touch screen. Through the verification of 3 000 wheel rim welds of different sizes in multiple batches in the actual production environment， the leakage rate is about 0.5%， which meets the requirements of automobile enterprises for the detection accuracy of multi size wheel rim welds.

关键词

Keywords

references

罗志伟，杨玉龙，李志红 . BGA焊球视觉检测算法及系统设计［J］. 光学精密工程， 2018 ， 26 （ 9 ）： 2190 - 2197 . doi: 10.3788/ope.20182609.2190 http://dx.doi.org/10.3788/ope.20182609.2190

LUO ZH W ， YANG Y L ， LI ZH H . Design of vision detection algorithm and system for BGA welding balls ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 9 ）： 2190 - 2197 . （in Chinese） . doi: 10.3788/ope.20182609.2190 http://dx.doi.org/10.3788/ope.20182609.2190

肖文波，何银水，袁海涛，等 . 镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测［J］. 焊接学报， 2021 ， 42 （ 12 ）： 78 - 82， 101 . doi: 10.12073/j.hjxb.20201021001 http://dx.doi.org/10.12073/j.hjxb.20201021001

XIAO W B ， HE Y SH ， YUAN H T ， et al . Synchronous real-time detection of weld bead geometry and the welding torch in galvanized steel GAMW ［J］. Transactions of the China Welding Institution ， 2021 ， 42 （ 12 ）： 78 - 82， 101 . （in Chinese） . doi: 10.12073/j.hjxb.20201021001 http://dx.doi.org/10.12073/j.hjxb.20201021001

高向东，蓝重洲，陈子琴，等 . 焊接缺陷磁光成像动态检测与识别［J］. 光学精密工程， 2017 ， 25 （ 5 ）： 1135 - 1141 . doi: 10.3788/OPE.20172505.1135 http://dx.doi.org/10.3788/OPE.20172505.1135

GAO X D ， LAN CH ZH ， CHEN Z Q ， et al . Dynamic detection and recognition of welded defects based on magneto-optical imaging ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 5 ）： 1135 - 1141 . （in Chinese） . doi: 10.3788/OPE.20172505.1135 http://dx.doi.org/10.3788/OPE.20172505.1135

GIRSHICK R ， DONAHUE J ， DARRELL T ， et al . Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition . 2328，2014 ， Columbus ， OH ， USA . IEEE ， 2014 ： 580 - 587 . doi: 10.1109/CVPR.2014.81 http://dx.doi.org/10.1109/CVPR.2014.81

GIRSHICK R . Fast R-CNN ［C］. 2015 IEEE International Conference on Computer Vision （ICCV）. 713，2015 ， Santiago， Chile. IEEE ， 2016 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence . 6，2016 ， IEEE ， 2016 ： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You Only Look Once： Unified， Real-Time Object Detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91

REDMON J ， FARHADI A . YOLO9000： Better， Faster， Stronger ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 6517 - 6525 . doi: 10.1109/cvpr.2017.690 http://dx.doi.org/10.1109/cvpr.2017.690

LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD ： single shot MultiBox detector ［M］. Computer Vision - ECCV 2016 . Cham ： Springer International Publishing ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2

王宸，张秀峰，刘超，等 . 改进YOLOv3的轮毂焊缝缺陷检测［J］. 光学精密工程， 2021 ， 29 （ 8 ）： 1942 - 1954 . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942

WANG CH ， ZHANG X F ， LIU CH ， et al . Detection method of wheel hub weld defects based on the improved YOLOv3 ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 8 ）： 1942 - 1954 . （in Chinese） . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942

邓智超，颜润明，杨蕙同，等 . 基于改进残差网络的多视图焊点缺陷检测［J］. 焊接学报， 2022 ， 43 （ 3 ）： 56 - 62， 116 . doi: 10.12073/j.hjxb.20210928004 http://dx.doi.org/10.12073/j.hjxb.20210928004

DENG Z C ， YAN R M ， YANG H T ， et al . Multiview solder joint defect detection based on improved ResNet ［J］. Transactions of the China Welding Institution ， 2022 ， 43 （ 3 ）： 56 - 62， 116 . （in Chinese） . doi: 10.12073/j.hjxb.20210928004 http://dx.doi.org/10.12073/j.hjxb.20210928004

张永帅，杨国威，王琦琦，等 . 基于全卷积神经网络的焊缝特征提取［J］. 中国激光， 2019 ， 46 （ 3 ）： 36 - 43 . doi: 10.3788/cjl201946.0302002 http://dx.doi.org/10.3788/cjl201946.0302002

ZHANG Y SH ， YANG G W ， WANG Q Q ， et al . Weld feature extraction based on fully convolutional networks ［J］. Chinese Journal of Lasers ， 2019 ， 46 （ 3 ）： 36 - 43 . （in Chinese） . doi: 10.3788/cjl201946.0302002 http://dx.doi.org/10.3788/cjl201946.0302002

WOO S ， PARK J ， LEE J Y ， et al . CBAM ： Convolutional Block Attention Module ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

王品学，张绍兵，成苗，等 . 基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法［J］. 计算机应用， 2022 ， 42 （ 2 ）： 638 - 645 . doi: 10.11772/j.issn.1001-9081.2021020227 http://dx.doi.org/10.11772/j.issn.1001-9081.2021020227

WANG P X ， ZHANG SH B ， CHENG M ， et al . Coin surface defect detection algorithm based on deformable convolution and adaptive spatial feature fusion ［J］. Journal of Computer Applications ， 2022 ， 42 （ 2 ）： 638 - 645 . （in Chinese） . doi: 10.11772/j.issn.1001-9081.2021020227 http://dx.doi.org/10.11772/j.issn.1001-9081.2021020227

ZHANG Y F ， REN W Q ， ZHANG Z ， et al . Focal and efficient IOU loss for accurate bounding box regression ［J］. Neurocomputing ， 2022 ， 506 ： 146 - 157 . doi: 10.1016/j.neucom.2022.07.042 http://dx.doi.org/10.1016/j.neucom.2022.07.042

HE K M ， ZHANG X Y ， REN S Q ， et al . Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 9 ）： 1904 - 1916 . doi: 10.1109/tpami.2015.2389824 http://dx.doi.org/10.1109/tpami.2015.2389824

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature Pyramid Networks for Object Detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

HU J ， SHEN L ， SUN G . Squeeze-and-Excitation Networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft COCO ： Common Objects in Context ［M］. Computer Vision - ECCV 2014 . Cham ： Springer International Publishing ， 2014 ： 740 - 755 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48

ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 . doi: 10.1609/aaai.v34i07.6999 http://dx.doi.org/10.1609/aaai.v34i07.6999

Views

721

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Spacecraft posture detection for robotic arm grabbing

Detection method of wheel hub weld defects based on the improved YOLOv3

Three FOV celestial positioning and orientation with minimum loss function

Related Author

HUANG Cheng

SU Junfei

XU Jiazhong

Chen WANG

Xiu-feng ZHANG

Chao LIU

Wei ZHANG

Yu TANG

Related Institution

College of Automation， Harbin University of Science and Technology

College of Mechanical Engineering， Hubei University of Automotive Technology

Shanghai Key Laboratory of Intelligent Manufacturing and Robotics， Shanghai University

Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences

University of Chinese Academy of Sciences

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰