改进YOLOv3的轮毂焊缝缺陷检测

王宸; 张秀峰; 刘超; 张伟; 唐禹

doi:10.37188/OPE.20212908.1942

您当前的位置：

首页 >

文章列表页 >

改进YOLOv3的轮毂焊缝缺陷检测

信息科学 | 更新时间：2021-09-01

- 改进YOLOv3的轮毂焊缝缺陷检测
- Detection method of wheel hub weld defects based on the improved YOLOv3
- 光学精密工程 2021年29卷第8期页码：1942-1954
- 作者机构：
  
  1.湖北汽车工业学院机械工程学院，湖北十堰 442002
  2.上海大学上海市智能制造与机器人重点实验室，上海 200072
- 作者简介：
  
  [ "王　宸（1983-），男，湖北十堰人，博士，副教授，2009年于武汉科技大学获得硕士学位，2019年于上海大学获得博士学位，主要从事智能制造及机器视觉研究。E-mail：20090011@huat.edu.cn" ]
  [ "张秀峰（1995-），男，江苏连云港人，硕士研究生，2017年于常熟理工学院获得学士学位主要从事机器视觉研究。E-mail：m18036680079@163.com" ]
- 基金信息：
  
  国家自然科学基金(51475150);国家科技重大专项(2018ZX04027001);教育部人文社科项目(20YJCZH150);湖北省自然科学基金项目(2020CFB755);汽车动力传动与电子控制湖北省重点实验室基金(ZDK1201703);湖北汽车工业学院博士基金(BK201905)
- DOI：10.37188/OPE.20212908.1942
  中图分类号： TG441.7;TP391.4
- 收稿日期：2021-01-08，
  
  修回日期：2021-02-26，
  
  纸质出版日期：2021-08-15
- 稿件说明：
移动端阅览
王宸,张秀峰,刘超等.改进YOLOv3的轮毂焊缝缺陷检测[J].光学精密工程,2021,29(08):1942-1954.

WANG Chen,ZHANG Xiu-feng,LIU Chao,et al.Detection method of wheel hub weld defects based on the improved YOLOv3[J].Optics and Precision Engineering,2021,29(08):1942-1954.
王宸,张秀峰,刘超等.改进YOLOv3的轮毂焊缝缺陷检测[J].光学精密工程,2021,29(08):1942-1954. DOI： 10.37188/OPE.20212908.1942.

WANG Chen,ZHANG Xiu-feng,LIU Chao,et al.Detection method of wheel hub weld defects based on the improved YOLOv3[J].Optics and Precision Engineering,2021,29(08):1942-1954. DOI： 10.37188/OPE.20212908.1942.

摘要

为了实现轮毂焊缝缺陷的智能化检测，本文对深度学习目标检测算法（You Only Look Once version3，YOLOv3）进行改进，得到YOLOv3-MC算法用于轮毂焊缝缺陷的检测。首先，使用工业相机采集轮毂焊缝图像，然后标注图像制作数据集，并且通过数据增强方法扩充数据集。接着，为了提高算法检测精度，使用Mish激活函数替换YOLOv3主干网络中的激活函数。修改算法的损失函数，使用完备交并比（Complete Intersection over Union，CIoU）的计算方法提升算法检测的定位精度。最后使用训练集训练算法模型，再使用验证集和测试集图像数据进行检测试验，结果表明，YOLOv3-MC的最优模型在验证集上的平均准确率（Mean Average Precision，mAP）达到了98.94%，F1得分值为0.99，平均交并比（Average Intersection over Union，AvgIoU）为80.92%，检测速度为76.59帧/秒，模型大小234MB。该模型在测试集上的检测正确率达到了99.29%。相较于传统机器视觉检测方法，该方法提高了检测精度，满足轮毂生产企业的焊缝实时在线检测需求。

Abstract

This study proposes a method for intelligent detection of wheel weld defects， against manual detection， by improving an existing deep learning target detection algorithm， called “You only look once” version 3 （YOLOv3）. The improved algorithm is called YOLOv3-MC. First， an industrial camera was used to capture the images of the wheel hub weld defects， which were then annotated and developed into a data set. The data set was then expanded using a data enhancement method. Second， the detection accuracy of the algorithm was improved using the Mish activation function instead of the Leaky ReLU activation function in the YOLOv3 backbone network. Furthermore， the loss function of the algorithm was modified， and the positioning accuracy of the detection algorithm was improved using the method of complete intersection over union （CIoU）. Finally， the batter model was trained with a training set. The detection experiment was implemented using a validation set and test set. The experimental results yielded a mean average precision （mAP） of 98.94% for the validation set in the optimal model of YOLOv3-MC. The F1 score value of the model was 0.99； the average Intersection over Union （AvgIoU） of the model was 80.92%； the detection speed was 76.59 frames per second （fps）； the model size was 234 MB； and the detection accuracy rate of the optimal model on the test set reached 99.29%. Compared to the traditional machine vision detection method， this method offers an improved detection accuracy and meets the real-time online detection needs of the welding seam during wheel manufacturing.

关键词

Keywords

references

李杰， SINGH J ， AZAMFAR M ，等 . 工业人工智能——工业应用中的人工智能系统框架（英文）［J］. 中国机械工程， 2020 ， 31 （ 1 ）： 37 - 48 .

Jay LEE ， JASKARAN S ， MOSLEM A ， et al . Industrial AI： a systematic framework for AI in industrial applications ［J］. China Mechanical Engineering ， 2020 ， 31 （ 1 ）： 37 - 48 . （in Chinese）

刘强 . 智能制造理论体系架构研究［J］. 中国机械工程， 2020 ， 31 （ 1 ）： 24 - 36 .

LIU Q . Study on architecture of intelligent manufacturing theory ［J］. China Mechanical Engineering ， 2020 ， 31 （ 1 ）： 24 - 36 . （in Chinese）

晋博，蔡念，夏皓，等 . 基于深度学习的工业视觉检测系统［J］. 计算机工程与应用， 2019 ， 55 （ 2 ）： 266 - 270 .

JIN B ， CAI N ， XIA H ， et al . Industrial vision inspection system based on deep learning ［J］. Computer Engineering and Applications ， 2019 ， 55 （ 2 ）： 266 - 270 . （in Chinese）

方路平，何杭江，周国民 . 目标检测算法研究综述［J］. 计算机工程与应用， 2018 ， 54 （ 13 ）： 11 - 18， 33 .

FANG L P ， HE H J ， ZHOU G M . Research overview of object detection methods ［J］. Computer Engineering and Applications ， 2018 ， 54 （ 13 ）： 11 - 18， 33 . （in Chinese）

罗志伟，杨玉龙，李志红 . BGA焊球视觉检测算法及系统设计［J］. 光学精密工程， 2018 ， 26 （ 9 ）： 2190 - 2197 .

LUO ZH W ， YANG Y L ， LI ZH H . Design of vision detection algorithm and system for BGA welding balls ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 9 ）： 2190 - 2197 . （in Chinese）

高向东，蓝重洲，陈子琴，等 . 焊接缺陷磁光成像动态检测与识别［J］. 光学精密工程， 2017 ， 25 （ 5 ）： 1135 - 1141 .

GAO X D ， LAN CH ZH ， CHEN Z Q ， et al . Dynamic detection and recognition of welded defects based on magneto-optical imaging ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 5 ）： 1135 - 1141 . （in Chinese）

MALARVEL M ， SETHUMADHAVAN G ， RAO BHAGI P C ， et al . Anisotropic diffusion based denoising on X-radiography images to detect weld defects ［J］. Digital Signal Processing ， 2017 ， 68 ： 112 - 126 .

汤勃，孔建益，王兴东，等 . 钢板表面缺陷图像非均匀光照校正及分割算法［J］. 华中科技大学学报（自然科学版）， 2020 ， 48 （ 5 ）： 13 - 18 .

TANG B ， KONG J Y ， WANG X D ， et al . Non-uniform illumination correction and segmentation algorithm for steel plate surface defects images ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2020 ， 48 （ 5 ）： 13 - 18 . （in Chinese）

RAZAVIAN A S ， AZIZPOUR H ， SULLIVAN J ， et al . CNN features off-the-shelf： an astounding baseline for recognition ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops . 2328，2014 ， Columbus ， OH ， USA . IEEE ， 2014 ： 512 - 519 .

刘桂雄，何彬媛，吴俊芳，等 . 面向视觉检测的深度学习图像分类网络及在零部件质量检测中应用［J］. 中国测试， 2019 ， 45 （ 7 ）： 1 - 10 .

LIU G X ， HE B Y ， WU J F ， et al . Deep learning image classification network for visual inspection and its application in components quality test ［J］. China Measurement & Test ， 2019 ， 45 （ 7 ）： 1 - 10 . （in Chinese）

马立，巩笑天，欧阳航空 . Tiny YOLOV3目标检测改进［J］. 光学精密工程， 2020 ， 28 （ 4 ）： 988 - 995 .

MA L ， GONG X T ， OUYANG H K . Improvement of Tiny YOLOV 3 target detection ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 4 ）： 988 - 995 . （in Chinese）

王建林，付雪松，黄展超，等 . 改进YOLOv2卷积神经网络的多类型合作目标检测［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 251 - 260 .

WANG J L ， FU X S ， HUANG ZH CH ， et al . Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 251 - 260 . （in Chinese）

余永维，韩鑫，杜柳青 . 基于Inception-SSD算法的零件识别［J］. 光学精密工程， 2020 ， 28 （ 8 ）： 1799 - 1809 .

YU Y W ， HAN X ， DU L Q . Target part recognition based Inception-SSD algorithm ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1799 - 1809 . （in Chinese）

谢经明，刘默耘，何文卓，等 . 基于轻量化YOLO的X射线焊缝图像信息检测［J/OL］. 华中科技大学学报（自然科学版）： 1 - 6 ［ 2020-11-12 ］. https：//doi.org/10.13245/j.hust.210106 https://doi.org/10.13245/j.hust.210106 .

XIE J M ， LIU M Y ， HE W ZH ， et al .. X-ray weld image information detection based on lightweight Y-OLO ［J/OL］. Journal of Huazhong University of Scien-ce and Technology（Natural Science Edition）： 1 - 6 ［ 2020-11-12 ］. https：//doi.org/10.13245/j.hust.210106. https://doi.org/10.13245/j.hust.210106. （in Chinese）

周明浩，朱家明 . 基于卷积神经网络的机械零件表面缺陷分类［J］. 农业装备与车辆工程， 2019 ， 57 （ 11 ）： 19 - 23 .

ZHOU M H ， ZHU J M . Classification of surface defects of mechanical parts based on convolution neural network ［J］. Agricultural Equipment & Vehicle Engineering ， 2019 ， 57 （ 11 ）： 19 - 23 . （in Chinese）

赵海文，赵亚川，齐兴悦，等 . 基于深度学习的汽车轮毂表面缺陷检测算法研究［J］. 组合机床与自动化加工技术， 2019 （ 11 ）： 112 - 115 .

ZHAO H W ， ZHAO Y CH ， QI X Y ， et al . Research on surface defect inspection algorithms of automobile hub based on deep learning ［J］. Modular Machine Tool & Automatic Manufacturing Technique ， 2019 （ 11 ）： 112 - 115 . （in Chinese）

CHEN J W ， LIU Z G ， WANG H R ， et al . Automatic defect detection of fasteners on the catenary support device using deep convolutional neural network ［J］. IEEE Transactions on Instrumentation and Measurement ， 2018 ， 67 （ 2 ）： 257 - 269 .

储岳中，黄勇，张学锋，等 . 基于自注意力的SSD图像目标检测算法［J］. 华中科技大学学报（自然科学版）， 2020 ， 48 （ 9 ）： 70 - 75 .

CHU Y ZH ， HUANG Y ， ZHANG X F ， et al . SSD image target detection algorithm based on self-attention ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2020 ， 48 （ 9 ）： 70 - 75 . （in Chinese）

REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： unified， real-time object detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 779 - 788 .

REDMON J ， FARHADI A . YOLOv3： an incremental improvement ［EB/OL］. arXiv： 1804.02767 ， 2018 .

韩凯 . 基于深度学习的汽车轮毂表面缺陷在线检测算法［D］. 北京：北京邮电大学， 2019 .

HAN K . The Online Detection Algorithm for Surface Defects of Automobile Hubs Based on Deep Learning ［D］. Beijing ： Beijing University of Posts and Telecommunications ， 2019 . （in Chinese）

戴伟聪，金龙旭，李国宁，等 . 遥感图像中飞机的改进YOLOv3实时检测算法［J］. 光电工程， 2018 ， 45 （ 12 ）： 84 - 92 .

DAI W C ， JIN L X ， LI G N ， et al . Real-time airplane detection algorithm in remote-sensing images based on improved YOLOv3 ［J］. Opto-Electronic Engineering ， 2018 ， 45 （ 12 ）： 84 - 92 . （in Chinese）

王立鹏，张智，苏丽，等 . 基于多特征融合的自适应权重目标分类方法［J］. 华中科技大学学报（自然科学版）， 2020 ， 48 （ 9 ）： 38 - 43 .

WANG L P ， ZHANG ZH ， SU L ， et al . Target classification with adaptive weights based on multi-feature fusion ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2020 ， 48 （ 9 ）： 38 - 43 . （in Chinese）

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y MARK . YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. arXiv ： 2004 . 10934 ， 2020

MISRA D . Mish： a self regularized non-monotonic neural activation function ［EB/OL］. arXiv ： 1908 . 08681 ， 2019

REZATOFIGHI H ， TSOI N ， GWAK J ， et al . Generalized intersection over union： a metric and a loss for bounding box regression ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 1520，2019 ， Long Beach， CA， USA . IEEE ， 2019 ： 658 - 666 .

ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 .

HRIPCSAK G ， ROTHSCHILD A S . Agreement， the F-measure， and reliability in information retrieval ［J］. Journal of the American Medical Informatics Association ， 2005 ， 12 （ 3 ）： 296 - 298 .

浏览量

556

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向机械臂抓取的航天器位姿检测

基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究

基于最小损失函数的三视场天文定位定向