改进YOLOv3的轮毂焊缝缺陷检测

改进YOLOv3的轮毂焊缝缺陷检测 Detection method of wheel hub weld defects based on the improved YOLOv3 1 2 corresp first-author E-mail： 20090011@huat.edu.cn E-mail： 20090011@huat.edu.cn 王　宸（1983-），男，湖北十堰人，博士，副教授，2009年于武汉科技大学获得硕士学位，2019年于上海大学获得博士学位，主要从事智能制造及机器视觉研究。E-mail：20090011@huat.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368673&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368679&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368676&type= 22.01332855 32.00401306 王　宸 （1983-），男，湖北十堰人，博士，副教授，2009年于武汉科技大学获得硕士学位，2019年于上海大学获得博士学位，主要从事智能制造及机器视觉研究。E-mail： 20090011@huat.edu.cn 20090011@huat.edu.cn 1 张秀峰（1995-），男，江苏连云港人，硕士研究生，2017年于常熟理工学院获得学士学位主要从事机器视觉研究。E-mail：m18036680079@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368682&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368685&type= 22.01332855 32.00402832 张秀峰 （1995-），男，江苏连云港人，硕士研究生，2017年于常熟理工学院获得学士学位主要从事机器视觉研究。E-mail： m18036680079@163.com m18036680079@163.com 1 1 1 湖北汽车工业学院 机械工程学院，湖北 十堰 442002 湖北汽车工业学院 机械工程学院，湖北 十堰 442002 College of Mechanical Engineering， Hubei University of Automotive Technology， Shiyan， 442002， China College of Mechanical Engineering， Hubei University of Automotive Technology， Shiyan， 442002， China 上海大学 上海市智能制造与机器人重点实验室，上海 200072 上海大学 上海市智能制造与机器人重点实验室，上海 200072 Shanghai Key Laboratory of Intelligent Manufacturing and Robotics， Shanghai University， Shanghai 200072， China Shanghai Key Laboratory of Intelligent Manufacturing and Robotics， Shanghai University， Shanghai 200072， China 为了实现轮毂焊缝缺陷的智能化检测，本文对深度学习目标检测算法（You Only Look Once version3，YOLOv3）进行改进，得到YOLOv3-MC算法用于轮毂焊缝缺陷的检测。首先，使用工业相机采集轮毂焊缝图像，然后标注图像制作数据集，并且通过数据增强方法扩充数据集。接着，为了提高算法检测精度，使用Mish激活函数替换YOLOv3主干网络中的激活函数。修改算法的损失函数，使用完备交并比（Complete Intersection over Union，CIoU）的计算方法提升算法检测的定位精度。最后使用训练集训练算法模型，再使用验证集和测试集图像数据进行检测试验，结果表明，YOLOv3-MC的最优模型在验证集上的平均准确率（Mean Average Precision，mAP）达到了98.94%，F1得分值为0.99，平均交并比（Average Intersection over Union，AvgIoU）为80.92%，检测速度为76.59帧/秒，模型大小234MB。该模型在测试集上的检测正确率达到了99.29%。相较于传统机器视觉检测方法，该方法提高了检测精度，满足轮毂生产企业的焊缝实时在线检测需求。 This study proposes a method for intelligent detection of wheel weld defects， against manual detection， by improving an existing deep learning target detection algorithm， called “You only look once” version 3 （YOLOv3）. The improved algorithm is called YOLOv3-MC. First， an industrial camera was used to capture the images of the wheel hub weld defects， which were then annotated and developed into a data set. The data set was then expanded using a data enhancement method. Second， the detection accuracy of the algorithm was improved using the Mish activation function instead of the Leaky ReLU activation function in the YOLOv3 backbone network. Furthermore， the loss function of the algorithm was modified， and the positioning accuracy of the detection algorithm was improved using the method of complete intersection over union （CIoU）. Finally， the batter model was trained with a training set. The detection experiment was implemented using a validation set and test set. The experimental results yielded a mean average precision （mAP） of 98.94% for the validation set in the optimal model of YOLOv3-MC. The F1 score value of the model was 0.99； the average Intersection over Union （AvgIoU） of the model was 80.92%； the detection speed was 76.59 frames per second （fps）； the model size was 234 MB； and the detection accuracy rate of the optimal model on the test set reached 99.29%. Compared to the traditional machine vision detection method， this method offers an improved detection accuracy and meets the real-time online detection needs of the welding seam during wheel manufacturing. 焊缝缺陷检测 YOLOv3-MC Mish激活函数 损失函数 weld defect detection YOLOv3-MC mish activation function loss function 1 引　言 1 轮毂是车辆的承载部件，其主要由轮圈和辐板两部分组成，制造方法有焊接法、铸造法和锻造法。在焊接法的生产过程中，需要对轮毂焊接焊缝的缺陷进行检测，来保障轮毂产品质量。轮毂焊缝缺陷多为表面缺陷，目前采用人工目测的方法进行检测，但此方法检测效率低，检测人员容易疲劳，存在漏检和误检等问题。随着机器视觉等技术的不断进步，尤其是人工智能技术在工业领域的应用 ［ 1 1 ］ ，给智能化检测带来了更多解决方案 ［ 2 2 ］ 。为了改进人工检测方法 ［ 3 3 ］ ，可以把焊缝缺陷看作目标检测问题，采用目标检测的方法实现焊缝缺陷的智能化检测。目标检测 ［ 4 4 ］ 的方法主要可以分为两类：一类是采用传统机器视觉的方法另一类是采用深度学习的方法。 传统的机器视觉方法使用特定编程算法，提取特征信息进行分类识别。罗志伟等 ［ 5 5 ］ 根据焊球的形状和尺寸特征，使用高斯混合模型实现了其缺陷的识别分类，得到了97.06%的检测准确率，但是存在较高的误判率，数据样本较少。高向东等 ［ 6 6 ］ 采用主成分分析和支持向量机对高强钢焊缝特征的动态磁光图像进行分析，实现了焊缝缺陷的自动检测，识别率为92.6%。Malarvel等 ［ 7 7 ］ 使用了机器视觉方法对焊缝图像进行去噪，利用梯度幅值增强图像特征，实现了焊缝缺陷检测，但方法对于弱缺陷特征的检测效果较差。汤勃等 ［ 8 8 ］ 采用了多尺度高斯函数方法提取了图像的光照参数，实现了对光照不均的自适应校正，并且使用遗传算法优化图像分割阈值，实现了钢板表面缺陷的有效检出，该方法受环境和光照等因素的影响较大。上述的传统机器视觉方法都是针对特定问题，设计特征提取算法，不能高效地提取多种焊缝缺陷特征，并且在复杂环境下易受干扰，准确率较低。 深度学习算法特别是卷积神经网络（CNN） ［ 9 9 ］ 算法拥有强大的自动提取特征能力，使得其在复杂环境下能较好地完成目标检测任务 ［ 10 10 ］ 。上海大学的马立等 ［ 11 11 ］ 对Tiny YOLOv3算法模型的特征提取网络与损失函数进行改进，提升了模型对小目标的检测准确率。王建林等 ［ 12 12 ］ 改进了YOLOv2算法模型，利用数据增强扩充数据集，得到了90.48%的多类型合作目标检测精度。余永维等 ［ 13 13 ］ 将Inception网络结构结合SSD算法，最终在自制的零件数据集上得到了97.8%的准确率，其检测速度快满足实际生产的零件检测需求。华中科技大学的谢经明等 ［ 14 14 ］ 使用轻量化的YOLO算法实现了焊缝X射线图像的准确识别。周明浩和朱家明 ［ 15 15 ］ 使用卷积神经网络检测机械零件的表面缺陷，取得了极高的识别准确率，证明了其在零件表面缺陷检测方面的优势。赵海文等 ［ 16 16 ］ 使用卷积神经网络对汽车轮毂的划痕、擦伤等表面缺陷进行了检测，检测试验结果表明该方法检测准确率高、鲁棒性强。Chen等 ［ 17 17 ］ 使用深度卷积神经网络检测铁路接触网的悬臂连接件的缺陷，通过大量实验和比较，该方法在复杂环境下具有较高的检测率和良好的环境适应性。 轮毂生产的环境十分复杂，焊缝的表面缺陷种类多，使用传统机器视觉的检测方法通用性差，算法鲁棒性不足，检测效率低，难以满足实时性需求。基于深度学习的目标检测算法 ［ 18 18 ］ 通用性好、鲁棒性高，检测速度快、准确率高，适用于环境复杂的工业目标检测。本文基于YOLOv3 ［ 19 19 - 20 20 19-20 ］ 算法，首先设计了检测平台结构，然后采集了焊缝图像制作数据集，最后对YOLOv3算法进行了改进优化，得到YOLOv3-MC算法模型并进行检测试验。 2 材料与方法 1 2.1　智能检测平台与检测试验流程 2 在轮毂的生产过程中，企业依靠人工目视来检测轮毂焊缝的焊接质量，筛选出不合格产品。为了能在实际的生产过程中实现轮毂焊缝缺陷的智能化检测，本文模拟生产中的实际情况设计和搭建了智能检测平台。其结构简图如 图1 图1 所示。 检测平台的主要结构有输送装置、图像采集装置和缺陷工件顶出装置，平台的检测流程如下：在实际生产过程中通过输送装置将轮毂由上一工序传输到检测平台，当轮毂到达预定位置并触发光电传感器时，图像采集装置开始对轮毂焊缝进行取像。在取像时，由于轮毂的尺寸是固定的，轮圈和辐板的焊接位置是一个固定位置的圆，并且焊接机器人焊接的焊缝长度是固定值10 cm，每个轮毂有四条焊缝，所以将相机聚焦到该圆附近进行旋转拍照即可完成数据采集。然后将图像信息传输到工作站进行处理并判断是否合格，若其结果是焊缝无缺陷，则检测结束，轮毂传输至下一工序。若检测结果是焊缝存在缺陷，则在轮毂经过1第二个光电传感器时启动顶出装置，将不合格轮毂顶出到缺陷工件回收滚道上，搭建的模拟智能检测平台实物如 图2 图2 所示。 本文的检测试验流程可分为图像数据采集，制作数据集，训练模型，测试模型和对比分析。试验首先需要采集轮毂焊缝图像，使用BFS-U3-89S6C-C型号面阵CCD传感器工业相机，其最大分辨率为4 096 <math id="M1"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368713&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368710&type= 3.72533321 2.79399991 2 160，帧频为42FBS，数据接口为USB3.0，使用型号为HC3505A的定焦镜头。然后对采集的图像做预处理并且制作数据集，使用图像标注工具对各类焊缝缺陷图像进行标注。数据集包含了用于模型训练的训练集，用于评价模型性能的验证集和用于检测的测试集，并且使用数据增强方法扩充数据集。最后进行识别检测，对检测结果数据进行分析。整体试验流程如 图3 图3 所示。 2.2　图像采集与数据增强 2 轮毂焊缝缺陷图像数据来源于某轮毂生产企业中的轮毂焊缝缺陷样本。根据常见的轮毂焊缝表面缺陷类型，将焊缝缺陷划分为断弧、焊瘤、偏焊、起弧不良和气孔5种缺陷类型。其中断弧的缺陷特征是焊缝表面有明显的凹陷或穿透；焊瘤是指焊接过程中，熔化金属流淌到焊缝之外未熔化的母材上所形成的金属瘤；偏焊缺陷特征为焊缝发生偏移，未在中间位置；起弧不良的缺陷特征为焊缝两段的端头有缩颈；气孔是指熔池中的气泡在凝固时未能逸出而残留在焊缝表面形成的空穴。 在轮毂生产过程中，出现焊缝缺陷的概率较小，但是深度学习需要大量的训练图像来减少过拟合，减少由不相关特征产生的建模偏差。现有的解决方法有数据增强、正则化和元学习（Meta-learning）等，由于轮毂焊缝的背景较为相似，使用数据增强方法不仅可以扩充数据集的数量，而且可以避免模型学习到背景特征。采用数据增强后最终得到可用的轮毂焊缝图像共计18 990张。 2.3　标注与制作数据集 2 将缺陷图像划分为训练集、验证集和测试集，划分比例大约为7∶2∶1，其中训练集9 064张，验证集3 140张，测试集有缺陷焊缝图像1 368张，统计结果如 表1 表1 所示。本文试验使用开源图像标注工具LabelImg ［ 21 21 ］ ，标注图像数据中的焊缝缺陷位置，共标注了12 204张图像。其中断弧缺陷标注2 484张；焊瘤缺陷共标注2 484张；偏焊缺陷共标注2 457张；起弧不良缺陷共标注2 286张；气孔缺陷共标注2 493张。轮毂实际生产过程中，轮毂焊缝产生缺陷是相对概率较小的事件，所以在测试集中加入了5 418张完好无缺陷的焊缝图像作为干扰项，模拟实际情况。如 图4 图4 所示展示了最终的数据集的5类缺陷，其中第一列是采集图像，第二列是标注图像，其余三列是增强后的图像数据。 焊缝缺陷类型 训练集（张） 验证集（张） 测试集（张） 断弧 1 832 652 279 焊瘤 1 825 659 279 偏焊 1 827 630 279 起弧不良 1 713 573 252 气孔 1 867 626 279 无缺陷 0 0 5 418 总计 9 064 3 140 6 786 1;2; 3 算法原理与改进 1 3.1　YOLOv3原理 2 YOLOv3是基于回归方法的端到端的目标检测算法，其直接通过一个深度卷积神经网络将原始图像数据信息转变为目标物体的位置和类别信息，把目标检测问题转化为回归问题，得到边界框和类别置信度。这种端到端的一步式处理方法使检测速度得到极大提升，适用于实时检测，并且该算法通用性强，检测准确率高。 YOLOv3的主干网络是Darknet-53的卷积神经网络，用于对输入图像的特征进行提取。YOLOv3可以实现对不同大小尺度的目标进行检测 ［ 22 22 ］ ，其采用多尺度融合的方法实现局部特征交互 ［ 23 23 ］ ，对主干网络提取到的三个不同尺度的特征图Y1，Y2和Y3进行融合预测。不同尺度的特征图是把输入图像划分成不同数量的单元格，数量越多越容易检测小目标物体。特征图的每一个单元格所含信息大小用维数D表示，其计算方法如 式（1） 式（1） 所示，YOLOv3的整体算法网络结构示意图如 图5 图5 所示。 <math display="block" id="M2"><mtable><mtr><mtd><mrow><mi>D</mi><mo>=</mo><mi>E</mi><mo>×</mo><mfenced separators="|"><mrow><mi>F</mi><mo>+</mo><mi>G</mi></mrow></mfenced></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368752&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368750&type= 28.02466965 4.06400013 ， 其中， E 表示每个单元预测的边界框数量， F 表示检测目标的类别数， G 代表每个边界框包含的4个位置坐标信息和1个目标性得分信息。在YOLOv4算法中有多种改进方法，例如使用Mish激活函数和CIoU计算损失函数的方法等 ［ 24 24 ］ 。通过这些改进，算法的检测精度和检测效率都有明显提升。 3.2　非线性激活函数改进 2 YOLOv3的算法结构最小单元是DBL结构，其由卷积层，批次归一化层（Batch Normalization）和非线性激活组成。非线性激活是使神经网络具有非线性的关键单元，它决定了人工神经元是否处于激发状态，这种模拟生物神经结构的方法赋予了深度学习算法学习复杂函数的能力，YOLOv3算法采用Leaky ReLU激活函数。本文针对YOLOv3主干网络的激活函数做优化，使用Mish函数替换原激活函数 ［ 25 25 ］ ， 图6 图6 是这两种激活函数曲线图。 Leaky ReLU激活函数的表达式如下 公式2 公式2 所示，Mish激活函数的表达式如下 公式3 公式3 所示。显然可以发现Mish函数是连续函数，其可以连续微分，这使得在反向传播时梯度优化更容易，优化效果更好，网络泛化效果也更好。并且Mish函数在正无穷方向发散，在负无穷方向收敛到0，函数在 x 轴下方具有非单调性且有最小值，这可以产生较强的正则化效果。通过函数表达式计算可得，Mish函数的最小值点为（ - 1.192 4， - 0.308 44），这使得绝对值较小的负输入也会有相对较大的负输出，提高了模型表达能力和控制流。本文在主干网络中采用了Mish激活函数替换Leaky ReLU激活函数，以期得到更高的检测平均准确率，并在下文的试验中验证了其改进效果。 <math display="block" id="M3"><mtable><mtr><mtd><mrow><mi>σ</mi><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mfenced separators="|"><mrow><mn mathvariant="normal">0.1</mn><mi>x</mi><mo>,</mo><mi>x</mi></mrow></mfenced></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368775&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368773&type= 32.85066605 3.97933316 ， <math display="block" id="M4"><mtable><mtr><mtd><mrow><mi>σ</mi><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced><mo>=</mo><mi>x</mi><mo>⋅</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mfenced separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>+</mo><msup><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">x</mi></mrow></msup></mrow></mfenced></mrow></mfenced></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368782&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368778&type= 41.82533264 5.16466665 . 3.3　损失函数改进 2 YOLOv3算法在进行迭代计算时使用损失函数来表征预测框与真实框之间的差异程度，通过不断更新权重值，损失函数值不断减小，YOLOv3的损失函数公式如 公式4 公式4 所示。 <math display="block" id="M5"><mtable><mtr><mtd><mi mathvariant="normal">L</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo>=</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">d</mi></mrow></msub><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><msup><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>B</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">j</mi></mrow></msubsup><mo stretchy="false">[</mo><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>x</mi><mi>i</mi></mrow></msub><mo>-</mo><msubsup><mrow><mi>t</mi></mrow><mrow><mi>x</mi><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>y</mi><mi>i</mi></mrow></msub><mo>-</mo><msubsup><mrow><mi>t</mi></mrow><mrow><mi>y</mi><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo></mrow></mrow><mo>+</mo></mtd></mtr><mtr><mtd><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">d</mi></mrow></msub><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><msup><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>B</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">j</mi></mrow></msubsup><mo stretchy="false">[</mo><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>w</mi><mi>i</mi></mrow></msub><mo>-</mo><msubsup><mrow><mi>t</mi></mrow><mrow><mi>w</mi><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>h</mi><mi>i</mi></mrow></msub><mo>-</mo><msubsup><mrow><mi>t</mi></mrow><mrow><mi>h</mi><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo></mrow></mrow><mo>+</mo></mtd></mtr><mtr><mtd><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><msup><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>B</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">j</mi></mrow></msubsup><mo stretchy="false">[</mo><mo stretchy="false">(</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msubsup><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo></mrow></mrow><mo>+</mo></mtd></mtr><mtr><mtd><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><msup><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>B</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">j</mi></mrow></msubsup><mo stretchy="false">[</mo><mo stretchy="false">(</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msubsup><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msubsup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo></mrow></mrow><mo>-</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><msup><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>B</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">j</mi></mrow></msubsup></mrow></mrow></mtd></mtr><mtr><mtd><mo> </mo><mo> </mo><munder><mo movablelimits="false">∑</mo><mrow><mo stretchy="false">(</mo><mi>C</mi><mo>∈</mo><mo> </mo><mo> </mo><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mo stretchy="false">)</mo></mrow></munder><mrow><mo stretchy="false">[</mo><msub><mrow><mover accent="true"><mi>p</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>c</mi><mo stretchy="false">)</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>c</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msubsup><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>c</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>c</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368790&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368786&type= 80.34867096 51.56200027 ， 式（4） 式（4） 中的1，2项为定位损失函数，3，4项为置信度损失函数，第5项是分类损失函数。式中 obj 表示单元格内含有目标， noobj 表示单元格内没有目标， i 表示第 i 单元格， j 表示该单元格预测的第 j 框。 <math id="M6"><msub><mrow><mi>t</mi></mrow><mrow><mi>x</mi><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368797&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368794&type= 2.96333337 3.72533321 ， <math id="M7"><msub><mrow><mi>t</mi></mrow><mrow><mi>y</mi><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368801&type= 2.87866688 3.72533321 表示预测框的中心点横纵坐标偏移值， <math id="M8"><msub><mrow><mi>t</mi></mrow><mrow><mi>w</mi><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368814&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368809&type= 3.38666677 3.72533321 ， <math id="M9"><msub><mrow><mi>t</mi></mrow><mrow><mi>h</mi><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368822&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368818&type= 2.87866688 3.72533321 分别表示预测框宽与图像宽的比，预测框高和图像高的比，同样的， <math id="M10"><msubsup><mrow><mi>t</mi></mrow><mrow><mi>x</mi><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>t</mi></mrow><mrow><mi>y</mi><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>t</mi></mrow><mrow><mi>w</mi><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>t</mi></mrow><mrow><mi>h</mi><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368830&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368826&type= 17.78000069 4.40266657 分别表示真实框的相应地的位置信息。“1”表示第 i 单元格第 j 框中是否含有目标的示性函数， C 表示预测框置信度得分， P 表示条件类别概率值。 公式4 公式4 中的 <math id="M11"><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">d</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">2</mn><mo>-</mo><mi>w</mi><mo>×</mo><mi>h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368837&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368833&type= 27.60133362 3.72533321 ，其取值范围是（1，2）。如 公式4 公式4 中的最后一项所示，YOLOv3在分类损失计算中使用了交叉熵。 YOLOv3算法计算损失函数的过程中，前两项的定位损失函数计算，使用的是位置坐标的二范数值，这种度量方法有可能出现交并比（Intersection over Union，IoU）不同，但二范数值却相同的情况。如果直接使用IoU又会带来梯度消失问题。2019年Rezatofighi H等人引入广义交并比GIoU来弥补IoU的缺点，对深度学习算法的损失函数的度量方法进行优化 ［ 26 26 ］ ，GIoU计算公式如 公式6 公式6 所示。 <math display="block" id="M12"><mtable><mtr><mtd><mrow><mi>I</mi><mi>o</mi><mi>U</mi><mo>=</mo><mfrac><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>A</mi><mo>⋂</mo><mi>B</mi></mrow></mfenced></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>A</mi><mo>⋃</mo><mi>B</mi></mrow></mfenced></mrow></mfrac></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368845&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368841&type= 23.62199974 10.24466610 ， <math display="block" id="M13"><mtable><mtr><mtd><mrow><mi>G</mi><mi>I</mi><mi>o</mi><mi>U</mi><mo>=</mo><mi>I</mi><mi>o</mi><mi>U</mi><mo>-</mo><mfrac><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>M</mi><mo>-</mo><mfenced separators="|"><mrow><mi>A</mi><mo>⋃</mo><mi>B</mi></mrow></mfenced></mrow></mfenced></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>M</mi></mrow></mfenced></mrow></mfrac></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368854&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368849&type= 48.59866714 10.41399956 ， 其中， A 表示真实框， B 表示预测框， M 表示包含 A 和 B 的最小外接矩形。GIoU不仅可以度量重合度还度量了非重合的程度，可以更好地反映预测框的优劣。但从 式（6） 式（6） 可知，当真实框 A 与预测框 B 处于包含关系时， <math id="M14"><mi>M</mi><mo>-</mo><mfenced separators="|"><mrow><mi>A</mi><mo>⋃</mo><mi>B</mi></mrow></mfenced><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368862&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368858&type= 27.60133362 4.65666676 即GIoU退化为IoU。事实上要度量两个框的重合程度应该同时考虑重叠面积、中心点距离和长宽比三个因素。 Zheng和Wang等人在2019年提出了能同时计算这三要素的度量指标CIoU ［ 27 27 ］ ，该方法是在IoU的计算后面加入关于中心点距离和长宽比的两项惩罚项，如式（7）~ 式（9） 式（9） 所示。改进度量指标后可以提升算法模型的检测准确率，尤其可以显著提高预测框的定位精度，下文的试验结果验证了该改进的效果。 <math display="block" id="M15"><mtable><mtr><mtd><mrow><mi>C</mi><mi>I</mi><mi>o</mi><mi>U</mi><mo>=</mo><mi>I</mi><mi>o</mi><mi>U</mi><mo>-</mo><mfrac><mrow><msup><mrow><mi>ρ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mfenced separators="|"><mrow><mi>b</mi><mo>,</mo><msup><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msup></mrow></mfenced></mrow><mrow><msup><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac><mo>-</mo><mi>α</mi><mi>ν</mi></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368869&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368864&type= 47.75199890 8.55133343 ， <math display="block" id="M16"><mtable><mtr><mtd><mrow><mi>v</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">4</mn></mrow><mrow><msup><mrow><mi>π</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac><msup><mrow><mfenced separators="|"><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mfrac><mrow><msup><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msup></mrow><mrow><msup><mrow><mi>h</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msup></mrow></mfrac><mo>-</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mfrac><mrow><mi>w</mi></mrow><mrow><mi>h</mi></mrow></mfrac></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368878&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368872&type= 49.95333481 10.07533360 ， <math display="block" id="M17"><mtable><mtr><mtd><mrow><mi>α</mi><mo>=</mo><mfrac><mrow><mi>v</mi></mrow><mrow><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mi>I</mi><mi>o</mi><mi>U</mi></mrow></mfenced><mo>+</mo><mi>v</mi></mrow></mfrac></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368882&type= 30.22599983 8.72066593 ， 其中， c 表示最小外接矩的对角线长度， <math id="M18"><mi>b</mi><mo>,</mo><msup><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368892&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368889&type= 7.19666624 3.47133350 分别表示预测框和真实框的中心点， <math id="M19"><msup><mrow><mi>ρ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368898&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368895&type= 2.87866688 3.89466691 表示欧氏距离， v 表示长宽比一致性衡量参数， <math id="M20"><msup><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msup><mo>,</mo><msup><mrow><mi>h</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368906&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368902&type= 10.24466610 3.47133350 分别表示真实框的宽和高， w 和 h 表示预测框的宽和高。 4 试验结果与分析 1 4.1　试验训练与检测过程 2 本文的轮毂焊缝智能化检测方法所训练和测试的模型均运行在Windows 10操作系统的高性能工作站上，其配置为英特尔2.10 GHz八核CPU，32 GB内存，Nvidia GeForce RTX 2080Ti显卡。试验通过模型验证结果反馈，选择最优超参数值，每次训练模型迭代20 000次，用时在22 h左右。 4.2　模型的评价指标 2 为了对训练出来的模型进行客观评价，需要使用一些评价指标。准确率（Precision）表示预测为真的样本中正样本数的比例，召回率（Recall）表示在所有真实情况为正的样本中预测为真的样本数的比例，平均精度AP（Average Precision）是不同召回率下的准确率的平均值，均值平均精度mAP表示不同类别的AP值的平均值，辅助评估值F1 ［ 28 28 ］ 值是准确率与召回率的综合值，具体公式如下。 <math display="block" id="M21"><mtable><mtr><mtd><mrow><mi>P</mi><mi>r</mi><mi>e</mi><mi>c</mi><mi>i</mi><mi>s</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>P</mi></mrow></mfrac></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368911&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368907&type= 34.79800034 7.70466709 ， <math display="block" id="M22"><mtable><mtr><mtd><mrow><mi>R</mi><mi>e</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>l</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368917&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368914&type= 31.24200058 7.70466709 ， <math display="block" id="M23"><mtable><mtr><mtd><mrow><mi>m</mi><mi>A</mi><mi>P</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></munderover></mstyle><mrow><mi>A</mi><mi>P</mi></mrow><mfenced separators="|"><mrow><mi>i</mi></mrow></mfenced></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368925&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368922&type= 31.32666588 8.38199997 ， <math display="block" id="M24"><mtable><mtr><mtd><mrow><mi>F</mi><mn mathvariant="normal">1</mn><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mi>P</mi><mi>r</mi><mi>e</mi><mi>c</mi><mi>i</mi><mi>s</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo>×</mo><mi>R</mi><mi>e</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>l</mi></mrow><mrow><mi>P</mi><mi>r</mi><mi>e</mi><mi>c</mi><mi>i</mi><mi>s</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo>+</mo><mi>R</mi><mi>e</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>l</mi></mrow></mfrac></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368932&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19368928&type= 40.63999939 7.70466709 ， 其中， TP 表示预测为真的正样本（True positive）， FN 表示预测为假的负样本（False negative）， FP 表示预测为假的正样本（False positive）， k 表示类别数，AP（ i ）表示第 i 个类别的AP值。 4.3　试验结果对比分析 2 在本次试验中，综合考虑不同训练超参数和不同算法模型的影响，选用以下四种算法模型进行对比：使用原始YOLOv3算法，用YOLOv3表示；使用Mish激活函数优化主干网络的YOLOv3算法，用YOLOv3-M表示；使用CIoU优化损失函数的YOLOv3算法，用YOLOv3-C表示；同时使用Mish激活函数和CIoU优化方法，用YOLOV3-MC表示。如下 图7 图7 和 图8 图8 所示，对四种模型的训练过程作可视化处理，以便分析训练过程中的损失函数（Loss）值和平均交并比变化情况。 如 图7 图7 所示，四种算法模型在训练中Loss值整体变化趋势一致，它们都在前2 000次训练中快速下降，然后逐渐趋于稳定，但依然会小幅震荡。如 图8 图8 所示，平均交并比在训练前期数值较低且波动较大，在训练7 000次后都会逐渐稳定。YOLOv3-C和YOLOv3-MC的平均交并比要明显高于其余两种算法，并且波动程度较小。这和3.3小节的理论分析结果一致，即当使用更完备的度量值优化损失函数时，可以提升算法的定位精度，并且有助于得到准确率更高的结果模型。 本文试验主要以 公式12 公式12 的mAP值作为评价指标，以验证集作为真值，计算不同算法模型在不同迭代训练次数下的mAP值。计算时判定为正样本的参数条件为：与真实框的IoU值大于0.5 ［ 27 27 ］ ，结果数据统计如 图9 图9 所示。改进后的YOLOv3-MC的mAP值在多数迭代次数下数值最高，曲线也更稳定。四种算法模型在20 000次迭代中的最优结果模型的验证集检测结果数据如 表2 表2 所示。YOLOv3-MC算法在验证集中检测正确的正样本（TP）数量最高，检测错误的FP和FN数量最少，各个类别准确率和召回率也最高。YOLOv3-MC的最优模型的mAP相较于原始YOLOv3的最优模型的mAP值提升了1.88%。 验证集结果指标 YOLOv3 YOLOv3-M YOLOv3-C YOLOv3-MC SSD Faster-RCNN TP 3670 3708 3711 3738 / / FP 100 64 59 37 / / FN 100 62 59 32 / / mAP（%） 97.06 98.07 98.09 98.94 97.32 94.87 准确率（%） 97.35 98.30 98.44 99.02 97.69 / 召回率（%） 97.35 98.36 98.44 99.15 97.81 / 平均交并比（%） 77.56 79.91 77.62 80.92 / / F1 0.97 0.98 0.98 0.99 0.98 / 检测速度（ f /s） 76.59 76.59 76.59 76.59 / / 权重文件（MB） 234 234 234 234 92.6 108 断弧AP（%） 93.35 95.70 95.45 96.75 93.03 85.23 焊瘤AP（%） 95.46 96.74 97.36 99.25 95.57 95.29 偏焊AP（%） 96.88 98.13 98.03 98.67 98.02 94.78 起弧不良AP（%） 99.60 99.80 99.61 100.00 100.00 99.06 气孔AP（%） 100.00 100.00 100.00 100.00 99.97 100.00 此外，使用相同的数据集在原始SSD和Faster-RCNN算法上进行训练，得到最优模型为迭代60epoch后的模型，在验证集上检测模型的mAP等各类指标，如 表2 表2 所示。可以看出验证集准确率低于YOLOv3-MC算法模型，并且在下文的测试集检测中发现，SSD和Faster-RCNN算法模型的误检率较高，有大量的无缺陷图像被误检为缺陷图像。综上所述，改进Mish激活函数和CIoU度量指标的YOLOv3-MC算法是更优的算法，得出的最优模型的检测效果也最好，其在IoU阈值为0.5的验证集上的mAP值为98.94%，F1得分值为0.99，平均交并比为80.92%，每张图像的检测时间不超过14毫秒，模型大小234 MB，满足轮毂生产企业检测需求，该算法模型可用于智能检测系统。 4.4　测试集检测结果与分析 2 最终确定改进后的YOLOv3-MC的最优模型作为智能系统的检测模型。为了证明该算法模型的实际检测效果，使用测试集图像进行检测。测试集图像包括了与训练集相独立的图像数据以及作为干扰项的无缺陷焊缝图像。测试集检测时置信度阈值设为0.25 ［ 19 19 ］ ， 图10 图10 展示了五种缺陷类型的检测结果图。测试集检测试验完成后，统计各类型的正确率，结果统计如 表3 表3 所示。 检测结果 检测出该类别缺陷（张） 未能或错误检测出该缺陷类别（张） 正确率 % 断弧 279 0 100 焊瘤 279 0 100 偏焊 279 0 100 起弧不良 252 0 100 气孔 279 0 100 无缺陷 5418 48 99.11 总计 6786 48 99.29 表3 表3 以能否正确识别图像样本缺陷类型为判断条件，得到测试集的检测结果，测试集中的所有图像均未出现在训练集中。其中各缺陷类别数据检测正确率均为100%，无缺陷焊缝检测正确率为99.11%。说明了该模型对于缺陷样本的检测精度很高，可以满足检测需求。但是，在测试集的全部5 418张无缺陷图像中，有48张无缺陷焊缝图像错误检测出了缺陷，其中误检为断弧（置信度为0.33）一张，如 图11 图11 （a）所示；误检为焊瘤（置信度为0.38）一张，如 图11 图11 （b）所示；误检为气孔9张，如 图11 图11 （c）所示；误检为偏焊37张，如 图11 图11 （d）所示。 分析以上48张误检样本，对于误检为气孔缺陷的图像，其特征为含有呈金色且形状较小的斑点，而真实气孔缺陷焊缝的缺陷特征为黑色斑点且形状较大。误检为偏焊的图像中，由于拍摄角度使得焊缝和缝隙有偏差，这种特征和偏焊的缺陷特征类似。误检为焊瘤的图像，其特征和焊瘤缺陷特征也非常类似，从人工角度去判断也有困难。为了在实际检测中尽可能的减少无缺陷样本的误检，即提高召回率，在采集图像进行检测时，要尽可能保证焊缝的清晰完整和角度垂直，避免出现误检；另一方面在算法上扩大数据集的规模，可以有更好的检测结果。其次，也可将无缺陷类型样本图像也作为一个缺陷类型进行训练和测试，可以减少误检情况发生，但是会增加模型的训练难度和降低模型的泛化能力。 此外，YOLOv3-MC算法不仅可以得到如上 图10 图10 和11的检测结果图像，还可以得到具体图像中缺陷检测框的坐标和缺陷类型置信度，如下数据所示：“duanhu：82%（left_x： 246 top_y： 205 width： 63 height： 54）”，在后续的工作中可以对这些结果数据作分析。 5 结　论 1 本文提出了关于轮毂焊缝缺陷智能化检测的新方法，将YOLOv3算法作为基础检测算法，设计了检测方案，制作了数据集。使用效果更优的Mish激活函数改进算法，以及使用CIoU度量指标改进损失函数，最终改进后的算法在检测试验中有更高的准确率和效率。 检测试验结果表明，改进后的模型在验证集上（IoU阈值为0.5）的F1值为0.99，mAP值达到了98.94%，平均交并比为80.92%，在测试集上检测的总体正确率为99.29%。检测算法的单张检测时间不超过14毫秒，检测效率较高，满足轮毂生产企业的生产线节拍要求。说明了该模型拥有高精度和较好的鲁棒性，其可以在实际应用中准确识别、分类与定位轮毂焊缝缺陷，实现轮毂焊缝缺陷的智能化检测，代替人工目测。 在后续工作中，由于YOLOv3-MC算法对硬件设备要求较高，在实际的工业应用中增加了成本，需在不损失检测精度和效率的情况下，对模型进行剪枝等操作，缩减模型大小，降低使用成本。 参考文献 李杰 ， SINGH J ， AZAMFAR M ， 等 . 工业人工智能——工业应用中的人工智能系统框架（英文） ［J］. 中国机械工程 ， 2020 ， 31 （ 1 ）： 37 - 48 . 工业人工智能——工业应用中的人工智能系统框架（英文） Jay LEE ， JASKARAN S ， MOSLEM A ， et al . Industrial AI： a systematic framework for AI in industrial applications ［J］. China Mechanical Engineering ， 2020 ， 31 （ 1 ）： 37 - 48 . （in Chinese） Industrial AI： a systematic framework for AI in industrial applications 刘强 . 智能制造理论体系架构研究 ［J］. 中国机械工程 ， 2020 ， 31 （ 1 ）： 24 - 36 . 智能制造理论体系架构研究 LIU Q . Study on architecture of intelligent manufacturing theory ［J］. China Mechanical Engineering ， 2020 ， 31 （ 1 ）： 24 - 36 . （in Chinese） Study on architecture of intelligent manufacturing theory 晋博 ， 蔡念 ， 夏皓 ， 等 . 基于深度学习的工业视觉检测系统 ［J］. 计算机工程与应用 ， 2019 ， 55 （ 2 ）： 266 - 270 . 基于深度学习的工业视觉检测系统 JIN B ， CAI N ， XIA H ， et al . Industrial vision inspection system based on deep learning ［J］. Computer Engineering and Applications ， 2019 ， 55 （ 2 ）： 266 - 270 . （in Chinese） Industrial vision inspection system based on deep learning 方路平 ， 何杭江 ， 周国民 . 目标检测算法研究综述 ［J］. 计算机工程与应用 ， 2018 ， 54 （ 13 ）： 11 - 18， 33 . 目标检测算法研究综述 FANG L P ， HE H J ， ZHOU G M . Research overview of object detection methods ［J］. Computer Engineering and Applications ， 2018 ， 54 （ 13 ）： 11 - 18， 33 . （in Chinese） Research overview of object detection methods 罗志伟 ， 杨玉龙 ， 李志红 . BGA焊球视觉检测算法及系统设计 ［J］. 光学 精密工程 ， 2018 ， 26 （ 9 ）： 2190 - 2197 . BGA焊球视觉检测算法及系统设计 LUO ZH W ， YANG Y L ， LI ZH H . Design of vision detection algorithm and system for BGA welding balls ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 9 ）： 2190 - 2197 . （in Chinese） Design of vision detection algorithm and system for BGA welding balls 高向东 ， 蓝重洲 ， 陈子琴 ， 等 . 焊接缺陷磁光成像动态检测与识别 ［J］. 光学 精密工程 ， 2017 ， 25 （ 5 ）： 1135 - 1141 . 焊接缺陷磁光成像动态检测与识别 GAO X D ， LAN CH ZH ， CHEN Z Q ， et al . Dynamic detection and recognition of welded defects based on magneto-optical imaging ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 5 ）： 1135 - 1141 . （in Chinese） Dynamic detection and recognition of welded defects based on magneto-optical imaging MALARVEL M ， SETHUMADHAVAN G ， RAO BHAGI P C ， et al . Anisotropic diffusion based denoising on X-radiography images to detect weld defects ［J］. Digital Signal Processing ， 2017 ， 68 ： 112 - 126 . Anisotropic diffusion based denoising on X-radiography images to detect weld defects 汤勃 ， 孔建益 ， 王兴东 ， 等 . 钢板表面缺陷图像非均匀光照校正及分割算法 ［J］. 华中科技大学学报（自然科学版） ， 2020 ， 48 （ 5 ）： 13 - 18 . 钢板表面缺陷图像非均匀光照校正及分割算法 TANG B ， KONG J Y ， WANG X D ， et al . Non-uniform illumination correction and segmentation algorithm for steel plate surface defects images ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition） ， 2020 ， 48 （ 5 ）： 13 - 18 . （in Chinese） Non-uniform illumination correction and segmentation algorithm for steel plate surface defects images RAZAVIAN A S ， AZIZPOUR H ， SULLIVAN J ， et al . CNN features off-the-shelf： an astounding baseline for recognition ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops . 2328，2014 ， Columbus ， OH ， USA . IEEE ， 2014 ： 512 - 519 . CNN features off-the-shelf： an astounding baseline for recognition 刘桂雄 ， 何彬媛 ， 吴俊芳 ， 等 . 面向视觉检测的深度学习图像分类网络及在零部件质量检测中应用 ［J］. 中国测试 ， 2019 ， 45 （ 7 ）： 1 - 10 . 面向视觉检测的深度学习图像分类网络及在零部件质量检测中应用 LIU G X ， HE B Y ， WU J F ， et al . Deep learning image classification network for visual inspection and its application in components quality test ［J］. China Measurement & Test ， 2019 ， 45 （ 7 ）： 1 - 10 . （in Chinese） Deep learning image classification network for visual inspection and its application in components quality test 马立 ， 巩笑天 ， 欧阳航空 . Tiny YOLOV3目标检测改进 ［J］. 光学 精密工程 ， 2020 ， 28 （ 4 ）： 988 - 995 . Tiny YOLOV3目标检测改进 MA L ， GONG X T ， OUYANG H K . Improvement of Tiny YOLOV 3 target detection ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 4 ）： 988 - 995 . （in Chinese） Improvement of Tiny YOLOV3 target detection 王建林 ， 付雪松 ， 黄展超 ， 等 . 改进YOLOv2卷积神经网络的多类型合作目标检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 1 ）： 251 - 260 . 改进YOLOv2卷积神经网络的多类型合作目标检测 WANG J L ， FU X S ， HUANG ZH CH ， et al . Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 251 - 260 . （in Chinese） Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network 余永维 ， 韩鑫 ， 杜柳青 . 基于Inception-SSD算法的零件识别 ［J］. 光学 精密工程 ， 2020 ， 28 （ 8 ）： 1799 - 1809 . 基于Inception-SSD算法的零件识别 YU Y W ， HAN X ， DU L Q . Target part recognition based Inception-SSD algorithm ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1799 - 1809 . （in Chinese） Target part recognition based Inception-SSD algorithm 谢经明 ， 刘默耘 ， 何文卓 ， 等 . 基于轻量化YOLO的X射线焊缝图像信息检测 ［J/OL］. 华中科技大学学报（自然科学版） ： 1 - 6 ［ 2020-11-12 ］. https：//doi.org/10.13245/j.hust.210106 https://doi.org/10.13245/j.hust.210106 . 基于轻量化YOLO的X射线焊缝图像信息检测 XIE J M ， LIU M Y ， HE W ZH ， et al .. X-ray weld image information detection based on lightweight Y-OLO ［J/OL］. Journal of Huazhong University of Scien-ce and Technology（Natural Science Edition） ： 1 - 6 ［ 2020-11-12 ］. https：//doi.org/10.13245/j.hust.210106. https://doi.org/10.13245/j.hust.210106. （in Chinese） X-ray weld image information detection based on lightweight Y-OLO 周明浩 ， 朱家明 . 基于卷积神经网络的机械零件表面缺陷分类 ［J］. 农业装备与车辆工程 ， 2019 ， 57 （ 11 ）： 19 - 23 . 基于卷积神经网络的机械零件表面缺陷分类 ZHOU M H ， ZHU J M . Classification of surface defects of mechanical parts based on convolution neural network ［J］. Agricultural Equipment & Vehicle Engineering ， 2019 ， 57 （ 11 ）： 19 - 23 . （in Chinese） Classification of surface defects of mechanical parts based on convolution neural network 赵海文 ， 赵亚川 ， 齐兴悦 ， 等 . 基于深度学习的汽车轮毂表面缺陷检测算法研究 ［J］. 组合机床与自动化加工技术 ， 2019 （ 11 ）： 112 - 115 . 基于深度学习的汽车轮毂表面缺陷检测算法研究 ZHAO H W ， ZHAO Y CH ， QI X Y ， et al . Research on surface defect inspection algorithms of automobile hub based on deep learning ［J］. Modular Machine Tool & Automatic Manufacturing Technique ， 2019 （ 11 ）： 112 - 115 . （in Chinese） Research on surface defect inspection algorithms of automobile hub based on deep learning CHEN J W ， LIU Z G ， WANG H R ， et al . Automatic defect detection of fasteners on the catenary support device using deep convolutional neural network ［J］. IEEE Transactions on Instrumentation and Measurement ， 2018 ， 67 （ 2 ）： 257 - 269 . Automatic defect detection of fasteners on the catenary support device using deep convolutional neural network 储岳中 ， 黄勇 ， 张学锋 ， 等 . 基于自注意力的SSD图像目标检测算法 ［J］. 华中科技大学学报（自然科学版） ， 2020 ， 48 （ 9 ）： 70 - 75 . 基于自注意力的SSD图像目标检测算法 CHU Y ZH ， HUANG Y ， ZHANG X F ， et al . SSD image target detection algorithm based on self-attention ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition） ， 2020 ， 48 （ 9 ）： 70 - 75 . （in Chinese） SSD image target detection algorithm based on self-attention REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： unified， real-time object detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 779 - 788 . You only look once： unified， real-time object detection REDMON J ， FARHADI A . YOLOv3： an incremental improvement ［EB/OL］. arXiv： 1804.02767 ， 2018 . YOLOv3： an incremental improvement 韩凯 . 基于深度学习的汽车轮毂表面缺陷在线检测算法 ［D］. 北京 ： 北京邮电大学 ， 2019 . 基于深度学习的汽车轮毂表面缺陷在线检测算法 HAN K . The Online Detection Algorithm for Surface Defects of Automobile Hubs Based on Deep Learning ［D］. Beijing ： Beijing University of Posts and Telecommunications ， 2019 . （in Chinese） The Online Detection Algorithm for Surface Defects of Automobile Hubs Based on Deep Learning 戴伟聪 ， 金龙旭 ， 李国宁 ， 等 . 遥感图像中飞机的改进YOLOv3实时检测算法 ［J］. 光电工程 ， 2018 ， 45 （ 12 ）： 84 - 92 . 遥感图像中飞机的改进YOLOv3实时检测算法 DAI W C ， JIN L X ， LI G N ， et al . Real-time airplane detection algorithm in remote-sensing images based on improved YOLOv3 ［J］. Opto-Electronic Engineering ， 2018 ， 45 （ 12 ）： 84 - 92 . （in Chinese） Real-time airplane detection algorithm in remote-sensing images based on improved YOLOv3 王立鹏 ， 张智 ， 苏丽 ， 等 . 基于多特征融合的自适应权重目标分类方法 ［J］. 华中科技大学学报（自然科学版） ， 2020 ， 48 （ 9 ）： 38 - 43 . 基于多特征融合的自适应权重目标分类方法 WANG L P ， ZHANG ZH ， SU L ， et al . Target classification with adaptive weights based on multi-feature fusion ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition） ， 2020 ， 48 （ 9 ）： 38 - 43 . （in Chinese） Target classification with adaptive weights based on multi-feature fusion BOCHKOVSKIY A ， WANG C Y ， LIAO H Y MARK . YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. arXiv ： 2004 . 10934 ， 2020 YOLOv4： optimal speed and accuracy of object detection MISRA D . Mish： a self regularized non-monotonic neural activation function ［EB/OL］. arXiv ： 1908 . 08681 ， 2019 Mish： a self regularized non-monotonic neural activation function REZATOFIGHI H ， TSOI N ， GWAK J ， et al . Generalized intersection over union： a metric and a loss for bounding box regression ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 1520，2019 ， Long Beach， CA， USA . IEEE ， 2019 ： 658 - 666 . Generalized intersection over union： a metric and a loss for bounding box regression ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 . Distance-IoU loss： faster and better learning for bounding box regression HRIPCSAK G ， ROTHSCHILD A S . Agreement， the F-measure， and reliability in information retrieval ［J］. Journal of the American Medical Informatics Association ， 2005 ， 12 （ 3 ）： 296 - 298 . Agreement， the F-measure， and reliability in information retrieval 10.37188/OPE.20212908.1942 TG441.7 TP391.4 A 1004-924X（2021）08-1942-13 王宸,张秀峰,刘超等.改进YOLOv3的轮毂焊缝缺陷检测[J].光学精密工程,2021,29(08):1942-1954. 王宸,张秀峰,刘超等.改进YOLOv3的轮毂焊缝缺陷检测[J].光学精密工程,2021,29(08):1942-1954. WANG Chen,ZHANG Xiu-feng,LIU Chao,et al.Detection method of wheel hub weld defects based on the improved YOLOv3[J].Optics and Precision Engineering,2021,29(08):1942-1954. WANG Chen,ZHANG Xiu-feng,LIU Chao,et al.Detection method of wheel hub weld defects based on the improved YOLOv3[J].Optics and Precision Engineering,2021,29(08):1942-1954. 国家自然科学基金（No.51475150）；国家科技重大专项（No.2018ZX04027001）；教育部人文社科项目（No.20YJCZH150）；湖北省自然科学基金项目（No.2020CFB755）；汽车动力传动与电子控制湖北省重点实验室基金（No.ZDK1201703）；湖北汽车工业学院博士基金（No.BK201905） 2021-01-08 2021-02-26 2021-08-15 2021-09-01 光学精密工程 8 29