Research on multi size automobile rim weld detection and positioning system based on depth learning

基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究 Research on multi size automobile rim weld detection and positioning system based on depth learning first-author 潘睿志（1999-），男，安徽芜湖人，硕士研究生，2021年于绵阳城市学院获得学士学位，主要从事图像处理和目标检测方面的研究。E-mail：524453268@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011581&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011583&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011582&type= 22.01333618 32.00400543 潘睿志 （1999-），男，安徽芜湖人，硕士研究生，2021年于绵阳城市学院获得学士学位，主要从事图像处理和目标检测方面的研究。E-mail： 524453268@qq.com 524453268@qq.com corresp E-mail： lichaoscu@163.com E-mail： lichaoscu@163.com 李 超（1989-），男，陕西商洛人，博士，副研究员，2012，2015，2019年于四川大学分别获得学士、硕士、博士学位，主要从事机器人及机器视觉应用技术研究。E-mail： lichaoscu@16 3.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011585&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011588&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011586&type= 22.01333618 32.00399780 李 超 （1989-），男，陕西商洛人，博士，副研究员，2012，2015，2019年于四川大学分别获得学士、硕士、博士学位，主要从事机器人及机器视觉应用技术研究。E-mail： lichaoscu@16 3.com lichaoscu@16 3.com 成都理工大学 机电工程学院，四川 成都 610059 成都理工大学 机电工程学院，四川 成都 610059 College of Mechanical and Electrical Engineering， Chengdu University of Technology，Chengdu 610059，China College of Mechanical and Electrical Engineering， Chengdu University of Technology，Chengdu 610059，China 为了实现汽车轮辋生产装备自动化与智能化，提升汽车轮辋的生产效率，降低人工成本，本文提出了一种基于YOLOv5s算法的多尺寸汽车轮辋焊缝检测与定位系统。首先，由图像采集装置拍摄实际生产中的多尺寸轮辋焊缝图像，构建轮辋焊缝数据集，使用K-means算法重新生成数据集锚定框，提升网络的收敛速度和特征提取能力；其次，引入CBAM（Convolutional Block Attention Module）混合域注意力机制，提高模型对于轮辋焊缝关注度，减少背景干扰；然后，采用EIOU（Efficient Intersection Over Union Loss）边框位置回归损失函数，提高轮辋焊缝识别框的准确率；最后，增加了ASFF（Adaptively Spatial Feature Fusion）自适应特征融合网络，使目标检测模型对多个级别的特征进行空间滤波。实验结果表明，改进后的算法准确率和mAP0.5分别达到了98.4%和99.2%，相比于原YOLOv5s算法分别提高了4.5%和3.7%。训练好的模型采用推理加速框架TensorRT进行加速部署在工控机上，搭配视觉检测软件与工业触摸屏形成交互及显示平台，经过在实际生产环境对多批次不同尺寸的3000个轮辋焊缝验证，其漏检率在0.5%左右，满足汽车企业对于多尺寸轮辋焊缝检测精度要求。 In order to realize the automation and intelligence of automobile rim production equipment， improve the production efficiency of automobile rims， and reduce labor costs， this paper proposes a multi size automobile rim weld detection and positioning system based on YOLOv5s algorithm. First， the image acquisition device captures the image of the multi size rim weld seam in actual production， builds the rim weld seam data set， and uses K-means algorithm to regenerate the anchor frame of the data set to improve the convergence speed and feature extraction ability of the network； Secondly， CBAM （Convolutional Block Attention Module， CBAM） mixed domain attention mechanism is introduced to improve the model's attention to the rim weld and reduce background interference； Then， EIOU （Efficient Intersection Over Union Loss， EIOU） frame position regression loss function is used to improve the accuracy of rim weld identification frame； Finally， ASFF （Adaptive Spatial Feature Fusion， ASFF） adaptive feature fusion network is added to enable the target detection model to perform spatial filtering on multiple levels of features. The experimental results show that the accuracy and mAP0.5 of the improved algorithm are 98.4% and 99.2% respectively， which are 4.5% and 3.7% higher than the original YOLOv5s algorithm. The trained model is accelerated and deployed on the industrial personal computer using the reasoning acceleration framework TensorRT， and forms an interactive and display platform with the visual inspection software and the industrial touch screen. Through the verification of 3 000 wheel rim welds of different sizes in multiple batches in the actual production environment， the leakage rate is about 0.5%， which meets the requirements of automobile enterprises for the detection accuracy of multi size wheel rim welds. 焊缝 损失函数 YOLOv5s weld line loss function YOLOv5s 1 引 言 1 随着我国经济的快速发展和人民生活水平的提高，汽车的普及率也越来越高，汽车轮辋作为汽车必不可少的零部件之一，需求量也在逐年上涨。汽车轮辋又叫轮圈，根据直径、宽度、成型方式、材料不同种类繁多。目前，轮辋生产线中大部分工序已经实现自动化，然而，轮辋焊缝检测与定位依旧采用人工方式，由工人检测轮辋焊缝并手动调整轮辋焊缝位置，这种工作方式效率较低，严重影响工作节拍，同时工人也易产生疲劳，存在漏检和误检等问题。为了改进人工检测方法，可以把轮辋焊缝的检测与定位看为目标检测问题。目标检测主要有两种方法：一种是传统目标检测方法，另一种是基于深度卷积神经网络的方法。 传统目标检测方法主要分为四部分，图像预处理、目标区域选择、特征提取和分类器分类。 罗志伟 ［ 1 1 ］ 等人构建高斯混合模型实现对BGA焊球缺陷的自动检测，检测准确度达到97.6%。肖文波 ［ 2 2 ］ 等人提出利于激光视觉系统同步检测焊缝与焊丝信息，这种方法适应性强、检测精度高。高向东 ［ 3 3 ］ 等人提出一种动态磁光成像的焊接缺陷无损检测方法，模型整体识别率达到92.6%。上述的传统目标检测方法对于多样性的变化没有很好的鲁棒性，在复杂环境下检测效果不佳、准确率较低。 基于深度卷积神经网络主要分为四部分，制作数据集、定义模型、训练模型和预测，其检测精度和速度远超于传统目标检测方法，可以通过大量训练学习图像的全局特征，获得准确的识别结果。基于深度卷积神经网络主要分为两大类，一类是两阶段检测器，代表模型有R-CNN ［ 4 4 ］ ，Fast R-CNN ［ 5 5 ］ 和Faster R-CNN ［ 6 6 ］ 等，另一类是单阶段检测器，代表模型有YOLO ［ 7 7 - 8 8 7-8 ］ （You Only Look Once，YOLO）系列和SSD ［ 9 9 ］ （Single Shot Multibox Detector，SSD）等。通过深度卷积神经网络实现焊缝检测已经取得大量研究成果。王宸 ［ 10 10 ］ 等人提出YOLOv3-MC网络用于焊缝缺陷识别，有效提高了检测精度。邓智超 ［ 11 11 ］ 等人提出改进的残差网络识别焊点缺陷，有效提升了图像识别精度。张永帅 ［ 12 12 ］ 等人提出通过卷积神经网络的焊缝特征提取方法，可在强烈弧光和烟尘干扰下准确提取出焊缝位置。以上研究说明基于深度学习焊缝检测方法，可以有效改善焊缝检测精度、降低检测成本，但目前的研究还是难以对焊缝做到精确识别和定位。 本文设计出一套多尺寸汽车轮辋焊缝检测与定位系统，有效提高焊缝识别和定位精度，从而提升汽车轮辋的生产效率。文中针对焊缝图像特点，结合YOLOv5s算法，引入CBAM（Convolutional Block Attention Module） ［ 13 13 ］ 混合域注意力机制，增强焊缝目标在提取特征中的权重并抑制背景干扰；增加ASFF（Adaptively Spatial Feature Fusion） ［ 14 14 ］ 自适应特征融合网络，提高模型预测能力；选用EIOU（Efficient Intersection Over Union Loss） ［ 15 15 ］ 损失函数，提高识别框的准确率。使轮辋焊缝的检测与定位更加精确。 2 系统方法 1 2.1　检测与定位系统平台 2 在汽车轮辋自动化生产中，轮辋经过冲压、卷板、焊接等一系列流程后，轮辋表面会产生一条焊缝，且不同尺寸的轮辋焊缝形状具有一定变化。又由于轮辋从上一工序移动到气密性检测过程中，轮辋位置会发生变化，从而导致轮辋焊缝位置具有随机性，然而气密性检测机探头要求对准轮辋焊缝位置，所以轮辋焊缝的定位精度关系到轮辋后续的气密性检测的准确率以及轮辋气门冲孔的位置精度。鉴于此，本文根据生产中的实际情况，设计和搭建了一套多尺寸轮辋焊缝检测与定位系统，具体结构三维图如 图1 图1 所示。 系统的主要结构有输送机构、图像采集装置、夹爪装置等。系统的工作流程如下：在生产过程中通过输送机构将轮辋由上一工序传输到预定位置，由夹爪将轮辋夹起并通过伺服电机带动旋转，此时图像采集装置收到高电平信号，开始对整个轮辋外圈进行取像。在取像时，通过自适应调节相机滑台距离，来获取不同尺寸轮辋外圈图像。图像信息传输到工作站进行处理并判断是否检测到焊缝，若检测到焊缝，则输出停止信号，轮辋传输至下一工序。若未检测到轮辋焊缝，则发出信号剔除轮辋。多尺寸轮辋焊缝检测与定位系统实物图如 图2 图2 和 图3 图3 所示。 系统检测试验流程可分为训练模型与测试模型两部分，首先由Basler acA1300-60gc GigE型号相机采集实际生产中的轮辋焊缝图像，其中相机水平/垂直分辨率为1 600 px×1 200 px，帧速率为60 FPS，接口为GigE，配备M0814-MP2型号镜头，然后对采集的图像进行预处理并构建数据集，用于模型训练，其中数据集包含不同尺寸轮辋焊缝图像。最后利用训练好的模型对轮辋焊缝进行检测，并对检测结果数据进行分析。具体系统检测试验流程如 图4 图4 所示。 2.2　系统定位方法 2 本文设计的基于深度学习的多尺寸轮辋焊缝检测与定位系统主要分为检测与定位两部分，定位的关键技术是将坐标信息与角度信息进行转换。通过实际测量出不同尺寸轮辋在画幅中显示的部分轮辋的弧长，再根据弧长公式计算出画幅中显示的轮辋的角度，得到整张画幅显示的角度；进一步地，设定焊缝停止位置为原点，测量不同尺寸轮辋画幅中线与原点的角度，获得画幅中线的角度；更进一步地，根据比例计算画幅各个位置的角度并进行修正，再实际测量出画幅中线距定位目标点的角度，以中线为标准，即可得到画幅中各点距离定位目标点所需的角度；最后通过算法检测轮辋焊缝返回焊缝在画幅中的位置信息，根据位置信息得到焊缝的角度信息。弧长公式如 式（1） 式（1） 所示，定位平面图如 图5 图5 所示。 <math display="block" id="M1"><mi>L</mi><mo>=</mo><mi>n</mi><mo>×</mo><mi>π</mi><mo>×</mo><mi>r</mi><mo>/</mo><mn mathvariant="normal">180</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011621&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011620&type= 29.54866600 3.30200005 ， 其中： n 是圆心角度数（角度制）， r 是半径， L 是圆心角弧长。 轮辋焊缝的具体定位流程如 图6 图6 所示。第④步中通过在焊缝停止位置之前设定预定角度，由PLC设定延迟时间使焊缝旋转至最终停止位置，保证了不同尺寸、不同转速的轮辋，在PLC操作端的参数一致，并方便后续更改焊缝停止位置。其次在检测到焊缝获取的时间点后，增加旋转所需延时时间，获得停止信号发送时间点，避免了因检测时间波动，以及系统其他程序占用导致的时间波动，进而保证了焊缝定位的准确性和稳定性。 2.3　系统检测软件 2 系统检测软件界面如 图7 图7 所示。软件部署采用NVIDIA的TensorRT深度学习加速检测技术，优化深度学习目标检测模型在显卡上的性能，实现高精度低延迟的检测工作，缩短检测时间，提高算法检测功能的实时性。 软件界面包含交互界面、图像采集、算法处理、数据保存四大模块。交互界面功能包括选择轮辋型号、轮辋实时显示、检测结果统计显示（合格数、异常数、总数）、检测时间统计显示（实时、极值、均值）、检测结果归零、统计图显示等。图像采集功能包括旋转轮辋连续拍照、轮辋停转相机停拍等，其中拍照时间为单张图片25 ms，单张图片处理耗时大约为15 ms，满足实际生产检测需求。数据保存功能包括保存轮辋图片数据、生产报表等。算法处理功能包括轮辋焊缝检测、轮辋自动停转等。 算法运行流程主要分为三部分：目标检测、图像采集和保存数据。三部分各使用CPU一个线程进行运行，保障各个流程之间不会因为CPU占用导致系统的鲁棒性不足。算法运行具体流程如 图8 图8 所示。 2.4　图像采集与数据增强 2 本文的实验数据集均来源于一汽富维（成都车轮分公司）实际生产中采集获取的不同尺寸汽车轮辋焊缝样本。为了达到高精度与低延迟的实时检测指标，需要构建大量的轮辋焊缝数据集。其间涉及不同尺寸（15寸、16寸、17寸、18寸）轮辋焊缝数据集的收集，包含标准轮辋焊缝数据集、含油污轮辋焊缝数据集、多种水渍轮辋焊缝数据集、含冷却液轮辋焊缝数据集等。 由于从生产中获取轮辋焊缝样本数量较少，因此利用随机矩形遮挡、水平翻转、随机像素置零、添加随机像素等操作进行数据增强，使得数据集具有多样性。并对所有的数据集使用labelimg软件标注，将轮辋焊缝标注为weld line。其中具体的多尺寸轮辋型号直径参数如 表1 表1 所示。 尺寸 15寸 16寸 17寸 18寸 直径 381 406.4 431.8 457.2 mm 本文将所有轮辋焊缝样本划分为训练集、验证集，划分比例为8∶2，其中训练集为3 200张，验证集800张。为了更好地体现模型的鲁棒性，本文单独获取了800张轮辋焊缝样本做为测试集。其中部分轮辋焊缝数据集如 图9 图9 所示。 本文数据集标签框的宽度、高度、中心点坐标均经过归一化处理。由 图10 图10 可知轮辋焊缝大部分集中在图像的中左侧，轮辋焊缝宽度和高度归一化后相对于整个图像占比相对较小，轮辋焊缝的像素较少，属于小目标检测，模型应该更加注意小目标的特征提取。 3 算法原理与改进 1 3.1　原理 2 YOLOv5s是基于单阶段检测器的目标检测算法，其网络训练先将数据经过Mosaic增强，然后特征图通过Focus结构后输入网络，再经过CBS、C3等模块进行特征提取，得到的特征通过SPP（Spatial Pyramid Pooling） ［ 16 16 ］ 结构输入到增强特征提取网络中，最后通过特征金字塔结构FPN ［ 17 17 ］ （Feature Pyramid Networks）和路径聚会网络结构PAN（Path Aggregation Network）进行特征提取和融合。 YOLOv5s网络结构主要由Backbone，Head，Neck三部分组成。Backbone主干网络的主要作用是提取图像的特征信息，Head检测头的主要作用是预测目标框和预测目标的类别，主干网络和检测头之间的Neck颈部层，其主要作用是提升特征的多样性及鲁棒性。YOLOv5s的网络结构如下 图11 图11 所示。 3.2　CBAM 2 由于焊缝表面颜色与轮辋表面颜色相近，且有部分焊缝颜色非常浅，为了减少背景对轮辋焊缝特征提取的干扰，进一步使网络模型提高对轮辋焊缝的关注度并增强轮辋焊缝特征提取能力，因此在YOLOv5s算法模型的基础上，引入了混合域注意力机制CBAM。 CBAM是由通道注意力模块（Channel Attention Module，CAM）和空间注意力模块（Spartial Attention Module，SAM）组合构成。CBAM串联了空间和通道两个维度的注意力信息，分别将通道注意力信息和空间注意力信息融合到CBAM的输入特征映射中。这样的设计不仅节约参数，更节约了计算力，并且CBAM是一种端到端的通用模块，它可以无缝集成到CNNs中，并且可以与CNNs进行端到端的训练。相比于SEnet ［ 18 18 ］ 只关注通道的注意力机制可以取得更好的效果。CBAM的整体结构如 图12 图12 所示。 通道注意力模块具体结构如 图13 图13 所示。其作用流程为：通道注意力模块先给定一个输入特征图 F ，同时经过全局平均池化（Global Average Pooling，GAP）和全局最大池化（Global Max Pooling， GMP）操作，分别得到不同的空间语义描述算子，将两者通过一个共享感知机，随后将两个通道注意力特征向量使用相加方式进行融合，最后经过激活函数，得到通道注意力向量 <math id="M2"><msub><mrow><mi>M</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011672&type= 4.57200003 3.72533321 。通道注意力向量 <math id="M3"><msub><mrow><mi>M</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011672&type= 4.57200003 3.72533321 的计算公式如 式（2） 式（2） 所示： <math display="block" id="M4"><mtable><mtr><mtd><msub><mrow><mi>M</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><mi>M</mi><mi>L</mi><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mi>v</mi><mi>g</mi><mi>P</mi><mi>o</mi><mi>o</mi><mi>l</mi><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo></mtd></mtr><mtr><mtd><mi>M</mi><mi>L</mi><mi>P</mi><mo stretchy="false">(</mo><mi>M</mi><mi>a</mi><mi>x</mi><mi>P</mi><mi>o</mi><mi>o</mi><mi>l</mi><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi></mrow><mrow><mi>c</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>c</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011681&type= 58.16600037 15.57866764 其中： <math id="M5"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011717&type= 1.86266661 2.79399991 表示Sigmoid函数， <math id="M6"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011686&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011693&type= 4.99533367 3.72533321 ， <math id="M7"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011705&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011704&type= 4.99533367 3.72533321 表示输入共享的MLP权重，MLP表示多层感知机模块，Avgpool表示平均池化层，Maxpool表示最大池化层。 空间注意力模块结构如 图14 图14 所示。其作用流程为：空间注意力模块先给定一个输入特征图 F 1 ，沿着通道维度同时经过全局平均池化（GAP）和全局最大池化（GMP）操作，分别得到两种不同的通道特征描述算子，将两者进行拼接，然后经过一个卷积核为 <math id="M8"><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011748&type= 8.63599968 2.79399991 的卷积操作，再经过激活函数，最后得到空间注意力向量 <math id="M9"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011713&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011719&type= 4.48733330 3.80999994 。空间注意力向量 <math id="M10"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011713&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011719&type= 4.48733330 3.80999994 的计算公式如 式（3） 式（3） 所示。 <math display="block" id="M11"><mtable><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>s</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mi>σ</mi><mo stretchy="false">(</mo><msup><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn></mrow></msup><mo stretchy="false">[</mo><mi mathvariant="normal">A</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">P</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">l</mi><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo>;</mo><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">P</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">l</mi><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mi>σ</mi><mo stretchy="false">(</mo><msup><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn></mrow></msup><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo>;</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo stretchy="false">]</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011714&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011721&type= 64.85466003 16.00200081 其中： <math id="M12"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011717&type= 1.86266661 2.79399991 表示Sigmoid函数， <math id="M13"><msup><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011734&type= 7.19666624 3.89466691 表示卷积层大小为 <math id="M14"><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011748&type= 8.63599968 2.79399991 ， <math id="M15"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi></mrow><mrow><mi>s</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011750&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011749&type= 5.58799982 3.97933316 表示经过平均池化处理的特征图， <math id="M16"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>s</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011742&type= 6.18066692 3.97933316 表示经过最大池化处理的特征图。 经过实验验证，本文在网络第11，20，24，28层嵌入CBAM混合域注意力机制。第11层的嵌入：改进网络的第10层的SPP模块实现了局部特征和全局特征的融合，丰富了特征图的表达能力，有利于对图像中目标大小差异较大的情况进行识别，在其后嵌入CBAM混合域注意力机制，以进一步提升SPP模块输出特征图中明显的特征，并抑制不重要的特征。 第20，24，28层的嵌入：可以使网络充分利用通道注意力信息与空间注意力信息，提高通道中对于边缘特征及细小特征的感知度，实现对于不同尺寸轮辋焊缝特征的提取。 为了验证在网络中嵌入CBAM混合域注意力机制的有效性，下面进行轮辋焊缝注意力效果对比试验。通过梯度加权类激活映射热力图的方法，分别将嵌入CBAM混合域注意力机制前后方法进行对比实验，对比结果如 图15 图15 所示。 从 图15 图15 中可以看出，在 图15 图15 （a）原YOLOv5算法输出的热力图中，可以看出未能对轮辋焊缝形成有效聚焦，不利于对轮辋焊缝的检测，在 图15 图15 （b）为本文算法提出的热力图，可以看出在网络中嵌入混合域CBAM注意力模块后，对于轮辋焊缝可以准确予以聚焦和关注，有效消除背景的干扰，有效提升了对于轮辋焊缝的聚焦能力。 3.3　ASFF 2 本文设计的系统，其检测对象包含多种尺寸轮辋焊缝，不同尺寸轮辋焊缝图像分辨率会存在变化，因此本文算法需要适应不同尺度的轮辋焊缝目标。特征金字塔FPN是目前解决目标检测多尺度变化问题的常用方法。但原YOLOv5s网络中的FPN只是对不同特征层尺寸调整一致后进行线性组合，但随着网络的不断深入，模型进入深层的语义特征学习阶段，不同特征尺度之间的不一致会使融合特征图噪声变大，产生信息位置偏差，降低了特征融合的有效性。因此本文在FPN的基础上引入自适应空间特征融合ASFF，通过参数自适应调整不同特征层的融合比例，在空间上过滤冲突信息以抑制梯度反向传播时的不一致，改善特征比例的不变性，从而降低推理开销。ASFF可以被应用与任何FPN的形式的网络中，其融合方式的过程是可微分的，适用于反向传播，且实现方式简单、计算量小。自适应特征融合机制结构图如 图16 图16 所示。 以三层ASFF结构为例，L1，L2和L3表示不同尺度的特征层，经过融合后得到的y3，融合后的特征图尺寸和L3特征图尺寸一致。X 1-3 表示将L1特征尺寸调整至和L3特征尺寸一致，L1，L2和L3对应特征融合系数为 <math id="M17"><msup><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011799&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011809&type= 3.04800010 3.04800010 ， <math id="M18"><msup><mrow><mi>β</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011812&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011811&type= 3.47133350 3.89466691 和 <math id="M19"><msup><mrow><mi>γ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011775&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011785&type= 3.13266683 3.89466691 。则ASFF-3对应的融合后的特征层如下式所示： <math display="block" id="M20"><msup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>=</mo><msup><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>⋅</mo><msup><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msup><mo>+</mo><msup><mrow><mi>β</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>⋅</mo><msup><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">2</mn><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msup><mo>+</mo><msup><mrow><mi>γ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>⋅</mo><msup><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011793&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011788&type= 56.38800049 3.97933316 ， <math display="block" id="M21"><msup><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>+</mo><msup><mrow><mi>β</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>+</mo><msup><mrow><mi>γ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011792&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011795&type= 25.65399933 3.97933316 . 权重 <math id="M22"><msup><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011799&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011809&type= 3.04800010 3.04800010 ， <math id="M23"><msup><mrow><mi>β</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011812&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011811&type= 3.47133350 3.89466691 ， <math id="M24"><msup><mrow><mi>γ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011803&type= 3.13266683 3.89466691 经过concat之后通过Softmax使它们的范围都在［0，1］，并且总和为1。 表2 表2 为改进后YOLOv5s结构图。本文算法模型向主干网络的末端和最后三个不同规模的卷积网络后加入CBAM混合域注意力机制，使模型更加关注轮辋焊缝边缘信息的提取和保留，提高模型捕获特征图全局信息和丰富上下文信息的能力，减少背景对于轮辋焊缝特征提取的干扰，利用ASFF结构增强对于轮辋焊缝的边缘特征的提取能力，并采用EIOU边框位置损失函数提高对轮辋焊缝识别框的准确率。 输入 模块 张量信息 -1 Focus ［3，32，3］ -1 Conv ［32，64，3，2］ -1 C3 ［64，64，1］ -1 Conv ［64，128，3，2］ -1 C3 ［128，128，3］ -1 Conv ［128，256，3，2］ -1 C3 ［256，256，3］ -1 Conv ［256，512，3，2］ -1 SPP ［512，512，［ 5 5 ， 9 9 ， 13 13 ］］ -1 C3 ［512，512，1，False］ -1 CBAM ［512， 512］ -1 Conv ［512， 256， 1， 1］ -1 Up ［None， 2， nearest］ ［ 1 1 ， 6 6 ］ Concat ［ 1 1 ］ -1 C3 ［512， 256， 1， False］ -1 Conv ［256， 128， 1， 1］ -1 Up ［None， 2， nearest］ ［ 1 1 ， 4 4 ］ Concat ［ 1 1 ］ -1 C3 ［256， 128， 1， False］ -1 CBAM ［128， 128］ -1 Conv ［128， 128， 3， 2］ ［ 1 1 ， 15 15 ］ Concat ［ 1 1 ］ -1 C3 ［384， 256， 1， False］ -1 CBAM ［256， 256］ -1 Conv ［256， 256， 3， 2］ ［ 1 1 ， 11 11 ］ Concat ［ 1 1 ］ -1 C3 ［768， 512， 1， False］ -1 CBAM ［512， 512］ 表2 表2 中，输入列中的 - 1表示承接上层的通道数，参数列表示中参数分别代表输入通道数、输出通道数、卷积核大小与步长。 3.4　K-means 2 原YOLOv5s目标检测模型的锚定框是通过COCO数据集 ［ 19 19 ］ 聚类得到的，COCO数据集目标尺寸一般较小，且目标数量比较多，对本文的研究对象为轮辋焊缝数据集不适用。为提高锚定框利用率并提高模型的收敛速度，因此使用K-means算法对轮辋焊缝数据集进行聚类，以获取适应本文数据集轮辋焊缝的锚定框。其中K-means算法的具体步骤如下： （1）先定义总共有多少给类/簇； （2）将每个簇心随机定在一点上； （3）将每个数据点光联到最近簇中心所属簇上； （4）对于每一个簇找到其所有关联点的中心点（取每一个点坐标的平均值）； （5）将上述点变为新的簇心； （6）不停重复，直到每个簇所拥有的点不变。 表3 表3 为改进前和改进后锚框的对比。 原始锚框 修改后锚框 （10，13） （58，586） （16，30） （66，598） （33，23） （77，601） （30，61） （83，603） （62，45） （88，603） （59，119） （94，608） （116，90） （100，614） （156，198） （110，619） （373，326） （124，610） 3.5　损失函数 2 损失函数的作用是度量神经网络预测信息与期望信息的距离，预测信息越接近期望信息，损失函数数值越小。YOLOv5s网络训练损失主要由三个方面构成：矩形框损失、置信度损失、分类损失。 YOLOv5s将CIOU_LOSS ［ 20 20 ］ 作为损失函数，尽管增加了检测框尺度的LOSS，增长了长和宽的LOSS，使得预测框更加符合真实框，但是CIOU_LOSS公式中v反映的是纵横比的差异，而不是宽高分别与置信度的真实差异，有时会阻碍模型有效的优化相适应，因此本文提出使用EIOU_LOSS作为网络的损失函数，其边框回归如 图17 图17 所示。 针对CIOU无法准确描述真实框和预测框长宽之间差异的问题，EIoU对其进行了优化，以边长损失代替了长宽比损失项，其损失函数公式如 式（6） 式（6） 所示： <math display="block" id="M25"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">E</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></mrow></msub><mo stretchy="false">(</mo><mi>B</mi><mo>,</mo><msup><mrow><mi>B</mi></mrow><mrow><mi>g</mi><mi>t</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>I</mi><mi>o</mi><mi>U</mi><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011830&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011828&type= 56.72666931 4.65666676 ， 其中， <math id="M26"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011834&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011832&type= 4.91066647 3.72533321 为中心点损失，通过归一化中心点的距离，给目标工件分配更近的预测框，提高中心点的定位精度，其惩罚项设置为： <math display="block" id="M27"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi></mrow></msub><mo>=</mo><mfrac><mrow><msup><mrow><mi>ρ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><msup><mrow><mi>b</mi></mrow><mrow><mi>g</mi><mi>t</mi></mrow></msup><mo stretchy="false">)</mo></mrow><mrow><msup><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011852&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011849&type= 24.29933357 8.46666718 . <math id="M28"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011871&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011869&type= 5.33400011 3.72533321 为边长损失，其惩罚项设置为： <math display="block" id="M29"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">p</mi></mrow></msub><mo>=</mo><mfrac><mrow><msup><mrow><mi>ρ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">(</mo><mi>w</mi><mo>,</mo><msup><mrow><mi>w</mi></mrow><mrow><mi>g</mi><mi>t</mi></mrow></msup><mo stretchy="false">)</mo></mrow><mrow><msubsup><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mfrac><mo>+</mo><mfrac><mrow><msup><mrow><mi>ρ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">(</mo><mi>h</mi><mo>,</mo><msup><mrow><mi>h</mi></mrow><mrow><mi>g</mi><mi>t</mi></mrow></msup><mo stretchy="false">)</mo></mrow><mrow><msubsup><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011875&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011873&type= 46.65133286 8.89000034 ， 其中： <math id="M30"><msub><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011859&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011878&type= 3.21733332 3.72533321 和 <math id="M31"><msub><mrow><mi>c</mi></mrow><mrow><mi>h</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011882&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011861&type= 2.70933342 3.72533321 为包含着 <math id="M32"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011910&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011908&type= 2.53999996 2.79399991 和 <math id="M33"><msup><mrow><mi>B</mi></mrow><mrow><mi>g</mi><mi>t</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011890&type= 4.23333359 3.04800010 的最小封闭框的宽和高。边长损失 <math id="M34"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011906&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011887&type= 5.33400011 3.72533321 直接减小了预测框 <math id="M35"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011910&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011908&type= 2.53999996 2.79399991 和 <math id="M36"><msup><mrow><mi>B</mi></mrow><mrow><mi>g</mi><mi>t</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011890&type= 4.23333359 3.04800010 的高度和宽度的差异，使边框回归更精确。 4 实验结果与分析 1 4.1　实验分析 2 实验训练模型所使用的显卡型号为NVDIA RTX 2060 Super，其中内存为8 GB，操作系统为Ubuntu18.04。本文设计的系统硬件主要由图像采集装置、交互及显示平台两部分组成。交互及显示平台硬件主要由工控机与工业触摸屏组成，其中工控机的型号为IPC-7120 600W AIMB-785 I5-6500 8G 25 6SSD，工业触摸屏尺寸大小为21.5寸。图像采集装置硬件主要由工业相机、镜头、光源、滑台等组成，其中工业相机型号为acA1600-60gc，镜头型号为M0814-MP2，光源型号为P-BL2-192-38-W，十字滑台行程为200 mm×200 mm，旋转滑台厚度为15 mm。 为了使得模型更快收敛，网络在训练时使用官方提供的预训练权重文件初始化部分网络权重文件参数，使用SGD优化器进行参数更新，其中余弦退火方式进行学习率衰减，学习率大小为0.01，动量大小为0.937，单次数据量的大小为16，输入图像分辨率大小为640×640。 4.2　评价指标 2 为了对本文提出的模型进行客观的评价，本文使用精准率（Precision）、召回率（Recall）、平均精度（Average Precision）作为模型评价指标。具体公式如式（9）~ 式（11） 式（11） 所示： <math display="block" id="M37"><mi>P</mi><mi>r</mi><mi>e</mi><mi>c</mi><mi>i</mi><mi>s</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011915&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011894&type= 34.37466812 8.04333401 ， <math display="block" id="M38"><mi>R</mi><mi>e</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>l</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011919&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011917&type= 30.56466866 8.04333401 ， <math display="block" id="M39"><mi>m</mi><mi>A</mi><mi>P</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></munderover></mstyle><mrow><mi>A</mi><mi>P</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011920&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011930&type= 30.98800087 8.63599968 ， 其中： TP 表示预测为正确的正样本（True posi-tive）目标个数， FN 表示预测为错误的负样本（False nega-tive）目标个数， FP 表示预测为假的正样本（False posi-tive）， k 表示类别数， AP （ i ）表示第 i 个类别的AP值，Precision表示被检出目标中真实焊缝所占的比例，Recall表示所有真实焊缝目标中被正确检测出来的比例。 4.3　轮辋焊缝检测实验结果 2 本文实验的迭代次数设置为300，下图所示为原YOLOv5s算法和本文算法在训练过程中loss随迭代轮数变化对比曲线，纵坐标代表损失数值，横坐标代表迭代次数。 由上 图18 图18 可知，原YOLOv5s模型和本文模型在前50轮训练中迅速收敛，在100轮之后基本保持稳定，直到训练结束，两者在轮辋焊缝数据集均有较好的训练效果。本文模型相比于原YOLOv5s模型在相同时间内收敛更快、损失值更小、检测精度更高。 图19 图19 所示为原YOLOv5s算法和本文算法在训练过程中mAP0.5随迭代次数变化的对比曲线，其中横坐标为迭代次数，纵坐标为mAP0.5数值。由图可知，原YOLOv5s算法在迭代约100次后开始收敛，而本文算法在迭代约50次后开始收敛。本文算法在相同迭代次数下mAP0.5数值更高、收敛更快、曲线更稳定。 为了更好地评估模型的鲁棒性和泛化性， 图20 图20 选取部分轮辋焊缝实际检测结果图进行对比。 图20 图20 中左边是原YOLOv5s模型检测结果，右边是本文算法检测结果。由 图20 图20 （a）可知本文算法对标准轮辋焊缝图像实际检测更好、置信度更高；由 图20 图20 （b）可知本文算法可以避免漏检，具有一定的抗干扰能力。由 图20 图20 （c）可知本文算法将原YOLOv5s模型漏检的受油污干扰轮辋焊缝图像准确检出，充分说明本文算法鲁棒性和泛化性。综上所述，对于原YOLOv5s模型漏检的水渍轮辋焊缝图像、油污轮辋焊缝图像、标准轮辋焊缝图像等，本文算法均可以准确识别，且置信度更高。因此，本文算法在恶劣场景下的鲁棒性更好、检测精度更高。 1;2;3; 4.4　消融实验 2 为了验证CBAM混合域注意力机制、ASFF自适应特征融合网络、EIOU损失函数等改进策略对模型检测效果的提升的有效性，通过消融试验结果说明改进策略的有益效果，实验中选取Precision和mAP0.5作为实验评价指标，实验结果具体如 表4 表4 所示。 序号 CBAM ASFF EIOU Precision mAP0.5 1 × × × 0.939 0.955 2 √ × × 0.974 0.973 3 × × √ 0.970 0.968 4 × √ × 0.940 0.973 5 × √ √ 0.972 0.976 6 √ √ × 0.973 0.977 7 √ × √ 0.981 0.982 8 √ √ √ 0.984 0.992 从实验结果中可以看出，序号2将CBAM混合域注意力机制使网络引入主干网络使Precision与mAP0.5分别提高了3.5%与1.8%，证明该方法能够有效的利用特征信息，关注通道中的有效特征，降低漏检率。序号4引入自适应空间特征融合网络ASFF，mAP0.5提高了1.8%，证明引入ASFF通过学习权重，有效抑制了无用特征的学习，保证了各层次特征融合的针对性。序号5-7是各种策略的组合的结果，可以看出多种策略的组合比单一策略的提升更有效。序号8是本文算法，相较于原YOLOv5s模型，Precision和mAP0.5分别提高了4.5%，3.7%，证明本文算法对于轮辋焊缝检测有较好效果。 4.5　模型的工控机端部署 2 为了更好地验证本文模型在工控机端有效性及工程应用价值，采用工控机开发平台对模型进行部署，改进前后模型的参数对比如 表5 表5 所示。 序号 Precision mAP0.5 平均检测速度/FPS Model size/Mb YOLOv5s 0.939 0.955 71 13.8 本文算法 0.984 0.992 66 24.2 由 表5 表5 可知，本文算法相较于YOLOv5s，Precision和mAP0.5分别提高了4.5%，3.7%，改进后的算法的内存大小由于增加了网络层数，其占用内存由13.8 Mb增加至24.2 Mb，但其平均检测速度仅缩短了5 FPS，仍然远远满足工业实时检测的需求。本文提出算法在满足检测速度的要求下，有效提升了检测精度，由于模型较大，所以适用于在高算力工控机端部署。 5 结 论 1 （1）提出了一种基于YOLOv5s算法的汽车轮辋焊缝目标检测与定位方法，研发了一套多尺寸汽车轮辋焊缝检测与定位系统。 （2）构建了基于YOLOv5s网络模型改进得到的目标检测模型，向网络中引入CBAM混合域注意力模块，加入ASFF自适应特征融合网络，并选用EIOU作为损失函数。迭代训练300次后，与原YOLOv5s网络对比，准确率和mAP0.5分别提高了4.5%和3.7%，表明改进后的模型检测效率更好，鲁棒性更强。 （3）经过在实际生产环境对多批次不同尺寸的3 000个轮辋焊缝验证，其漏检率在0.5%左右，满足汽车企业对于多尺寸轮辋焊缝检测精度需求。 参考文献 罗志伟 ， 杨玉龙 ， 李志红 . BGA焊球视觉检测算法及系统设计 ［J］. 光学 精密工程 ， 2018 ， 26 （ 9 ）： 2190 - 2197 . doi: 10.3788/ope.20182609.2190 http://dx.doi.org/10.3788/ope.20182609.2190 BGA焊球视觉检测算法及系统设计 LUO ZH W ， YANG Y L ， LI ZH H . Design of vision detection algorithm and system for BGA welding balls ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 9 ）： 2190 - 2197 . （in Chinese） . doi: 10.3788/ope.20182609.2190 http://dx.doi.org/10.3788/ope.20182609.2190 Design of vision detection algorithm and system for BGA welding balls 肖文波 ， 何银水 ， 袁海涛 ， 等 . 镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测 ［J］. 焊接学报 ， 2021 ， 42 （ 12 ）： 78 - 82， 101 . doi: 10.12073/j.hjxb.20201021001 http://dx.doi.org/10.12073/j.hjxb.20201021001 镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测 XIAO W B ， HE Y SH ， YUAN H T ， et al . Synchronous real-time detection of weld bead geometry and the welding torch in galvanized steel GAMW ［J］. Transactions of the China Welding Institution ， 2021 ， 42 （ 12 ）： 78 - 82， 101 . （in Chinese） . doi: 10.12073/j.hjxb.20201021001 http://dx.doi.org/10.12073/j.hjxb.20201021001 Synchronous real-time detection of weld bead geometry and the welding torch in galvanized steel GAMW 高向东 ， 蓝重洲 ， 陈子琴 ， 等 . 焊接缺陷磁光成像动态检测与识别 ［J］. 光学 精密工程 ， 2017 ， 25 （ 5 ）： 1135 - 1141 . doi: 10.3788/OPE.20172505.1135 http://dx.doi.org/10.3788/OPE.20172505.1135 焊接缺陷磁光成像动态检测与识别 GAO X D ， LAN CH ZH ， CHEN Z Q ， et al . Dynamic detection and recognition of welded defects based on magneto-optical imaging ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 5 ）： 1135 - 1141 . （in Chinese） . doi: 10.3788/OPE.20172505.1135 http://dx.doi.org/10.3788/OPE.20172505.1135 Dynamic detection and recognition of welded defects based on magneto-optical imaging GIRSHICK R ， DONAHUE J ， DARRELL T ， et al . Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition . 2328，2014 ， Columbus ， OH ， USA . IEEE ， 2014 ： 580 - 587 . doi: 10.1109/CVPR.2014.81 http://dx.doi.org/10.1109/CVPR.2014.81 Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation GIRSHICK R . Fast R-CNN ［C］. 2015 IEEE International Conference on Computer Vision （ICCV）. 713，2015 ， Santiago， Chile. IEEE ， 2016 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169 Fast R-CNN REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence . 6，2016 ， IEEE ， 2016 ： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031 Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You Only Look Once： Unified， Real-Time Object Detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91 You Only Look Once： Unified， Real-Time Object Detection REDMON J ， FARHADI A . YOLO9000： Better， Faster， Stronger ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 6517 - 6525 . doi: 10.1109/cvpr.2017.690 http://dx.doi.org/10.1109/cvpr.2017.690 YOLO9000： Better， Faster， Stronger LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD ： single shot MultiBox detector ［M］. Computer Vision - ECCV 2016 . Cham ： Springer International Publishing ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2 SSD： single shot MultiBox detector 王宸 ， 张秀峰 ， 刘超 ， 等 . 改进YOLOv3的轮毂焊缝缺陷检测 ［J］. 光学 精密工程 ， 2021 ， 29 （ 8 ）： 1942 - 1954 . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942 改进YOLOv3的轮毂焊缝缺陷检测 WANG CH ， ZHANG X F ， LIU CH ， et al . Detection method of wheel hub weld defects based on the improved YOLOv3 ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 8 ）： 1942 - 1954 . （in Chinese） . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942 Detection method of wheel hub weld defects based on the improved YOLOv3 邓智超 ， 颜润明 ， 杨蕙同 ， 等 . 基于改进残差网络的多视图焊点缺陷检测 ［J］. 焊接学报 ， 2022 ， 43 （ 3 ）： 56 - 62， 116 . doi: 10.12073/j.hjxb.20210928004 http://dx.doi.org/10.12073/j.hjxb.20210928004 基于改进残差网络的多视图焊点缺陷检测 DENG Z C ， YAN R M ， YANG H T ， et al . Multiview solder joint defect detection based on improved ResNet ［J］. Transactions of the China Welding Institution ， 2022 ， 43 （ 3 ）： 56 - 62， 116 . （in Chinese） . doi: 10.12073/j.hjxb.20210928004 http://dx.doi.org/10.12073/j.hjxb.20210928004 Multiview solder joint defect detection based on improved ResNet 张永帅 ， 杨国威 ， 王琦琦 ， 等 . 基于全卷积神经网络的焊缝特征提取 ［J］. 中国激光 ， 2019 ， 46 （ 3 ）： 36 - 43 . doi: 10.3788/cjl201946.0302002 http://dx.doi.org/10.3788/cjl201946.0302002 基于全卷积神经网络的焊缝特征提取 ZHANG Y SH ， YANG G W ， WANG Q Q ， et al . Weld feature extraction based on fully convolutional networks ［J］. Chinese Journal of Lasers ， 2019 ， 46 （ 3 ）： 36 - 43 . （in Chinese） . doi: 10.3788/cjl201946.0302002 http://dx.doi.org/10.3788/cjl201946.0302002 Weld feature extraction based on fully convolutional networks WOO S ， PARK J ， LEE J Y ， et al . CBAM ： Convolutional Block Attention Module ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1 CBAM： Convolutional Block Attention Module 王品学 ， 张绍兵 ， 成苗 ， 等 . 基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法 ［J］. 计算机应用 ， 2022 ， 42 （ 2 ）： 638 - 645 . doi: 10.11772/j.issn.1001-9081.2021020227 http://dx.doi.org/10.11772/j.issn.1001-9081.2021020227 基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法 WANG P X ， ZHANG SH B ， CHENG M ， et al . Coin surface defect detection algorithm based on deformable convolution and adaptive spatial feature fusion ［J］. Journal of Computer Applications ， 2022 ， 42 （ 2 ）： 638 - 645 . （in Chinese） . doi: 10.11772/j.issn.1001-9081.2021020227 http://dx.doi.org/10.11772/j.issn.1001-9081.2021020227 Coin surface defect detection algorithm based on deformable convolution and adaptive spatial feature fusion ZHANG Y F ， REN W Q ， ZHANG Z ， et al . Focal and efficient IOU loss for accurate bounding box regression ［J］. Neurocomputing ， 2022 ， 506 ： 146 - 157 . doi: 10.1016/j.neucom.2022.07.042 http://dx.doi.org/10.1016/j.neucom.2022.07.042 Focal and efficient IOU loss for accurate bounding box regression HE K M ， ZHANG X Y ， REN S Q ， et al . Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 9 ）： 1904 - 1916 . doi: 10.1109/tpami.2015.2389824 http://dx.doi.org/10.1109/tpami.2015.2389824 Spatial pyramid pooling in deep convolutional networks for visual recognition LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature Pyramid Networks for Object Detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106 Feature Pyramid Networks for Object Detection HU J ， SHEN L ， SUN G . Squeeze-and-Excitation Networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745 Squeeze-and-Excitation Networks LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft COCO ： Common Objects in Context ［M］. Computer Vision - ECCV 2014 . Cham ： Springer International Publishing ， 2014 ： 740 - 755 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48 Microsoft COCO： Common Objects in Context ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 . doi: 10.1609/aaai.v34i07.6999 http://dx.doi.org/10.1609/aaai.v34i07.6999 Distance-IoU loss： faster and better learning for bounding box regression 10.37188/OPE.20233108.1174 TP394.1 A 1004-924X（2023）08-1174-14 潘睿志,林涛,李超等.基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究[J].光学精密工程,2023,31(08):1174-1187. 潘睿志,林涛,李超等.基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究[J].光学精密工程,2023,31(08):1174-1187. PAN Ruizhi,LIN Tao,LI Chao,et al.Research on multi size automobile rim weld detection and positioning system based on depth learning[J].Optics and Precision Engineering,2023,31(08):1174-1187. PAN Ruizhi,LIN Tao,LI Chao,et al.Research on multi size automobile rim weld detection and positioning system based on depth learning[J].Optics and Precision Engineering,2023,31(08):1174-1187. 成都市重点研发支撑计划资助项目（No.2018-YFYF-00002-GX）；成都理工大学科研启动基金资助项目（No.10912-KYQD2019_07733） 2022-09-16 2022-10-17 2023-04-25 2023-05-04 36544287 光学精密工程 8 31