融合注意力机制的金属锅圆柱表面缺陷检测

乔健; 陈能达; 伍雁雄; 吴阳; 杨景卫

doi:10.37188/OPE.20233103.0404

您当前的位置：

首页 >

文章列表页 >

融合注意力机制的金属锅圆柱表面缺陷检测

信息科学 | 更新时间：2023-02-15

- 融合注意力机制的金属锅圆柱表面缺陷检测
- Defect detection of cylindrical surface of metal pot combining attention mechanism
- 光学精密工程 2023年31卷第3期页码：404-416
- 作者机构：
  
  1.佛山科学技术学院机电工程与自动化学院，广东佛山 528000
  2.季华实验室，广东佛山 528200
  3.佛山科学技术学院物理与光电工程学院，广东佛山 528000
- 作者简介：
  
  [ "乔健（1980-），男，山西忻州人，博士，教授，博士生导师，2003年、2008年于吉林大学分别获得学士、博士学位，主要从事光学精密传动机构设计、光学精密检测技术、非晶材料先进加工技术与装备等方面的研究。E-mail： qiaojj99065@163.com" ]
  [ "杨景卫（1983-），男，河南许昌人，博士，副教授，硕士生导师，2007年于吉林大学获得学士学位，2015年于华南理工大学获得博士学位，主要从事机电一体化、焊接自动化等方面的研究。E-mail： mejwyang@fosu.edu.cn" ]
- 基金信息：
  
  广东省科技计划项目(X220391TH220)
- DOI：10.37188/OPE.20233103.0404
  中图分类号： TP391.41
- 收稿日期：2022-06-01，
  
  修回日期：2022-07-08，
  
  纸质出版日期：2023-02-10
- 稿件说明：
移动端阅览
乔健,陈能达,伍雁雄等.融合注意力机制的金属锅圆柱表面缺陷检测[J].光学精密工程,2023,31(03):404-416.

QIAO Jian,CHEN Nengda,WU Yanxiong,et al.Defect detection of cylindrical surface of metal pot combining attention mechanism[J].Optics and Precision Engineering,2023,31(03):404-416.
乔健,陈能达,伍雁雄等.融合注意力机制的金属锅圆柱表面缺陷检测[J].光学精密工程,2023,31(03):404-416. DOI： 10.37188/OPE.20233103.0404.

QIAO Jian,CHEN Nengda,WU Yanxiong,et al.Defect detection of cylindrical surface of metal pot combining attention mechanism[J].Optics and Precision Engineering,2023,31(03):404-416. DOI： 10.37188/OPE.20233103.0404.

摘要

为实现高亮反射金属圆柱形锅的自动快速检测及分拣，破解目前金属锅表面缺陷检测速度慢、效率低的技术难题，在YOLOX网络基础上引入双向特征融合网络，提出基于注意力机制的轻量化特征融合网络模型，实现计算模型的轻量化设计；同时，通过注意力机制模块对特征信息进行通道与空间的学习，有效缓解多尺度特征的语义鸿沟问题，提高了模型的检测精度；考虑网络对难易分类样本学习权重分配不平衡，设计基于衰减因子的分类损失函数；利用金属锅圆柱表面缺陷数据集完成了特征融合网络对比实验、分类损失函数对比实验和注意力机制模块位置消融实验。实验结果表明，融合注意力机制模型可有效识别6种不同形态的缺陷，测试集的平均检测精度mAP

0.5

达到90.92%，检测帧率达到30.84 frame/s，实现了金属锅圆柱表面缺陷的高精度快速识别与定位。

Abstract

To achieve the automatic and rapid detection and sorting of high-brightness reflection metal cylindrical pots， as well as break through the technical problems of slow speed and low efficiency of metal pot surface defect detection， a bi-directional feature pyramid network （BiFPN） was introduced in this study based on the YOLOX network. In addition， a lightweight feature fusion network model was devised on the basis of the attention mechanism， and the lightweight design of the computing model was realized. Meanwhile， the attention mechanism module was employed to learn the channel and space of feature information， effectively alleviating the semantic gap of multi-scale features and improving the detection precision of the model. Considering the unbalanced distribution of the learning weight of the network for difficult and easy classification samples， the classification loss function regarding the attenuation factor was determined. Comparisons of the feature fusion network， classification loss function， and attention mechanism module position ablation were conducted using the metal pot cylindrical surface defect dataset. The experimental results show that the fusion attention mechanism model can effectively identify six types of defects with different shapes， the average detection precision mAP

0.5

of the test set realized 90.92%， and the detection frame rate was 30.84 FPS. Thus， cylindrical surface defects of metal pots can be identified and located， rapidly as well as with high precision， by using the proposed model.

关键词

Keywords

references

张静，叶玉堂，谢煜，等 . 金属圆柱工件缺陷的光电检测［J］. 光学精密工程， 2014 ， 22 （ 7 ）： 1871 - 1876 . doi: 10.3788/ope.20142207.1871 http://dx.doi.org/10.3788/ope.20142207.1871

ZHANG J ， YE Y T ， XIE Y ， et al . Optoelectronic inspection of defects for metal cylindrical workpieces ［J］. Optics and Precision Engineering ， 2014 ， 22 （ 7 ）： 1871 - 1876 . （in Chinese） . doi: 10.3788/ope.20142207.1871 http://dx.doi.org/10.3788/ope.20142207.1871

石炜，张袁祥，李嘉楠 . 列车滚子轴承表面缺陷机器视觉检测方法研究［J］. 机械设计与制造， 2022 （ 4 ）： 183 - 186 . doi: 10.3969/j.issn.1001-3997.2022.04.041 http://dx.doi.org/10.3969/j.issn.1001-3997.2022.04.041

SHI W ， ZHANG Y X ， LI J N . Research on machine vision detection method for surface defects of train roller bearings ［J］. Machinery Design & Manufacture ， 2022 （ 4 ）： 183 - 186 . （in Chinese） . doi: 10.3969/j.issn.1001-3997.2022.04.041 http://dx.doi.org/10.3969/j.issn.1001-3997.2022.04.041

LIN J H ， YAO Y ， MA L ， et al . Detection of a casting defect tracked by deep convolution neural network ［J］. The International Journal of Advanced Manufacturing Technology ， 2018 ， 97 （ 1 ）： 573 - 581 . doi: 10.1007/s00170-018-1894-0 http://dx.doi.org/10.1007/s00170-018-1894-0

SUN X H ， GU J N ， HUANG R ， et al . Surface defects recognition of wheel hub based on improved faster R-CNN ［J］. Electronics ， 2019 ， 8 （ 5 ）： 481 . doi: 10.3390/electronics8050481 http://dx.doi.org/10.3390/electronics8050481

王宸，张秀峰，刘超，等 . 改进YOLOv3的轮毂焊缝缺陷检测［J］. 光学精密工程， 2021 ， 29 （ 8 ）： 1942 - 1954 . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942

WANG CH ， ZHANG X F ， LIU CH ， et al . Detection method of wheel hub weld defects based on the improved YOLOv3 ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 8 ）： 1942 - 1954 . （in Chinese） . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942

程婧怡，段先华，朱伟 . 改进YOLOv3的金属表面缺陷检测研究［J］. 计算机工程与应用， 2021 ， 57 （ 19 ）： 252 - 258 .

CHENG J Y ， DUAN X H ， ZHU W . Research on metal surface defect detection by improved YOLOv3 ［J］. Computer Engineering and Applications ， 2021 ， 57 （ 19 ）： 252 - 258 . （in Chinese）

GE Z ， LIU S T ， WANG F ， et al . YOLOX ： exceeding YOLO Series in 2021 ［EB/OL］. 2021 ： arXiv ： 2107 . 08430 . https：//arxiv.org/abs/2107.08430 https://arxiv.org/abs/2107.08430

伍济钢，成远，邵俊，等 . 基于改进YOLOv4算法的PCB缺陷检测研究［J］. 仪器仪表学报， 2021 ， 42 （ 10 ）： 171 - 178 .

WU J G ， CHENG Y ， SHAO J ， et al . A defect detection method for PCB based on the improved YOLOv4 ［J］. Chinese Journal of Scientific Instrument ， 2021 ， 42 （ 10 ）： 171 - 178 . （in Chinese）

罗钧，曾伟，龚燕峰，等 . 融入IBN-NET的轻量网络在金属圆柱工件缺陷识别中的应用［J］. 计算机辅助设计与图形学学报， 2020 ， 32 （ 1 ）： 112 - 120 .

LUO J ， ZENG W ， GONG Y F ， et al . Application of lightweight network with IBN-NET in defect recognition of metal cylindrical workpieces ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2020 ， 32 （ 1 ）： 112 - 120 . （in Chinese）

LAN Y ， XU W X . Insulator defect detection algorithm based on a lightweight network ［J］. Journal of Physics： Conference Series ， 2022 ， 2181 （ 1 ）： 012007 . doi: 10.1088/1742-6596/2181/1/012007 http://dx.doi.org/10.1088/1742-6596/2181/1/012007

SHU Y F ， LI B ， LI X M ， et al . Deep learning-based fast recognition of commutator surface defects ［J］. Measurement ， 2021 ， 178 ： 109324 . doi: 10.1016/j.measurement.2021.109324 http://dx.doi.org/10.1016/j.measurement.2021.109324

TAN M X ， PANG R M ， LE Q V . EfficientDet： scalable and efficient object detection ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 10778 - 10787 . doi: 10.1109/cvpr42600.2020.01079 http://dx.doi.org/10.1109/cvpr42600.2020.01079

ZHENG Z H ， WANG P ， REN D W ， et al . Enhancing geometric factors in model learning and inference for object detection and instance segmentation ［J］. IEEE Transactions on Cybernetics ， 2022 ， 52 （ 8 ）： 8574 - 8586 . doi: 10.1109/tcyb.2021.3095305 http://dx.doi.org/10.1109/tcyb.2021.3095305

LIU S T ， HUANG D ， WANG Y H . Learning Spatial Fusion for Single-Shot Object Detection ［EB/OL］. 2019 ： arXiv ： 1911 . 09516 . https：//arxiv.org/abs/1911.09516 https://arxiv.org/abs/1911.09516

LIU S ， QI L ， QIN H F ， et al . Path aggregation network for instance segmentation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 8759 - 8768 . doi: 10.1109/cvpr.2018.00913 http://dx.doi.org/10.1109/cvpr.2018.00913

WANG C Y ， MARK LIAO H Y ， WU Y H ， et al . CSPNet： a new backbone that can enhance learning capability of CNN ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1571 - 1580 . doi: 10.1109/cvprw50498.2020.00203 http://dx.doi.org/10.1109/cvprw50498.2020.00203

TAN M X ， LE Q V . EfficientNet ： Rethinking Model Scaling for Convolutional Neural Networks ［EB/OL］. 2019 ： arXiv ： 1905 . 11946 . https：//arxiv.org/abs/1905.11946 https://arxiv.org/abs/1905.11946

陈欣，万敏杰，马超，等 . 采用多尺度特征融合SSD的遥感图像小目标检测［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA CH ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

梁水波，刘紫燕，袁浩，等 . 注意力和多重特征融合的图像局部特征检测及描述［J］. 传感技术学报， 2021 ， 34 （ 8 ）： 1075 - 1081 . doi: 10.3969/j.issn.1004-1699.2021.08.011 http://dx.doi.org/10.3969/j.issn.1004-1699.2021.08.011

LIANG SH B ， LIU Z Y ， YUAN H ， et al . Image local feature detection and description based on attention and multi-layer feature fusion ［J］. Chinese Journal of Sensors and Actuators ， 2021 ， 34 （ 8 ）： 1075 - 1081 . （in Chinese） . doi: 10.3969/j.issn.1004-1699.2021.08.011 http://dx.doi.org/10.3969/j.issn.1004-1699.2021.08.011

朱威，王立凯，靳作宝，等 . 引入注意力机制的轻量级小目标检测网络［J］. 光学精密工程， 2022 ， 30 （ 8 ）： 998 - 1010 . doi: 10.37188/OPE.20223008.0998 http://dx.doi.org/10.37188/OPE.20223008.0998

ZHU W ， WANG L K ， JIN Z B ， et al . Lightweight small object detection network with attention mechanism ［J］. Optics and Precision Engineering ， 2022 ， 30 （ 8 ）： 998 - 1010 . （in Chinese） . doi: 10.37188/OPE.20223008.0998 http://dx.doi.org/10.37188/OPE.20223008.0998

WOO S ， PARK J ， LEE J Y ， et al . CBAM ： Convolutional Block Attention Module ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

LIN T Y ， GOYAL P ， GIRSHICK R ， et al . Focal loss for dense object detection ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 2999 - 3007 . doi: 10.1109/iccv.2017.324 http://dx.doi.org/10.1109/iccv.2017.324

SHAHINFAR S ， MEEK P ， FALZON G . “How many images do I need？” Understanding how sample size per class affects deep learning model performance metrics for balanced designs in autonomous wildlife monitoring ［J］. Ecological Informatics ， 2020 ， 57 ： 101085 . doi: 10.1016/j.ecoinf.2020.101085 http://dx.doi.org/10.1016/j.ecoinf.2020.101085

YU J H ， JIANG Y N ， WANG Z Y ， et al . UnitBox： an advanced object detection network ［C］. Proceedings of the 24th ACM international conference on Multimedia. October 15 - 19 ， 2016， Amsterdam， The Netherlands. New York ： ACM ， 2016： 516 - 520 . doi: 10.1145/2964284.2967274 http://dx.doi.org/10.1145/2964284.2967274

REZATOFIGHI H ， TSOI N ， GWAK J ， et al . Generalized intersection over union： a metric and a loss for bounding box regression ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2020 ： 658 - 666 . doi: 10.1109/cvpr.2019.00075 http://dx.doi.org/10.1109/cvpr.2019.00075

ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 . doi: 10.1609/aaai.v34i07.6999 http://dx.doi.org/10.1609/aaai.v34i07.6999

浏览量

784

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

融合多尺度特征的蜗杆表面缺陷检测

电力巡检中的偏振图像特征融合

基于多分支残差注意力网络的水下图像增强

半监督式野生动物夜间目标端到端检测