多尺度注意力线束端子实时语义分割网络

谷亚楠; 曹如意; 赵理山; 芦碧波; 苏柏顺

doi:10.37188/OPE.20233102.0277

您当前的位置：

首页 >

文章列表页 >

多尺度注意力线束端子实时语义分割网络

信息科学 | 更新时间：2023-02-08

- 多尺度注意力线束端子实时语义分割网络
- Real time semantic segmentation network of wire harness terminals based on multiple receptive field attention
- 光学精密工程 2023年31卷第2期页码：277-287
- 作者机构：
  
  河南理工大学计算机科学与技术学院，河南焦作 454003
- 作者简介：
  
  [ "谷亚楠（1987-），女，河南焦作人，博士，讲师，研究生导师，2010年于洛阳师范学院获得学士学位，2013年于广西民族大学获得硕士学位，2020年于南京理工大学获得博士学位，主要从事优化算法、机器视觉等方面的研究。E-mail：guyanan2020@hpu.edu.cn" ]
  [ "苏柏顺（1977-），男，河北唐山人，博士，讲师，1999年于焦作工学院获得学士学位，2006年于河南理工大学获得硕士学位，2011年于中国矿业大学（北京）获得博士学位，主要从事嵌入式系统、机器视觉和机器人方面的研究。E-mail：subaishun@hpu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(41773024);2022年度河南省重点研发与推广专项（科技攻关）项目资助(222102210131);河南省高校国家级大学生创新创业训练计划资助项目(202110460078);河南省高等学校重点科研项目资助(21A520016)
- DOI：10.37188/OPE.20233102.0277
  中图分类号： TP391
- 收稿日期：2022-06-13，
  
  修回日期：2022-07-26，
  
  纸质出版日期：2023-01-25
- 稿件说明：
移动端阅览
谷亚楠,曹如意,赵理山等.多尺度注意力线束端子实时语义分割网络[J].光学精密工程,2023,31(02):277-287.

GU Yanan,CAO Ruyi,ZHAO Lishan,et al.Real time semantic segmentation network of wire harness terminals based on multiple receptive field attention[J].Optics and Precision Engineering,2023,31(02):277-287.
谷亚楠,曹如意,赵理山等.多尺度注意力线束端子实时语义分割网络[J].光学精密工程,2023,31(02):277-287. DOI： 10.37188/OPE.20233102.0277.

GU Yanan,CAO Ruyi,ZHAO Lishan,et al.Real time semantic segmentation network of wire harness terminals based on multiple receptive field attention[J].Optics and Precision Engineering,2023,31(02):277-287. DOI： 10.37188/OPE.20233102.0277.

摘要

线束的应用非常广泛，线束端子作为其重要组成部件，需要进行严格的质量检测。为了提升线束端子质量检测的精度与效率，提出一种基于多尺度注意力的线束端子实时语义分割网络MRF-UNet。首先，采用一种特别的多尺度注意力模块MRF作为网络特征提取的基础模块，提升模型特征提取能力与泛化能力；其次，使用特征融合的方式实现跳跃连接，降低模型运算量；最后，使用反卷积与卷积操作进行特征解码，实现网络深度约减并提升算法性能。实验结果表明：本文算法MRF-UNet在线束端子测试数据集上的平均交并比（MIoU）、平均像素精度（MPA）、戴斯系数（Dice）指标分别达到97.54%，98.83%，98.31%，模型推理速度达到15 FPS。相较于BiSeNet，UNet，SegNet等主流分割网络，本文所提出的MRF-UNet网络对线束端子显微图像的分割结果更精准且更快速，这为后续的线束端子质量检测提供数据支撑。

Abstract

Recently， wire harnesses are widely used. The harness terminal， an important component of a harness， requires strict quality inspection. Therefore， to improve the accuracy and efficiency of harness terminal quality detection， a real-time semantic segmentation network using multiple receptive field （MRF） attention， called MRF-UNet， is proposed in this study. First， an MRF attention module is used as the basic module for network feature extraction， improving the feature extraction and generalization abilities of the model. Second， feature fusion is used to effect jump connections and reduce the computational load of the model. Finally， deconvolution and convolution are used for feature decoding to reduce the network depth and improve the algorithm's performance. The experimental results demonstrate that the mean intersection over union， mean pixel accuracy and dice coefficient of the MRF-UNet algorithm on the harness terminal test dataset are 97.54%， 98.83%， and 98.31%， respectively， and the reasoning speed of the model is 15 FPS. Compared with BiSeNet， UNet， SegNet， and other mainstream segmentation networks， the proposed MRF-UNet network exhibits more accurate and faster segmentation results for microscopic images of harness terminals， thus providing data support for the subsequent quality detection.

关键词

Keywords

references

闫亮亮，谷孝卫，姬红亮，等 . 汽车线束保护介绍与分析［J］. 汽车电器， 2013 （ 8 ）： 19 - 22， 29 . doi: 10.3969/j.issn.1003-8639.2013.08.007 http://dx.doi.org/10.3969/j.issn.1003-8639.2013.08.007

YAN L L ， GU X W ， JI H L ， et al . Introduction and analysis of wiring harness protection ［J］. Auto Electric Parts ， 2013 （ 8 ）： 19 - 22， 29 . （in Chinese） . doi: 10.3969/j.issn.1003-8639.2013.08.007 http://dx.doi.org/10.3969/j.issn.1003-8639.2013.08.007

汤爱军 . 汽车线束自动端子压接机的夹具和模具设计［J］. 安徽建筑工业学院学报（自然科学版）， 2010 ， 18 （ 3 ）： 100 - 102， 107 . doi: 10.3969/j.issn.1006-4540.2010.03.026 http://dx.doi.org/10.3969/j.issn.1006-4540.2010.03.026

TANG A J . The design of fixture and Die for the auto terminal crimping machine of the automotive wiring harness ［J］. Journal of Anhui Institute of Architecture & Industry （Natural Science）， 2010 ， 18 （ 3 ）： 100 - 102， 107 . （in Chinese） . doi: 10.3969/j.issn.1006-4540.2010.03.026 http://dx.doi.org/10.3969/j.issn.1006-4540.2010.03.026

芦碧波，刘利群，郑艳梅，等 . 一种线束端子显微图像全自动分割方法［J］. 光电工程， 2016 ， 43 （ 10 ）： 49 - 55 . doi: 10.3969/j.issn.1003-501X.2016.10.009 http://dx.doi.org/10.3969/j.issn.1003-501X.2016.10.009

LU B B ， LIU L Q ， ZHENG Y M ， et al . A method for segmenting the microscopic cable harness image automatically ［J］. Opto-Electronic Engineering ， 2016 ， 43 （ 10 ）： 49 - 55 . （in Chinese） . doi: 10.3969/j.issn.1003-501X.2016.10.009 http://dx.doi.org/10.3969/j.issn.1003-501X.2016.10.009

侯守明，王阳，唐琪博，等 . 一种基于偏微分方程和Canny算子的图像分割方法［J］. 山西大学学报（自然科学版）， 2017 ， 40 （ 4 ）： 676 - 682 . doi: 10.13451/j.cnki.shanxi.univ(nat.sci.).2017.04.003 http://dx.doi.org/10.13451/j.cnki.shanxi.univ(nat.sci.).2017.04.003

HOU SH M ， WANG Y ， TANG Q B ， et al . Crimp terminals sectional contour extraction based on partial differential equation and canny operator ［J］. Journal of Shanxi University （Natural Science Edition）， 2017 ， 40 （ 4 ）： 676 - 682 . （in Chinese） . doi: 10.13451/j.cnki.shanxi.univ(nat.sci.).2017.04.003 http://dx.doi.org/10.13451/j.cnki.shanxi.univ(nat.sci.).2017.04.003

CHAN T F ， VESE L A . Active contours without edges ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2001 ， 10 （ 2 ）： 266 - 277 . doi: 10.1109/83.902291 http://dx.doi.org/10.1109/83.902291

李秀娟，李贝贝，于心俊 . 线束端子在线检测系统［J］. 自动化仪表， 2015 ， 36 （ 6 ）： 65 - 68 . doi: 10.16086/j.cnki.issn1000-0380.201506019 http://dx.doi.org/10.16086/j.cnki.issn1000-0380.201506019

LI X J ， LI B B ， YU X J . Online detection system of the wiring harness terminal ［J］. Process Automation Instrumentation ， 2015 ， 36 （ 6 ）： 65 - 68 . （in Chinese） . doi: 10.16086/j.cnki.issn1000-0380.201506019 http://dx.doi.org/10.16086/j.cnki.issn1000-0380.201506019

胡建华，王莹 . 车用线束端子压接工艺研究［J］. 汽车零部件， 2010 （ 10 ）： 64 - 67 . doi: 10.3969/j.issn.1674-1986.2010.10.023 http://dx.doi.org/10.3969/j.issn.1674-1986.2010.10.023

HU J H ， WANG Y . The crimping technology for automotive electric wire terminals ［J］. Automobile Parts ， 2010 （ 10 ）： 64 - 67 . （in Chinese） . doi: 10.3969/j.issn.1674-1986.2010.10.023 http://dx.doi.org/10.3969/j.issn.1674-1986.2010.10.023

田萱，王亮，丁琪 . 基于深度学习的图像语义分割方法综述［J］. 软件学报， 2019 ， 30 （ 2 ）： 440 - 468 . doi: 10.13328/j.cnki.jos.005659 http://dx.doi.org/10.13328/j.cnki.jos.005659

TIAN X ， WANG L ， DING Q . Review of image semantic segmentation based on deep learning ［J］. Journal of Software ， 2019 ， 30 （ 2 ）： 440 - 468 . （in Chinese） . doi: 10.13328/j.cnki.jos.005659 http://dx.doi.org/10.13328/j.cnki.jos.005659

SHELHAMER E ， LONG J ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence. 24，2016 ， IEEE ， 2016 ： 640 - 651 . doi: 10.1109/tpami.2016.2572683 http://dx.doi.org/10.1109/tpami.2016.2572683

史健锋，高治明，王阿川 . 结合ASPP与改进HRNet的多尺度图像语义分割方法研究［J］. 液晶与显示， 2021 ， 36 （ 11 ）： 1497 - 1505 . doi: 10.37188/CJLCD.2021-0093 http://dx.doi.org/10.37188/CJLCD.2021-0093

SHI J F ， GAO ZH M ， WANG A CH . Multi-scale image semantic segmentation based on ASPP and improved HRNet ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 11 ）： 1497 - 1505 . （in Chinese） . doi: 10.37188/CJLCD.2021-0093 http://dx.doi.org/10.37188/CJLCD.2021-0093

李沛卓，万雪，李盛阳 . 基于多模态学习的空间科学实验图像描述［J］. 光学精密工程， 2021 ， 29 （ 12 ）： 2944 - 2955 . doi: 10.37188/OPE.2021.0244 http://dx.doi.org/10.37188/OPE.2021.0244

LI P ZH ， WAN X ， LI SH Y . Image caption of space science experiment based on multi-modal learning ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 12 ）： 2944 - 2955 . （in Chinese） . doi: 10.37188/OPE.2021.0244 http://dx.doi.org/10.37188/OPE.2021.0244

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

刘媛媛，张硕，于海业，等 . 基于语义分割的复杂场景下的秸秆检测［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 200 - 211 . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

LIU Y Y ， ZHANG SH ， YU H Y ， et al . Straw detection algorithm based on semantic segmentation in complex farm scenarios ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 200 - 211 . （in Chinese） . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

FAN M Y ， LAI S Q ， HUANG J S ， et al . Rethinking BiSeNet for real-time semantic segmentation ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 9711 - 9720 . doi: 10.1109/cvpr46437.2021.00959 http://dx.doi.org/10.1109/cvpr46437.2021.00959

蔡体健，彭潇雨，石亚鹏，等 . 通道注意力与残差级联的图像超分辨率重建［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

邓建国，张素兰，张继福，等 . 监督学习中的损失函数及应用研究［J］. 大数据， 2020 ， 6 （ 1 ）： 60 - 80 . doi: 10.3969/j.issn.1673-2057.2020.06.003 http://dx.doi.org/10.3969/j.issn.1673-2057.2020.06.003

DENG J G ， ZHANG S L ， ZHANG J F ， et al . Loss function and application research in supervised learning ［J］. Big Data Research ， 2020 ， 6 （ 1 ）： 60 - 80 . （in Chinese） . doi: 10.3969/j.issn.1673-2057.2020.06.003 http://dx.doi.org/10.3969/j.issn.1673-2057.2020.06.003

谢娟英，张凯云 . XR-MSF-Unet：新冠肺炎肺部CT图像自动分割模型［J］. 计算机科学与探索， 2022 ： 1 - 18 . doi: 10.3778/j.issn.1673-9418.2203023 http://dx.doi.org/10.3778/j.issn.1673-9418.2203023

XIE J Y ， ZHANG K Y . XR-MSF-Unet： automatic segmentation model for COVID-19 lung CT images ［J］. Journal of Frontiers of Computer Science and Technology ， 2022 ： 1 - 18 . （in Chinese） . doi: 10.3778/j.issn.1673-9418.2203023 http://dx.doi.org/10.3778/j.issn.1673-9418.2203023

万黎明，张小乾，刘知贵，等 . 基于高效通道注意力的UNet肺结节CT图像分割［J］. 广西师范大学学报（自然科学版）， 2022 ， 40 （ 3 ）： 66 - 75 .

WAN L M ， ZHANG X Q ， LIU ZH G ， et al . CT image segmentation of UNet pulmonary nodules based on efficient channel attention ［J］. Journal of Guangxi Normal University （Natural Science Edition）， 2022 ， 40 （ 3 ）： 66 - 75 . （in Chinese）

周华平，郑锐 . 基于改进BiSeNet的煤矿井下轨道检测算法［J］. 湖北民族大学学报（自然科学版）， 2021 ， 39 （ 4 ）： 398 - 403 .

ZHOU H P ， ZHENG R . Underground rail detection algorithm based on improved BiSeNet ［J］. Journal of Hubei Minzu University （Natural Science Edition）， 2021 ， 39 （ 4 ）： 398 - 403 . （in Chinese）

李紫薇，英昌盛，于晓鹏，等 . 基于改进SegNet模型的遥感图像建筑物分割［J］. 吉林大学学报（理学版）， 2022 ， 60 （ 2 ）： 409 - 416 .

LI Z W ， YING CH SH ， YU X P ， et al . Building segmentation of remote sensing image based on improved SegNet model ［J］. Journal of Jilin University （Science Edition）， 2022 ， 60 （ 2 ）： 409 - 416 . （in Chinese）

浏览量

558

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于改进BiSeNet的实时图像语义分割

基于多分支残差注意力网络的水下图像增强

联合线性引导与网格优化的混凝土裂缝分割

融合知识蒸馏和注意力机制的光伏热斑检测

融合卷积块注意力模块和Siamese神经网络的人脸识别算法