Real time semantic segmentation network of wire harness terminals based on multiple receptive field attention

GU Yanan; CAO Ruyi; ZHAO Lishan; LU Bibo; SU Baishun

doi:10.37188/OPE.20233102.0277

您当前的位置：

首页 >

文章列表页 >

Real time semantic segmentation network of wire harness terminals based on multiple receptive field attention

Information Sciences | 更新时间：2023-02-08

- Real time semantic segmentation network of wire harness terminals based on multiple receptive field attention
- Optics and Precision Engineering Vol. 31, Issue 2, Pages: 277-287(2023)
- 作者机构：
  
  河南理工大学计算机科学与技术学院，河南焦作 454003
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233102.0277
  CLC： TP391
- Received：13 June 2022，
  
  Revised：26 July 2022，
  
  Published：25 January 2023
- 稿件说明：
移动端阅览
谷亚楠,曹如意,赵理山等.多尺度注意力线束端子实时语义分割网络[J].光学精密工程,2023,31(02):277-287.

GU Yanan,CAO Ruyi,ZHAO Lishan,et al.Real time semantic segmentation network of wire harness terminals based on multiple receptive field attention[J].Optics and Precision Engineering,2023,31(02):277-287.
谷亚楠,曹如意,赵理山等.多尺度注意力线束端子实时语义分割网络[J].光学精密工程,2023,31(02):277-287. DOI： 10.37188/OPE.20233102.0277.

GU Yanan,CAO Ruyi,ZHAO Lishan,et al.Real time semantic segmentation network of wire harness terminals based on multiple receptive field attention[J].Optics and Precision Engineering,2023,31(02):277-287. DOI： 10.37188/OPE.20233102.0277.

摘要

线束的应用非常广泛，线束端子作为其重要组成部件，需要进行严格的质量检测。为了提升线束端子质量检测的精度与效率，提出一种基于多尺度注意力的线束端子实时语义分割网络MRF-UNet。首先，采用一种特别的多尺度注意力模块MRF作为网络特征提取的基础模块，提升模型特征提取能力与泛化能力；其次，使用特征融合的方式实现跳跃连接，降低模型运算量；最后，使用反卷积与卷积操作进行特征解码，实现网络深度约减并提升算法性能。实验结果表明：本文算法MRF-UNet在线束端子测试数据集上的平均交并比（MIoU）、平均像素精度（MPA）、戴斯系数（Dice）指标分别达到97.54%，98.83%，98.31%，模型推理速度达到15 FPS。相较于BiSeNet，UNet，SegNet等主流分割网络，本文所提出的MRF-UNet网络对线束端子显微图像的分割结果更精准且更快速，这为后续的线束端子质量检测提供数据支撑。

Abstract

Recently， wire harnesses are widely used. The harness terminal， an important component of a harness， requires strict quality inspection. Therefore， to improve the accuracy and efficiency of harness terminal quality detection， a real-time semantic segmentation network using multiple receptive field （MRF） attention， called MRF-UNet， is proposed in this study. First， an MRF attention module is used as the basic module for network feature extraction， improving the feature extraction and generalization abilities of the model. Second， feature fusion is used to effect jump connections and reduce the computational load of the model. Finally， deconvolution and convolution are used for feature decoding to reduce the network depth and improve the algorithm's performance. The experimental results demonstrate that the mean intersection over union， mean pixel accuracy and dice coefficient of the MRF-UNet algorithm on the harness terminal test dataset are 97.54%， 98.83%， and 98.31%， respectively， and the reasoning speed of the model is 15 FPS. Compared with BiSeNet， UNet， SegNet， and other mainstream segmentation networks， the proposed MRF-UNet network exhibits more accurate and faster segmentation results for microscopic images of harness terminals， thus providing data support for the subsequent quality detection.

关键词

Keywords

references

闫亮亮，谷孝卫，姬红亮，等 . 汽车线束保护介绍与分析［J］. 汽车电器， 2013 （ 8 ）： 19 - 22， 29 . doi: 10.3969/j.issn.1003-8639.2013.08.007 http://dx.doi.org/10.3969/j.issn.1003-8639.2013.08.007

YAN L L ， GU X W ， JI H L ， et al . Introduction and analysis of wiring harness protection ［J］. Auto Electric Parts ， 2013 （ 8 ）： 19 - 22， 29 . （in Chinese） . doi: 10.3969/j.issn.1003-8639.2013.08.007 http://dx.doi.org/10.3969/j.issn.1003-8639.2013.08.007

汤爱军 . 汽车线束自动端子压接机的夹具和模具设计［J］. 安徽建筑工业学院学报（自然科学版）， 2010 ， 18 （ 3 ）： 100 - 102， 107 . doi: 10.3969/j.issn.1006-4540.2010.03.026 http://dx.doi.org/10.3969/j.issn.1006-4540.2010.03.026

TANG A J . The design of fixture and Die for the auto terminal crimping machine of the automotive wiring harness ［J］. Journal of Anhui Institute of Architecture & Industry （Natural Science）， 2010 ， 18 （ 3 ）： 100 - 102， 107 . （in Chinese） . doi: 10.3969/j.issn.1006-4540.2010.03.026 http://dx.doi.org/10.3969/j.issn.1006-4540.2010.03.026

芦碧波，刘利群，郑艳梅，等 . 一种线束端子显微图像全自动分割方法［J］. 光电工程， 2016 ， 43 （ 10 ）： 49 - 55 . doi: 10.3969/j.issn.1003-501X.2016.10.009 http://dx.doi.org/10.3969/j.issn.1003-501X.2016.10.009

LU B B ， LIU L Q ， ZHENG Y M ， et al . A method for segmenting the microscopic cable harness image automatically ［J］. Opto-Electronic Engineering ， 2016 ， 43 （ 10 ）： 49 - 55 . （in Chinese） . doi: 10.3969/j.issn.1003-501X.2016.10.009 http://dx.doi.org/10.3969/j.issn.1003-501X.2016.10.009

侯守明，王阳，唐琪博，等 . 一种基于偏微分方程和Canny算子的图像分割方法［J］. 山西大学学报（自然科学版）， 2017 ， 40 （ 4 ）： 676 - 682 . doi: 10.13451/j.cnki.shanxi.univ(nat.sci.).2017.04.003 http://dx.doi.org/10.13451/j.cnki.shanxi.univ(nat.sci.).2017.04.003

HOU SH M ， WANG Y ， TANG Q B ， et al . Crimp terminals sectional contour extraction based on partial differential equation and canny operator ［J］. Journal of Shanxi University （Natural Science Edition）， 2017 ， 40 （ 4 ）： 676 - 682 . （in Chinese） . doi: 10.13451/j.cnki.shanxi.univ(nat.sci.).2017.04.003 http://dx.doi.org/10.13451/j.cnki.shanxi.univ(nat.sci.).2017.04.003

CHAN T F ， VESE L A . Active contours without edges ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2001 ， 10 （ 2 ）： 266 - 277 . doi: 10.1109/83.902291 http://dx.doi.org/10.1109/83.902291

李秀娟，李贝贝，于心俊 . 线束端子在线检测系统［J］. 自动化仪表， 2015 ， 36 （ 6 ）： 65 - 68 . doi: 10.16086/j.cnki.issn1000-0380.201506019 http://dx.doi.org/10.16086/j.cnki.issn1000-0380.201506019

LI X J ， LI B B ， YU X J . Online detection system of the wiring harness terminal ［J］. Process Automation Instrumentation ， 2015 ， 36 （ 6 ）： 65 - 68 . （in Chinese） . doi: 10.16086/j.cnki.issn1000-0380.201506019 http://dx.doi.org/10.16086/j.cnki.issn1000-0380.201506019

胡建华，王莹 . 车用线束端子压接工艺研究［J］. 汽车零部件， 2010 （ 10 ）： 64 - 67 . doi: 10.3969/j.issn.1674-1986.2010.10.023 http://dx.doi.org/10.3969/j.issn.1674-1986.2010.10.023

HU J H ， WANG Y . The crimping technology for automotive electric wire terminals ［J］. Automobile Parts ， 2010 （ 10 ）： 64 - 67 . （in Chinese） . doi: 10.3969/j.issn.1674-1986.2010.10.023 http://dx.doi.org/10.3969/j.issn.1674-1986.2010.10.023

田萱，王亮，丁琪 . 基于深度学习的图像语义分割方法综述［J］. 软件学报， 2019 ， 30 （ 2 ）： 440 - 468 . doi: 10.13328/j.cnki.jos.005659 http://dx.doi.org/10.13328/j.cnki.jos.005659

TIAN X ， WANG L ， DING Q . Review of image semantic segmentation based on deep learning ［J］. Journal of Software ， 2019 ， 30 （ 2 ）： 440 - 468 . （in Chinese） . doi: 10.13328/j.cnki.jos.005659 http://dx.doi.org/10.13328/j.cnki.jos.005659

SHELHAMER E ， LONG J ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence. 24，2016 ， IEEE ， 2016 ： 640 - 651 . doi: 10.1109/tpami.2016.2572683 http://dx.doi.org/10.1109/tpami.2016.2572683

史健锋，高治明，王阿川 . 结合ASPP与改进HRNet的多尺度图像语义分割方法研究［J］. 液晶与显示， 2021 ， 36 （ 11 ）： 1497 - 1505 . doi: 10.37188/CJLCD.2021-0093 http://dx.doi.org/10.37188/CJLCD.2021-0093

SHI J F ， GAO ZH M ， WANG A CH . Multi-scale image semantic segmentation based on ASPP and improved HRNet ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 11 ）： 1497 - 1505 . （in Chinese） . doi: 10.37188/CJLCD.2021-0093 http://dx.doi.org/10.37188/CJLCD.2021-0093

李沛卓，万雪，李盛阳 . 基于多模态学习的空间科学实验图像描述［J］. 光学精密工程， 2021 ， 29 （ 12 ）： 2944 - 2955 . doi: 10.37188/OPE.2021.0244 http://dx.doi.org/10.37188/OPE.2021.0244

LI P ZH ， WAN X ， LI SH Y . Image caption of space science experiment based on multi-modal learning ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 12 ）： 2944 - 2955 . （in Chinese） . doi: 10.37188/OPE.2021.0244 http://dx.doi.org/10.37188/OPE.2021.0244

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

刘媛媛，张硕，于海业，等 . 基于语义分割的复杂场景下的秸秆检测［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 200 - 211 . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

LIU Y Y ， ZHANG SH ， YU H Y ， et al . Straw detection algorithm based on semantic segmentation in complex farm scenarios ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 200 - 211 . （in Chinese） . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

FAN M Y ， LAI S Q ， HUANG J S ， et al . Rethinking BiSeNet for real-time semantic segmentation ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 9711 - 9720 . doi: 10.1109/cvpr46437.2021.00959 http://dx.doi.org/10.1109/cvpr46437.2021.00959

蔡体健，彭潇雨，石亚鹏，等 . 通道注意力与残差级联的图像超分辨率重建［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

邓建国，张素兰，张继福，等 . 监督学习中的损失函数及应用研究［J］. 大数据， 2020 ， 6 （ 1 ）： 60 - 80 . doi: 10.3969/j.issn.1673-2057.2020.06.003 http://dx.doi.org/10.3969/j.issn.1673-2057.2020.06.003

DENG J G ， ZHANG S L ， ZHANG J F ， et al . Loss function and application research in supervised learning ［J］. Big Data Research ， 2020 ， 6 （ 1 ）： 60 - 80 . （in Chinese） . doi: 10.3969/j.issn.1673-2057.2020.06.003 http://dx.doi.org/10.3969/j.issn.1673-2057.2020.06.003

谢娟英，张凯云 . XR-MSF-Unet：新冠肺炎肺部CT图像自动分割模型［J］. 计算机科学与探索， 2022 ： 1 - 18 . doi: 10.3778/j.issn.1673-9418.2203023 http://dx.doi.org/10.3778/j.issn.1673-9418.2203023

XIE J Y ， ZHANG K Y . XR-MSF-Unet： automatic segmentation model for COVID-19 lung CT images ［J］. Journal of Frontiers of Computer Science and Technology ， 2022 ： 1 - 18 . （in Chinese） . doi: 10.3778/j.issn.1673-9418.2203023 http://dx.doi.org/10.3778/j.issn.1673-9418.2203023

万黎明，张小乾，刘知贵，等 . 基于高效通道注意力的UNet肺结节CT图像分割［J］. 广西师范大学学报（自然科学版）， 2022 ， 40 （ 3 ）： 66 - 75 .

WAN L M ， ZHANG X Q ， LIU ZH G ， et al . CT image segmentation of UNet pulmonary nodules based on efficient channel attention ［J］. Journal of Guangxi Normal University （Natural Science Edition）， 2022 ， 40 （ 3 ）： 66 - 75 . （in Chinese）

周华平，郑锐 . 基于改进BiSeNet的煤矿井下轨道检测算法［J］. 湖北民族大学学报（自然科学版）， 2021 ， 39 （ 4 ）： 398 - 403 .

ZHOU H P ， ZHENG R . Underground rail detection algorithm based on improved BiSeNet ［J］. Journal of Hubei Minzu University （Natural Science Edition）， 2021 ， 39 （ 4 ）： 398 - 403 . （in Chinese）

李紫薇，英昌盛，于晓鹏，等 . 基于改进SegNet模型的遥感图像建筑物分割［J］. 吉林大学学报（理学版）， 2022 ， 60 （ 2 ）： 409 - 416 .

LI Z W ， YING CH SH ， YU X P ， et al . Building segmentation of remote sensing image based on improved SegNet model ［J］. Journal of Jilin University （Science Edition）， 2022 ， 60 （ 2 ）： 409 - 416 . （in Chinese）

Views

558

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Real-time semantic segmentation based on improved BiSeNet

Underwater image enhancement based on multi-branch residual attention network

Concrete crack segmentation combined with linear guidance and mesh optimization

Photovoltaic hot spot detection method incorporating knowledge distillation and attention mechanisms

Face recognition algorithm incorporating CBAM and Siamese neural network

Related Author

REN Fenglei

YANG Lu

ZHOU Haibo

ZHANG Shiyv

HE Xin

XU Wenxue

CHENG Zhuming

LI Jiaxuan

Related Institution

Tianjin Key Laboratory for Advanced Mechatronic System Design and Intelligent Control， School of Mechanical Engineering， Tianjin University of Technology

National Demonstration Center for Experimental Mechanical and Electrical Engineering Education，Tianjin University of Technology

Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences

Transcend Communication Technology Tianjin Co.， Ltd

School of Electrical and Information Engineering， Anhui University of Technology， Maanshan

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰