基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术

刘桂雄; 黄坚

doi:10.37188/OPE.20223001.0117

您当前的位置：

首页 >

文章列表页 >

基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术

信息科学 | 更新时间：2026-09-12

- 基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术
- Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms
- 光学精密工程 2022年30卷第1期页码：117-125
- 作者机构：
  
  华南理工大学机械与汽车工程学院，广东广州 510640
- 作者简介：
  
  刘桂雄（1968-），男，广东揭阳人，教授，博士生导师，1995年于重庆大学获得博士学位，主要从事先进传感与仪器的研究。E-mail： megxliu@scut.edu.cn
  黄　坚（1990-），男，广东揭阳人，博士研究生，2009年、2013年于华南理工大学分别获得学士、硕士学位，主要从事制造过程机器视觉检测的研究。E-mail： mehuangjian@mail.scut.edu.cn
- 基金信息：
  
  广东省重点领域研发计划资助项目(2019B010154003);广州市产业技术重大攻关计划资助项目(201802030006)
- DOI：10.37188/OPE.20223001.0117
  中图分类号： TP394.1;TH691.9
- 收稿：2021-05-16，
  
  修回：2021-07-20，
  
  纸质出版：2022-01-15
- 稿件说明：
移动端阅览
刘桂雄,黄坚.基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术[J].光学精密工程,2022,30(01):117-125.

LIU Guixiong,HUANG Jian.Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms[J].Optics and Precision Engineering,2022,30(01):117-125.
刘桂雄,黄坚.基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术[J].光学精密工程,2022,30(01):117-125. DOI： 10.37188/OPE.20223001.0117.

LIU Guixiong,HUANG Jian.Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms[J].Optics and Precision Engineering,2022,30(01):117-125. DOI： 10.37188/OPE.20223001.0117.

摘要

面向机器视觉检测鉴别的语义分割卷积神经网络（Convolutional Neural Network， CNN）模型能识别、测量被测对象的零部件、尺寸等特征，针对机器视觉检测鉴别增加识别零部件或关键部位的需求，以及进一步迁移学习会损失CNN模型部分权值的问题，提出一种基于标签预留Softmax算法的语义分割迁移学习技术。研究了机器视觉检测鉴别语义分割迁移学习建模方法，分析指出可尝试选定模型所有权值的微调迁移学习，有助于减小模型初始损失；提出了基于标签预留Softmax算法的微调迁移学习方法，可实现检测对象略有不同的模型所有权值微调迁移学习。在自建数据集上的实验表明，标签预留微调迁移学习技术训练模型达到机器视觉检测鉴别要求的时间由42.8 min减少到30.1 min，算法有效、效果明显；应用实验表明，迁移学习技术可实现标准件安装、漏装、误装情况检测与装配质量鉴别的半监督学习，新机箱迁移学习的训练时间不超过20.2 min，检测准确率达到100%，能满足机箱标准件装配质量检测鉴别的需求。

Abstract

A convolutional neural network （CNN） model for machine vision inspection and identification can identify and measure the components， size， and other features of an object under test. Herein， a fine-tuning transfer learning technique for semantic segmentation based on a label-reserved softmax algorithm was proposed. First， the transfer learning modeling of semantic segmentation for machine vision inspection and identification was performed. Transferring more CNN model weights would reduce the initial loss of the model. Second， a fine-tuning transfer learning method based on label-reserved softmax algorithms was proposed， which could realize fine-tuning transfer learning with all model weights of slightly different detected objects. Experiments based on custom-developed datasets show that the training time for training models to satisfy the requirements of machine vision inspection and identification is reduced from 42.8 min to 30.1 min. Application experiments show that this transfer learning technique enables semi-supervised learning for the inspection of standard component installation， the inspection of missed and mis-installation cases， and the identification of assembly quality. The training time for the transfer learning of new chassis is less than 20.2 min， and the inspection accuracy reaches 100%. The fine-tuning transfer learning technique is effective and satisfies the requirements of machine vision inspection and identification.

关键词

Keywords

references

卢荣胜，吴昂，张腾达，等 . 自动光学（视觉）检测技术及其在缺陷检测中的应用综述［J］. 光学学报， 2018 ， 38 （ 8 ）： 23 - 58 . doi: 10.3788/aos201838.0815002 http://dx.doi.org/10.3788/aos201838.0815002

LU R SH ， WU A ， ZHANG T D ， et al . Review on automated optical （visual） inspection and its applications in defect detection ［J］. Acta Optica Sinica ， 2018 ， 38 （ 8 ）： 23 - 58 . （in Chinese） . doi: 10.3788/aos201838.0815002 http://dx.doi.org/10.3788/aos201838.0815002

范丽丽，赵宏伟，赵浩宇，等 . 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1152 - 1164 .

FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese）

黄坚，刘桂雄 . 面向机器视觉检测的CNN语义分割方法进展［J］. 激光杂志， 2019 ， 40 （ 5 ）： 10 - 16 . doi: 10.14016/j.cnki.jgzz.2019.05.010 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.05.010

HUANG J ， LIU G X . The development of CNN-based semantic segmentation method for machine vision detection ［J］. Laser Journal ， 2019 ， 40 （ 5 ）： 10 - 16 . （in Chinese） . doi: 10.14016/j.cnki.jgzz.2019.05.010 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.05.010

SHI Q ， ZHANG Y P ， LIU X P ， et al . Regularised transfer learning for hyperspectral image classification ［J］. IET Computer Vision ， 2019 ， 13 （ 2 ）： 188 - 193 . doi: 10.1049/iet-cvi.2018.5145 http://dx.doi.org/10.1049/iet-cvi.2018.5145

刘桂雄，黄坚，刘思洋，等 . 面向语义分割机器视觉的AutoML方法［J］. 激光杂志， 2019 ， 40 （ 6 ）： 1 - 9 . doi: 10.14016/j.cnki.jgzz.2019.06.001 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.06.001

LIU G X ， HUANG J ， LIU S Y ， et al . AutoML method for semantic segmentation of machine vision ［J］. Laser Journal ， 2019 ， 40 （ 6 ）： 1 - 9 . （in Chinese） . doi: 10.14016/j.cnki.jgzz.2019.06.001 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.06.001

YOSINSKI J ， CLUNE J ， BENGIO Y ， et al . How transferable are features in deep neural networks？［J/OL］. Advances in Neural Information Processing Systems ， 2014 ， 27 . https：//arxiv.org/abs/1411.1792v1 https://arxiv.org/abs/1411.1792v1 .

RUSSAKOVSKY O ， DENG J ， SU H ， et al . ImageNet large scale visual recognition challenge ［J］. International Journal of Computer Vision ， 2015 ， 115 （ 3 ）： 211 - 252 . doi: 10.1007/s11263-015-0816-y http://dx.doi.org/10.1007/s11263-015-0816-y

LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft COCO： common objects in context ［C］. Computer Vision-ECCV 2014 ， 2014 ： 740 - 755 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48

张雪松，庄严，闫飞，等 . 基于迁移学习的类别级物体识别与检测研究与进展［J］. 自动化学报， 2019 ， 45 （ 7 ）： 1224 - 1243 . doi: 10.16383/j.aas.c180093 http://dx.doi.org/10.16383/j.aas.c180093

ZHANG X S ， ZHUANG Y ， YAN F ， et al . Status and development of transfer learning based category-level object recognition and detection ［J］. Acta Automatica Sinica ， 2019 ， 45 （ 7 ）： 1224 - 1243 . （in Chinese） . doi: 10.16383/j.aas.c180093 http://dx.doi.org/10.16383/j.aas.c180093

冯毅雄，赵彬，郑浩，等 . 集成迁移学习的轴件表面缺陷实时检测［J］. 计算机集成制造系统， 2019 ， 25 （ 12 ）： 3199 - 3208 . doi: 10.13196/j.cims.2019.12.021 http://dx.doi.org/10.13196/j.cims.2019.12.021

FENG Y X ， ZHAO B ， ZHENG H ， et al . Real-time detection of shaft surface defects based on integrated transfer learning ［J］. Computer Integrated Manufacturing Systems ， 2019 ， 25 （ 12 ）： 3199 - 3208 . （in Chinese） . doi: 10.13196/j.cims.2019.12.021 http://dx.doi.org/10.13196/j.cims.2019.12.021

FANG X ， JIE W ， FENG T . An industrial micro-defect diagnosis system via intelligent segmentation region ［J］. Sensors ， 2019 ， 19 （ 11 ）： 2636 . doi: 10.3390/s19112636 http://dx.doi.org/10.3390/s19112636

XI D J ， QIN Y ， WANG Y Y . Vision measurement of gear pitting under different scenes by deep mask R-CNN ［J］. Sensors ， 2020 ， 20 （ 15 ）： 4298 . doi: 10.3390/s20154298 http://dx.doi.org/10.3390/s20154298

王建林，付雪松，黄展超，等 . 改进YOLOv2卷积神经网络的多类型合作目标检测［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 251 - 260 . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251

WANG J L ， FU X S ， HUANG ZH CH ， et al . Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 251 - 260 . （in Chinese） . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251

陈筱，朱向冰，吴昌凡，等 . 基于迁移学习与特征融合的眼底图像分类［J］. 光学精密工程， 2021 ， 29 （ 2 ）： 388 - 399 . doi: 10.37188/OPE.20212902.0388 http://dx.doi.org/10.37188/OPE.20212902.0388

CHEN X ， ZHU X B ， WU CH F ， et al . Research on fundus image classification based on transfer learning and feature fusion ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 2 ）： 388 - 399 . （in Chinese） . doi: 10.37188/OPE.20212902.0388 http://dx.doi.org/10.37188/OPE.20212902.0388

HOIEM D ， CHODPATHUMWAN Y ， DAI Q Y . Diagnosing error in object detectors ［C］. Computer Vision-ECCV 2012. Berlin， Heidelberg ： Springer Berlin Heidelberg ， 2012 ： 340 - 353 . doi: 10.1007/978-3-642-33712-3_25 http://dx.doi.org/10.1007/978-3-642-33712-3_25

HE K M ， SUN J . Convolutional neural networks at constrained time cost ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 712，2015 ， Boston， MA， USA. IEEE ， 2015 ： 5353 - 5360 . doi: 10.1109/cvpr.2015.7299173 http://dx.doi.org/10.1109/cvpr.2015.7299173

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 2 ）： 386 - 397 . doi: 10.1109/tpami.2018.2844175 http://dx.doi.org/10.1109/tpami.2018.2844175

GETTO G ， LABRIOLA J T . iFixit myself： user-generated content strategy in 'the free repair guide for everything' ［J］. IEEE Transactions on Professional Communication ， 2016 ， 59 （ 1 ）： 37 - 55 . doi: 10.1109/TPC.2016.2527259 http://dx.doi.org/10.1109/TPC.2016.2527259

黄爱民 . 面向标准件机箱装配质量图像特征提取与构建方法研究［D］. 广州：华南理工大学， 2017 .

HUANG A M . Research on the Technology of Machine Evaluation and Classification Based on the Assembly Quality of Standard Chassis ［D］. Guangzhou ： South China University of Technology ， 2017 . （in Chinese）

REBUFFI S A ， KOLESNIKOV A ， SPERL G ， et al . iCaRL： incremental classifier and representation learning ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 5533 - 5542 . doi: 10.1109/cvpr.2017.587 http://dx.doi.org/10.1109/cvpr.2017.587

浏览量

1232

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

融合语义与三维信息的路面图像逆透视变换

基于空间语义分割的多车道线检测跟踪网络

卷积神经网络在驾驶员姿态估计上的应用

融合语义与三维信息的路面图像逆透视变换

面向高分辨率遥感图像分割的级联精炼网络