Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms

Guixiong LIU; Jian HUANG

doi:10.37188/OPE.20223001.0117

您当前的位置：

首页 >

文章列表页 >

Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms

Information Sciences | 更新时间：2022-02-15

- Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms
- Optics and Precision Engineering Vol. 30, Issue 1, Pages: 117-125(2022)
- 作者机构：
  
  华南理工大学机械与汽车工程学院，广东广州 510640
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223001.0117
  CLC： TP394.1;TH691.9
- Received：16 May 2021，
  
  Revised：20 July 2021，
  
  Published：15 January 2022
- 稿件说明：
移动端阅览
刘桂雄,黄坚.基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术[J].光学精密工程,2022,30(01):117-125.

LIU Guixiong,HUANG Jian.Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms[J].Optics and Precision Engineering,2022,30(01):117-125.
刘桂雄,黄坚.基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术[J].光学精密工程,2022,30(01):117-125. DOI： 10.37188/OPE.20223001.0117.

LIU Guixiong,HUANG Jian.Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms[J].Optics and Precision Engineering,2022,30(01):117-125. DOI： 10.37188/OPE.20223001.0117.

摘要

面向机器视觉检测鉴别的语义分割卷积神经网络（Convolutional Neural Network， CNN）模型能识别、测量被测对象的零部件、尺寸等特征，针对机器视觉检测鉴别增加识别零部件或关键部位的需求，以及进一步迁移学习会损失CNN模型部分权值的问题，提出一种基于标签预留Softmax算法的语义分割迁移学习技术。研究了机器视觉检测鉴别语义分割迁移学习建模方法，分析指出可尝试选定模型所有权值的微调迁移学习，有助于减小模型初始损失；提出了基于标签预留Softmax算法的微调迁移学习方法，可实现检测对象略有不同的模型所有权值微调迁移学习。在自建数据集上的实验表明，标签预留微调迁移学习技术训练模型达到机器视觉检测鉴别要求的时间由42.8 min减少到30.1 min，算法有效、效果明显；应用实验表明，迁移学习技术可实现标准件安装、漏装、误装情况检测与装配质量鉴别的半监督学习，新机箱迁移学习的训练时间不超过20.2 min，检测准确率达到100%，能满足机箱标准件装配质量检测鉴别的需求。

Abstract

A convolutional neural network （CNN） model for machine vision inspection and identification can identify and measure the components， size， and other features of an object under test. Herein， a fine-tuning transfer learning technique for semantic segmentation based on a label-reserved softmax algorithm was proposed. First， the transfer learning modeling of semantic segmentation for machine vision inspection and identification was performed. Transferring more CNN model weights would reduce the initial loss of the model. Second， a fine-tuning transfer learning method based on label-reserved softmax algorithms was proposed， which could realize fine-tuning transfer learning with all model weights of slightly different detected objects. Experiments based on custom-developed datasets show that the training time for training models to satisfy the requirements of machine vision inspection and identification is reduced from 42.8 min to 30.1 min. Application experiments show that this transfer learning technique enables semi-supervised learning for the inspection of standard component installation， the inspection of missed and mis-installation cases， and the identification of assembly quality. The training time for the transfer learning of new chassis is less than 20.2 min， and the inspection accuracy reaches 100%. The fine-tuning transfer learning technique is effective and satisfies the requirements of machine vision inspection and identification.

关键词

Keywords

references

卢荣胜，吴昂，张腾达，等 . 自动光学（视觉）检测技术及其在缺陷检测中的应用综述［J］. 光学学报， 2018 ， 38 （ 8 ）： 23 - 58 . doi: 10.3788/aos201838.0815002 http://dx.doi.org/10.3788/aos201838.0815002

LU R SH ， WU A ， ZHANG T D ， et al . Review on automated optical （visual） inspection and its applications in defect detection ［J］. Acta Optica Sinica ， 2018 ， 38 （ 8 ）： 23 - 58 . （in Chinese） . doi: 10.3788/aos201838.0815002 http://dx.doi.org/10.3788/aos201838.0815002

范丽丽，赵宏伟，赵浩宇，等 . 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1152 - 1164 .

FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese）

黄坚，刘桂雄 . 面向机器视觉检测的CNN语义分割方法进展［J］. 激光杂志， 2019 ， 40 （ 5 ）： 10 - 16 . doi: 10.14016/j.cnki.jgzz.2019.05.010 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.05.010

HUANG J ， LIU G X . The development of CNN-based semantic segmentation method for machine vision detection ［J］. Laser Journal ， 2019 ， 40 （ 5 ）： 10 - 16 . （in Chinese） . doi: 10.14016/j.cnki.jgzz.2019.05.010 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.05.010

SHI Q ， ZHANG Y P ， LIU X P ， et al . Regularised transfer learning for hyperspectral image classification ［J］. IET Computer Vision ， 2019 ， 13 （ 2 ）： 188 - 193 . doi: 10.1049/iet-cvi.2018.5145 http://dx.doi.org/10.1049/iet-cvi.2018.5145

刘桂雄，黄坚，刘思洋，等 . 面向语义分割机器视觉的AutoML方法［J］. 激光杂志， 2019 ， 40 （ 6 ）： 1 - 9 . doi: 10.14016/j.cnki.jgzz.2019.06.001 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.06.001

LIU G X ， HUANG J ， LIU S Y ， et al . AutoML method for semantic segmentation of machine vision ［J］. Laser Journal ， 2019 ， 40 （ 6 ）： 1 - 9 . （in Chinese） . doi: 10.14016/j.cnki.jgzz.2019.06.001 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.06.001

YOSINSKI J ， CLUNE J ， BENGIO Y ， et al . How transferable are features in deep neural networks？［J/OL］. Advances in Neural Information Processing Systems ， 2014 ， 27 . https：//arxiv.org/abs/1411.1792v1 https://arxiv.org/abs/1411.1792v1 .

RUSSAKOVSKY O ， DENG J ， SU H ， et al . ImageNet large scale visual recognition challenge ［J］. International Journal of Computer Vision ， 2015 ， 115 （ 3 ）： 211 - 252 . doi: 10.1007/s11263-015-0816-y http://dx.doi.org/10.1007/s11263-015-0816-y

LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft COCO： common objects in context ［C］. Computer Vision-ECCV 2014 ， 2014 ： 740 - 755 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48

张雪松，庄严，闫飞，等 . 基于迁移学习的类别级物体识别与检测研究与进展［J］. 自动化学报， 2019 ， 45 （ 7 ）： 1224 - 1243 . doi: 10.16383/j.aas.c180093 http://dx.doi.org/10.16383/j.aas.c180093

ZHANG X S ， ZHUANG Y ， YAN F ， et al . Status and development of transfer learning based category-level object recognition and detection ［J］. Acta Automatica Sinica ， 2019 ， 45 （ 7 ）： 1224 - 1243 . （in Chinese） . doi: 10.16383/j.aas.c180093 http://dx.doi.org/10.16383/j.aas.c180093

冯毅雄，赵彬，郑浩，等 . 集成迁移学习的轴件表面缺陷实时检测［J］. 计算机集成制造系统， 2019 ， 25 （ 12 ）： 3199 - 3208 . doi: 10.13196/j.cims.2019.12.021 http://dx.doi.org/10.13196/j.cims.2019.12.021

FENG Y X ， ZHAO B ， ZHENG H ， et al . Real-time detection of shaft surface defects based on integrated transfer learning ［J］. Computer Integrated Manufacturing Systems ， 2019 ， 25 （ 12 ）： 3199 - 3208 . （in Chinese） . doi: 10.13196/j.cims.2019.12.021 http://dx.doi.org/10.13196/j.cims.2019.12.021

FANG X ， JIE W ， FENG T . An industrial micro-defect diagnosis system via intelligent segmentation region ［J］. Sensors ， 2019 ， 19 （ 11 ）： 2636 . doi: 10.3390/s19112636 http://dx.doi.org/10.3390/s19112636

XI D J ， QIN Y ， WANG Y Y . Vision measurement of gear pitting under different scenes by deep mask R-CNN ［J］. Sensors ， 2020 ， 20 （ 15 ）： 4298 . doi: 10.3390/s20154298 http://dx.doi.org/10.3390/s20154298

王建林，付雪松，黄展超，等 . 改进YOLOv2卷积神经网络的多类型合作目标检测［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 251 - 260 . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251

WANG J L ， FU X S ， HUANG ZH CH ， et al . Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 251 - 260 . （in Chinese） . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251

陈筱，朱向冰，吴昌凡，等 . 基于迁移学习与特征融合的眼底图像分类［J］. 光学精密工程， 2021 ， 29 （ 2 ）： 388 - 399 . doi: 10.37188/OPE.20212902.0388 http://dx.doi.org/10.37188/OPE.20212902.0388

CHEN X ， ZHU X B ， WU CH F ， et al . Research on fundus image classification based on transfer learning and feature fusion ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 2 ）： 388 - 399 . （in Chinese） . doi: 10.37188/OPE.20212902.0388 http://dx.doi.org/10.37188/OPE.20212902.0388

HOIEM D ， CHODPATHUMWAN Y ， DAI Q Y . Diagnosing error in object detectors ［C］. Computer Vision-ECCV 2012. Berlin， Heidelberg ： Springer Berlin Heidelberg ， 2012 ： 340 - 353 . doi: 10.1007/978-3-642-33712-3_25 http://dx.doi.org/10.1007/978-3-642-33712-3_25

HE K M ， SUN J . Convolutional neural networks at constrained time cost ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 712，2015 ， Boston， MA， USA. IEEE ， 2015 ： 5353 - 5360 . doi: 10.1109/cvpr.2015.7299173 http://dx.doi.org/10.1109/cvpr.2015.7299173

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 2 ）： 386 - 397 . doi: 10.1109/tpami.2018.2844175 http://dx.doi.org/10.1109/tpami.2018.2844175

GETTO G ， LABRIOLA J T . iFixit myself： user-generated content strategy in 'the free repair guide for everything' ［J］. IEEE Transactions on Professional Communication ， 2016 ， 59 （ 1 ）： 37 - 55 . doi: 10.1109/TPC.2016.2527259 http://dx.doi.org/10.1109/TPC.2016.2527259

黄爱民 . 面向标准件机箱装配质量图像特征提取与构建方法研究［D］. 广州：华南理工大学， 2017 .

HUANG A M . Research on the Technology of Machine Evaluation and Classification Based on the Assembly Quality of Standard Chassis ［D］. Guangzhou ： South China University of Technology ， 2017 . （in Chinese）

REBUFFI S A ， KOLESNIKOV A ， SPERL G ， et al . iCaRL： incremental classifier and representation learning ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 5533 - 5542 . doi: 10.1109/cvpr.2017.587 http://dx.doi.org/10.1109/cvpr.2017.587

Views

903

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Multi-lane line detection and tracking network based on spatial semantics segmentation

Driver pose estimation using convolutional neural networks

Inverse perspective mapping of pavement image combining semantic and 3D information

Polarized image feature fusion in power inspection

Cross-modality image matching algorithm based on policy gradient and pseudo-twin network

Related Author

SHI Jinpeng

ZHANG Xu

Ren-wen CHEN

Ting-ting YUAN

Wen-bin HUANG

Yu-xiang ZHANG

XIA Xiaohua

GAO Xiaofei

Related Institution

School of Mechanical and Automobile Engineering， Shanghai University of Engineering Science

State Key Laboratory of Mechanics and Control of Mechanical Structures， Nanjing University of Aeronautics and Astronautics

Key Laboratory of Road Construction Technology and Equipment，Ministry of Education，Chang' an University

School of Optical and Electronic Information， Huazhong University of Science and Technology

State Grid Information & Telecommunication Branch

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰