Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms

基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术 Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms corresp first-author E-mail： megxliu@scut.edu.cn E-mail： megxliu@scut.edu.cn 刘桂雄（1968-），男，广东揭阳人，教授，博士生导师，1995年于重庆大学获得博士学位，主要从事先进传感与仪器的研究。E-mail： megxliu@scut.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421476&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421482&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421479&type= 22.01330566 32.00399017 刘桂雄 （1968-），男，广东揭阳人，教授，博士生导师，1995年于重庆大学获得博士学位，主要从事先进传感与仪器的研究。E-mail： megxliu@scut.edu.cn megxliu@scut.edu.cn 黄　坚（1990-），男，广东揭阳人，博士研究生，2009年、2013年于华南理工大学分别获得学士、硕士学位，主要从事制造过程机器视觉检测的研究。E-mail： mehuangjian@mail.scut.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421485&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421491&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421487&type= 22.01336670 32.00398254 黄　坚 （1990-），男，广东揭阳人，博士研究生，2009年、2013年于华南理工大学分别获得学士、硕士学位，主要从事制造过程机器视觉检测的研究。E-mail： mehuangjian@mail.scut.edu.cn mehuangjian@mail.scut.edu.cn 华南理工大学 机械与汽车工程学院，广东 广州 510640 华南理工大学 机械与汽车工程学院，广东 广州 510640 School of Mechanical and Automotive Engineering， South China University of Technology， Guangzhou 510640， China School of Mechanical and Automotive Engineering， South China University of Technology， Guangzhou 510640， China 面向机器视觉检测鉴别的语义分割卷积神经网络（Convolutional Neural Network， CNN）模型能识别、测量被测对象的零部件、尺寸等特征，针对机器视觉检测鉴别增加识别零部件或关键部位的需求，以及进一步迁移学习会损失CNN模型部分权值的问题，提出一种基于标签预留Softmax算法的语义分割迁移学习技术。研究了机器视觉检测鉴别语义分割迁移学习建模方法，分析指出可尝试选定模型所有权值的微调迁移学习，有助于减小模型初始损失；提出了基于标签预留Softmax算法的微调迁移学习方法，可实现检测对象略有不同的模型所有权值微调迁移学习。在自建数据集上的实验表明，标签预留微调迁移学习技术训练模型达到机器视觉检测鉴别要求的时间由42.8 min减少到30.1 min，算法有效、效果明显；应用实验表明，迁移学习技术可实现标准件安装、漏装、误装情况检测与装配质量鉴别的半监督学习，新机箱迁移学习的训练时间不超过20.2 min，检测准确率达到100%，能满足机箱标准件装配质量检测鉴别的需求。 A convolutional neural network （CNN） model for machine vision inspection and identification can identify and measure the components， size， and other features of an object under test. Herein， a fine-tuning transfer learning technique for semantic segmentation based on a label-reserved softmax algorithm was proposed. First， the transfer learning modeling of semantic segmentation for machine vision inspection and identification was performed. Transferring more CNN model weights would reduce the initial loss of the model. Second， a fine-tuning transfer learning method based on label-reserved softmax algorithms was proposed， which could realize fine-tuning transfer learning with all model weights of slightly different detected objects. Experiments based on custom-developed datasets show that the training time for training models to satisfy the requirements of machine vision inspection and identification is reduced from 42.8 min to 30.1 min. Application experiments show that this transfer learning technique enables semi-supervised learning for the inspection of standard component installation， the inspection of missed and mis-installation cases， and the identification of assembly quality. The training time for the transfer learning of new chassis is less than 20.2 min， and the inspection accuracy reaches 100%. The fine-tuning transfer learning technique is effective and satisfies the requirements of machine vision inspection and identification. 机器视觉 语义分割 迁移学习 卷积神经网络 微调 machine vision semantic segmentation transfer learning convolutional neural network（CNN） fine-tuning 1 引　言 1 语义分割机器视觉检测鉴别方法综合采用视觉传感成像技术、卷积神经网络（Convolutional Neural Network， CNN）语义分割算法模型，识别和测量被测对象的形状、尺寸等特征 ［ 1 1 - 2 2 1-2 ］ ，按照设计文件和质量标准评价被测对象的优劣 ［ 3 3 ］ 。它与计算机视觉数据集的任务有所不同，需迁移学习提高模型准确率 ［ 4 4 ］ 。CNN语义分割模型迁移学习把在计算机视觉数据集源任务 T source 上训练的模型，作为在机器视觉检测鉴别的目标任务 T target 上创建模型的起点 ［ 5 5 ］ 。研究表明，CNN模型非常适合于迁移学习 ［ 6 6 ］ ，使用如ImageNet ［ 7 7 ］ 、COCO ［ 8 8 ］ 等大型图像数据集的预训练模型，能很好地迁移到目标任务中，并有利于提高模型性能 ［ 9 9 ］ ，主要的迁移学习方法有微调、微调-冻结等。微调策略复制源模型上除输出层外模型的结构及参数，向目标模型添加输出层，输出数量为目标数据集中的类别数，并进行输出层参数的随机初始化，在目标数据集上训练目标模型。2019年，浙江大学研究了一种集成迁移学习的轴件表面缺陷检测方法，将源网络权值迁移至CNN模型中，建立轴件表面缺陷检测模型，在轴件生产现场实时检测中具有较高的准确度和鲁棒性，缺陷正确检出率达97%以上 ［ 10 10 ］ 。Fang等研发的微型工件表面缺陷检测系统由光纤定位器、远心透镜系统、矩阵立体光、旋转平台与Mask R-CNN模型构成，在生产线上不断连续微调迁移学习 ［ 11 11 ］ 。Xi等研究了一种基于Mask R-CNN齿轮点蚀迁移学习方法，在1 500个齿轮点蚀样本下进行微调Mask R-CNN模型，实现多层次点蚀，在不同光照、角度情况下能够准确识别点蚀缺陷 ［ 12 12 ］ 。但在识别对象发现变化时（如增加识别零部件或关键部位），微调又需要重新训练输出层。微调-冻结等方法则将微调训练后的模型，作为特征提取器应用到其他场景。王建林等提出了应用YOLOv2模型的多类型合作目标检测方法，采用COCO数据集预训练YOLOv2模型在增强目标图像样本数据集进行微调迁移学习，并作为特征提取器实现了三维精密测量中多类型合作目标的检测 ［ 13 13 ］ 。陈筱等提出了改进EfficientNet-B0和EfficientNet-B7模型的迁移学习方法，该方法先对模型进行微调，然后作为特征提取器提取眼底图像实现特征分类，可辅助诊断 ［ 14 14 ］ 。通过改进CNN语义分割模型结构，使识别对象发现变化时模型输出层权值也可迁移，不需要随机初始化，有助于缩短训练时间。 本文首先开展机器视觉检测鉴别语义分割迁移学习建模研究，分析迁移不同模型参数构成对损失及准确率的影响，通过机器视觉检测鉴别改进语义分割模型结构，使模型迁移不再需要调整，连同Softmax算法权值均可迁移。 2 机器视觉检测鉴别语义分割迁移学习建模与构成形式 1 机器视觉检测鉴别语义分割迁移学习目标是在平均精度 P IoU 、模型损失 L CE 满足机器视觉检测鉴别要求的前提下，降低训练时间 T train 。设语义分割网络模型 η CNN 在目标数据集 D target 上进行Fine-tuning迁移学习的模型初始权值 W CNN ，在推荐学习率配置下通过 N train 次迭代后， P IoU ， L CE ， T train 分别表示为 P IoU （ N train ， W CNN ）， L CE （ N train ， W CNN ）， T train （ N train ， W CNN ），有： <math display="block" id="M1"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mtd><mtd><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">N</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi mathvariant="normal">s</mi><mo>.</mo><mtext> </mtext><mi mathvariant="normal">t</mi><mo>.</mo><mo> </mo></mtd><mtd><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">N</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">)</mo><mo>≥</mo><msubsup><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow/></msubsup></mtd></mtr><mtr><mtd/><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">E</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">N</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">)</mo><mo>≤</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">E</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421499&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421495&type= 49.95333481 15.57866764 . 式（1） 式（1） 为机器视觉检测鉴别语义分割迁移学习模型。其物理意义是：约束条件模型在目标数据集 D target 上的 P IoU 不小于最小允许平均精度均值 <math id="M2"><msubsup><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow/></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421506&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421503&type= 9.82133293 3.80999994 、模型损失 L CE 不超过最大允许模型损失 L CE-max ，使模型训练时间 T train 最小。 W CNN 优化是先选定迁移学习的模型初始权值 W CNN （包括主干网络权值 W main 、密集预测网络权值 W seg 和Softmax层权值 W cla ）构成形式，在目标数据集 D target 下训练网络，比较不同 N train 下的 T train 和 L CE ，选定出 W CNN 的相对较佳值。 因此，本文获取在源数据集 D source 为ImageNet ［ 7 7 ］ 、COCO ［ 8 8 ］ 下的预训练Mask R-CNN模型 ［ 17 17 ］ ；在目标数据集 D target =iFixit ［ 18 18 ］ ，应用Fine-tuning迁移学习，改变Softmax算法输入、输出节点数，使之与数据集类别数相等。选取初始权值 W CNN （包括 W main ， W main ∪ W seg 或 W main ∪ W seg ∪ W cla ），获得源模型在目标数据集上的总损失（即 N train =0时的 L CE ）；以推荐学习率配置训练Mask R-CNN模型直到满足 式（1） 式（1） ，获得初始权值 W CNN 经迁移学习满足 <math id="M3"><msubsup><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow/></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421512&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421509&type= 10.07533360 3.97933316 ， L CE-max 的 N train ， T train 。 表1 表1 为预训练Mask R-CNN模型Fine-tuning迁移学习初始权值 W CNN 的 T train 和 L CE 。 源数据集 D source 目标数据集 D target 模型结构调整 模型初始权值 W CNN L CE T train /min ImageNet ［ 7 7 ］ iFixit ［ 18 18 ］ 输出层 W main 4.892 258 COCO ［ 8 8 ］ iFixit ［ 18 18 ］ 输出层 W main ∪ W seg 1.542 115 iFixit ［ 18 18 ］ iFixit ［ 18 18 ］ — W main ∪ W seg 1.297 85 iFixit ［ 18 18 ］ iFixit ［ 18 18 ］ — W main ∪ W seg ∪ W cla 0.019 58 表1 表1 中 D target 均为iFixit（语义分割任务），但 D source 有所不同。可以看出： D source ， D target 分割任务均相同时，识别对象相同，无需Softmax替换（分类器标签集 <math id="M4"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421526&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421522&type= 4.99533367 3.72533321 与源数据 D source 标签集 <math id="M5"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421615&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421612&type= 7.87400007 3.72533321 相同，即 <math id="M6"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421533&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421531&type= 8.97466660 3.72533321 <math id="M7"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421615&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421612&type= 7.87400007 3.72533321 ）， L CE （0， W CNN ）相对较好， <math id="M8"><msubsup><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421542&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421540&type= 6.34999990 3.97933316 相对较小；且 W CNN = W main ∪ W seg ∪ W cla 时的 L CE （0， W CNN ）， <math id="M9"><msubsup><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421544&type= 6.34999990 3.97933316 均优于 W CNN = W main ∪ W seg ；当 D source ， D target 任务不同时，识别对象也不同，需要进行输出层替换（新分类器标签集 <math id="M10"><msubsup><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow><mrow><mi>'</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421548&type= 17.10266685 3.97933316 替换 <math id="M11"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421583&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421580&type= 4.99533367 3.72533321 ）， L CE （0， W CNN ）相对较差， <math id="M12"><msubsup><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421564&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421561&type= 6.34999990 3.97933316 相对较大。 本文在面向语义分割机器视觉检测鉴别中， D target 与 D source 的分割任务相同，识别对象略有不同（这里学习样本就是识别目标），可尝试选定 W CNN = W main ∪ W seg ∪ W cla 权值迁移学习，不是进行分类器Softmax替换，而是进行分类器Softmax改进，使模型在目标任务上的初始损失（ N train =0时 L CE ）较小，缩短 T train 。 3 基于标签预留Softmax的语义分割迁移学习方法 1 面向语义分割机器视觉检测鉴别的 D target 、 D source 任务相同，识别对象略有不同，改进原Softmax算法（ <math id="M13"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421567&type= 17.61066628 3.72533321 ），新分类器标签集 <math id="M14"><msubsup><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow><mrow><mi>'</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421577&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421576&type= 17.10266685 3.97933316 替换 <math id="M15"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421583&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421580&type= 4.99533367 3.72533321 ，使 D source 已学习到的权值可迁移到 D target 中，新Softmax算法（ <math id="M16"><msubsup><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow><mrow><mi>'</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>⋃</mo><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421591&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421587&type= 28.19400024 4.06400013 ， <math id="M17"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421621&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421618&type= 6.68866634 3.72533321 为 D target 与 D source 的差异标签 <math id="M18"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421603&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421600&type= 6.68866634 3.72533321 ， <math id="M19"><msubsup><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow><mrow><mi>'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421629&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421626&type= 4.99533367 3.97933316 既包含 <math id="M20"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421615&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421612&type= 7.87400007 3.72533321 ，又包含差异标签 <math id="M21"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421621&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421618&type= 6.68866634 3.72533321 ），即通过在 <math id="M22"><msubsup><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow><mrow><mi>'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421629&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421626&type= 4.99533367 3.97933316 中预留标签 <math id="M23"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421635&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421632&type= 9.48266602 3.72533321 （ <math id="M24"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub><mo>⊇</mo><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421641&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421638&type= 20.91266632 3.89466691 ），实现 D target 与 D source 分割任务相同，识别对象略有不同的 W CNN = W main ∪ W seg ∪ W cla 的Fine-tuning迁移学习。 图1 图1 为本文提出的基于标签预留改进Softmax算法的Fine-tuning迁移学习方法原理。分类器改进Fine-tuning迁移学习框架中，语义分割网络的 W main ， W seg 与一般Fine-tuning迁移学习相同，Softmax算法改进为标签预留Softmax算法（标签集从 <math id="M25"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421647&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421644&type= 17.61066628 3.72533321 <math id="M26"><mo>→</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421653&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421650&type= 3.72533321 2.79399991 <math id="M27"><msubsup><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow><mrow><mi>'</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>⋃</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421659&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421656&type= 20.57399940 4.06400013 <math id="M28"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421665&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421662&type= 9.48266602 3.72533321 ）。 图2 图2 为标签预留改进Softmax算法模型。 表2 表2 为标签预留Softmax改进分类器与典型Softmax算法的参数比较，表中 <math id="M29"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421670&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421668&type= 7.87400007 3.72533321 ， <math id="M30"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421676&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421673&type= 9.48266602 3.72533321 源标签数分别为 n source ， n reserved ，分类器改进前后的输出概率向量、输入特征向量分别为 P ， P '和 X ， X '。 参　数 典型Softmax算法 ［ 17 17 ］ 标签预留改进Softmax算法 输入特征向量 n source ×1维 X （ n source + n reserved ）×1维 X' 分类器权值 n source 个 n source ×1维 <math id="M31"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><mo>{</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn>1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub></mrow></msub><mo>}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421692&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421690&type= 30.31066895 4.65666676 （ n source + n reserved ）个（ n source + n reserved ）×1维 <math id="M32"><mi mathvariant="bold-italic">W</mi><msub><mrow><mi>'</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><mo>{</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn>1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>+</mo><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow></msub><mo>}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421696&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421694&type= 38.52333450 4.74133301 输出概率向量 n source ×1维 P （ n source + n reserved ）×1维 P' 标签集 <math id="M33"><mi>C</mi><msub><mrow><mi>'</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421700&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421698&type= 16.08666801 3.55599999 <math id="M34"><mi>C</mi><msub><mrow><mi>'</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>⋃</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421702&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421701&type= 27.68600082 4.06400013 标签预留Softmax算法只需修改语义分割模型的头部网络结构（见 图3 图3 ）。该结构可用于采用ResNet-FPN作为骨干网络的Mask R-CNN模型 ［ 17 17 ］ 。图中箭头表示卷积层、反卷积层或全连接层，具体类型可从输入输出特征维度推断（卷积层保留空间维度、反卷积层增加空间维度、全连接层处理一维数组）。标签预留Mask R-CNN模型头部结构改变了输出层卷积层的通道数，其中分类输出通道数为 n source + n reserved +1，边界框回归的输出通道数为（ n source + n reserved ）×4；掩膜分割输出特征图尺寸为28×28，通道数为（ n source + n reserved ）。 在满足 n reserved ≥ n extra > 0下，基于标签预留Softmax算法的Fine-tuning迁移学习算法为： <math display="block" id="M35"><mtable columnalign="left"><mtr><mtd><msup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></mfenced><mo>=</mo></mtd></mtr><mtr><mtd><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>+</mo><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow></msub></mrow></msub></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>+</mo><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow></msub></mtd></mtr></mtable></mrow></mfenced><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>+</mo><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow></munderover></mstyle><mrow><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msup></mrow></mrow></mfrac><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msup></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msup></mtd></mtr><mtr><mtd><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msup></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>+</mo><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msup></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>+</mo><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msup></mtd></mtr></mtable></mrow></mfenced></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421709&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421708&type= 66.88666534 54.52533722 ， 式中e ≈ 2.718 28。 4 实验与结果分析 1 实验上位机的主要硬件为lntel i7-7820X CPU，NVIDIA GeForce GTX 1080Ti GPU，SSD硬盘；软件环境为Ubuntu18.04，Python3.6，Pytorch 1.6与Detectron2 0.4.0。选取机箱装配数据集 ［ 19 19 ］ 进行语义分割Fine-tuning迁移学习实验。机箱装配数据集的图像尺寸为910×454~4 046×1 908 pixel，包含不可扩展机箱、可扩展机箱等子集。实验选取不可扩展机箱作为源数据集 D source ，具有多款不可扩展机箱图像200个，标注了USB3.0，RJ45，CFast，DP，HDMI，COM等14种机箱标准件（ n source =14）。可扩展机箱作为目标数据集 D target ，具有多款可扩展机箱图像200个，标注了19种机箱标准件（ n target =19）， D target 比 D source 多的标准件主要包括PCI-E挡板、PCI-E板卡、PCI-E固定槽、PCI-E固定螺纹和SATA托盘等5种。 在源数据集 D source 上训练Mask R-CNN模型、标签预留Mask R-CNN模型，在 D target 上分别应用Fine-tuning ［ 17 17 ］ 、特征提取Fine-tuning ［ 20 20 ］ 、本文标签预留方法进行迁移学习，取 L CE-max =0.05、 <math id="M36"><msubsup><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow/></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421711&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421710&type= 9.82133293 3.80999994 =100%，得满足 式（1） 式（1） 的训练批数 N train 和训练时间 T train 。 表3 表3 为不同迁移学习方法的训练时间 T train 。 方　法 源数据集 D source 目标数据集 D target 模型结构调整 T train /min Fine - tuning ［ 17 17 ］ 不可扩展机箱 可扩展机箱 输出层 42.8 特征提取Fine - tuning ［ 20 20 ］ 不可扩展机箱 可扩展机箱 输出层 36.5 本文方法 不可扩展机箱 可扩展机箱 — 30.1 图4 图4 为箱装配迁移学习方法的效果对比。 图4 图4 （a）为在推荐学习率配置下，本文标签预留方法的 n reserved - N train ， n reserved - T train 曲线； 图4 图4 （b）为不同学习率下本文标签预留与Fine-tuning方法的 N train 对比； 图4 图4 （c）为不同冻结层下本文标签预留与特征提取方法的 N train 对比。 图5 图5 为不同 L CE 机箱装配语义分割结果。可以看出：基于标签预留Softmax算法的迁移学习技术，对满足 D target ， D source 识别对象略有不同的训练时间 <math id="M37"><msubsup><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421720&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421718&type= 6.34999990 3.97933316 由42.8 min减少到30.1 min。 1;2;3; 1;2;3; 5 应用验证 1 将本文方法应用于MVAQ2型制造过程质量视觉检测系统中，实现机箱标准件装配质量检测的无监督自动深度学习，代替原本由领域专家人工才能完成的工作（包括机箱标准件特征提取与模式识别、装配质量检测模板构建等）。研发人员只需要选定标准件图像，系统将自动学习标准件安装、漏装、误装等情况，并推广到标准件装配质量视觉检测鉴别系统中。 图6 图6 为MVAQ2机箱标准件装配质量检测鉴别软件基本功能，图中深色底色表示装置软件中应用本文迁移学习方法的相关流程及功能。软件应用基于标签预留Softmax算法的Fine-tuning迁移学习方法，具有机箱标准件装配质量检测鉴别学习功能，能训练Mask R-CNN语义分割模型学习机箱基准、标准件，实现机箱各面板的基准、标准件的在线识别与定位，并依据装配技术要求鉴别每个装配位置的工作情况，判断机箱装配质量是否合格。 图7 图7 为MVAQ2机箱标准件装配质量检测鉴别系统实物图。装置主要由核心计算机、相机、光源、运动控制和用户交互等核心模块构成。其中，光源模块具有白光漫反射照明，相机模块具有机箱三平面移动成像功能，核心计算机上搭载异构多处理器，提供深度学习计算能力。 图8 图8 为MVAQ2机箱标准件装配质量检测鉴别装置新机箱学习流程。首先，采集新机箱图像，标注机箱标准件、基准形成目标数据集 D target ；采用基于标签预留Softmax的Fine-tuning迁移学习方法，把额外标签集 <math id="M38"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421755&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421754&type= 6.68866634 3.72533321 分配到预留标签空间 <math id="M39"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421757&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421756&type= 9.48266602 3.72533321 ，迁移Mask R-CNN模型及权值 W CNN = W main ∪ W seg ∪ W cla 作为训练起点；然后，在目标数据集 D target 上训练Mask R-CNN模型学习新机箱标准件、基准，直至满足 式（1） 式（1） 为止；最后，保存Mask R-CNN模型结构、权值，实现新机箱装配质量的检测鉴别。 按照 图8 图8 流程，设备开发人员标注标准件（如DVI、RJ45、RS232、DP等）合格情况图像，系统学习单个机箱标准件安装、漏装、误装情况，直到检测准确率达到100%时的人工智能学习时间不超过20.2 min。 6 结　论 1 本文针对机器视觉检测鉴别增加识别零部件或关键部位的迁移学习会损失CNN模型部分权值的问题，提出基于标签预留改进Softmax算法的迁移学习方法。首先，开展机器视觉检测鉴别语义分割迁移学习建模研究，分析指出可尝试选定 W CNN = W main ∪ W seg ∪ W cla 权值迁移学习，使模型损失 L CE 较好，有利于缩短训练时间；创新性地提出基于标签预留Softmax算法的Fine-tuning迁移学习方法，该方法有别于典型Fine-tuning，在满足 n reserved ≥ n extra > 0下，可实现检测对象略有不同的模型所有权值（ W main ∪ W seg ∪ W cla ）的Fine-tuning迁移学习。在自建数据集上进行实验，结果表明采用标签预留Softmax改进分类器（在原来 n source =14的基础上，预留标签 n resersed =7），使 L CE ≤ L CE-max =0.05， P IOU ≥ <math id="M40"><msubsup><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow/></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421762&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421761&type= 9.82133293 3.80999994 =100%下训练时间 <math id="M41"><msubsup><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421764&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24421763&type= 6.34999990 3.97933316 由42.8 min减少到30.1 min。应用实验表明，本文方法可进行机箱装配质量检测鉴别的半监督学习，实现机箱标准件（如DVI，RJ45，RS232，DP等）安装、漏装、误装情况的检测和鉴别，学习时间不超过20.2 min，检测准确率达到100%能胜任标准件装配质量检测的任务需求。 参考文献 卢荣胜 ， 吴昂 ， 张腾达 ， 等 . 自动光学（视觉）检测技术及其在缺陷检测中的应用综述 ［J］. 光学学报 ， 2018 ， 38 （ 8 ）： 23 - 58 . doi: 10.3788/aos201838.0815002 http://dx.doi.org/10.3788/aos201838.0815002 自动光学（视觉）检测技术及其在缺陷检测中的应用综述 LU R SH ， WU A ， ZHANG T D ， et al . Review on automated optical （visual） inspection and its applications in defect detection ［J］. Acta Optica Sinica ， 2018 ， 38 （ 8 ）： 23 - 58 . （in Chinese） . doi: 10.3788/aos201838.0815002 http://dx.doi.org/10.3788/aos201838.0815002 Review on automated optical （visual） inspection and its applications in defect detection 范丽丽 ， 赵宏伟 ， 赵浩宇 ， 等 . 基于深度卷积神经网络的目标检测研究综述 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1152 - 1164 . 基于深度卷积神经网络的目标检测研究综述 FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese） Survey of target detection based on deep convolutional neural networks 黄坚 ， 刘桂雄 . 面向机器视觉检测的CNN语义分割方法进展 ［J］. 激光杂志 ， 2019 ， 40 （ 5 ）： 10 - 16 . doi: 10.14016/j.cnki.jgzz.2019.05.010 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.05.010 面向机器视觉检测的CNN语义分割方法进展 HUANG J ， LIU G X . The development of CNN-based semantic segmentation method for machine vision detection ［J］. Laser Journal ， 2019 ， 40 （ 5 ）： 10 - 16 . （in Chinese） . doi: 10.14016/j.cnki.jgzz.2019.05.010 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.05.010 The development of CNN-based semantic segmentation method for machine vision detection SHI Q ， ZHANG Y P ， LIU X P ， et al . Regularised transfer learning for hyperspectral image classification ［J］. IET Computer Vision ， 2019 ， 13 （ 2 ）： 188 - 193 . doi: 10.1049/iet-cvi.2018.5145 http://dx.doi.org/10.1049/iet-cvi.2018.5145 Regularised transfer learning for hyperspectral image classification 刘桂雄 ， 黄坚 ， 刘思洋 ， 等 . 面向语义分割机器视觉的AutoML方法 ［J］. 激光杂志 ， 2019 ， 40 （ 6 ）： 1 - 9 . doi: 10.14016/j.cnki.jgzz.2019.06.001 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.06.001 面向语义分割机器视觉的AutoML方法 LIU G X ， HUANG J ， LIU S Y ， et al . AutoML method for semantic segmentation of machine vision ［J］. Laser Journal ， 2019 ， 40 （ 6 ）： 1 - 9 . （in Chinese） . doi: 10.14016/j.cnki.jgzz.2019.06.001 http://dx.doi.org/10.14016/j.cnki.jgzz.2019.06.001 AutoML method for semantic segmentation of machine vision YOSINSKI J ， CLUNE J ， BENGIO Y ， et al . How transferable are features in deep neural networks？ ［J/OL］. Advances in Neural Information Processing Systems ， 2014 ， 27 . https：//arxiv.org/abs/1411.1792v1 https://arxiv.org/abs/1411.1792v1 . How transferable are features in deep neural networks？ RUSSAKOVSKY O ， DENG J ， SU H ， et al . ImageNet large scale visual recognition challenge ［J］. International Journal of Computer Vision ， 2015 ， 115 （ 3 ）： 211 - 252 . doi: 10.1007/s11263-015-0816-y http://dx.doi.org/10.1007/s11263-015-0816-y ImageNet large scale visual recognition challenge LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft COCO： common objects in context ［C］. Computer Vision-ECCV 2014 ， 2014 ： 740 - 755 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48 Microsoft COCO： common objects in context 张雪松 ， 庄严 ， 闫飞 ， 等 . 基于迁移学习的类别级物体识别与检测研究与进展 ［J］. 自动化学报 ， 2019 ， 45 （ 7 ）： 1224 - 1243 . doi: 10.16383/j.aas.c180093 http://dx.doi.org/10.16383/j.aas.c180093 基于迁移学习的类别级物体识别与检测研究与进展 ZHANG X S ， ZHUANG Y ， YAN F ， et al . Status and development of transfer learning based category-level object recognition and detection ［J］. Acta Automatica Sinica ， 2019 ， 45 （ 7 ）： 1224 - 1243 . （in Chinese） . doi: 10.16383/j.aas.c180093 http://dx.doi.org/10.16383/j.aas.c180093 Status and development of transfer learning based category-level object recognition and detection 冯毅雄 ， 赵彬 ， 郑浩 ， 等 . 集成迁移学习的轴件表面缺陷实时检测 ［J］. 计算机集成制造系统 ， 2019 ， 25 （ 12 ）： 3199 - 3208 . doi: 10.13196/j.cims.2019.12.021 http://dx.doi.org/10.13196/j.cims.2019.12.021 集成迁移学习的轴件表面缺陷实时检测 FENG Y X ， ZHAO B ， ZHENG H ， et al . Real-time detection of shaft surface defects based on integrated transfer learning ［J］. Computer Integrated Manufacturing Systems ， 2019 ， 25 （ 12 ）： 3199 - 3208 . （in Chinese） . doi: 10.13196/j.cims.2019.12.021 http://dx.doi.org/10.13196/j.cims.2019.12.021 Real-time detection of shaft surface defects based on integrated transfer learning FANG X ， JIE W ， FENG T . An industrial micro-defect diagnosis system via intelligent segmentation region ［J］. Sensors ， 2019 ， 19 （ 11 ）： 2636 . doi: 10.3390/s19112636 http://dx.doi.org/10.3390/s19112636 An industrial micro-defect diagnosis system via intelligent segmentation region XI D J ， QIN Y ， WANG Y Y . Vision measurement of gear pitting under different scenes by deep mask R-CNN ［J］. Sensors ， 2020 ， 20 （ 15 ）： 4298 . doi: 10.3390/s20154298 http://dx.doi.org/10.3390/s20154298 Vision measurement of gear pitting under different scenes by deep mask R-CNN 王建林 ， 付雪松 ， 黄展超 ， 等 . 改进YOLOv2卷积神经网络的多类型合作目标检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 1 ）： 251 - 260 . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251 改进YOLOv2卷积神经网络的多类型合作目标检测 WANG J L ， FU X S ， HUANG ZH CH ， et al . Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 251 - 260 . （in Chinese） . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251 Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network 陈筱 ， 朱向冰 ， 吴昌凡 ， 等 . 基于迁移学习与特征融合的眼底图像分类 ［J］. 光学 精密工程 ， 2021 ， 29 （ 2 ）： 388 - 399 . doi: 10.37188/OPE.20212902.0388 http://dx.doi.org/10.37188/OPE.20212902.0388 基于迁移学习与特征融合的眼底图像分类 CHEN X ， ZHU X B ， WU CH F ， et al . Research on fundus image classification based on transfer learning and feature fusion ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 2 ）： 388 - 399 . （in Chinese） . doi: 10.37188/OPE.20212902.0388 http://dx.doi.org/10.37188/OPE.20212902.0388 Research on fundus image classification based on transfer learning and feature fusion HOIEM D ， CHODPATHUMWAN Y ， DAI Q Y . Diagnosing error in object detectors ［C］. Computer Vision-ECCV 2012. Berlin， Heidelberg ： Springer Berlin Heidelberg ， 2012 ： 340 - 353 . doi: 10.1007/978-3-642-33712-3_25 http://dx.doi.org/10.1007/978-3-642-33712-3_25 Diagnosing error in object detectors HE K M ， SUN J . Convolutional neural networks at constrained time cost ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 712，2015 ， Boston， MA， USA. IEEE ， 2015 ： 5353 - 5360 . doi: 10.1109/cvpr.2015.7299173 http://dx.doi.org/10.1109/cvpr.2015.7299173 Convolutional neural networks at constrained time cost HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 2 ）： 386 - 397 . doi: 10.1109/tpami.2018.2844175 http://dx.doi.org/10.1109/tpami.2018.2844175 Mask R-CNN GETTO G ， LABRIOLA J T . iFixit myself： user-generated content strategy in 'the free repair guide for everything' ［J］. IEEE Transactions on Professional Communication ， 2016 ， 59 （ 1 ）： 37 - 55 . doi: 10.1109/TPC.2016.2527259 http://dx.doi.org/10.1109/TPC.2016.2527259 iFixit myself： user-generated content strategy in 'the free repair guide for everything' 黄爱民 . 面向标准件机箱装配质量图像特征提取与构建方法研究 ［D］. 广州 ： 华南理工大学 ， 2017 . 面向标准件机箱装配质量图像特征提取与构建方法研究 HUANG A M . Research on the Technology of Machine Evaluation and Classification Based on the Assembly Quality of Standard Chassis ［D］. Guangzhou ： South China University of Technology ， 2017 . （in Chinese） Research on the Technology of Machine Evaluation and Classification Based on the Assembly Quality of Standard Chassis REBUFFI S A ， KOLESNIKOV A ， SPERL G ， et al . iCaRL： incremental classifier and representation learning ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 5533 - 5542 . doi: 10.1109/cvpr.2017.587 http://dx.doi.org/10.1109/cvpr.2017.587 iCaRL： incremental classifier and representation learning 10.37188/OPE.20223001.0117 TP394.1 TH691.9 A 1004-924X（2022）01-0117-09 刘桂雄,黄坚.基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术[J].光学精密工程,2022,30(01):117-125. 刘桂雄,黄坚.基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术[J].光学精密工程,2022,30(01):117-125. LIU Guixiong,HUANG Jian.Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms[J].Optics and Precision Engineering,2022,30(01):117-125. LIU Guixiong,HUANG Jian.Transfer learning techniques for semantic segmentation of machine vision inspection and identification based on label-reserved Softmax algorithms[J].Optics and Precision Engineering,2022,30(01):117-125. 广东省重点领域研发计划资助项目（No.2019B010154003）；广州市产业技术重大攻关计划资助项目（No.201802030006） 2021-05-16 2021-07-20 2022-01-15 2022-02-15 光学精密工程 1 30