采用SVD协同训练的半监督实例级目标检测

王睿; 樊思杨; 许婧文; 温志庆

doi:10.37188/OPE.20233113.2000

您当前的位置：

首页 >

文章列表页 >

采用SVD协同训练的半监督实例级目标检测

信息科学 | 更新时间：2023-07-17

- 采用SVD协同训练的半监督实例级目标检测
- Semi-supervised instance object detection method based on SVD co-training
- 光学精密工程 2023年31卷第13期页码：2000-2007
- 作者机构：
  
  1.北京航空航天大学仪器科学与光电工程学院精密光机电一体化教育部重点实验室，北京 100191
  2.季华实验室智能机器人工程研究中心，广东佛山 528200
- 作者简介：
  
  [ "王睿（1965-），女，北京人，博士，副教授，1987年、1990年于清华大学分别获得学士和硕士学位，2006年于北京航空航天大学获得博士学位，研究方向为信号测试与处理、图像处理、机器学习等。E-mail： wangr@buaa.edu.cn" ]
  [ "温志庆（1964-），男，博士，正高级工程师，1994年于清华大学获得博士学位，研究方向为智能机器视觉、模式识别、3D成像、光学工程、人工智能等。E-mail： wenzq@jihualab.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(61673039);佛山市产业领域科技攻关专项(2020001006807)
- DOI：10.37188/OPE.20233113.2000
  中图分类号： TP394.1;TH691.9
- 收稿日期：2022-07-27，
  
  修回日期：2022-09-11，
  
  纸质出版日期：2023-07-10
- 稿件说明：
移动端阅览
王睿,樊思杨,许婧文等.采用SVD协同训练的半监督实例级目标检测[J].光学精密工程,2023,31(13):2000-2007.

WANG Rui,FAN Siyang,XU Jingwen,et al.Semi-supervised instance object detection method based on SVD co-training[J].Optics and Precision Engineering,2023,31(13):2000-2007.
王睿,樊思杨,许婧文等.采用SVD协同训练的半监督实例级目标检测[J].光学精密工程,2023,31(13):2000-2007. DOI： 10.37188/OPE.20233113.2000.

WANG Rui,FAN Siyang,XU Jingwen,et al.Semi-supervised instance object detection method based on SVD co-training[J].Optics and Precision Engineering,2023,31(13):2000-2007. DOI： 10.37188/OPE.20233113.2000.

摘要

在室内实例物体目标检测中，传统深度学习需要大量人工标注的训练样本进行网络训练，费时费力，为此提出并实现了一种采用奇异值分解（Singular Value Decomposition，SVD）和协同训练的半监督实例级目标检测网络SVD-RCNN。挑选关键样本进行人工标注并预训练SVD-RCNN，以确保其获取更多先验知识，采用基于SVD的收敛-分解-微调策略，在SVD-RCNN中得到两个较强独立性的检测器以满足协同训练的要求，最后提出一种自适应的自标注策略，获得高质量的自标注及检测结果。在多个室内实例数据集上对该方法进行测试，在GMU数据集上只需人工标注199个样本，均值平均精度（mean Average Precision，mAP）达到了79.3%，相较于需标注3 851个样本的全监督Faster RCNN的81.3% mAP仅下降了2%。消融实验及系列实验证明了本文方法的有效性和普适性，本文提出的方法仅需人工标注5%的训练数据，即可达到与全监督学习相当的实例级目标检测精度，有利于智能机器人高效识别不同实例物体的实际应用。

Abstract

Detecting indoor instance objects is useful for various applications. Traditional deep-learning methods require a large number of labeled samples for network training， making them time-consuming and labor-intensive. To address this problem， SVD-RCNN—a semi-supervised instance object detection network based on singular value decomposition （SVD） and co-training—is proposed. First， key samples are selected for manual labeling to pre-train SVD-RCNN， to ensure that it acquires more prior knowledge. Second， a convergence， decomposition， and finetuning strategy based on SVD is used to obtain two detectors with strong independence in SVD-RCNN to satisfy the requirements of co-training. Finally， an adaptive self-labeling strategy is used to obtain high-quality self-labeling and detection results. The method was tested on multiple indoor instance datasets. On the GMU dataset， it achieved a mean average precision of 79.3% with 199 manually labeled samples. This was only 2% lower than that （81.3%） of Faster RCNN with fully supervised learning， which required labeling 3 851 samples. Ablation studies and a series of experiments confirmed the effectiveness and universality of the method. The results indicated that the method only needs to manually label 5% of the training data to achieve instance-level detection accuracy comparable to that of fully supervised learning； thus， it is suitable for applications in which intelligent robots must efficiently identify different instance objects.

关键词

Keywords

references

GRAUMAN K ， LEIBE B . Visual object recognition ［J］. Synthesis Lectures on Artificial Intelligence and Machine Learning ， 2011 ， 5 （ 2 ）： 1 - 181 . doi: 10.2200/s00332ed1v01y201103aim011 http://dx.doi.org/10.2200/s00332ed1v01y201103aim011

范丽丽，赵宏伟，赵浩宇，等 . 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1152 - 1164 .

FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese）

徐哲，耿杰，蒋雯，等 . 联合训练生成对抗网络的半监督分类方法［J］. 光学精密工程， 2021 ， 29 （ 5 ）： 1127 - 1135 . doi: 10.37188/OPE.20212905.1127 http://dx.doi.org/10.37188/OPE.20212905.1127

XU ZH ， GENG J ， JIANG W ， et al . Co-training generative adversarial networks for semi-supervised classification method ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 5 ）： 1127 - 1135 . （in Chinese） . doi: 10.37188/OPE.20212905.1127 http://dx.doi.org/10.37188/OPE.20212905.1127

黄鸿，唐玉枭，段宇乐 . 半监督多图嵌入的高光谱影像特征提取［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 443 - 456 .

HUANG H ， TANG Y X ， DUAN Y L . Feature extraction of hyperspectral image with semi-supervised multi-graph embedding ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 443 - 456 . （in Chinese）

JEONG J ， VERMA V ， HYUN M ， et al . Interpolation-based semi-supervised learning for object detection ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 11597 - 11606 . doi: 10.1109/cvpr46437.2021.01143 http://dx.doi.org/10.1109/cvpr46437.2021.01143

SOHN K ， ZHANG Z ， LI C ， et al . A Simple Semi-supervised Learning Framework for Object Detection ［EB/OL］. 2020 ： arXiv ： 2005 . 04757 . https：//arxiv.org/abs/2005.04757 https://arxiv.org/abs/2005.04757 . doi: 10.48550/arXiv.2005.04757 http://dx.doi.org/10.48550/arXiv.2005.04757

LIU Y C ， MA C Y ， HE Z ， et al . Unbiased Teacher for Semi-supervised Object Detection ［EB/OL］. 2021 ： arXiv ： 2102 . 09480 . https：//arxiv.org/abs/2102.09480 https://arxiv.org/abs/2102.09480 .

GUO Q S ， MU Y ， CHEN J Y ， et al . Scale-equivalent distillation for semi-supervised object detection ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1824，2022 ， New Orleans， LA， USA. IEEE ， 2022 ： 14502 - 14511 . doi: 10.1109/cvpr52688.2022.01412 http://dx.doi.org/10.1109/cvpr52688.2022.01412

LI G ， LI X ， WANG Y J ， et al . PseCo ： Pseudo Labeling and Consistency Training for Semi-supervised Object Detection ［M］. Lecture Notes in Computer Science . Cham ： Springer Nature Switzerland ， 2022 ： 457 - 472 . doi: 10.1007/978-3-031-20077-9_27 http://dx.doi.org/10.1007/978-3-031-20077-9_27

NING X ， WANG X R ， XU S H ， et al . A review of research on co-training ［J］. Concurrency and Computation： Practice and Experience ， 2021 ： doi： 10.1002/cpe.6276 http://dx.doi.org/10.1002/cpe.6276 .

DAN K . A singularly valuable decomposition： the SVD of a matrix ［J］. The College Mathematics Journal ， 1996 ， 27 （ 1 ）： 2 - 23 . doi: 10.1080/07468342.1996.11973744 http://dx.doi.org/10.1080/07468342.1996.11973744

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

RUI W ， YING L . Real-time 3D object detection in unstructured environments ［C］. 2017 First International Conference on Electronics Instrumentation & Information Systems （EIIS）. 35，2017 ， Harbin， China. IEEE ， 2018 ： 1 - 6 . doi: 10.1109/eiis.2017.8298584 http://dx.doi.org/10.1109/eiis.2017.8298584

VERDU S . Fifty years of Shannon theory ［J］. IEEE Transactions on Information Theory ， 1998 ， 44 （ 6 ）： 2057 - 2078 . doi: 10.1109/18.720531 http://dx.doi.org/10.1109/18.720531

GATYS L A ， ECKER A S ， BETHGE M . Image style transfer using convolutional neural networks ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 2414 - 2423 . doi: 10.1109/cvpr.2016.265 http://dx.doi.org/10.1109/cvpr.2016.265

EVERINGHAM M ， GOOL L ， WILLIAMS C K ， et al . The pascal visual object classes （VOC） challenge ［J］. International Journal of Computer Vision ， 2010 ， 88 （ 2 ）： 303 - 338 . doi: 10.1007/s11263-009-0275-4 http://dx.doi.org/10.1007/s11263-009-0275-4

GEORGAKIS G ， ALIMOOR REZA M ， MOUSAVIAN A ， et al . Multiview RGB-D dataset for object instance detection ［C］. 2016 Fourth International Conference on 3D Vision （3DV）. 2528，2016 ， Stanford， CA， USA. IEEE ， 2016 ： 426 - 434 . doi: 10.1109/3dv.2016.52 http://dx.doi.org/10.1109/3dv.2016.52

AMMIRATO P ， POIRSON P ， PARK E ， et al . A dataset for developing and benchmarking active vision ［C］. 2017 IEEE International Conference on Robotics and Automation （ICRA）. May 29 - June 3 ， 2017 ， Singapore. IEEE ， 2017： 1378 - 1385 . doi: 10.1109/icra.2017.7989164 http://dx.doi.org/10.1109/icra.2017.7989164

XU M D ， ZHANG Z ， HU H ， et al . End-to-end semi-supervised object detection with soft teacher ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 1017，2021 ， Montreal， QC， Canada. IEEE ， 2022 ： 3040 - 3049 . doi: 10.1109/iccv48922.2021.00305 http://dx.doi.org/10.1109/iccv48922.2021.00305

浏览量

204

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

重定位非极大值抑制算法

用于机械系统瞬时目标的双视角高速视觉检测系统

3D-CNN与Transformer混合结构的高光谱图像空谱联合分类

基于注意力机制的宽波段小目标实时去模糊

基于改进YOLOv8模型的增材制造微小气孔缺陷检测及其尺寸测量