Subset-divided iterative projection bagging for noisy-label recovery

Xiao-qing YING; hao LIU; Wen-ye YUAN; Zheng-cheng YANG

doi:10.37188/OPE.20202812.2719

您当前的位置：

首页 >

文章列表页 >

Subset-divided iterative projection bagging for noisy-label recovery

Information Sciences | 更新时间：2021-01-04

- Subset-divided iterative projection bagging for noisy-label recovery
- Optics and Precision Engineering Vol. 28, Issue 12, Pages: 2719-2728(2020)
- 作者机构：
  
  1.东华大学信息科学与技术学院，上海 201620
  2.人工智能教育部重点实验室，上海 200240
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20202812.2719
  CLC： TP18
- Received：03 July 2020，
  
  Revised：06 August 2020，
  
  Published：15 December 2020
- 稿件说明：
移动端阅览
应晓清,刘浩,袁文野等.面向标签恢复的子集划分迭代投影集成[J].光学精密工程,2020,28(12):2719-2728.

YING Xiao-qing,LIU hao,YUAN Wen-ye,et al.Subset-divided iterative projection bagging for noisy-label recovery[J].Optics and Precision Engineering,2020,28(12):2719-2728.
应晓清,刘浩,袁文野等.面向标签恢复的子集划分迭代投影集成[J].光学精密工程,2020,28(12):2719-2728. DOI： 10.37188/OPE.20202812.2719.

YING Xiao-qing,LIU hao,YUAN Wen-ye,et al.Subset-divided iterative projection bagging for noisy-label recovery[J].Optics and Precision Engineering,2020,28(12):2719-2728. DOI： 10.37188/OPE.20202812.2719.

摘要

在图像特征提取中，样本标签并非完全真实有效，可能导致图像归类框架的分类精度大幅下降，而现有标签恢复算法面临含噪样本难以高效再利用的瓶颈问题。为此，本文提出一种基于子集划分迭代投影集成的标签恢复算法。该算法首先随机多次地提取小规模子集信息，然后综合主成分分析、邻域图正则化及K-近邻算法等技术进行样本图像的可靠降维与迭代投影集成，最后遵循多数投票原则实现标签复原。本文选取两大代表性的人脸数据库，对多种标签恢复算法进行了不同指标下的大量对比分析。实验结果证明，本文算法能够有效地校正样本的含噪标签，在同一图像归类框架下针对Yale B与AR数据库分别使分类精度提升了16.9%与8.1%。相较于目前最好的标签恢复算法，本文子集划分迭代投影集成算法可以提升4.3%~4.7%的分类精度，且在确保样本数据完整性的同时具备了一定的可扩展性。

Abstract

In image feature extraction， sample labels are rarely completely true and effective. This often leads to a significant decrease in the accuracy of an image classification framework. In addition， existing label recovery algorithms often must deal with a bottleneck problem in which noisy samples are difficult to reuse. Therefore， this paper proposes a subset-divided iterative projection bagging algorithm for noisy-label recovery. First， the proposed algorithm extracts small-scale subset information randomly and repeatedly. It then integrates principal component analysis， neighbor graph regularization， K-nearest neighbor， and other techniques to achieve effective dimension reduction and iterative projection integration of sample images. Finally， class-label recovery is conducted by implementing the majority voting principle. This study uses common databases as experimental objects and conducts several comparisons and analyses of various recovery algorithms using different indicators. Experimental results show that the proposed algorithm effectively corrects the noisy labels of samples， and the classification accuracy of the default framework is improved by as much as 16.9% and 8.1% for the Yale B and AR databases， respectively. Compared with the state-of-the-art algorithm， the classification accuracy of the proposed algorithm is improved by 4.3-4.7%. The proposed algorithm also has good scalability and can ensure the integrity of sample data.

关键词

Keywords

references

JIANG J ， MA J ， CHEN C ， et al . . SuperPCA： A superpixelwise PCA approach for unsupervised feature extraction of hyperspectral imagery ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 （ 8 ）： 4581 - 4593 .

ZHANG Z ， LAI Z ， XU Y ， et al . . Discriminative elastic-net regularized linear regression ［J］. IEEE Transactions on Image Processing ， 2017 ， 26 （ 3 ）： 1466 - 1481 .

WONG W K ， LAI Z ， XU Y ， et al . . Joint tensor feature analysis for visual object recognition ［J］. IEEE Transactions on Cybernetics ， 2014 ， 45 （ 11 ）： 2425 - 2436 .

LU X ， LI X ， MOU L . Semi-supervised multitask learning for scene recognition ［J］. IEEE Transactions on Cybernetics ， 2014 ， 45 （ 9 ）： 1967 - 1976 .

JIANG L ， XUAN J ， SHI T . Feature extraction based on semi-supervised kernel marginal fisher analysis and its application in bearing fault diagnosis ［J］. Mechanical Systems and Signal Processing ， 2013 ， 41 （ 1-2 ）： 113 - 126 .

黄鸿，唐玉枭，段宇乐 . 半监督多图嵌入的高光谱影像特征提取［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 443 - 456 .

HUANG H ， TANG Y X ， DUAN Y L . Feature extraction of hyperspectral image with semi-supervised multi-graph embedding ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 443 - 456 . （in Chinese）

ABDI H ， WILLIAMS L J . Principal component analysis ［J］. Wiley interdisciplinary reviews： computational statistics ， 2010 ， 2 （ 4 ）： 433 - 459 .

黄鸿，李政英，石光耀，等 . 面向高光谱影像分类的多特征流形鉴别嵌入［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 726 - 738 .

HUANG H ， LI Z Y ， SHI G Y ， et al . . Multi-features manifold discriminant embedding for hyperspectral image classification ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 726 - 738 . （in Chinese）

LU J ， TAN Y P . Regularized locality preserving projections and its extensions for face recognition ［J］. IEEE Transactions on Systems ， Man ， and Cybernetics ， Part B （Cybernetics）， 2010 ， 40 （ 3 ）： 958 - 963 .

LIU G ， LIN Z ， YAN S ， et al . . Robust recovery of subspace structures by low-rank representation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2012 ， 35 （ 1 ）： 171 - 184 .

LIU G ， LIU Q ， LI P . Blessing of dimensionality： Recovering mixture data via dictionary pursuit ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 39 （ 1 ）： 47 - 60 .

LIU G ， XU H ， TANG J ， et al . . A deterministic analysis for LRR ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 38 （ 3 ）： 417 - 430 .

LU Y ， LAI Z ， XU Y ， et al . . Low-rank preserving projections ［J］. IEEE Transactions on Cybernetics ， 2015 ， 46 （ 8 ）： 1900 - 1913 .

SRIVASTAVA G ， SHAO M ， FU Y . Low-rank embedding for semisupervised face classification ［C］. 2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition （FG）. IEEE ， 2013 ： 1 - 6 .

张倩颖，谢晓振 . 加权Schatten范数低秩表示的高光谱图像恢复［J］. 光学精密工程， 2019 ， 27 （ 2 ）： 421 - 432 .

ZHANG Q Y ， XIE X Z . Hyperspectral image restoration via Weighted Schatten norm low-rank representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 2 ）： 421 - 432 . （in Chinese）

张小荣，胡炳樑，潘志斌，等 . 基于张量表示的高光谱图像目标检测［J］. 光学精密工程， 2019 ， 27 （ 2 ）： 488 - 498 .

ZHANG X R ， HU B L ， PAN Z B . Tensor representation based target detection for hyperspectral imagery ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 2 ）： 488 - 498 . （in Chinese）

LU Y ， LAI Z ， XU Y ， et al . . Low-rank preserving projections ［J］. IEEE Transactions on Cybernetics ， 2015 ， 46 （ 8 ）： 1900 - 1913 .

ZHU X ， WU X . Class noise vs. attribute noise： A quantitative study ［J］. Artificial Intelligence Review ， 2004 ， 22 （ 3 ）： 177 - 210 .

FRÉNAY B ， VERLEYSEN M . Classification in the presence of label noise： a survey ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2013 ， 25 （ 5 ）： 845 - 869 .

王慧，冯金顺，程正兴 . 基于局部路径特征信息神经网络的图像去噪［J］. 液晶与显示， 2020 ， 35 （ 1 ）： 70 - 79 .

WANG H ， FENG J S ， CHENG Z X . Image denoising based on local path feature in formation neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 1 ）： 70 - 79 . （in Chinese）

NETTLETON D F ， ORRIOLS-PUIG A ， FORNELLS A . A study of the effect of different types of noise on the precision of supervised learning techniques ［J］. Artificial Intelligence Review ， 2010 ， 33 （ 4 ）： 275 - 306 .

ANGLUIN D ， LAIRD P . Learning from noisy examples ［J］. Machine Learning ， 1988 ， 2 （ 4 ）： 343 - 370 .

LIU T ， TAO D . Classification with noisy labels by importance reweighting ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 38 （ 3 ）： 447 - 461 .

陈庆强，王文剑，姜高霞 . 基于数据分布的标签噪声过滤［J］. 清华大学学报（自然科学版）， 2019 ， 59 （ 4 ）： 262 - 269 .

CHEN Q Q ， WANG W J ， JIANG G X . Label noise filtering based on the data distribution ［J］. Journal of Tsinghua University （Natural Science）， 2019 ， 59 （ 4 ）： 262 - 269 . （in Chinese）

TU B ， ZHOU C ， HE D ， et al . . Hyperspectral classification with noisy label detection via superpixel-to-pixel weighting distance ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 . doi： 10.1109/TGRS.2019.2961141 http://dx.doi.org/10.1109/TGRS.2019.2961141 .

FANG X ， TENG S ， LAI Z ， et al . . Robust latent subspace learning for image classification ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2017 ， 29 （ 6 ）： 2502 - 2515 .

JIANG J ， MA J ， WANG Z ， et al . . Hyperspectral image classification in the presence of noisy labels ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 57 （ 2 ）： 851 - 865 .

WEN J ， HAN N ， FANG X ， et al . . Low-rank preserving projection via graph regularized reconstruction ［J］. IEEE Transactions on Cybernetics ， 2018 ， 49 （ 4 ）： 1279 - 1291 .

KANG Z ， PAN H ， HOI S C H ， et al . . Robust graph learning from noisy data ［J］. IEEE Transactions on Cybernetics ， 2020 ， 50 （ 5 ）： 1833 - 1843 .

Views

374

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Hyperspectral images feature extraction and classification based on fractional differentiation

Lightweight deep global-local knowledge distillation network for hyperspectral image scene classification

Dense pedestrian detection algorithm in multi-branch non-anchor frame network

Application of SENet generative adversarial network in image semantics description

Semi-supervised dual path network for hyperspectral image classification

Related Author

LIU Jing

LI Yang

LIU Yi

LIU Yingxu

PU Chunyu

XU Diankun

YANG Yichuan

HUANG Hong

Related Institution

School of Electronic Engineering， Xidian University

School of Electronic Engineering， Xi’an University of Posts and Telecommunications

Key Laboratory of Optoelectronic Technology and Systems of the Education Ministry of China， Chongqing University

Measurement and Control Technology and Instrument major， College of Optoelectronic Engineering， Chongqing University

School of Electrical Engineering， XinJiang University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰