Compressive sensing fast classification for handwritten digital images

Shu-ming XIAO; Shao-ju WANG; Lin CHANG; Ru-peng FENG

doi:10.37188/OPE.20212907.1709

您当前的位置：

首页 >

文章列表页 >

Compressive sensing fast classification for handwritten digital images

Information Sciences | 更新时间：2021-08-09

- Compressive sensing fast classification for handwritten digital images
- Optics and Precision Engineering Vol. 29, Issue 7, Pages: 1709-1719(2021)
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100039
  3.中国科学院天基动态快速光学成像技术重点实验室，吉林长春 130033
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20212907.1709
  CLC： TP394.1;TH691.9
- Received：02 December 2020，
  
  Revised：06 January 2021，
  
  Published：15 July 2021
- 稿件说明：
移动端阅览
肖术明,王绍举,常琳等.面向手写数字图像的压缩感知快速分类[J].光学精密工程,2021,29(07):1709-1719.

XIAO Shu-ming,WANG Shao-ju,CHANG Lin,et al.Compressive sensing fast classification for handwritten digital images[J].Optics and Precision Engineering,2021,29(07):1709-1719.
肖术明,王绍举,常琳等.面向手写数字图像的压缩感知快速分类[J].光学精密工程,2021,29(07):1709-1719. DOI： 10.37188/OPE.20212907.1709.

XIAO Shu-ming,WANG Shao-ju,CHANG Lin,et al.Compressive sensing fast classification for handwritten digital images[J].Optics and Precision Engineering,2021,29(07):1709-1719. DOI： 10.37188/OPE.20212907.1709.

摘要

为了减少神经网络模型对手写数字数据集的训练计算耗时和最佳训练次数，同时保证手写数字图像的分类准确率，引入了压缩感知技术，提出了基于压缩感知和单隐层前馈网络（Compressive Sensing and Single Hidden Layer Feedforward Network，CS-SHLNet）的手写数字图像快速分类算法。首先，利用高斯随机矩阵对具有稀疏性的手写数字图像进行线性观测，将高维图像信号投影到低维空间得到观测值；其次，通过误差反向传播（Error BackPropagation，BP）算法不断调整单隐层前馈网络权值建立适应于观测值的神经网络模型，将观测值嵌入神经网络中对图像进行特征提取；最后，采用单隐层前馈网络模型对手写数字进行图像分类，以训练计算耗时、最佳训练次数和分类准确率等指标对模型进行定量评估。实验结果表明：相比较单隐层神经网络和深度学习对MNIST手写数字数据集的高维图像信号图像分类，先通过CS技术利用观测数

=235的高斯随机矩阵线性观测得到图像的观测值，再利用单隐层前馈网络对观测值进行图像分类，网络模型的训练计算耗时缩短为13.05 s，最佳训练次数缩短为3次，分类准确率保持97.5%。该算法中的压缩感知线性观测可以有效减少神经网络模型对手写数字数据集的训练计算耗时和最佳训练次数，而且可以保证分类准确率。

Abstract

To reduce the training calculation time and optimal training times of a neural network model and ensure high classification accuracy of handwritten digital images， compressive sensing technology was introduced， and a fast classification algorithm of handwritten digital images based on compressive sensing and a single-hidden layer feedforward network （Compressive sensing and single-hidden layer feedforward network， CS-SHLNet） was proposed. First， a Gaussian random matrix is used to obtain a linear measurement of the handwritten digital image with sparseness， and the high-dimensional image signal is projected to the low-dimensional space to obtain the measurement value. Second， using the error backpropagation （BP） algorithm， the weights of the neural network are continuously adjusted to establish a single-hidden layer feedforward network model suitable for the measurement values， which are embedded into the neural network for image feature extraction. Finally， a single-hidden layer feedforward network model is used to classify handwritten digits， and the model is quantitatively evaluated by the time-consuming training calculations， the optimal training times， and the classification accuracy. Experimental results show that—in contrast to using a single-hidden layer neural network and deep learning for high-dimensional image signal classification of MNIST handwritten numeral datasets—through the CS technology， the Gaussian random matrix linear measurement number， i.e.，

=235， is first used to obtain the image measurement value； then， the single-hidden layer feedforward network is used for image classification. The training calculation time of the network model is reduced to 13.05 s， the best training times are reduced by a factor of three， and the classification accuracy is 97.5%. The compressive sensing linear measurement in the algorithm can effectively reduce the computation time of the training and the optimal training times of the neural network model for handwritten digital datasets and the classification accuracy can be ensured.

关键词

Keywords

references

雷安琪，冯玉田，唐子成 . 基于LBFGS-EKF算法的三维空间目标跟踪研究［J］. 电子测量技术， 2017 ， 40 （ 10 ）： 99 - 103 .

LEI A Q ， FENG Y T ， TANG Z C . Research on target tracking based on limited-memory BFGS and extended kalman filter in 3D-space ［J］. Electronic Measurement Technology ， 2017 ， 40 （ 10 ）： 99 - 103 . （in Chinese）

刘丹枫 . 深度学习用于天文图像空间碎片和恒星的分类［D］. 太原理工大学， 2018 .

LIU D F . Classification of Space Debris and Stars in Astronomic Images Based on Deep Learning ［D］. Taiyuan University of Technology .， 2018 . （in Chinese）

彭俊 . 基于卷积神经网络的交易环境下蔬果图像识别研究［D］. 浙江农林大学， 2017 .

PENG J . Research of Fruit and Vegetable Image Classification in the Trading Environment Based on Convolutional Neural Network ［D］. Zhejiang Agriculture and Forestry University ， 2017 . （in Chinese）

陈科峻，张叶 . 循环神经网络多标签航空图像分类［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1404 - 1413 .

CHEN K J ， ZHANU Y . Recurrent neural network multrlabel aerial images classification ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1404 - 1413 . （in Chinese）

白天毅 . 基于神经网络的手写体数字识别关健技术研究［D］. 西北工业大学， 2014 .

BAI T Y . Key Figures Handwriting Recognition Technology Based on Neural Networks ［D］. Northwestern Polytechnical University ， 2014 . （in Chinese）

刘辰雨 . 基于卷积神经网络的手写数字识别研究与设计［D］. 成都理工大学， 2018 .

LIU C Y . Research and Design of Handwritten Digit Recognition Based on Convolutional Neural Network ［D］. Chengdu University of Technology ， 2018 . （in Chinese）

Support Vector Machines； Investigators at Semnan University Report Findings in Support Vector Machines （Persian Handwritten Digit Recognition Using Combination of Convolutional Neural Network and Support Vector Machine Methods）［J］. Journal of Engineering ， 2020 .

Yekta Said Can ， Erdem KabadayıM . Automatic CNN-Based Arabic Numeral Spotting and Handwritten Digit Recognition by Using Deep Transfer Learning in Ottoman Population Registers ［J］. Applied Sciences ， 2020 ， 10 （ 16 ）.

Machine Learning； New Machine Learning Findings from Qassim University Described （Handwritten Digit Recognition： Hyperparameters-based Analysis）［J］. Computers Networks & Communications ， 2020 .

Hui-huang Zhao ， Han Liu . Multiple classifiers fusion and CNN feature extraction for handwritten digits recognition ［J］. Granular Computing ， 2020 ， 5 （ 3 ）.

王爱丽，薛冬，吴海滨，等 . 基于条件生成对抗网络的手写数字识别［J］. 液晶与显示， 2020 ， 35 （ 12 ）： 1284 - 1290 .

WANG A L ， XUE D ， WU H B ， et al . Handwritten digit recognition based on conditional generative adversarial network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 12 ）： 1284 - 1290 . （in Chinese）

叶浩 . 基于压缩感知的深空图像压缩采样与恢复算法研究［D］. 重庆邮电大学， 2016 .

Ye H . Research on Image Compressed Samplingand Recovery Algorithm Based on Compressive Sensing in Deep Space ［D］. Chongqing University of Posts and Telecommunications ， 2016 . （in Chinese）

陈明惠，王帆，张晨曦，等 . 基于压缩感知的频域OCT图像稀疏重构［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 189 - 199 .

CHEN M H ， WAND F ， ZHANU C X ， et al . Sparse reconstruction of frequency image based on compressed domain OCT sensing ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 189 - 199 . （in Chinese）

杨宏成，高欣，张涛 . 应用投影收缩的压缩感知锥束CT短扫描重建［J］. 光学精密工程， 2014 ， 22 （ 3 ）： 770 - 778 .

YANG H C ， GAO X ， ZHANG T . Compressing-sensing cone-beam CT short scan reconstruction based on projection-rcontraction ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 3 ）： 770 - 778 . （in Chinese）

黄凯奇，任伟强，谭铁牛 . 图像物体分类与检测算法综述［J］. 计算机学报， 2014 ， 37 （ 6 ）： 1225 - 1240 .

HUANU K Q ， REN W Q ， TAN T N . A review on image object classification and detection ［J］. Chinese Journal of Computers ， 2014 ， 37 （ 6 ）： 1225 - 1240 . （in Chinese）

刘洲洲，王福豹 . 基于离散萤火虫压缩感知重构的无线传感器网络多目标定位［J］. 光学精密工程， 2014 ， 22 （ 7 ）： 1904 - 1911 .

LIU Z Z ， WANG F B . Multiple target localization in WSNs via CS reconstrucyion based on discrete GSO algorithm ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 7 ）： 1904 - 1911 . （in Chinese）

DAVENPORT M A . Random observations on random observations ： Sparse signal acquisition and processing ［D］， 2010 .

马俊，张荣福，郭天茹，等 . 基于迁移学习的VGG-16网络芯片图像分类［J］. 光学仪器， 2020 ， 42 （ 3 ）： 21 - 27 . （in Chinese）

MA J ， ZHANG R F ， GUO T R ， et al . Image classification of migration learning chip based on VGG-16 network ［J］. Optical Instruments .， 2020 ， 42 （ 3 ）： 21 - 27 . （in Chinese）

芦玥，马瑜，王慧，等 . 基于U-Net的多图谱标签融合算法［J］. 液晶与显示， 2019 ， 34 （ 11 ）： 1091 - 1103 .

LU Y ， MA Y ， WANG H ， et al . Multi-atlaslabel fusion based on U-Net ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 11 ）： 1091 - 1103 . （in Chinese）

陈彦彤，陈伟楠，张献中，等 . 基于深度卷积神经网络的蝇类面部识别［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1558 - 1567 .

CHEN Y T ， CHEN W N ， ZHANG X Z ， et al . Fly facial recognition based on deep convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1558 - 1567 . （in Chinese）

余永维，韩鑫，杜柳青 . 基于Inception-SSD算法的零件识别［J］. 光学精密工程， 2020 ， 28 （ 08 ）： 1799 - 1809 .

YU Y W ， HAN X ， DU I Q . Target part recognition based Inception-SSD algorithm ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1799 - 1809 . （in Chinese）

LeCun Y ， Bottou L ， Bengio Y ， et al . Gradient-based learning applied to document recognition ［J］. Proceedings of the IEEE ， 1998 ， 86 （ 11 ）： 2278 - 2324 .

SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［J］. Arxiv Preprint Arxiv：1409. 1556 ， 2014 .

Views

632

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Full-stokes photodetector based on neural networks

Dermoscopic image classification based on multi-scale and three-dimensional interaction feature optimization

Iterative reconstruction of compressive sensing combining image hierarchical-feature

Detection of conductive multi-particles based on circular convolutional neural network

A lightweight deep learning model for TFT-LCD circuits defect classification based on swin transformer

Related Author

WANG Shoutong

ZHANG Ran

CHU Jinkui

MENG Hailong

CAI Dehao

WANG Di

LÜ Xiaoqi

LI Jing

Related Institution

Liaoning Provincial Key Laboratory of Micro Nanosystems， Dalian University of Technology

Ningbo Research Institute， Dalian University of Technology

School of Digital and Intelligence Industry， Inner Mongolia University of Science and Technology

School of Information Engineering， Inner Mongolia University of Technology

School of Electronic and Information Engineering， Lanzhou Jiaotong University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰