面向手写数字图像的压缩感知快速分类

肖术明; 王绍举; 常琳; 冯汝鹏

doi:10.37188/OPE.20212907.1709

您当前的位置：

首页 >

文章列表页 >

面向手写数字图像的压缩感知快速分类

信息科学 | 更新时间：2021-08-09

- 面向手写数字图像的压缩感知快速分类
- Compressive sensing fast classification for handwritten digital images
- 光学精密工程 2021年29卷第7期页码：1709-1719
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100039
  3.中国科学院天基动态快速光学成像技术重点实验室，吉林长春 130033
- 作者简介：
  
  [ "肖术明（1997-），男，山东潍坊人，硕士研究生，2019年于东北农业大学获得学士学位，主要从事计算机视觉，压缩感知，机器学习方面的研究。E-mail：15636041235@163.com" ]
  [ "王绍举（1983-），男，山东聊城人，研究员，博士，2005年于东北师范大学获得学士学位，2010年于长春光机所获得博士学位，主要从事微纳卫星总体设计，空间光学相机控制和图像处理技术研究。E-mail：wangshaoju@163.com" ]
- 基金信息：
  
  国家自然科学基金项目(61805244);吉林省重点科技研发计划项目(20190303094SF);钱学森空间技术实验室创新工作站开放基金(GZZKFJJ2020003)
- DOI：10.37188/OPE.20212907.1709
  中图分类号： TP394.1;TH691.9
- 收稿日期：2020-12-02，
  
  修回日期：2021-01-06，
  
  纸质出版日期：2021-07-15
- 稿件说明：
移动端阅览
肖术明,王绍举,常琳等.面向手写数字图像的压缩感知快速分类[J].光学精密工程,2021,29(07):1709-1719.

XIAO Shu-ming,WANG Shao-ju,CHANG Lin,et al.Compressive sensing fast classification for handwritten digital images[J].Optics and Precision Engineering,2021,29(07):1709-1719.
肖术明,王绍举,常琳等.面向手写数字图像的压缩感知快速分类[J].光学精密工程,2021,29(07):1709-1719. DOI： 10.37188/OPE.20212907.1709.

XIAO Shu-ming,WANG Shao-ju,CHANG Lin,et al.Compressive sensing fast classification for handwritten digital images[J].Optics and Precision Engineering,2021,29(07):1709-1719. DOI： 10.37188/OPE.20212907.1709.

摘要

为了减少神经网络模型对手写数字数据集的训练计算耗时和最佳训练次数，同时保证手写数字图像的分类准确率，引入了压缩感知技术，提出了基于压缩感知和单隐层前馈网络（Compressive Sensing and Single Hidden Layer Feedforward Network，CS-SHLNet）的手写数字图像快速分类算法。首先，利用高斯随机矩阵对具有稀疏性的手写数字图像进行线性观测，将高维图像信号投影到低维空间得到观测值；其次，通过误差反向传播（Error BackPropagation，BP）算法不断调整单隐层前馈网络权值建立适应于观测值的神经网络模型，将观测值嵌入神经网络中对图像进行特征提取；最后，采用单隐层前馈网络模型对手写数字进行图像分类，以训练计算耗时、最佳训练次数和分类准确率等指标对模型进行定量评估。实验结果表明：相比较单隐层神经网络和深度学习对MNIST手写数字数据集的高维图像信号图像分类，先通过CS技术利用观测数

=235的高斯随机矩阵线性观测得到图像的观测值，再利用单隐层前馈网络对观测值进行图像分类，网络模型的训练计算耗时缩短为13.05 s，最佳训练次数缩短为3次，分类准确率保持97.5%。该算法中的压缩感知线性观测可以有效减少神经网络模型对手写数字数据集的训练计算耗时和最佳训练次数，而且可以保证分类准确率。

Abstract

To reduce the training calculation time and optimal training times of a neural network model and ensure high classification accuracy of handwritten digital images， compressive sensing technology was introduced， and a fast classification algorithm of handwritten digital images based on compressive sensing and a single-hidden layer feedforward network （Compressive sensing and single-hidden layer feedforward network， CS-SHLNet） was proposed. First， a Gaussian random matrix is used to obtain a linear measurement of the handwritten digital image with sparseness， and the high-dimensional image signal is projected to the low-dimensional space to obtain the measurement value. Second， using the error backpropagation （BP） algorithm， the weights of the neural network are continuously adjusted to establish a single-hidden layer feedforward network model suitable for the measurement values， which are embedded into the neural network for image feature extraction. Finally， a single-hidden layer feedforward network model is used to classify handwritten digits， and the model is quantitatively evaluated by the time-consuming training calculations， the optimal training times， and the classification accuracy. Experimental results show that—in contrast to using a single-hidden layer neural network and deep learning for high-dimensional image signal classification of MNIST handwritten numeral datasets—through the CS technology， the Gaussian random matrix linear measurement number， i.e.，

=235， is first used to obtain the image measurement value； then， the single-hidden layer feedforward network is used for image classification. The training calculation time of the network model is reduced to 13.05 s， the best training times are reduced by a factor of three， and the classification accuracy is 97.5%. The compressive sensing linear measurement in the algorithm can effectively reduce the computation time of the training and the optimal training times of the neural network model for handwritten digital datasets and the classification accuracy can be ensured.

关键词

Keywords

references

雷安琪，冯玉田，唐子成 . 基于LBFGS-EKF算法的三维空间目标跟踪研究［J］. 电子测量技术， 2017 ， 40 （ 10 ）： 99 - 103 .

LEI A Q ， FENG Y T ， TANG Z C . Research on target tracking based on limited-memory BFGS and extended kalman filter in 3D-space ［J］. Electronic Measurement Technology ， 2017 ， 40 （ 10 ）： 99 - 103 . （in Chinese）

刘丹枫 . 深度学习用于天文图像空间碎片和恒星的分类［D］. 太原理工大学， 2018 .

LIU D F . Classification of Space Debris and Stars in Astronomic Images Based on Deep Learning ［D］. Taiyuan University of Technology .， 2018 . （in Chinese）

彭俊 . 基于卷积神经网络的交易环境下蔬果图像识别研究［D］. 浙江农林大学， 2017 .

PENG J . Research of Fruit and Vegetable Image Classification in the Trading Environment Based on Convolutional Neural Network ［D］. Zhejiang Agriculture and Forestry University ， 2017 . （in Chinese）

陈科峻，张叶 . 循环神经网络多标签航空图像分类［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1404 - 1413 .

CHEN K J ， ZHANU Y . Recurrent neural network multrlabel aerial images classification ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1404 - 1413 . （in Chinese）

白天毅 . 基于神经网络的手写体数字识别关健技术研究［D］. 西北工业大学， 2014 .

BAI T Y . Key Figures Handwriting Recognition Technology Based on Neural Networks ［D］. Northwestern Polytechnical University ， 2014 . （in Chinese）

刘辰雨 . 基于卷积神经网络的手写数字识别研究与设计［D］. 成都理工大学， 2018 .

LIU C Y . Research and Design of Handwritten Digit Recognition Based on Convolutional Neural Network ［D］. Chengdu University of Technology ， 2018 . （in Chinese）

Support Vector Machines； Investigators at Semnan University Report Findings in Support Vector Machines （Persian Handwritten Digit Recognition Using Combination of Convolutional Neural Network and Support Vector Machine Methods）［J］. Journal of Engineering ， 2020 .

Yekta Said Can ， Erdem KabadayıM . Automatic CNN-Based Arabic Numeral Spotting and Handwritten Digit Recognition by Using Deep Transfer Learning in Ottoman Population Registers ［J］. Applied Sciences ， 2020 ， 10 （ 16 ）.

Machine Learning； New Machine Learning Findings from Qassim University Described （Handwritten Digit Recognition： Hyperparameters-based Analysis）［J］. Computers Networks & Communications ， 2020 .

Hui-huang Zhao ， Han Liu . Multiple classifiers fusion and CNN feature extraction for handwritten digits recognition ［J］. Granular Computing ， 2020 ， 5 （ 3 ）.

王爱丽，薛冬，吴海滨，等 . 基于条件生成对抗网络的手写数字识别［J］. 液晶与显示， 2020 ， 35 （ 12 ）： 1284 - 1290 .

WANG A L ， XUE D ， WU H B ， et al . Handwritten digit recognition based on conditional generative adversarial network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 12 ）： 1284 - 1290 . （in Chinese）

叶浩 . 基于压缩感知的深空图像压缩采样与恢复算法研究［D］. 重庆邮电大学， 2016 .

Ye H . Research on Image Compressed Samplingand Recovery Algorithm Based on Compressive Sensing in Deep Space ［D］. Chongqing University of Posts and Telecommunications ， 2016 . （in Chinese）

陈明惠，王帆，张晨曦，等 . 基于压缩感知的频域OCT图像稀疏重构［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 189 - 199 .

CHEN M H ， WAND F ， ZHANU C X ， et al . Sparse reconstruction of frequency image based on compressed domain OCT sensing ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 189 - 199 . （in Chinese）

杨宏成，高欣，张涛 . 应用投影收缩的压缩感知锥束CT短扫描重建［J］. 光学精密工程， 2014 ， 22 （ 3 ）： 770 - 778 .

YANG H C ， GAO X ， ZHANG T . Compressing-sensing cone-beam CT short scan reconstruction based on projection-rcontraction ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 3 ）： 770 - 778 . （in Chinese）

黄凯奇，任伟强，谭铁牛 . 图像物体分类与检测算法综述［J］. 计算机学报， 2014 ， 37 （ 6 ）： 1225 - 1240 .

HUANU K Q ， REN W Q ， TAN T N . A review on image object classification and detection ［J］. Chinese Journal of Computers ， 2014 ， 37 （ 6 ）： 1225 - 1240 . （in Chinese）

刘洲洲，王福豹 . 基于离散萤火虫压缩感知重构的无线传感器网络多目标定位［J］. 光学精密工程， 2014 ， 22 （ 7 ）： 1904 - 1911 .

LIU Z Z ， WANG F B . Multiple target localization in WSNs via CS reconstrucyion based on discrete GSO algorithm ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 7 ）： 1904 - 1911 . （in Chinese）

DAVENPORT M A . Random observations on random observations ： Sparse signal acquisition and processing ［D］， 2010 .

马俊，张荣福，郭天茹，等 . 基于迁移学习的VGG-16网络芯片图像分类［J］. 光学仪器， 2020 ， 42 （ 3 ）： 21 - 27 . （in Chinese）

MA J ， ZHANG R F ， GUO T R ， et al . Image classification of migration learning chip based on VGG-16 network ［J］. Optical Instruments .， 2020 ， 42 （ 3 ）： 21 - 27 . （in Chinese）

芦玥，马瑜，王慧，等 . 基于U-Net的多图谱标签融合算法［J］. 液晶与显示， 2019 ， 34 （ 11 ）： 1091 - 1103 .

LU Y ， MA Y ， WANG H ， et al . Multi-atlaslabel fusion based on U-Net ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 11 ）： 1091 - 1103 . （in Chinese）

陈彦彤，陈伟楠，张献中，等 . 基于深度卷积神经网络的蝇类面部识别［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1558 - 1567 .

CHEN Y T ， CHEN W N ， ZHANG X Z ， et al . Fly facial recognition based on deep convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1558 - 1567 . （in Chinese）

余永维，韩鑫，杜柳青 . 基于Inception-SSD算法的零件识别［J］. 光学精密工程， 2020 ， 28 （ 08 ）： 1799 - 1809 .

YU Y W ， HAN X ， DU I Q . Target part recognition based Inception-SSD algorithm ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1799 - 1809 . （in Chinese）

LeCun Y ， Bottou L ， Bengio Y ， et al . Gradient-based learning applied to document recognition ［J］. Proceedings of the IEEE ， 1998 ， 86 （ 11 ）： 2278 - 2324 .

SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［J］. Arxiv Preprint Arxiv：1409. 1556 ， 2014 .

浏览量

632

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于神经网络的全斯托克斯光电探测器

多尺度与三维交互特征优化的皮肤镜图像分类

联合图像层级特征的压缩感知迭代重构

基于圆卷积神经网络的粘连导电粒子检测

基于Swin Transformer轻量化的TFT-LCD面板缺陷分类算法