面向高光谱显微图像血细胞分类的空-谱可分离卷积神经网络

时旭; 李远; 黄鸿

doi:10.37188/OPE.20223008.0960

您当前的位置：

首页 >

文章列表页 >

面向高光谱显微图像血细胞分类的空-谱可分离卷积神经网络

信息科学 | 更新时间：2022-04-26

- 面向高光谱显微图像血细胞分类的空-谱可分离卷积神经网络
- Spatial-spectral separable convolutional neural network for cell classification of hyperspectral microscopic images
- 光学精密工程 2022年30卷第8期页码：960-969
- 作者机构：
  
  重庆大学光电技术与系统教育部重点实验室，重庆400044
- 作者简介：
  
  [ "时　旭（1998-），男，河南周口人，硕士研究生，2020年于华侨大学获得学士学位，现为重庆大学光电工程学院研究生，主要从事图像处理及深度学习等方面的研究。E-mail： shixu@cqu.edu.cn" ]
  [ "黄　鸿（1980-），男，湖南新宁人，博士生导师，2003、2005、2008年于重庆大学分别获得学士、硕士和博士学位。主要从事医学影像智能化处理、模式识别、深度学习等方面的研究。E-mail： hhuang@cqu.edu.cn" ]
- 基金信息：
  
  中央高校基本科研业务费项目(2019CDYGYB008;2020CDCGTM002);国家自然科学基金项目(42071302);重庆市基础研究与前沿探索项目(cstc2018jcyjAX0093);重庆市留学人员回国创业创新支持计划项目(cx2019144)
- DOI：10.37188/OPE.20223008.0960
  中图分类号： TP391.4
- 收稿日期：2021-02-27，
  
  修回日期：2021-04-30，
  
  纸质出版日期：2022-04-25
- 稿件说明：
移动端阅览
时旭,李远,黄鸿.面向高光谱显微图像血细胞分类的空-谱可分离卷积神经网络[J].光学精密工程,2022,30(08):960-969.

SHI Xu,LI Yuan,HUANG Hong.Spatial-spectral separable convolutional neural network for cell classification of hyperspectral microscopic images[J].Optics and Precision Engineering,2022,30(08):960-969.
时旭,李远,黄鸿.面向高光谱显微图像血细胞分类的空-谱可分离卷积神经网络[J].光学精密工程,2022,30(08):960-969. DOI： 10.37188/OPE.20223008.0960.

SHI Xu,LI Yuan,HUANG Hong.Spatial-spectral separable convolutional neural network for cell classification of hyperspectral microscopic images[J].Optics and Precision Engineering,2022,30(08):960-969. DOI： 10.37188/OPE.20223008.0960.

摘要

深度学习已经在高光谱血细胞图像分类中获得广泛应用。然而，传统深度学习模型需要大量标记数据作为样本，忽略了高光谱图像“图谱合一”的性质，不能充分挖掘高光谱图像内蕴信息，且存在参数多、复杂度高问题。针对上述问题，提出了空-谱可分离卷积神经网络（S

CNN），在降低模型复杂度的同时有效提升高光谱血细胞图像分类性能。根据高光谱血细胞图像分布的空间一致性，S

CNN模型首先通过空-谱联合距离（SSCD）得到训练集中各像素点的空-谱近邻，并对这些近邻点赋予与相应中心像素点相同的标签，进行样本扩充，然后在网络模型中采用一组深度卷积和点卷积代替经典卷积，优化了模型复杂度，实现血细胞分类。在Bloodcells1-3和Bloodcells2-2两个不同场景下的高光谱血细胞数据集上的实验结果显示，本文所提算法的总体分类精度分别达到87.32%、89.02%。与其他传统血细胞分类算法相比，本文算法能有效提升高光谱血细胞图像的分类性能。在训练时间上，所采用的可分离卷积模型比经典卷积模型减少27%。实验结果表明，所提网络框架不仅能有效提升高光谱血细胞分类性能，且可减少模型训练时间。

Abstract

In recent years， with the development of computer science，deep learning plays a critical role in the classification of hyperspectral bloodcell images. However， traditional deep learning models require a large amounts of manually annotated training data， and ignore the nature of “graph-spectral uniformity” property of hyperspectral image. As a result， these methods can not explore the intrinsic information of hyperspectral images. In addition， traditional convolutional neural network methods have too many parameters， which takes a great deal of time to be trained. Aiming at these two shortcomings， a spatial-spectral separable convolutional neural network （S

CNN） is proposed to improve the classification performance of bloodcell hyperspectral image and reduce the complexity of the model.First， due to the spatial consistency of the hyperspectral bloodcell image distribution， a spatial-spectral combined distance （SSCD） was proposed to select the spatial-spectral nearest neighbor of each pixel and expand the training samples. At the same time， in the following neural network model， a group of depth convolution and point convolution are used to replace classical convolution and optimize the complexity of the model.The experimental result on bloodcell1-3 and bloodcell2-2 datasets show that the overall classification accuracies reaches 87.32% and 89.02%， respectively. Compared with other classification algorithms of bloodcells， the proposed S

CNN achieves much higher classification accuracy. The training time of the separable convolution model is 27% less than that of the classical convolution model.Experimental results show that the proposed S

CNN is an effective method to improve the classification performance of hyperspectral bloodcell and reduce model training time.

关键词

Keywords

references

WU Q ， LIU J H ， MA Q H ， et al . White blood cell count as a mediator of the relationship between depressive symptoms and all-cause mortality： a community-based cohort study ［J］. Archives of Gerontology and Geriatrics ， 2021 ， 94 ： 104343 . doi: 10.1016/j.archger.2021.104343 http://dx.doi.org/10.1016/j.archger.2021.104343

MA X L ， LAN F ， ZHANG Y Q . Associations between C-reactive protein and white blood cell count， occurrence of delayed cerebral ischemia and poor outcome following aneurysmal subarachnoid hemorrhage： a systematic review and meta-analysis ［J］. Acta Neurologica Belgica ， 2021 ， 121 （ 5 ）： 1311 - 1324 . doi: 10.1007/s13760-020-01496-y http://dx.doi.org/10.1007/s13760-020-01496-y

USTUN C ， MORGAN E A ， RITZ E M ， et al . Core-binding factor acute myeloid leukemia with inv（16）： older age and high white blood cell count are risk factors for treatment failure ［J］. International Journal of Laboratory Hematology ， 2021 ， 43 （ 1 ）： e19 - e25 . doi: 10.1111/ijlh.13338 http://dx.doi.org/10.1111/ijlh.13338

戴春妮，李庆利，刘锦高 . 一种基于超光谱的血细胞分类方法［J］. 计算机应用研究， 2011 ， 28 （ 11 ）： 4370 - 4372， 4379 . doi: 10.3969/j.issn.1001-3695.2011.11.100 http://dx.doi.org/10.3969/j.issn.1001-3695.2011.11.100

DAI C N ， LI Q L ， LIU J G . Blood cell classification method based on hyperspectral data ［J］. Application Research of Computers ， 2011 ， 28 （ 11 ）： 4370 - 4372， 4379 . （in Chinese） . doi: 10.3969/j.issn.1001-3695.2011.11.100 http://dx.doi.org/10.3969/j.issn.1001-3695.2011.11.100

刘晶 . 自动化血细胞形态学分析及分类关键技术研究［D］. 济南：山东大学， 2016 .

LIU J . The Study of Key Techniques of Automated Blood Cell Morphological Analysis and Classification ［D］. Jinan ： Shandong University ， 2016 . （in Chinese）

李航 . 统计学习方法（ 2版）［M］. 北京：清华大学出版社， 2019 . doi: 10.7763/ijiet.2015.v5.568 http://dx.doi.org/10.7763/ijiet.2015.v5.568

LI H . Statistical Learning Methods （ The 2 nd Edition ）［M］. Beijing ： Tsinghua University Press ， 2019 . （in Chinese） . doi: 10.7763/ijiet.2015.v5.568 http://dx.doi.org/10.7763/ijiet.2015.v5.568

郑婷月，唐晨，雷振坤 . 基于全卷积神经网络的多尺度视网膜血管分割［J］. 光学学报， 2019 ， 39 （ 2 ）： 0211002 . doi: 10.3788/AOS201939.0211002 http://dx.doi.org/10.3788/AOS201939.0211002

ZHENG T Y ， TANG C ， LEI Z K . Multi-scale retinal vessel segmentation based on fully convolutional neural network ［J］. Acta Optica Sinica ， 2019 ， 39 （ 2 ）： 0211002 . （in Chinese） . doi: 10.3788/AOS201939.0211002 http://dx.doi.org/10.3788/AOS201939.0211002

DEY R ， LU Z J ， HONG Y . Diagnostic classification of lung nodules using 3D neural networks ［C］. 2018 IEEE 15th International Symposium on Biomedical Imaging . 47，2018 ， Washington， DC， USA . IEEE ， 2018 ： 774 - 778 . doi: 10.1109/isbi.2018.8363687 http://dx.doi.org/10.1109/isbi.2018.8363687

KHASHMAN A . Investigation of different neural models for blood cell type identification ［J］. Neural Computing and Applications ， 2012 ， 21 （ 6 ）： 1177 - 1183 . doi: 10.1007/s00521-010-0476-3 http://dx.doi.org/10.1007/s00521-010-0476-3

FABELO H ， ORTEGA S ， SZOLNA A ， et al . In-vivo hyperspectral human brain image database for brain cancer detection ［J］. IEEE Access ， 2019 ， 7 ： 39098 - 39116 . doi: 10.1109/access.2019.2904788 http://dx.doi.org/10.1109/access.2019.2904788

郑欣，周梅，孙力，等 . 基于神经网络的显微高光谱乳腺癌组织图像研究［J］. 第二军医大学学报， 2018 ， 39 （ 8 ）： 886 - 891 .

ZHENG X ， ZHOU M ， SUN L ， et al . Micro-hyperspectral breast cancer tissue image analysis based on neural network ［J］. Academic Journal of Second Military Medical University ， 2018 ， 39 （ 8 ）： 886 - 891 . （in Chinese）

TRAJANOVSKI S ， SHAN C F ， WEIJTMANS P J C ， et al . Tongue tumor detection in hyperspectral images using deep learning semantic segmentation ［J］. IEEE Transactions on Bio-Medical Engineering ， 2021 ， 68 （ 4 ）： 1330 - 1340 . doi: 10.1109/tbme.2020.3026683 http://dx.doi.org/10.1109/tbme.2020.3026683

HUANG Q ， LI W ， ZHANG B C ， et al . Blood cell classification based on hyperspectral imaging with modulated Gabor and CNN ［J］. IEEE Journal of Biomedical and Health Informatics ， 2020 ， 24 （ 1 ）： 160 - 170 . doi: 10.1109/jbhi.2019.2905623 http://dx.doi.org/10.1109/jbhi.2019.2905623

WEI X L ， LI W ， ZHANG M M ， et al . Medical hyperspectral image classification based on end-to-end fusion deep neural network ［J］. IEEE Transactions on Instrumentation and Measurement ， 2019 ， 68 （ 11 ）： 4481 - 4492 . doi: 10.1109/tim.2018.2887069 http://dx.doi.org/10.1109/tim.2018.2887069

魏峰，何明一，梅少辉 . 空间一致性邻域保留嵌入的高光谱数据特征提取［J］. 红外与激光工程， 2012 ， 41 （ 5 ）： 1249 - 1254 . doi: 10.3969/j.issn.1007-2276.2012.05.024 http://dx.doi.org/10.3969/j.issn.1007-2276.2012.05.024

WEI F ， HE M Y ， MEI S H . Hyperspectral data feature extraction using spatial coherence based neighborhood preserving embedding ［J］. Infrared and Laser Engineering ， 2012 ， 41 （ 5 ）： 1249 - 1254 . （in Chinese） . doi: 10.3969/j.issn.1007-2276.2012.05.024 http://dx.doi.org/10.3969/j.issn.1007-2276.2012.05.024

MOHAN A ， SAPIRO G ， BOSCH E . Spatially coherent nonlinear dimensionality reduction and segmentation of hyperspectral images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2007 ， 4 （ 2 ）： 206 - 210 . doi: 10.1109/lgrs.2006.888105 http://dx.doi.org/10.1109/lgrs.2006.888105

黄鸿，郑新磊 . 加权空-谱与最近邻分类器相结合的高光谱图像分类［J］. 光学精密工程， 2016 ， 24 （ 4 ）： 873 - 881 . doi: 10.3788/OPE.20162404.0873 http://dx.doi.org/10.3788/OPE.20162404.0873

HUANG H ， ZHENG X L . Hyperspectral image classification with combination of weighted spatial-spectral and KNN ［J］. Opt. Precision Eng. ， 2016 ， 24 （ 4 ）： 873 - 881 . （in Chinese） . doi: 10.3788/OPE.20162404.0873 http://dx.doi.org/10.3788/OPE.20162404.0873

VELASCO-FORERO S ， MANIAN V . Improving hyperspectral image classification using spatial preprocessing ［C］. IEEE Geoscience and Remote Sensing Letters. IEEE ，： 297- 301 .

PU H Y ， CHEN Z ， WANG B ， et al . A novel spatial–spectral similarity measure for dimensionality reduction and classification of hyperspectral imagery ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2014 ， 52 （ 11 ）： 7008 - 7022 . doi: 10.1109/tgrs.2014.2306687 http://dx.doi.org/10.1109/tgrs.2014.2306687

TAN K ， HU J ， LI J ， et al . A novel semi-supervised hyperspectral image classification approach based on spatial neighborhood information and classifier combination ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2015 ， 105 ： 19 - 29 . doi: 10.1016/j.isprsjprs.2015.03.006 http://dx.doi.org/10.1016/j.isprsjprs.2015.03.006

SZEGEDY C ， VANHOUCKE V ， IOFFE S ， et al . Rethinking the inception architecture for computer vision ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 2818 - 2826 . doi: 10.1109/cvpr.2016.308 http://dx.doi.org/10.1109/cvpr.2016.308

CHOLLET F . Xception： Deep learning with depthwise separable convolutions ［C］. IEEE Conference on Computer Vision and Pattern Recognition， Honolulu， USA ： CVPR ， 2017 ： 1251 - 1258 . doi: 10.1109/cvpr.2017.195 http://dx.doi.org/10.1109/cvpr.2017.195

LI Z Y ， HUANG H ， DUAN Y L . et al . DLPNet： A deep manifold network for feature extraction of hyperspectral imagery ［J］. Neural Networks ， 2020 ， 129 ： 7 - 18 . doi: 10.1016/j.neunet.2020.05.022 http://dx.doi.org/10.1016/j.neunet.2020.05.022

浏览量

1143

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

融合空谱-梯度特征的深度高光谱图像去噪

3D-CNN与Transformer混合结构的高光谱图像空谱联合分类

联合图像层级特征的压缩感知迭代重构

主动学习联合聚类分组网络的高光谱遥感图像分类