基于密集双流聚焦网络的肺炎辅助诊断模型

周涛; 叶鑫宇; 陆惠玲; 刘赟璨; 常晓玉

doi:10.37188/OPE.20233107.1074

您当前的位置：

首页 >

文章列表页 >

基于密集双流聚焦网络的肺炎辅助诊断模型

信息科学 | 更新时间：2023-04-14

- 基于密集双流聚焦网络的肺炎辅助诊断模型
- Pneumonia aided diagnosis model based on dense dual-stream focused network
- 光学精密工程 2023年31卷第7期页码：1074-1084
- 作者机构：
  
  1.北方民族大学计算机科学与工程学院，宁夏银川 750021
  2.宁夏医科大学理学院，宁夏银川 750003
  3.北方民族大学图像图形智能处理国家民委重点实验室，宁夏银川 750021
- 作者简介：
  
  [ "周涛（1977-），男，宁夏同心人。博士，教授，2010年于西北工业大学获得博士学位，主要从事医学图像分析处理、深度学习、模式识别等方面的研究。E-mail：zhoutaonxmu@126.com" ]
  [ "叶鑫宇（1999-），男，湖北天门人，硕士研究生，主要从事智能医学影像图像处理，计算机辅助诊断等方面的研究。E-mail： 3303626778@qq.com" ]
- 基金信息：
  
  国家自然科学基金(62062003);宁夏自然科学基金资助项目(2022AAC03149);北方民族大学2022年研究生创新项目(YCX22198)
- DOI：10.37188/OPE.20233107.1074
  中图分类号： TP394.1;TH691.9
- 收稿日期：2020-09-28，
  
  修回日期：2020-10-28，
  
  纸质出版日期：2023-04-10
- 稿件说明：
移动端阅览
周涛,叶鑫宇,陆惠玲等.基于密集双流聚焦网络的肺炎辅助诊断模型[J].光学精密工程,2023,31(07):1074-1084.

ZHOU Tao,YE Xinyu,LU Huiling,et al.Pneumonia aided diagnosis model based on dense dual-stream focused network[J].Optics and Precision Engineering,2023,31(07):1074-1084.
周涛,叶鑫宇,陆惠玲等.基于密集双流聚焦网络的肺炎辅助诊断模型[J].光学精密工程,2023,31(07):1074-1084. DOI： 10.37188/OPE.20233107.1074.

ZHOU Tao,YE Xinyu,LU Huiling,et al.Pneumonia aided diagnosis model based on dense dual-stream focused network[J].Optics and Precision Engineering,2023,31(07):1074-1084. DOI： 10.37188/OPE.20233107.1074.

摘要

X光片对肺炎疾病的诊断具有重要作用，但其成像时易受噪声污染，导致肺炎疾病的影像学特征不明显和病灶特征提取不充分。针对上述问题，提出密集双流聚焦网络DDSF-Net的肺炎辅助诊断模型。首先设计残差多尺度块，利用多尺度策略提高网络对医学影像中不同尺寸肺炎病灶的适应性，采用残差连接提高网络参数的传递效率；然后设计双流密集块，采用全局信息流和局部信息流并行结构的密集单元，其中Transformer对全局上下文语义信息进行学习，卷积层进行局部特征提取，利用密集连接方式实现两种信息流的深浅层特征融合；最后，设计具有中心注意操作和邻近插值操作的聚焦块，利用裁剪医学影像尺寸来过滤背景噪声信息，利用插值对医学图像进行放大，增强病灶的细节特征。在肺炎X光片数据集中与典型模型进行对比，本文模型的准确率、精确率、召回率、F1，AUC值和训练时间分别为98.12%，98.83%，99.29%，98.71%，97.71%和15 729 s，准确率和AUC值较密集网络分别提升了4.89%和4.69%。DDSF-Net能够有效缓解肺炎影像学特征不明显和病灶特征提取不充分的问题，通过热力图和三份公共数据集进一步验证了本文模型的有效性和鲁棒性。

Abstract

X-ray images play an important role in the diagnosis of pneumonia disease， but they are susceptible to noise pollution during imaging， resulting in the imaging features of pneumonia being inconspicuous and an insufficient extraction of lesion features. A dense dual-stream focused network DDSF-Net is proposed in this paper for the development of an aided diagnosis model for pneumonia to address the abovementioned problems. The main steps of this method are as follows. First， a residual multi-scale block is designed， a multi-scale strategy is used to improve the adaptability of the network to different sizes of pneumonia lesions in medical images， and a residual connection is used to improve the efficiency of the network parameter transfer. Secondly， a dual-stream dense block is designed， a dense unit with a parallel structure for the global information stream and the local information stream is used， whereby the transformer learns global contextual semantic information. The convolutional layer performs local feature extraction， and a deep and shallow feature fusion of the two information streams is achieved using a dense connection. Finally， focus blocks with central attention operation and neighborhood interpolation operation are designed， background noise information is filtered by cropping the medical image size， and detailed features of lesions are enhanced by interpolating the medical images with magnification. In comparison with typical models used for a pneumonia X-ray dataset， the model introduced in this paper obtained better performance with a 98.12% accuracy， 98.83% precision， 99.29% recall， 98.71% F1， 97.71% AUC and 15729 s training time. Compared with DenseNet， ACC and AUC were improved by 4.89% and 4.69%， respectively. DDSF-Net effectively alleviates the problems of inconspicuous pneumonia imaging features and insufficient extraction of lesion features. The validity of this model and robustness of this paper are further verified by a heat map and three public datasets.

关键词

Keywords

references

EZHILAN M ， SURESH I ， NESAKUMAR N . SARS-CoV， MERS-CoV and SARS-CoV-2： a diagnostic challenge ［J］. Measurement： Journal of the International Measurement Confederation ， 2021 ， 168 ： 108335 . doi: 10.1016/j.measurement.2020.108335 http://dx.doi.org/10.1016/j.measurement.2020.108335

Centers for Disease Control and Prevention ［Z/OL］. https：//www.cdc.gov/pneumonia/prevention.html ， October 22， 2020 . doi: 10.1016/j.transci.2020.102824 http://dx.doi.org/10.1016/j.transci.2020.102824

TOĞAÇAR M ， ERGEN B ， CÖMERT Z . COVID-19 detection using deep learning models to exploit Social Mimic Optimization and structured chest X-ray images using fuzzy color and stacking approaches ［J］. Computers in Biology and Medicine ， 2020 ， 121 ： 103805 . doi: 10.1016/j.compbiomed.2020.103805 http://dx.doi.org/10.1016/j.compbiomed.2020.103805

周涛，霍兵强，陆惠玲，等 . 融合多尺度图像的密集神经网络肺部肿瘤识别算法［J］. 光学精密工程， 2021 ， 29 （ 7 ）： 1695 - 1708 . doi: 10.37188/OPE.20212907.1695 http://dx.doi.org/10.37188/OPE.20212907.1695

ZHOU T ， HUO B Q ， LU H L ， et al . Lung tumor image recognition algorithm with densenet fusion multi-scale images ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 7 ）： 1695 - 1708 . （in Chinese） . doi: 10.37188/OPE.20212907.1695 http://dx.doi.org/10.37188/OPE.20212907.1695

JAIN R . Pneumonia detection in chest X-ray images using convolutional neural networks and transfer learning ［J］. Measurement ， 2020 ， 165 ： 108046 . doi: 10.1016/j.measurement.2020.108046 http://dx.doi.org/10.1016/j.measurement.2020.108046

RAJPURKAR P ， IRVIN J ， ZHU K ， et al . CheXNet： radiologist-level pneumonia detection on chest X-rays with deep learning ［EB/OL］. 2017 ： arXiv ： 1711 . 05225 . https：//arxiv.org/abs/1711.05225 https://arxiv.org/abs/1711.05225 . doi: 10.48550/arXiv.1711.05225 http://dx.doi.org/10.48550/arXiv.1711.05225

ÇALLl E ， SOGANCIOGLU E ， VAN GINNEKEN B ， et al . Deep learning for chest X-ray analysis： a survey ［J］. Medical Image Analysis ， 2021 ， 72 ： 102125 . doi: 10.1016/j.media.2021.102125 http://dx.doi.org/10.1016/j.media.2021.102125

CHEN B Z . DualCheXNet： dual asymmetric feature learning for thoracic disease classification in chest X-rays ［J］. Biomedical Signal Processing and Control ， 2019 ， 53 ： 101554 . doi: 10.1016/j.bspc.2019.04.031 http://dx.doi.org/10.1016/j.bspc.2019.04.031

LI H ， ZHUANG S S ， LI D A ， et al . Benign and malignant classification of mammogram images based on deep learning ［J］. Biomedical Signal Processing and Control ， 2019 ， 51 ： 347 - 354 . doi: 10.1016/j.bspc.2019.02.017 http://dx.doi.org/10.1016/j.bspc.2019.02.017

CHEN B L ， ZHAO T S ， LIU J H ， et al . Multipath feature recalibration DenseNet for image classification ［J］. International Journal of Machine Learning and Cybernetics ， 2021 ， 12 （ 3 ）： 651 - 660 . doi: 10.1007/s13042-020-01194-4 http://dx.doi.org/10.1007/s13042-020-01194-4

陈筱，朱向冰，吴昌凡，等 . 基于迁移学习与特征融合的眼底图像分类［J］. 光学精密工程， 2021 ， 29 （ 2 ）： 388 - 399 . doi: 10.37188/OPE.20212902.0388 http://dx.doi.org/10.37188/OPE.20212902.0388

CHEN X ， ZHU X B ， WU CH F ， et al . Research on fundus image classification based on transfer learning and feature fusion ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 2 ）： 388 - 399 . （in Chinese） . doi: 10.37188/OPE.20212902.0388 http://dx.doi.org/10.37188/OPE.20212902.0388

LIU Y J ， HAO P Y ， ZHANG P ， et al . Dense convolutional binary-tree networks for lung nodule classification ［J］. IEEE Access ， 2018 ， 6 ： 49080 - 49088 . doi: 10.1109/access.2018.2865544 http://dx.doi.org/10.1109/access.2018.2865544

PRIYA K V . A federated approach for detecting the chest diseases using DenseNet for multi-label classification ［J］. Complex & Intelligent Systems ， 2022 ， 8 （ 4 ）： 3121 - 3129 . doi: 10.1007/s40747-021-00474-y http://dx.doi.org/10.1007/s40747-021-00474-y

NASEER M ， RANASINGHE K ， KHAN S ， et al . Intriguing properties of vision transformers ［EB/OL］. 2021 ： arXiv ： 2105 . 10497 . https：//arxiv.org/abs/2105.10497 https://arxiv.org/abs/2105.10497 .

景海钊，史江林，邱梦哲，等 . 基于密集残差块生成对抗网络的空间目标图像超分辨率重建［J］. 光学精密工程， 2022 ， 30 （ 17 ）： 2155 - 2165 . doi: 10.37188/OPE.20223017.2155 http://dx.doi.org/10.37188/OPE.20223017.2155

JING H ZH ， SHI J L ， QIU M ZH ， et al . Super-resolution reconstruction method for space target images based on dense residual block-based GAN ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 17 ）： 2155 - 2165 . （in Chinese） . doi: 10.37188/OPE.20223017.2155 http://dx.doi.org/10.37188/OPE.20223017.2155

KERMANY D S ， ZHANG K ， GOLDBAUM M . Labeled optical coherence tomography （OCT） and chest X-ray images for classification ［J］. Mendeley data ， 2018

GIEŁCZYK A ， MARCINIAK A ， TARCZEWSKA M ， et al . Pre-processing methods in chest X-ray image classification ［J］. PLoS One ， 2022 ， 17 （ 4 ）： e0265949 . doi: 10.1371/journal.pone.0265949 http://dx.doi.org/10.1371/journal.pone.0265949

RADOSAVOVIC I ， KOSARAJU R P ， GIRSHICK R ， et al . Designing network design spaces ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 10425 - 10433 . doi: 10.1109/cvpr42600.2020.01044 http://dx.doi.org/10.1109/cvpr42600.2020.01044

HASSANI A ， WALTON S ， LI J ， et al . Neighborhood Attention Transformer ［EB/OL］. 2022 ： arXiv ： 2204 . 07143 . https：//arxiv.org/abs/2204. 07143 https://arxiv.org/abs/2204.07143 .

ELARABY M E . A novel Gray-Scale spatial exploitation learning Net for COVID-19 by crawling Internet resources ［J］. Biomedical Signal Processing and Control ， 2022 ， 73 ： 103441 . doi: 10.1016/j.bspc.2021.103441 http://dx.doi.org/10.1016/j.bspc.2021.103441

CHETOUI M ， AKHLOUFI M A . Explainable vision transformers and radiomics for COVID-19 detection in chest X-rays ［J］. Journal of Clinical Medicine ， 2022 ， 11 （ 11 ）： 3013 . doi: 10.3390/jcm11113013 http://dx.doi.org/10.3390/jcm11113013

BALASUBRAMANIAN K ， ANANTHAMOORTHY N P ， RAMYA K . An end-end deep learning framework for lung infection recognition using attention-based features and cross average pooling ［J］. International Journal for Multiscale Computational Engineering ， 2022 ， 20 （ 2 ）： 67 - 82 . doi: 10.1615/intjmultcompeng.2022041262 http://dx.doi.org/10.1615/intjmultcompeng.2022041262

KHAN I A . CoroNet： a deep neural network for detection and diagnosis of COVID-19 from chest X-ray images ［J］. Computer Methods and Programs in Biomedicine ， 2020 ， 196 ： 105581 . doi: 10.1016/j.cmpb.2020.105581 http://dx.doi.org/10.1016/j.cmpb.2020.105581

OUCHICHA C ， AMMOR O ， MEKNASSI M . CVDNet： a novel deep learning architecture for detection of coronavirus （Covid-19） from chest X-ray images ［J］. Chaos， Solitons， and Fractals ， 2020 ， 140 ： 110245 . doi: 10.1016/j.chaos.2020.110245 http://dx.doi.org/10.1016/j.chaos.2020.110245

浏览量

637

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多模态融合的3DRes-ViT膝骨关节炎分类模型

基于数字衍射的单幅眼底图像增强

面向头颈部肿瘤转移性淋巴结分割网络

融合注意力机制的TransGLnet脉络膜自动分割

改进BYOL的非小细胞肺癌表皮生长因子受体基因突变预测