基于ACGAN和迁移学习的骨显像分类方法

余泓; 罗仁泽; 陈春梦; 唐祥; 罗任权

doi:10.37188/OPE.20233106.0936

您当前的位置：

首页 >

文章列表页 >

基于ACGAN和迁移学习的骨显像分类方法

信息科学 | 更新时间：2023-03-25

- 基于ACGAN和迁移学习的骨显像分类方法
- Bone scintigraphic classification method based on ACGAN and transfer learning
- 光学精密工程 2023年31卷第6期页码：936-949
- 作者机构：
  
  1.西南石油大学电气信息学院，四川成都 610500
  2.宜宾市第二人民医院核医学科，四川宜宾 644000
  3.西南石油大学计算机科学学院，四川成都 610500
- 作者简介：
  
  [ "余泓(1997-)，男，四川自贡人，硕士研究生，2020年于西南石油大学获得学士学位，主要从事医学影像识别、计算机视觉、深度学习等方面的研究。E-mail：790622472@qq.com" ]
  [ "罗仁泽(1973-)，男，四川内江人，博士，四川省二级教授，1992年于西南石油大学获得学士学位，1999年于西南石油大学获得硕士学位，2005年于电子科技大学获得博士学位，主要从事信号处理与检测、地震资料处理、人工智能等方面的研究。E-mail：lrzsm1th@126.com" ]
- 基金信息：
  
  四川省科技计划资助项目(2019CXRC0027)
- DOI：10.37188/OPE.20233106.0936
  中图分类号： TP391
- 收稿日期：2022-07-19，
  
  修回日期：2022-08-22，
  
  纸质出版日期：2023-03-25
- 稿件说明：
移动端阅览
余泓,罗仁泽,陈春梦等.基于ACGAN和迁移学习的骨显像分类方法[J].光学精密工程,2023,31(06):936-949.

YU Hong,LUO Renze,CHEN Chunmeng,et al.Bone scintigraphic classification method based on ACGAN and transfer learning[J].Optics and Precision Engineering,2023,31(06):936-949.
余泓,罗仁泽,陈春梦等.基于ACGAN和迁移学习的骨显像分类方法[J].光学精密工程,2023,31(06):936-949. DOI： 10.37188/OPE.20233106.0936.

YU Hong,LUO Renze,CHEN Chunmeng,et al.Bone scintigraphic classification method based on ACGAN and transfer learning[J].Optics and Precision Engineering,2023,31(06):936-949. DOI： 10.37188/OPE.20233106.0936.

摘要

由于骨显像存在样本数量有限、类别不平衡的问题，导致骨显像分类存在较大困难。为提升骨显像的分类准确率，本文提出了一种基于结合辅助分类器的生成对抗网络（ACGAN）数据生成和迁移学习的骨显像分类方法。首先，为解决骨显像类别不平衡的问题，设计了一种MU-ACGAN模型。该模型以U-Net为生成器框架，同时结合密集残差连接和通道-空间注意力机制结构来提升骨显像细节特征生成，判别器通过密集残差注意力卷积块提取骨显像特征进行判别；然后，结合传统数据增强方式进一步扩充数据量；最后，设计了一种多尺度卷积神经网络提取骨显像不同尺度的特征，提升分类效果。在模型训练过程中，采用两阶段迁移学习方式，优化模型的初始化参数、解决过拟合的问题。实验结果表明，本文提出方法分类准确率达到了85.71%，有效缓解了小样本骨显像数据集分类准确率不高的问题。

Abstract

Owing to the limited availability of samples and unbalanced categories of bone images， it is difficult to classify these images. To improve the classification accuracy of bone images， this study developed a bone-image classification method based on auxiliary classifier generative adversarial network （ACGAN） data generation and transfer learning. First， an multi-attention U-Net-based ACGAN （MU-ACGAN） model was designed to address the imbalance of bone-image categories. The model uses U-Net as the generator framework and combines dense residual connection and channel-spatial attention mechanism to improve the generation of bone-image detail features. The discriminator extracts bone-image features by using a dense residual attention convolution block for discrimination. Next， the amount of data was further expanded via combination with traditional data enhancement methods. Finally， a multi-scale convolutional neural network was designed to extract the features at different scales of bone imaging so as to improve the classification effect. In the model training process， a two-stage transfer learning method was adopted to optimize the initialization parameters of the model and address the problem of overfitting. Experimental results indicate that the classification accuracy of the proposed method reaches 85.71%， effectively alleviating the problem of low classification accuracy on small sample bone-image datasets.

关键词

Keywords

references

FENG J X ， JIANG J . Deep learning-based chest CT image features in diagnosis of lung cancer ［J］. Computational and Mathematical Methods in Medicine ， 2022 ， 2022 ： 4153211 . doi: 10.1155/2022/4153211 http://dx.doi.org/10.1155/2022/4153211

张永平，兰朋训，周兆霞 . MRI和骨显像诊断骨转移瘤的临床价值分析［J］. 医学影像学杂志， 2017 ， 27 （ 10 ）： 2040 - 2042 .

ZHANG Y P ， LAN P X ， ZHOU ZH X . Clinical value of MRI and bone scintigraphy in the diagnosis of bone metastases ［J］. Journal of Medical Imaging ， 2017 ， 27 （ 10 ）： 2040 - 2042 . （in Chinese）

MADSEN M T . Recent advances in SPECT imaging ［J］. Journal of Nuclear Medicine： Official Publication ， Society of Nuclear Medicine， 2007 ， 48 （ 4 ）： 661 - 673 . doi: 10.2967/jnumed.106.032680 http://dx.doi.org/10.2967/jnumed.106.032680

SADIK M ， HAMADEH I ， NORDBLOM P ， et al . Computer-assisted interpretation of planar whole-body bone scans ［J］. J Nucl Med ， 2008 ， 49 （ 12 ）： 1958 - 1965 . doi: 10.2967/jnumed.108.055061 http://dx.doi.org/10.2967/jnumed.108.055061

ASLANTAS A ， DANDIL E ， SAǦLAM S ， et al . CADBOSS： a computer-aided diagnosis system for whole-body bone scintigraphy scans ［J］. Journal of Cancer Research and Therapeutics ， 2016 ， 12 （ 2 ）： 787 - 792 . doi: 10.4103/0973-1482.150422 http://dx.doi.org/10.4103/0973-1482.150422

ANTONINA M ， CALIN . Object-oriented classification approach for bone metastasis mapping from whole-body bone scintigraphy ［J］. Physica Medica ， 2021 ， 84 ： 141 - 148 . doi: 10.1016/j.ejmp.2021.03.040 http://dx.doi.org/10.1016/j.ejmp.2021.03.040

ELFARRA F G ， CALIN M A ， PARASCA S V . Computer-aided detection of bone metastasis in bone scintigraphy images using parallelepiped classification method ［J］. Annals of Nuclear Medicine ， 2019 ， 33 （ 11 ）： 866 - 874 . doi: 10.1007/s12149-019-01399-w http://dx.doi.org/10.1007/s12149-019-01399-w

WANG Z Y ， WEN X T ， LU Y H ， et al . Exploiting machine learning for predicting skeletal-related events in cancer patients with bone metastases ［J］. Oncotarget ， 2016 ， 7 （ 11 ）： 12612 - 12622 . doi: 10.18632/oncotarget.7278 http://dx.doi.org/10.18632/oncotarget.7278

LU L M ， ZHANG C L ， CAO K ， et al . A multichannel CNN-GRU model for human activity recognition ［J］. IEEE Access ， 2022 ， 10 ： 66797 - 66810 . doi: 10.1109/access.2022.3185112 http://dx.doi.org/10.1109/access.2022.3185112

ZHENG Z W ， LIU L X ， CHEN X Y ， et al . Construction of Bisection Model of SPECT Bone Scan Image Based on VGGNet ［C］. 2021 IEEE International Conference on Artificial Intelligence and Industrial Design （AIID）. 2830，2021 ， Guangzhou， China. IEEE ， 2021 ： 150 - 154 . doi: 10.1109/aiid51893.2021.9456458 http://dx.doi.org/10.1109/aiid51893.2021.9456458

PAPANDRIANOS N ， PAPAGEORGIOU E ， ANAGNOSTIS A ， et al . Bone metastasis classification using whole body images from prostate cancer patients based on convolutional neural networks application ［J］. PLoS One ， 2020 ， 15 （ 8 ）： e0237213 . doi: 10.1371/journal.pone.0237213 http://dx.doi.org/10.1371/journal.pone.0237213

NTAKOLIA C ， DIAMANTIS D E ， PAPANDRIANOS N ， et al . A lightweight convolutional neural network architecture applied for bone metastasis classification in nuclear medicine： a case study on prostate cancer patients ［J］. Healthcare ， 2020 ， 8 （ 4 ）： 493 . doi: 10.3390/healthcare8040493 http://dx.doi.org/10.3390/healthcare8040493

LIN Q ， CAO C G ， LI T T ， et al . dSPIC： a deep SPECT image classification network for automated multi-disease， multi-lesion diagnosis ［J］. BMC Medical Imaging ， 2021 ， 21 （ 1 ）： 122 . doi: 10.1186/s12880-021-00653-w http://dx.doi.org/10.1186/s12880-021-00653-w

ABDOLLAHI B ， TOMITA N ， HASSANPOUR S . Data augmentation in training deep learning models for medical image analysis ［J］. Intelligent Systems Reference Library ， 2020 ： 167 - 180 . doi: 10.1007/978-3-030-42750-4_6 http://dx.doi.org/10.1007/978-3-030-42750-4_6

PADMAVATHI KORA . Transfer learning techniques for medical image analysis： a review ［J］. Biocybernetics and Biomedical Engineering ， 2022 ， 42 （ 1 ）： 79 - 107 . doi: 10.1016/j.bbe.2021.11.004 http://dx.doi.org/10.1016/j.bbe.2021.11.004

TEHSEEN ZIA . VANT-GAN： adversarial learning for discrepancy-based visual attribution in medical imaging ［J］. Pattern Recognition Letters ， 2022 ， 156 ： 112 - 118 . doi: 10.1016/j.patrec.2022.02.005 http://dx.doi.org/10.1016/j.patrec.2022.02.005

WU C M ， ZENG Z . A fault diagnosis method based on Auxiliary Classifier Generative Adversarial Network for rolling bearing ［J］. PLoS One ， 2021 ， 16 （ 3 ）： e0246905 . doi: 10.1371/journal.pone.0246905 http://dx.doi.org/10.1371/journal.pone.0246905

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［J］. Lecture Notes in Computer Science ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

HOU Q B ， ZHOU D Q ， FENG J S . Coordinate Attention for Efficient Mobile Network Design ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 13708 - 13717 . doi: 10.1109/cvpr46437.2021.01350 http://dx.doi.org/10.1109/cvpr46437.2021.01350

XU J ， WANG J ， XU X ， et al . Image recognition for different developmental stages of rice by RAdam deep convolutional neural networks ［J］. Nongye Gongcheng Xuebao/Transactions of the Chinese Society of Agricultural Engineering ， 2021 ， 37 （ 8 ）： 143 - 150 .

HOWARD A ， SANDLER M ， CHEN B ， et al . Searching for MobileNetV3 ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 272，2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 1314 - 1324 . doi: 10.1109/iccv.2019.00140 http://dx.doi.org/10.1109/iccv.2019.00140

LIU K ， YU S T ， LIU S D . An improved InceptionV3 network for obscured ship classification in remote sensing images ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2020 ， 13 ： 4738 - 4747 . doi: 10.1109/jstars.2020.3017676 http://dx.doi.org/10.1109/jstars.2020.3017676

TAN M ， LE Q V . EfficientNet： Rethinking Model Scaling for Convolution Neural Networks ［C］. 36th International Conference on Machine Learning（ICML 2019 ）， Los Angeles， USA ： Proceedings of Machine Learning Research ， 2019： 6105 - 6114 .

浏览量

611

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多分支残差注意力网络的水下图像增强

半监督式野生动物夜间目标端到端检测

伪标签置信度调控结直肠癌病理图像半监督语义分割

基于注意力机制的宽波段小目标实时去模糊

融合全局信息与双域注意力机制的光学遥感飞机目标检测