Bone scintigraphic classification method based on ACGAN and transfer learning

基于ACGAN和迁移学习的骨显像分类方法 Bone scintigraphic classification method based on ACGAN and transfer learning 1 corresp first-author E-mail： 790622472@qq.com E-mail： 790622472@qq.com 余 泓(1997-)，男，四川自贡人，硕士研究生，2020年于西南石油大学获得学士学位，主要从事医学影像识别、计算机视觉、深度学习等方面的研究。E-mail：790622472@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663564&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663572&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663569&type= 22.01332855 32.00399780 余 泓 (1997-)，男，四川自贡人，硕士研究生，2020年于西南石油大学获得学士学位，主要从事医学影像识别、计算机视觉、深度学习等方面的研究。E-mail： 790622472@qq.com 790622472@qq.com 1 罗仁泽(1973-)，男，四川内江人，博士，四川省二级教授，1992年于西南石油大学获得学士学位，1999年于西南石油大学获得硕士学位，2005年于电子科技大学获得博士学位，主要从事信号处理与检测、地震资料处理、人工智能等方面的研究。E-mail：lrzsm1th@126.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663576&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663585&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663580&type= 22.01333618 32.00399780 罗仁泽 (1973-)，男，四川内江人，博士，四川省二级教授，1992年于西南石油大学获得学士学位，1999年于西南石油大学获得硕士学位，2005年于电子科技大学获得博士学位，主要从事信号处理与检测、地震资料处理、人工智能等方面的研究。E-mail： lrzsm1th@126.com lrzsm1th@126.com 2 3 1 西南石油大学 电气信息学院， 四川 成都 610500 西南石油大学 电气信息学院， 四川 成都 610500 College of Electrical Engineering and Information，Southwest Petroleum University， Chengdu 610500， China College of Electrical Engineering and Information，Southwest Petroleum University， Chengdu 610500， China 宜宾市第二人民医院 核医学科， 四川 宜宾 644000 宜宾市第二人民医院 核医学科， 四川 宜宾 644000 Department of Nuclear Medicine， The No.2 People’s Hospital of Yibin， Yibin 644000， China Department of Nuclear Medicine， The No.2 People’s Hospital of Yibin， Yibin 644000， China 西南石油大学 计算机科学学院， 四川 成都 610500 西南石油大学 计算机科学学院， 四川 成都 610500 College of Computer Science， Southwest Petroleum University， Chengdu 610500， China College of Computer Science， Southwest Petroleum University， Chengdu 610500， China 由于骨显像存在样本数量有限、类别不平衡的问题，导致骨显像分类存在较大困难。为提升骨显像的分类准确率，本文提出了一种基于结合辅助分类器的生成对抗网络（ACGAN）数据生成和迁移学习的骨显像分类方法。首先，为解决骨显像类别不平衡的问题，设计了一种MU-ACGAN模型。该模型以U-Net为生成器框架，同时结合密集残差连接和通道-空间注意力机制结构来提升骨显像细节特征生成，判别器通过密集残差注意力卷积块提取骨显像特征进行判别；然后，结合传统数据增强方式进一步扩充数据量；最后，设计了一种多尺度卷积神经网络提取骨显像不同尺度的特征，提升分类效果。在模型训练过程中，采用两阶段迁移学习方式，优化模型的初始化参数、解决过拟合的问题。实验结果表明，本文提出方法分类准确率达到了85.71%，有效缓解了小样本骨显像数据集分类准确率不高的问题。 Owing to the limited availability of samples and unbalanced categories of bone images， it is difficult to classify these images. To improve the classification accuracy of bone images， this study developed a bone-image classification method based on auxiliary classifier generative adversarial network （ACGAN） data generation and transfer learning. First， an multi-attention U-Net-based ACGAN （MU-ACGAN） model was designed to address the imbalance of bone-image categories. The model uses U-Net as the generator framework and combines dense residual connection and channel-spatial attention mechanism to improve the generation of bone-image detail features. The discriminator extracts bone-image features by using a dense residual attention convolution block for discrimination. Next， the amount of data was further expanded via combination with traditional data enhancement methods. Finally， a multi-scale convolutional neural network was designed to extract the features at different scales of bone imaging so as to improve the classification effect. In the model training process， a two-stage transfer learning method was adopted to optimize the initialization parameters of the model and address the problem of overfitting. Experimental results indicate that the classification accuracy of the proposed method reaches 85.71%， effectively alleviating the problem of low classification accuracy on small sample bone-image datasets. 骨显像 结合辅助分类器的生成对抗网络（ACGAN） 迁移学习 注意力机制 数据增强 bone scintigraphy Auxiliary Classifier Generative Adversarial Networks（ACGAN） transfer learning attention mechanism data augmentation 1 引 言 1 在全球范围内，骨转移肿瘤已经成为引起癌症患者死亡的重要原因。核医学中诊断骨转移肿瘤的手段有电子计算机断层扫描（Computed Tomography，CT） ［ 1 1 ］ 、全身磁共振显像（Magnetic Resonance Imaging，MRI） ［ 2 2 ］ 和单光子发射计算机断层成像（Single-Photon Emission Computed Tomography ， SPECT） ［ 3 3 ］ 。其中，SPECT骨显像具有成本低、灵敏度高、成像视野广等优势，成为判断骨转移肿瘤最为重要的检查手段。目前，医生主要依靠阅片经验和其他辅助信息（如文本信息）来判断骨显像病灶的类型，存在一定的主观性、重复性以及分析不足的问题。 为了能辅助医师进行快速、客观地诊断，近年来许多研究者开始将机器学习算法和数字图像处理技术应用至骨显像中来实现自动识别。May等人 ［ 4 4 ］ 借助人工神经网络（Artificial Neural Network，ANN）对骨显像病灶进行分类，并应用至计算机辅助诊断系统（Computer Aided Diagnosis， CAD）。Aslantaş等人 ［ 5 5 ］ 提出一种CAD诊断系统——“CADBOSS”，该系统使用图像网格化方法提取病灶区域特征，然后借助ANN分类器对特征进行分类，判断是否存在骨转移。Mihaela等人 ［ 6 6 ］ 结合边缘分割算法和lambda-schedule算法提取骨显像病灶的纹理及空间特征，并使用k-最近邻算法（k-Nearest Neighbor，KNN）和支持向量机（Support Vector Machine， SVM）对病灶类别进行判断。Elfarra等人 ［ 7 7 ］ 运用平行六面体分类方法来生成放射性核素分布映射图，以此对骨显像进行分类。Wang等人 ［ 8 8 ］ 使用SPSS和SPSS Modeler的统计软件包对骨显像进行数据分析和模型开发，比较了逻辑回归（Logistic Regression， LR）、决策树（Decision Tree， DT）以及支持向量机（SVM）三种机器学习算法的分类效果。总之，传统数字图像处理技术虽能实现自动识别，但精度不高；传统机器学习算法分类准确率有所提升，但是计算效率、特异性较低。 近年来，深度学习在医学图像分析领域逐渐开始被研究与应用。其中，部分学者开始将卷积神经网络（Convolutional Neural Networks， CNN） ［ 9 9 ］ 应用至骨显像分类任务中。Zheng等 ［ 10 10 ］ 通过旋转、镜像、平移的方式对小样本骨显像数据集进行数据增强，并对比了不同深度的VGG模型分类效果，准确率、召回率、F1得分均达到了90%以上。Nikolaos等人 ［ 11 11 ］ 对CNN超参数进行微调，将模型性能调至最佳，然后采用VGG16；ResNet50；GoogleNet和MobileNet模型对前列腺癌患者的骨显像进行良、恶性判断。Charis等人 ［ 12 12 ］ 为减轻网络计算量，以轻量级全卷积神经网络（LB-FCN）为基础框架，同时减少浮点运算来进一步减轻运算负担，相比于ResNet、VGG16、MobileNet，该框架在骨显像分类任务中取得了更出色的效果。Lin等人 ［ 13 13 ］ 提出一种自定义CNN模型来识别骨显像种类（健康、骨转移或关节炎），并使用了传统数据增强和DCGAN进行数据增强，识别准确率达到了70%以上。可以看出，目前的主要研究的针对的是单一疾病的分类方法。当对骨显像进行多分类（如健康、骨转移肿瘤、良性改变三类）时，存在准确率严重下降的问题。 由于SPECT骨显像数据稀缺、标注费时，难以建立大型的数据库。因此，自制的骨显像数据集存在类别不均衡、数据量有限的问题。数据增强 ［ 14 14 ］ 和迁移学习 ［ 15 15 ］ 两种技术能够极大程度缓解小样本数据集带来的影响。数据增强技术通过图像几何变换、图像增强或生成对抗网络（Generative Adversarial Networks， GAN） ［ 16 16 ］ 等数据生成手段来扩充样本数量。迁移学习技术通过将其他样本中的信息特征迁移至目标数据集中，以此缓解小样本数据集中信息量有限的问题。 本文充分考虑小样本骨显像数据集的特点，提出一种结合辅助分类器的生成对抗网络（Auxiliary Classifier Generative Adversarial Networks， ACGAN） ［ 17 17 ］ 和迁移学习的分类方法。首先，本文设计了一种MU-ACGAN对骨显像数据集进行过采样，解决骨显像不平衡的问题。其中，MU-ACGAN的生成器以U-Net模型为框架，同时设计了密集残差连接和双输入的残差注意力门控制结构来提升骨显像的细节生成效果；判别器采用密集残差注意力卷积块进行特征提取。然后，同时结合传统数据增强方式扩充数据集量。最后，采用多尺度CNN模型进行分类识别。在模型训练过程中，采取两阶段迁移学习策略对模型进行训练，防止出现过拟合现象。在自建骨显像数据集上的实验结果表明，本文提出的方法能够显著提升分类效果，准确率达到了85.71%。 2 相关原理 1 2.1　ACGAN模型 2 GAN是一种基于对抗学习的深度学习模型。GAN通过向生成器输入随机噪声 <math id="M1"><mi>z</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663743&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663738&type= 1.77800000 2.79399991 来生成新数据 <math id="M2"><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663783&type= 8.38199997 3.55599999 ，让判别器 <math id="M3"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663660&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663655&type= 2.96333337 2.79399991 判断 <math id="M4"><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663783&type= 8.38199997 3.55599999 的真假，并将结果重新反馈给生成器 <math id="M5"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663669&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663664&type= 2.87866688 2.79399991 与判别器 <math id="M6"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663660&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663655&type= 2.96333337 2.79399991 。在 <math id="M7"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663669&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663664&type= 2.87866688 2.79399991 与 <math id="M8"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663660&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663655&type= 2.96333337 2.79399991 相互对抗、博弈的过程中，两个模型会不断优化自身参数，引导 <math id="M9"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663669&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663664&type= 2.87866688 2.79399991 捕获真实样本 <math id="M10"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663713&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663709&type= 2.20133328 2.79399991 的分布规律，生成能够以假乱真的新样本 <math id="M11"><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663783&type= 8.38199997 3.55599999 ，最终达到平衡状态。整个过程可以表示为： <math display="block" id="M12"><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>G</mi></mrow></munder><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>D</mi></mrow></munder><mi>V</mi><mo stretchy="false">(</mo><mi>D</mi><mo>,</mo><mi>G</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>-</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mi>D</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>z</mi><mo>-</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>D</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663696&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663691&type= 113.36865997 5.33400011 ， 其中： <math id="M13"><mi>z</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663743&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663738&type= 1.77800000 2.79399991 表示输入噪声； <math id="M14"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663713&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663709&type= 2.20133328 2.79399991 表示真实样本； <math id="M15"><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663725&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663720&type= 8.38199997 3.55599999 ， <math id="M16"><mi>D</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663734&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663730&type= 8.89000034 3.55599999 分别表示生成器通过噪声 <math id="M17"><mi>z</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663743&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663738&type= 1.77800000 2.79399991 生成的样本和判别器判断其为真实样本的概率； <math id="M18"><mi>D</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663770&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663762&type= 14.81666565 3.55599999 表示判别器判别生成样本 <math id="M19"><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663783&type= 8.38199997 3.55599999 为真实样本的概率。当 <math id="M20"><mi>D</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663770&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663762&type= 14.81666565 3.55599999 越接近1时， <math id="M21"><mi>V</mi><mo stretchy="false">(</mo><mi>D</mi><mo>,</mo><mi>G</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663778&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663773&type= 14.56266594 3.55599999 越小，表明生成样本 <math id="M22"><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663783&type= 8.38199997 3.55599999 越接近真实样本； 传统GAN模型只能生成某一类型的数据，而SPECT骨显像分类问题包含健康、骨转移肿瘤、良性改变三种类别。判别器不仅需要判别输入骨显像的真实性，还需要对其类别进行判断。因此，本文采用ACGAN模型为基本框架，其原理如 图1 图1 所示。ACGAN通过在生成器的输入端加入与样本相对应的类别信息来指导模型训练，同时在判别器中新增了一个全连接层预测生成图像的类别。ACGAN的目标函数如 式（2） 式（2） 和 式（3） 式（3） 所示： <math display="block" id="M23"><msub><mrow><mi>L</mi></mrow><mrow><mi>S</mi></mrow></msub><mo>=</mo><mi>E</mi><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mi>P</mi><mo stretchy="false">(</mo><mi>S</mi><mo>=</mo><mi>r</mi><mi>e</mi><mi>a</mi><mi>l</mi><mo stretchy="false">|</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>+</mo><mi>E</mi><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mi>P</mi><mo stretchy="false">(</mo><mi>S</mi><mo>=</mo><mi>f</mi><mi>a</mi><mi>k</mi><mi>e</mi><mo stretchy="false">|</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">k</mi><mi mathvariant="normal">e</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663799&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663793&type= 89.91600037 4.91066647 ， <math display="block" id="M24"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi>C</mi></mrow></msub><mo>=</mo><mi>E</mi><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mi>P</mi><mo stretchy="false">(</mo><mi>C</mi><mo>=</mo><mi>c</mi><mo stretchy="false">|</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>+</mo></mtd></mtr><mtr><mtd><mi>E</mi><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mi>P</mi><mo stretchy="false">(</mo><mi>C</mi><mo>=</mo><mi>c</mi><mo stretchy="false">|</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">k</mi><mi mathvariant="normal">e</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663809&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663804&type= 46.39733505 10.58333302 ， 其中： <math id="M25"><msub><mrow><mi>L</mi></mrow><mrow><mi>S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663817&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663814&type= 3.80999994 3.72533321 表示判别真假的损失； <math id="M26"><msub><mrow><mi>L</mi></mrow><mrow><mi>C</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663824&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663820&type= 3.97933316 3.72533321 表示判别类别的损失； <math id="M27"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">k</mi><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663833&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663830&type= 6.26533365 3.72533321 表示生成的骨显像； <math id="M28"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663845&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663838&type= 5.84200001 3.72533321 表示训练集中的真实骨显像。 <math display="block" id="M29"><msub><mrow><mi>L</mi></mrow><mrow><mi>G</mi></mrow></msub><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>-</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663854&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663850&type= 20.40466690 3.72533321 ， <math display="block" id="M30"><msub><mrow><mi>L</mi></mrow><mrow><mi>D</mi></mrow></msub><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663862&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663857&type= 20.40466690 3.80999994 . 在训练阶段，ACGAN通过最大化 <math id="M31"><msub><mrow><mi>L</mi></mrow><mrow><mi>S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663888&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663883&type= 3.80999994 3.72533321 + <math id="M32"><msub><mrow><mi>L</mi></mrow><mrow><mi>C</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663899&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663894&type= 3.97933316 3.72533321 来训练判别器 D 和最小化 <math id="M33"><msub><mrow><mi>L</mi></mrow><mrow><mi>C</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663910&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663903&type= 3.97933316 3.72533321 - <math id="M34"><msub><mrow><mi>L</mi></mrow><mrow><mi>S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663918&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663913&type= 3.80999994 3.72533321 来训练生成器 G 。 2.2　迁移学习 2 迁移学习是一种将源域的已有知识迁移至新目标域中的方法，这种方法能够降低训练的成本、克服数据稀缺和训练耗时的问题。迁移学习可以定义为：给定源域 <math id="M35"><msub><mrow><mi>D</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663931&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663923&type= 3.80999994 3.72533321 、学习任务 <math id="M36"><msub><mrow><mi>T</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663939&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663934&type= 3.38666677 3.72533321 以及相应目标域 <math id="M37"><msub><mrow><mi>D</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663949&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663944&type= 3.72533321 3.72533321 和 <math id="M38"><msub><mrow><mi>T</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663953&type= 3.30200005 3.72533321 ，通过 <math id="M39"><msub><mrow><mi>D</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663966&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663963&type= 3.80999994 3.72533321 和 <math id="M40"><msub><mrow><mi>T</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663976&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663971&type= 3.38666677 3.72533321 已有的学习知识来提升 <math id="M41"><msub><mrow><mi>D</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663985&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663980&type= 3.72533321 3.72533321 中的目标函数 <math id="M42"><mi>f</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663994&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41663989&type= 7.02733374 3.97933316 的效果。一种常用的迁移学习方法为参数迁移，参数迁移分为两个阶段。在第一阶段中，将模型放置源域进行预训练。在第二阶段中，将从源域中学习到的模型参数迁移至新的数据集中，通过小幅度调整让模型能够适用于新的数据集和任务。 3 本文方法 1 3.1　总体流程 2 本文提出方法的整体流程见 图2 图2 ，主要包含4个部分：（1）GAN过采样：设计了一种MU-ACGAN来生成高质量、不同类别的骨显像，均衡各类别骨显像的比例。（2）传统数据增强：通过旋转、平移、镜像、加噪的方式来进一步扩充数据量。（3）多尺度CNN分类器：采用多尺度CNN模型提取骨显像不同尺度的特征，提升骨显像的分类效果。（4）迁移学习：使用两阶段迁移学习策略优化MU-ACGAN和多尺度CNN模型的训练过程。 3.2　改进ACGAN模型 2 ACGAN模型虽然能够生成不同类别的骨显像，但其网络结构中只采用了单一的卷积与上采样方式，容易造成生成骨显像的细节特征粗糙、模糊。为此，本文设计了一种结合密集残差模块和残差注意力门控结构的MU-ACGAN模型。 3 . 2 . 1　MU-ACGAN 3 如 图3 图3 （a）所示为MU-ACGAN的生成器。为更好地重建出骨显像细节特征，生成器采用4层U-Net ［ 18 18 ］ 模型为基本框架，每层都采用密集残差注意力（Residual Dense Attention， RDA）卷积块进行特征提取。在输入端，首先将骨显像类别信息嵌入批次中，随后与噪声进行特征拼接，生成一个新的特征并重塑成4种不同尺度的特征，分别作为U-Net编码端每层的输入。在编码部分，使用RDA卷积块、最大池化层对特征图进行特征提取和降采样，逐步提取到图像的高层特征。同时，为了防止降采样时会丢失掉骨显像的细节信息，将下采样后的特征和输入端重塑后的特征一起送入残差注意力门控结构（Residual Coordinate attention Gate， RCAG）。在解码部分，使用RDA卷积块和线性插值（避免棋盘效应）的方式对特征图进行特征提取和上采样，逐层将特征图恢复至原图大小。此外，在跳跃连接处采用RCAG注意力门控结构来指导高层全局特征与低层细节信息进行高效融合。最后，使用一个1×1卷积输出重建后的骨显像。 判别器模型如 图3 图3 （b）所示。首先，向模型输入生成骨显像或真实骨显像。然后，通过3个RDA卷积块来充分提取骨显像的特征信息。接着，将提取到的特征矩阵进行展平，通过全连接层1（Fully Connected Layer1， FC1）输出其真假信息、全连接层2（FC2）输出骨显像的生成/真实骨显像的类别信息。 3 . 2 . 2　双输入残差注意力门控结构（RCAG） 3 协调注意力机制（Coordinate Attention， CA） ［ 19 19 ］ 模块能够学习模型“感兴趣”的特征。与其他注意力结构不同的是，该模块通过降维的方式将特征图中的详细位置信息嵌入通道注意力中，在学习特征图空间位置信息与通道关系的同时，不会造成额外的运算负担，见 图4 图4 。 在CA模块的基础上，本文设计了一种双输入残差注意力门控结构对骨显像的高层全局特征与低层细节信息进行有效融合，见 图5 图5 。首先，将高层特征 <math id="M43"><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664043&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664037&type= 3.38666677 3.72533321 和低层特征 <math id="M44"><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664050&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664048&type= 3.38666677 3.72533321 进行拼接得到一个新的特征 <math id="M45"><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664058&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664054&type= 3.21733332 3.72533321 。然后，通过CA模块学习新特征图的空间、通道之间的联系，将得到的权重矩阵后乘以 <math id="M46"><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664065&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664062&type= 3.21733332 3.72533321 得到更新后的特征，并与 <math id="M47"><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664265&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664262&type= 3.21733332 3.72533321 进行残差融合，保留输入特征的部分信息。最后，经过1×1卷积、批量归一化（Batch Normalization， BN）和PReLU激活函数输出模块。具体原理如 式（6） 式（6） ： <math display="block" id="M48"><msub><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664076&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664073&type= 40.13199997 4.48733330 ， 其中：设两个输入特征的大小均为 <math id="M49"><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664082&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664079&type= 19.30400085 2.87866688 ； <math id="M50"><msubsup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow/></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664084&type= 3.38666677 3.97933316 、 <math id="M51"><msubsup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow/></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664093&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664090&type= 3.38666677 3.97933316 表示输入特征；concatenate表示进行特征拼接； <math id="M52"><msub><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664100&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664096&type= 2.70933342 3.72533321 表示拼接后的特征。 <math display="block" id="M53"><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>h</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>h</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>W</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mn mathvariant="normal">0</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><mi>W</mi></mrow><mrow/></munderover></mstyle><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow><mo stretchy="false">(</mo><mi>h</mi><mo>,</mo><mi>i</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664122&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664116&type= 39.96266937 8.89000034 ， <math display="block" id="M54"><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>w</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mn mathvariant="normal">0</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><mi>H</mi></mrow><mrow/></munderover></mstyle><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub></mrow><mo stretchy="false">(</mo><mi>j</mi><mo>,</mo><mi>w</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664126&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664124&type= 41.90999985 8.89000034 ， 其中： <math id="M55"><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>h</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>h</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664165&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664163&type= 8.72066593 4.65666676 表示在通道 <math id="M56"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664138&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664135&type= 1.52400005 2.79399991 中，对高度 <math id="M57"><mi>h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664144&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664141&type= 1.94733346 2.79399991 的第 <math id="M58"><mi>w</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664151&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664147&type= 2.96333337 2.79399991 行特征信息求和并取平均， 式（6） 式（6） 同理。 <math display="block" id="M59"><mi>f</mi><mo>=</mo><mi>δ</mi><mo stretchy="false">(</mo><mi>F</mi><mn mathvariant="normal">1</mn><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>h</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo stretchy="false">]</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664156&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664153&type= 32.25799942 5.07999992 ， 其中： <math id="M60"><mi>F</mi><mn mathvariant="normal">1</mn><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>h</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664160&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664158&type= 19.89666748 4.65666676 表示将 <math id="M61"><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>h</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>h</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664165&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664163&type= 8.72066593 4.65666676 和 <math id="M62"><msubsup><mrow><mi>z</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>w</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664172&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664168&type= 10.32933331 4.65666676 进行特征拼接，并进行1×1卷积运算； <math id="M63"><mi>δ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664178&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664176&type= 1.94733346 2.79399991 表示非线性变换，即BN和ReLU激活函数的组合。 <math display="block" id="M64"><msubsup><mrow><mi>g</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>h</mi></mrow></msubsup><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>h</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>f</mi></mrow><mrow><mi>h</mi></mrow></msup><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664185&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664181&type= 25.23066711 5.07999992 ， <math display="block" id="M65"><msubsup><mrow><mi>g</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>w</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>f</mi></mrow><mrow><mi>w</mi></mrow></msup><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664189&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664187&type= 26.83933067 5.07999992 . 经过split操作后，得到 <math id="M66"><msup><mrow><mi>f</mi></mrow><mrow><mi>h</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664196&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664193&type= 3.64066648 3.89466691 ， <math id="M67"><msup><mrow><mi>f</mi></mrow><mrow><mi>w</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664202&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664199&type= 4.14866638 3.89466691 ， <math id="M68"><msub><mrow><mi>F</mi></mrow><mrow><mi>h</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664207&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664204&type= 3.80999994 3.72533321 ， <math id="M69"><msub><mrow><mi>F</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664212&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664209&type= 4.31799984 3.72533321 表示再次经过1×1卷积，将特征恢复至拼接之前的大小，然后进行 <math id="M70"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664218&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664215&type= 1.86266661 2.79399991 映射（Sigmoid激活函数）。 <math display="block" id="M71"><msubsup><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>×</mo><msubsup><mrow><mi>g</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>h</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo>×</mo><msubsup><mrow><mi>g</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664225&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664221&type= 52.74732971 5.07999992 . 然后，将 <math id="M72"><msubsup><mrow><mi>g</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>h</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664232&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664229&type= 3.47133350 4.82600021 ， <math id="M73"><msubsup><mrow><mi>g</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664238&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664233&type= 4.06400013 4.82600021 作为注意力权重，通过 <math id="M74"><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>×</mo><msubsup><mrow><mi>g</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>h</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo>×</mo><msubsup><mrow><mi>g</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664242&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664239&type= 37.33800125 5.07999992 的方式对输入的特征进行权重更新； <math id="M75"><msubsup><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664249&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664247&type= 11.00666618 5.07999992 表示经过权重更新后的特征。 <math display="block" id="M76"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">δ</mi><mo stretchy="false">(</mo><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>+</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664255&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664252&type= 42.67200089 4.65666676 ， 其中： <math id="M77"><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>+</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664259&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664256&type= 11.00666618 4.06400013 表示将 <math id="M78"><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664265&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664262&type= 3.21733332 3.72533321 和更新后的 <math id="M79"><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664271&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664268&type= 4.14866638 4.23333359 进行特征融合； <math id="M80"><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mi>x</mi><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664277&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664274&type= 11.26066685 3.72533321 表示1×1卷积运算； <math id="M81"><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664283&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664280&type= 4.99533367 3.72533321 表示整个模块的输出特征。 3 . 2 . 3　密集残差注意力模块（RDA） 3 为了提升卷积的利用率，本文设计了一种结合CA模块的注意力密集残差卷积块代替原模型中的3×3卷积，见 图6 图6 。整个模块由3×3卷积、1×1卷积、PReLU激活函数、批量归一化以及CA模块构成。首先，该模块通过3个3×3卷积提取统一尺度下的不同的骨显像特征，每次卷积后都运用了BN批量归一化和PReLU激活函数来增强模型的非线性表达能力。其次，模块通过密集连接方式来汇聚统一尺度下的不同特征信息，提升卷积层的利用效率、并解决网络因过深而产生的梯度消失问题。同时，在每次特征汇聚后都采用了一个1×1卷积来压缩通道数，减轻网络运算量。第 <math id="M82"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664318&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664316&type= 1.10066664 2.79399991 层卷积的输入如 式（14） 式（14） 所示： <math display="block" id="M83"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi>H</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>⋯</mo><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664295&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664292&type= 41.74066544 4.48733330 ， 式中： <math id="M84"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664300&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664297&type= 2.96333337 3.72533321 表示第 <math id="M85"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664318&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664316&type= 1.10066664 2.79399991 层的输入， <math id="M86"><mo stretchy="false">[</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664313&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664310&type= 25.90800095 4.48733330 表示第 <math id="M87"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664318&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664316&type= 1.10066664 2.79399991 层之前的所有特征图拼接后的特征。 <math id="M88"><msub><mrow><mi>H</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664324&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664321&type= 3.80999994 3.72533321 表示非线性映射，即BN和PReLU激活函数运算的组合。 为有效利用密集连接结构所提取到的特征，在第3次特征拼接后，使用了一个CA模块来抑制提取到的无用特征，让模型重点关注细节特征的生成。最后，采用残差结构将模块提取特征与输入特征进行融合。 3.3　多尺度CNN分类模型 2 为了准确地对骨显像进行分类，本文设计了一个多尺度CNN分类模型，见 图7 图7 。模型采用在ImageNet上已经预训练好的DenseNet121，VGG16，ResNext50 3个模型同时提取骨显像的特征。其中，DenseNet121模型采用密集连接方式，解决了梯度消失的问题，随着网络层数加深，能够提取到骨显像的更深层的特征。VGG16网络层数较浅，可以提取到骨显像的浅层特征。ResNeXt50采用了多尺度和残差的连接方式，能够提取不同尺度的骨显像特征。将3个模型（去除全连接层）提取到的特征通过全局平均池化降采样至相同大小后，通过特征拼接并展平输入全连接层。最后，经过softmax层输出每类概率值，预测骨显像类别。 3.4　迁移学习 2 随着网络的层数加深、结构更为复杂时，模型的参数量也随之增加。由于骨显像的数据量较少，直接使用MU-ACGAN和多尺度CNN模型训练容易出现过拟合现象。为此，本文采用迁移学习方法现在大型数据集上进行预训练，将训练好的模型再迁移至骨显像数据集中进行分类训练，以此来解决骨显像数据量较少的问题。在第一阶段迁移中，分别采用COVID19数据集和ImageNet数据集对MU-ACGAN、多尺度CNN进行预训练。其中，COVID19数据集中有20 000张肺部图像，包含新型冠状病毒肺炎、肺混浊、正常、病毒性肺炎四类。在第二阶段迁移时，将训练好的MU-ACGAN模型在迁移至骨显像数据集进行微调，生成新的骨显像样本。然后将MU-ACGAN生成的骨显像和传统数据增强生成的骨显像一起送入已经预训练好的多尺度CNN模型，微调模型参数，最后预测骨显像类别。 4 预处理及模型训练 1 4.1　数据集介绍 2 数据集一共包含178例SPECT骨显像，收集于四川省宜宾市第二人民医院核医学科。每例骨显像通过DICOM文件进行储存。为将其转化为能送入模型的图像，首先通过归一化的方式转化为灰度图，每例骨显像包含正面、背部两张图片。然后，通过自动裁剪方式得到头部、至脚部区域。最后，筛选除去受污染严重的图片，一共得到346张骨显像作为本次实验的数据样本。骨显像数据集的训练、测试的数量及比例如 表1 表1 所示。 2 Index Health Metastases Benign changes Train/Test Train/Test Train/Test Quantity 130/32 101/25 43/15 Total 162 126 58 Ratio 46.82% 36.42% 16.76% 为防止过拟合、增加数据量，本文采用旋转、平移、镜像、泊松加噪的传统数据增强对训练集骨显像进行了扩充。其中，患者拍片姿势可能不标准（如斜躺、未处于检查设备中央）会带来一定差异，故采用旋转、平移方式进行扩充；每例骨显像包含正面、背部两张图片，两张具有一定联系，故采用镜像方式进行扩充；进行检查时医师常通过减少管电流、电压来减少核辐射，会为骨显像带来泊松噪声，故采用泊松加噪方式进行扩充，消除噪声干扰。扩充后的骨显像数据量见 表2 表2 。 Class Health Metastases Benign changes Quantity 1 950 1 515 645 4.2　评价指标及参数设置 2 本文采用准确率（Accuracy）、精确率（Precision）、召回率（Recall）、特异性（Specificity）、F1分数（F1 Score）作为分类模型的评价指标，见式（15）~ 式（19） 式（19） 。其中，TP为真阳性，表示预测为正样本的正样本；FP为假阳性，表示预测为负样本的正样本；FN为真阴性，表示预测为负样本的正样本；TN为假阴性，表示预测为负样本的负样本。 <math display="block" id="M89"><mi>A</mi><mi>c</mi><mi>c</mi><mi>u</mi><mi>a</mi><mi>r</mi><mi>c</mi><mi>y</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>T</mi><mi>N</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>T</mi><mi>N</mi><mo>+</mo><mi>F</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664360&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664357&type= 55.03333664 8.12800026 ， <math display="block" id="M90"><mi>P</mi><mi>r</mi><mi>e</mi><mi>c</mi><mi>i</mi><mi>s</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664366&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664363&type= 34.37466812 8.04333401 ， <math display="block" id="M91"><mi>R</mi><mi>e</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>l</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664373&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664369&type= 30.56466866 8.04333401 ， <math display="block" id="M92"><mi>S</mi><mi>p</mi><mi>e</mi><mi>c</mi><mi>i</mi><mi>f</mi><mi>i</mi><mi>c</mi><mi>i</mi><mi>t</mi><mi>y</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>N</mi></mrow><mrow><mi>T</mi><mi>N</mi><mo>+</mo><mi>F</mi><mi>P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664377&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664376&type= 36.40666580 8.04333401 ， <math display="block" id="M93"><mi>F</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo>=</mo><mn mathvariant="normal">2</mn><mo>×</mo><mfrac><mrow><mi>P</mi><mi>r</mi><mi>e</mi><mi>c</mi><mi>i</mi><mi>s</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo>×</mo><mi>R</mi><mi>e</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>l</mi></mrow><mrow><mi>P</mi><mi>r</mi><mi>e</mi><mi>c</mi><mi>i</mi><mi>s</mi><mi>i</mi><mi>o</mi><mi>n</mi><mo>+</mo><mi>R</mi><mi>e</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>l</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664385&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=41664382&type= 50.20733261 8.04333401 . 本次实验中，使用的硬件配置为：AMD Ryzen5 3600 CPU；12 GB Nvidia GeForce RTX 3060显卡；软件环境配置：Python3.6.12，pytorch1.8.0，CUDA11.1，cuDNN8.1.0；使用RAdam ［ 20 20 ］ 优化器。在MU-ACGAN生成实验中，学习率设为0.000 2，batch size为2，迭代次数为500。在多尺度CNN分类实验中batch size设为4，迭代次数为500，损失函数采用交叉熵损失。 5 实验结果及与分析 1 5.1　MU-ACGAN生成效果 2 5 . 1 . 1　迁移策略效果 3 为验证迁移学习对模型训练的作用，本文将直接训练与采用COVID19数据集进行预训练后的MU-ACGAN生成效果进行了对比，模型的训练损失、准确率变化曲线如 图8 图8 所示。可以看出，在直接训练模型的情况下，生成器损失值波动较大，难以得到稳定；判别器损失值在前400轮下降缓慢，在第400轮后逐渐稳定；判别器准确率上升同样缓慢，在接近第500个epoch时才逐渐稳定在80%左右。采用迁移学习策略后，生成器损失在第150轮后基本稳定；判别器损失在接近200轮时便得到收敛，速度提升了近50%，并且收敛后的损失值更小；判别器训练准确率在第150轮时便达到了90%以上，速度提升了近70%，准确率提升了近10%。由此可知，迁移学习对于加速MU-ACGAN模型损失收敛、提高训练准确率具有明显的促进作用。模型生成骨显像的对比效果如 图9 图9 。未使用迁移策略时，骨显像的细节纹理特征生成效果较差，在头部、肋骨及肩胛骨处伴随有伪影生成；采用迁移学习策略后，骨显像细节特征的生成更加清晰、更接近真实图像，并且伪影消失。 5 . 1 . 2　主客观对比分析 3 为展示MU-ACGAN模型的生成效果，选取了第1轮、100轮、200轮、500轮4个轮次的骨显像生成图进行对比分析。由 图10 图10 可见：模型的输入为不同的随机噪声；在迭代次数为1次时，生成的图像中还残留着部分COVID19数据集中的CT肺部特征；在迭代次数为100次时，模型能生成骨显像的基本轮廓和病灶特征，但细节特征刻画非常模糊，出现了伪影现象；在迭代次数为200时，生成骨显像的伪影和模糊区域面积减少；在迭代次数为500时，生成骨显像的伪影、模糊区域已基本消失，并且肩胛骨、肋骨、髋骨等关节细节特征的清晰度较好。 为了进一步展示MU-ACGAN的生成效果，将MU-ACGAN和ACGAN的生成骨显像与真实骨显像进行了对比。如 图11 图11 所示，从上往下依次为ACGAN，MU-ACGAN，真实骨显像，从左至右为正常、骨转移、良性改变骨显像，每组包含正面与背部两张图片。可以看出，ACGAN由于采用单一的上采样和卷积，虽然能够生大致骨显像的轮廓，但是在肋骨、肩胛骨以及病灶区域等细节特征生成上并不理想。而骨显像的类别判定往往需要根据病灶的区域大小和病灶分布的对称性等信息来进行判定。因此，ACGAN生成的骨显像可能为后续的分类任务带来一定影响。本文设计的MU-ACGAN通过特征融合的方式结合了网络提取到的高层全局信息与低层细节特征，并且采用注意力门控结构来指导二者进行高效融合，抑制无用信息，注重细节特征的提取。相比于ACGAN，MU-ACGAN的生成骨显像在肋骨、髋骨、肩胛骨、头骨以及病灶区域的生成有了极大提升，图像质量比较接近真实骨显像。此外，MU-ACGAN更加关注胸腔特征（如肋骨、肩胛骨、肾脏和病灶）的生成，而真实骨显像的病灶主要集中在胸腔中，病理特征与真实骨显像更为相近。 为客观评价生成骨显像的质量，实验中使用结构相似度（Structural Similarity， SSIM）指数评估ACGAN和MU-ACGAN生成效果。SSIM表现了两幅图在亮度、对比度、结构三方面的相似程度，其数值越高（0~1）表明两幅图越相似。首先，将原图与生成图像缩放至相同尺寸，再将训练集中所有骨显像的对比度、亮度调至相近。然后，用每张生成骨显像与训练集中的骨显像依次计算SSIM值，在求和并取平均值后，结果见 表3 表3 ，表中对比了ACGAN，MU-ACGAN不同类别生成图的SSIM值。可以看出，ACGAN和MU-ACGAN生成骨显像SSIM均值在0.45~0.55之间。为了生成更丰富的骨显像数据，骨显像的部分结构以及细节纹理特征会发生部分改变。因此，生成图像与训练集中图像的SSIM值即不能太高也不能过低。此外，相比于ACGAN模型，MU-ACGAN生成的健康、骨转移与良性变化骨显像的SSIM分别提升了0.080 5（17.6%），0.041 2（8.1%），0.041 7（8.2%），与训练集中的骨显像结构更为相似。 Image type Health Metastases Benign changes ACGAN 0.458 5 0.516 0 0.506 8 MU-ACGAN 0.539 0 0.557 2 0.548 5 此外，从ACGAN和MU-ACGAN生成的各类骨显像中随机选取了1张骨显像与测试集骨显像进行相似度对比，其变化曲线如 图12 图12 所示。可以看出，MU-ACGAN的图片质量优于ACGAN。首先，ACGAN和MU-ACGAN的SSIM变化趋势基本相同，而MU-ACGAN的SSIM数值略高，与原骨显像的结构相似度更近。其次，测试集真实骨显像中的恶性骨转移、良性变化的SSIM变化趋势与ACGAN，MU-ACGAN基本吻合，并且与MU-ACGAN的变化更加接近。 总体来说，MU-ACGAN生成的骨显像更接近真实骨显像，能够为训练集的数据增强提供更高质量的生成样本。 5 . 1 . 3　数据增强效果对比 3 为了探究MU-ACGAN数据增强对骨显像分类结果的影响，本文设置了4个对照组。其中：数据集1为原始数据集；数据集2为ACGAN均衡后的数据集；数据集3为MU-ACGAN均衡后的数据集。此外，加入传统数据增强方式：数据集4为传统数据增强方式扩充数据集；数据集5为MU-ACGAN+传统扩充数据集。所有数据集均采用ResNet34模型进行分类。 表4 表4 为对比了ResNet34在5种数据集上的分类表现。可以看出：数据集1的分类精度仅达到0.701 3；数据集2和3采用ACGAN生成新骨显像均衡类别后，分类精度有所提升。并且在扩充数据量、分类模型相同的情况下，数据集3的各项指标提升均略高于数据集2；数据集4通过几何变换的方式扩充了数据量，消除了拍摄过程中带来的影响，分类准确率提升了0.07。数据集5将MU-ACGAN和传统数据增强方式进行结合，准确率、召回率、特异性分别提升了0.103 9，0.063，0.111 2。 Number Accuracy Precision Recall Specificity F1-socre 1 0.701 3 0.695 3 0.665 7 0.680 1 0.841 6 2 0.727 3 0.730 1 0.687 8 0.708 3 0.845 2 3 0.740 3 0.737 5 0.675 2 0.705 0 0.850 8 4 0.779 2 0.803 2 0.692 8 0.743 9 0.868 8 5 0.805 2 0.866 2 0.728 4 0.791 3 0.882 5 以上数据表明，采用GAN和传统几何变换进行数据增强的方法均能提升模型分类效果。其中，MU-ACGAN生成的骨显像质量高于ACGAN，能够更好地提升ResNet34的分类精度。当同时采用MU-ACGAN和传统几何变化进行增强时，模型分类效果最佳。 5.2　分类效果对比 2 5 . 2 . 1　迁移策略效果 3 本节实验使用未进行预训练的ResNet34模型分别对未扩充、扩充后的骨显像数据集进行了测试。从 表5 表5 可以看出在直接训练ResNet34模型的情况下，模型没有在大型数据集上学习到丰富的样本特征，加上数据量有限，骨显像分类准确率和召回率分类下降了0.207 8，0.200 8。在使用数据集5进行扩充的情况下，准确率和召回率也下降了0.064 9，0.062 3。 Type Accuracy Recall Transfer learning 0.805 2 0.728 4 Dataset5 0.662 3 0.589 9 Training directly 0.597 4 0.527 6 5 . 2 . 2　多尺度CNN消融实验 3 为验证本文设计的多尺度CNN模型对骨显像分类结果的作用，设置了一组消融实验。 表6 表6 对比了多尺度CNN中的单个分类模型在骨显像数据集（数据集4）中的识别效果，黑色加粗部分表示最好的评价。可见，多尺度CNN模型在Accuracy，Recall，F1-socre 3个指标上取得了最好的评价。相比于单独的VGG16，DenseNet121，ResNeXt50模型，accuracy分别提升了0.065，0.026，0.065。 Models Accuracy Recall F1-socre VGG16 0.766 2 0.666 3 0.743 6 DenseNet121 0.805 2 0.755 0 0.767 7 ResNext50 0.766 2 0.696 8 0.736 7 Multi-scale CNN 0.831 2 0.763 9 0.817 8 为了更好地理解上述4种模型的识别过程，采用Grad-CAM（Gradient-weighted Class Activation Mapping）技术来生成测试集中骨显像的可视化热力图。红色表示模型对此区域的关注度越高（即权重越高），黄色次之，蓝色表示模型对该区域的特征不感兴趣。骨显像的病灶区域通常集中在肩胛骨、胸骨、肋骨、盆骨等位置，因此模型应更关注这部分区域。从 图13 图13 可以看出，所有模型对背景的关注程度并不高，对病灶区域的关注程度为：多尺度CNN≈ResNeXt50 > DenseNet121 > VGG16。其中，ResNeXt50和DenseNet121的红色区域主要集中在盆骨和胸腔中，有少许集中在膝盖（可能会出现关节炎）部分。VGG16红色、黄色区域较少，红色集中在头部、胸腔，黄色出现在各个关节处，蓝色区域相较于其他3种模型更多，容易忽略对病灶区域的关注（彩图见期刊电子版）。多尺度CNN将VGG16，DenseNet121，ResNext50关注的区域进行了结合，通过CA注意力模块帮助模型关注病灶区域，热力图中的红色、黄色区域基本覆盖了各个病灶的位置，更有利于骨显像分类。 5 . 2 . 3　分类模型比较 3 为了进一步验证多尺度CNN模型的有效性，将其与近年来流行的图像分类网络ResNet34，MobileNetV3 ［ 21 21 ］ ，InceptionV3 ［ 22 22 ］ 以及EfficientNet ［ 23 23 ］ 进行了对比。每种网络均在ImageNet上进行了预训练，使用5.1.3节中的数据集4进行模型参数微调，结果见 表7 表7 。 Models Accuracy Precision Recall Specificity F1-socre ResNet34 0.779 2 0.803 2 0.692 8 0.868 8 0.743 9 MobileNetV3 0.779 2 0.785 7 0.745 9 0.875 6 0.765 2 InceptionV3 0.792 2 0.847 7 0.750 6 0.874 2 0.796 2 EfficientNet 0.805 2 0.868 4 0.741 8 0.880 6 0.800 1 Ours 0.831 2 0.879 9 0.763 9 0.899 2 0.817 8 从 表7 表7 可以看出，多尺度CNN的分类性能最优，相较于其他4种网络，分类准确率提高了0.026（3.23%）以上。主要原因是多尺度CNN通过并行的DenseNet121，VGG16，ResNext50能够提取到骨显像深层、浅层、不同尺度的特征，提升了骨显像特征的利用率。 将本文设计的分类模型应用至数据集5中，分类准确率、召回率、特异性如 表8 表8 所示。可以看出，经过MU-ACGAN过采样后，模型的Accuracy，Recall，Specificity提升了0.025 9，0.040 1，0.012 8。 图14 图14 为模型的混淆矩阵，颜色越深表示概率越高。总体来说，健康骨显像的分类效果最好，分类准确率达到90%以上；其次为骨转移骨显像，错误的病例均划分为了健康图片，原因是部分骨转移病例病灶个数较少、面积较小，容易导致分类错误；良性改变容易误分为健康图片或骨转移肿瘤，结合骨显像特点来看是因为部分图片其与健康图片差异不大，从而造成误分。部分良性改变图片包含了感染、关节炎、骨折等类型，可能出现高亮区域，与骨转移病灶特征相近。 Dataset Accuracy Recall Specificity Dataset4 0.831 2 0.763 9 0.899 2 Dataset5 0.857 1 0.804 0 0.912 0 6 结 论 1 本文针对骨显像数据集存在的分类精度不高的问题，提出了一种基于ACGAN和迁移学习的骨显像分类方法。首先，设计了一种MU-ACGAN模型对骨显像进行过采样，解决类别不均衡的问题。然后，通过旋转、平移、镜像和加噪的传统数据增强方式进一步扩充骨显像数据量。最后，采用并行卷积神经网络提取骨显像不同尺度的特征，提升分类效果。实验中，采用迁移学习策略优化模型训练，解决小样本训练信息量有限的问题。结果表明，本文提出的方法分类准确率能够达到85.71%，缓解了小样本骨显像分类精度不高的问题，能有效辅助医生进行诊断、提高诊断效率。 参考文献 FENG J X ， JIANG J . Deep learning-based chest CT image features in diagnosis of lung cancer ［J］. Computational and Mathematical Methods in Medicine ， 2022 ， 2022 ： 4153211 . doi: 10.1155/2022/4153211 http://dx.doi.org/10.1155/2022/4153211 Deep learning-based chest CT image features in diagnosis of lung cancer 张永平 ， 兰朋训 ， 周兆霞 . MRI和骨显像诊断骨转移瘤的临床价值分析 ［J］. 医学影像学杂志 ， 2017 ， 27 （ 10 ）： 2040 - 2042 . MRI和骨显像诊断骨转移瘤的临床价值分析 ZHANG Y P ， LAN P X ， ZHOU ZH X . Clinical value of MRI and bone scintigraphy in the diagnosis of bone metastases ［J］. Journal of Medical Imaging ， 2017 ， 27 （ 10 ）： 2040 - 2042 . （in Chinese） Clinical value of MRI and bone scintigraphy in the diagnosis of bone metastases MADSEN M T . Recent advances in SPECT imaging ［J］. Journal of Nuclear Medicine： Official Publication ， Society of Nuclear Medicine， 2007 ， 48 （ 4 ）： 661 - 673 . doi: 10.2967/jnumed.106.032680 http://dx.doi.org/10.2967/jnumed.106.032680 Recent advances in SPECT imaging SADIK M ， HAMADEH I ， NORDBLOM P ， et al . Computer-assisted interpretation of planar whole-body bone scans ［J］. J Nucl Med ， 2008 ， 49 （ 12 ）： 1958 - 1965 . doi: 10.2967/jnumed.108.055061 http://dx.doi.org/10.2967/jnumed.108.055061 Computer-assisted interpretation of planar whole-body bone scans ASLANTAS A ， DANDIL E ， SAǦLAM S ， et al . CADBOSS： a computer-aided diagnosis system for whole-body bone scintigraphy scans ［J］. Journal of Cancer Research and Therapeutics ， 2016 ， 12 （ 2 ）： 787 - 792 . doi: 10.4103/0973-1482.150422 http://dx.doi.org/10.4103/0973-1482.150422 CADBOSS： a computer-aided diagnosis system for whole-body bone scintigraphy scans ANTONINA M ， CALIN . Object-oriented classification approach for bone metastasis mapping from whole-body bone scintigraphy ［J］. Physica Medica ， 2021 ， 84 ： 141 - 148 . doi: 10.1016/j.ejmp.2021.03.040 http://dx.doi.org/10.1016/j.ejmp.2021.03.040 Object-oriented classification approach for bone metastasis mapping from whole-body bone scintigraphy ELFARRA F G ， CALIN M A ， PARASCA S V . Computer-aided detection of bone metastasis in bone scintigraphy images using parallelepiped classification method ［J］. Annals of Nuclear Medicine ， 2019 ， 33 （ 11 ）： 866 - 874 . doi: 10.1007/s12149-019-01399-w http://dx.doi.org/10.1007/s12149-019-01399-w Computer-aided detection of bone metastasis in bone scintigraphy images using parallelepiped classification method WANG Z Y ， WEN X T ， LU Y H ， et al . Exploiting machine learning for predicting skeletal-related events in cancer patients with bone metastases ［J］. Oncotarget ， 2016 ， 7 （ 11 ）： 12612 - 12622 . doi: 10.18632/oncotarget.7278 http://dx.doi.org/10.18632/oncotarget.7278 Exploiting machine learning for predicting skeletal-related events in cancer patients with bone metastases LU L M ， ZHANG C L ， CAO K ， et al . A multichannel CNN-GRU model for human activity recognition ［J］. IEEE Access ， 2022 ， 10 ： 66797 - 66810 . doi: 10.1109/access.2022.3185112 http://dx.doi.org/10.1109/access.2022.3185112 A multichannel CNN-GRU model for human activity recognition ZHENG Z W ， LIU L X ， CHEN X Y ， et al . Construction of Bisection Model of SPECT Bone Scan Image Based on VGGNet ［C］. 2021 IEEE International Conference on Artificial Intelligence and Industrial Design （AIID）. 2830，2021 ， Guangzhou， China. IEEE ， 2021 ： 150 - 154 . doi: 10.1109/aiid51893.2021.9456458 http://dx.doi.org/10.1109/aiid51893.2021.9456458 Construction of Bisection Model of SPECT Bone Scan Image Based on VGGNet PAPANDRIANOS N ， PAPAGEORGIOU E ， ANAGNOSTIS A ， et al . Bone metastasis classification using whole body images from prostate cancer patients based on convolutional neural networks application ［J］. PLoS One ， 2020 ， 15 （ 8 ）： e0237213 . doi: 10.1371/journal.pone.0237213 http://dx.doi.org/10.1371/journal.pone.0237213 Bone metastasis classification using whole body images from prostate cancer patients based on convolutional neural networks application NTAKOLIA C ， DIAMANTIS D E ， PAPANDRIANOS N ， et al . A lightweight convolutional neural network architecture applied for bone metastasis classification in nuclear medicine： a case study on prostate cancer patients ［J］. Healthcare ， 2020 ， 8 （ 4 ）： 493 . doi: 10.3390/healthcare8040493 http://dx.doi.org/10.3390/healthcare8040493 A lightweight convolutional neural network architecture applied for bone metastasis classification in nuclear medicine： a case study on prostate cancer patients LIN Q ， CAO C G ， LI T T ， et al . dSPIC： a deep SPECT image classification network for automated multi-disease， multi-lesion diagnosis ［J］. BMC Medical Imaging ， 2021 ， 21 （ 1 ）： 122 . doi: 10.1186/s12880-021-00653-w http://dx.doi.org/10.1186/s12880-021-00653-w dSPIC： a deep SPECT image classification network for automated multi-disease， multi-lesion diagnosis ABDOLLAHI B ， TOMITA N ， HASSANPOUR S . Data augmentation in training deep learning models for medical image analysis ［J］. Intelligent Systems Reference Library ， 2020 ： 167 - 180 . doi: 10.1007/978-3-030-42750-4_6 http://dx.doi.org/10.1007/978-3-030-42750-4_6 Data augmentation in training deep learning models for medical image analysis PADMAVATHI KORA . Transfer learning techniques for medical image analysis： a review ［J］. Biocybernetics and Biomedical Engineering ， 2022 ， 42 （ 1 ）： 79 - 107 . doi: 10.1016/j.bbe.2021.11.004 http://dx.doi.org/10.1016/j.bbe.2021.11.004 Transfer learning techniques for medical image analysis： a review TEHSEEN ZIA . VANT-GAN： adversarial learning for discrepancy-based visual attribution in medical imaging ［J］. Pattern Recognition Letters ， 2022 ， 156 ： 112 - 118 . doi: 10.1016/j.patrec.2022.02.005 http://dx.doi.org/10.1016/j.patrec.2022.02.005 VANT-GAN： adversarial learning for discrepancy-based visual attribution in medical imaging WU C M ， ZENG Z . A fault diagnosis method based on Auxiliary Classifier Generative Adversarial Network for rolling bearing ［J］. PLoS One ， 2021 ， 16 （ 3 ）： e0246905 . doi: 10.1371/journal.pone.0246905 http://dx.doi.org/10.1371/journal.pone.0246905 A fault diagnosis method based on Auxiliary Classifier Generative Adversarial Network for rolling bearing RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［J］. Lecture Notes in Computer Science ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 U-net： convolutional networks for biomedical image segmentation HOU Q B ， ZHOU D Q ， FENG J S . Coordinate Attention for Efficient Mobile Network Design ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 13708 - 13717 . doi: 10.1109/cvpr46437.2021.01350 http://dx.doi.org/10.1109/cvpr46437.2021.01350 Coordinate Attention for Efficient Mobile Network Design XU J ， WANG J ， XU X ， et al . Image recognition for different developmental stages of rice by RAdam deep convolutional neural networks ［J］. Nongye Gongcheng Xuebao/Transactions of the Chinese Society of Agricultural Engineering ， 2021 ， 37 （ 8 ）： 143 - 150 . Image recognition for different developmental stages of rice by RAdam deep convolutional neural networks HOWARD A ， SANDLER M ， CHEN B ， et al . Searching for MobileNetV3 ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 272，2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 1314 - 1324 . doi: 10.1109/iccv.2019.00140 http://dx.doi.org/10.1109/iccv.2019.00140 Searching for MobileNetV3 LIU K ， YU S T ， LIU S D . An improved InceptionV3 network for obscured ship classification in remote sensing images ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2020 ， 13 ： 4738 - 4747 . doi: 10.1109/jstars.2020.3017676 http://dx.doi.org/10.1109/jstars.2020.3017676 An improved InceptionV3 network for obscured ship classification in remote sensing images TAN M ， LE Q V . EfficientNet： Rethinking Model Scaling for Convolution Neural Networks ［C］. 36th International Conference on Machine Learning（ICML 2019 ）， Los Angeles， USA ： Proceedings of Machine Learning Research ， 2019： 6105 - 6114 . EfficientNet： Rethinking Model Scaling for Convolution Neural Networks 10.37188/OPE.20233106.0936 TP391 A 1004-924X（2023）06-0936-14 余泓,罗仁泽,陈春梦等.基于ACGAN和迁移学习的骨显像分类方法[J].光学精密工程,2023,31(06):936-949. 余泓,罗仁泽,陈春梦等.基于ACGAN和迁移学习的骨显像分类方法[J].光学精密工程,2023,31(06):936-949. YU Hong,LUO Renze,CHEN Chunmeng,et al.Bone scintigraphic classification method based on ACGAN and transfer learning[J].Optics and Precision Engineering,2023,31(06):936-949. YU Hong,LUO Renze,CHEN Chunmeng,et al.Bone scintigraphic classification method based on ACGAN and transfer learning[J].Optics and Precision Engineering,2023,31(06):936-949. 四川省科技计划资助项目（No.2019CXRC0027） 2022-07-19 2022-08-22 2023-03-25 2023-03-25 光学精密工程 6 31