基于高分辨率复合网络的皮肤病变分割

基于高分辨率复合网络的皮肤病变分割 Skin lesion segmentation based on high-resolution composite network 1 first-author 梁礼明（1967-），男，江西吉安人，教授，硕士，江西省高等学校中青年骨干教师，主要从事机器学习和医学影像方面的研究。E-mail：9119890012@jxust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772821&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772826&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772823&type= 22.01333237 32.00399780 梁礼明 （1967-），男，江西吉安人，教授，硕士，江西省高等学校中青年骨干教师，主要从事机器学习和医学影像方面的研究。E-mail： 9119890012@jxust.edu.cn 9119890012@jxust.edu.cn 1 1 2 1 corresp E-mail： wujian@jxust.edu.cn E-mail： wujian@jxust.edu.cn 吴 健（1991-），男，江西赣州人，硕士，助理研究员。主要从事医学影像和机器学习等方面研究。E-mail：wujian@jxust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772827&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772830&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772829&type= 22.01333618 32.00399780 吴 健 （1991-），男，江西赣州人，硕士，助理研究员。主要从事医学影像和机器学习等方面研究。E-mail： wujian@jxust.edu.cn wujian@jxust.edu.cn 江西理工大学 电气工程与自动化学院，江西 赣州 341000 江西理工大学 电气工程与自动化学院，江西 赣州 341000 School of Electrical Engineering and Automation，Jiangxi University of Science and Technology， Ganzhou 341000，China School of Electrical Engineering and Automation，Jiangxi University of Science and Technology， Ganzhou 341000，China 华南理工大学 计算机科学与工程学院，广东 广州 510006 华南理工大学 计算机科学与工程学院，广东 广州 510006 School of Computer Science and Engineering，South China University of Technology， Guangzhou 510006，China School of Computer Science and Engineering，South China University of Technology， Guangzhou 510006，China 针对皮肤病变图像分割时存在异物遮挡、特征信息缺失和病变区域误分割等问题，提出一种基于高分辨率复合网络的皮肤病变分割方法。该方法一是利用预处理操作细化和扩充皮肤病变图像，降低异物遮挡对网络分割性能的影响。二是利用高分辨率网络和多尺度稠密模块构建编码部分，高分辨率网络能够保证高清特征图全局传递，多尺度稠密模块能够最大化传递病变特征，减少图像特征信息缺失，精确定位皮肤病变区域。三是利用反向高分辨率网络和双残差模块构建解码部分，双残差模块在重建解码特征时能够捕获深层语义信息与空间信息，提高皮肤病变图像分割精度。在ISBI2016、ISBI2017和ISIC2018数据集上进行实验，其准确度分别为96.14%、93.72%和95.73%，Dice相似系数分别为93.16%、88.56%和92.00%，Jaccard指数分别为87.01%、77.19%和85.19%，其分割方法整体性能优于现有方法。仿真实验证明，高分辨率复合网络对皮肤病变图像具有较好的分割效果，为皮肤疾病的诊断提供了新窗口。 To address problems in foreign object occlusion， a lack of feature information， and the incorrect segmentation of lesion areas during skin lesion image segmentation， a skin lesion segmentation method based on a high-resolution composite network is proposed. First， we use a preprocessing operation to refine and expand the skin lesion image to reduce the impact of foreign object occlusion on the network segmentation performance. Subsequently， we use a high-resolution network and multi-scale dense module to construct the encoding part. The high-resolution network can ensure the global transmission of high-definition feature maps， and the multi-scale dense module can maximize the transmission of lesion features， reduce the loss of image feature information， and accurately locate skin lesion areas. Next， we use a reverse high-resolution network and double residual module to construct the decoding part. The double residual module can capture deep semantic information and spatial information when reconstructing decoding features and improve the segmentation accuracy of skin lesions images. Experiments are performed on the ISBI2016， ISBI2017， and ISIC2018 datasets， whereby the obtained accuracies are 96.14 %， 93.72 %， and 95.73 %， respectively； the Dice similarity coefficients are 93.16 %， 88.56 %， and 92.00 %， respectively； and the Jaccard indices are 87.01 %， 77.19 %， and 85.19 %， respectively， and the overall performance of the segmentation method is superior to existing methods. Simulation experiments reveal that the high-resolution composite network demonstrates a superior segmentation effect on skin lesions images， which opens new avenues for the diagnosis of skin diseases. 皮肤病变 图像分割 高分辨率网络 多尺度稠密模块 双残差模块 skin lesions image segmentation high-resolution network multi-scale dense module double residual module 1 引 言 1 皮肤癌是人类最常见的恶性肿瘤，其中黑色素瘤是最致命的皮肤病变之一。早期黑色素瘤可以通过简单的外科手术进行切除，治愈率高达95%。然而，晚期黑色素瘤致死率超过85%，可见皮肤病的早期诊断和治疗至关重要 ［ 1 1 ］ 。现在，皮肤病专家主要依靠肉眼观察和皮肤镜诊断来确定皮肤病变区域，但是受到毛发、血管和伤疤等外在干扰因素影响，即使是拥有丰富临床经验的医生也难以准确分割出皮肤病变区域。因此，迫切需要能够自动识别和自动分割皮肤病变区域的方法，以协助医疗人员诊断皮肤疾病 ［ 2 2 ］ 。 为解决皮肤病变图像难以分割的问题，业界提出传统和深度学习方法 ［ 3 3 ］ ，传统学习主要关注皮肤病变原始信息，以活动轮廓模型图像分割、阈值图像分割和支持向量机为主 ［ 4 4 - 6 6 4-6 ］ 。深度学习需要先验标记信息，利用人工标注图像对分类器进行特征训练，Ronneberger等 ［ 7 7 ］ 基于全卷积网络提出U-Net概念应用于医学图像分割，U-Net解码层能够重用相应编码层特征图，更好地融合高低级语义特征。Sun等 ［ 8 8 ］ 将高分辨率网络（High-Resolution Network，HRNet）用于语义分割，HRNet通过并行卷积和重复进行多尺度融合来保持高分辨率表示。Radman等 ［ 9 9 ］ 提出一种深度残差网络（Deep Residual Network，DResNet），利用残差网络来学习图像块与标签块间的非线性映射，并平均相邻图像块的重叠区域，以保证合成结果中高像素的一致性。Baghersalimi等 ［ 10 10 ］ 提出一种由密集模块和跳跃连接构成的高效全卷积神经网络，其中密集模块可以重用前层信息，并输出给后层，确保皮肤病变信息最大化传递。Wei等 ［ 11 11 ］ 利用分割器和判别器组成密集U型生成对抗网络，分割器中引入密集模块，确保在密集尺度范围内皮肤病变信息最大化传递，判别器中对抗性特征匹配损失可以稳定模型训练，引导注意力模块专注于多尺度病变区域。随着卷积神经网络的进一步发展，研究人员试图组合多种网络来提升皮肤病变图像的分割精度，Sarker等 ［ 12 12 ］ 提出一种基于扩张残差和金字塔池化的皮肤病变分割网络，网络中编码器依赖扩张残差网络（Dilated Residual Networks，DRN）提取病变特征，解码器依赖金字塔池化网络（Pyramid Pooling Networks，PPN）重构皮肤图像，结合DRN和PPN可以从皮肤病变图像中提取更多特征，提高网络分割性能。孟等 ［ 13 13 ］ 结合U-Net和HRNet构建一种复合网络，保持高分辨率表征的HRNet与对称结构的U-Net组合，使得网络能够充分捕捉浅层信息，提高图像分割准确率。 虽然上述方法在分割领域取得了较好的研究成果，但在分割皮肤病变图像时仍存在缺陷，文献［ 7 7 ］和文献［ 8 8 ］中网络分割皮肤病变图像精度较低，易发生病变区域误分割。文献［ 10 10 ］和文献［ 11 11 ］中密集模块能够减轻梯度消失，但随着网络层数的递增，特征图维度随之增加，带来大量浮点运算量和参数，影响模型实际应用。文献［ 12 12 ］中扩张残差能够增大卷积感受野，但是过大感受野容易导致网格效应，造成病变区域局部特征信息缺失。文献［ 13 13 ］中U-Net和HRNet只是简单叠加，解码器部分的浅层信息与深层信息不能有效融合。 针对上述存在问题，本文提出一种高分辨率复合网络（High-Resolution Composite Network，HCNet）应用于皮肤病变图像分割，HCNet由高分辨率网络和U型网络复合而成。首先预处理操作细化皮肤病变图像，增强病变皮肤与正常皮肤对比度，降低异物遮挡对病变区域的干扰。其次用改进的条件参数卷积组成多尺度稠密模块发掘病变区域的多尺度特征，增强模型对复杂目标的识别能力，条件参数卷积以函数运算卷积核的方式完成普通卷积工作，提高模型性能的同时保持高效推理。然后用混合池化模块级联编解码部分，聚合皮肤病变图像中长距离依赖关系和短距离依赖关系，提取分布紧密的语义和带状结构语义，级联方式可以减少特征缺失和增强病变像素传递。最后引入Focal Tversky Loss函数来抑制正负样本不均问题，弱化因病变区域像素占整体像素较少而引起的误分割。 2 网络构造 1 2.1　网络设计 2 传统U型网络（U-Net）中编码器和解码器对称相连，编码器部分捕获皮肤病变图像局域特征，获取目标空间信息与位置信息，解码器部分对局域像素进行预测，将目标对应到相应像素点中，重构皮肤病变图像。但是编码器存在逐层压缩特征图分辨率的情况，不能保证高分辨率图像在网络中全局传递，高分辨率网络可将高分辨率图像融进下层编码器中，实现不同分辨率图像的聚合，有利于多尺度特征的获取，优化图像浅层信息。U-Net对称结构能够提高皮肤病变像素的分类能力，HRNet可以保持皮肤病变图像高分辨率传递。因此本文用HRNet替代U型网络原编解码结构组成复合性网络，实现高分辨率图像全网络传递，进一步增强像素类别预测的准确性，网络框架设计如 图1 图1 所示。 2.2　条件参数卷积 2 深度卷积神经网络在医学影像分割任务中取得较好的性能，网络性能的改进主要来自增加模型容量和数据集预处理，增加模型容量会带来大量浮点运算和参数，导致网络训练时间过长和影响实际应用。通常添加卷积层或增加卷积大小来提高模型容量，文献［ 14 14 ］提出条件参数卷积（Conditionally Parameterized Convolutions，CondConv），以函数运算卷积核的形式来挑战普通卷积（Convolution，Conv）工作方式，达到优化模型效果，条件参数卷积工作如 图2 图2 （a）所示，普通卷积工作如 图2 图2 （b）所示。条件参数卷积一次输入可以组合多个卷积核参数，定义如 公式（1） 公式（1） ，而普通卷积组合多个卷积核参数则需要多次输入，定义如 公式（2） 公式（2） 。条件参数卷积独特的运算形式使其可以在数学上等同于普通卷积层，但只需一次卷积运算。因此在条件参数卷积中添加卷积核参数，比增加卷积数量更加合理，既可以提高模型容量和性能，又可以保持高效推理。 <math display="block" id="M1"><msub><mrow><mi>O</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mfenced open="[" close="]" separators="|"><mrow><mfenced separators="|"><mrow><msub><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋅</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><mo>⋯</mo><mo>+</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>n</mi></mrow></msub></mrow></mfenced><mi mathvariant="normal">*</mi><mi>x</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772838&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772837&type= 62.06066895 4.82600021 ， <math display="block" id="M2"><msub><mrow><mi>O</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋅</mo><mfenced separators="|"><mrow><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mi mathvariant="normal">*</mi><mi>x</mi></mrow></mfenced><mo>+</mo><mo>⋯</mo><mo>+</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>⋅</mo><mfenced separators="|"><mrow><msub><mrow><mi>W</mi></mrow><mrow><mi>n</mi></mrow></msub><mi mathvariant="normal">*</mi><mi>x</mi></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772841&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772839&type= 64.68533325 4.74133301 ， 其中： <math id="M3"><mi mathvariant="normal">*</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772843&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772842&type= 1.77800000 2.79399991 代表卷积运算， <math id="M4"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772845&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772844&type= 1.69333339 2.79399991 代表激活函数， <math id="M5"><msub><mrow><mi>α</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772847&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772846&type= 2.70933342 3.72533321 代表第 <math id="M6"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772853&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772852&type= 1.10066664 2.79399991 个梯度下降法学习的权重系数， <math id="M7"><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772851&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772850&type= 4.57200003 3.72533321 代表第 <math id="M8"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772853&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772852&type= 1.10066664 2.79399991 个卷积核参数， <math id="M9"><mi>i</mi><mo>∈</mo><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772856&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772854&type= 6.85799980 3.13266683 ， <math id="M10"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772963&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772961&type= 1.86266661 2.79399991 表示卷积核参数数量， <math id="M11"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772864&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772862&type= 2.03200006 2.79399991 代表输入数据。 输入数据由条件参数卷积、批归一化（Batch Normalization，BN）层和ReLU激活函数处理，但神经网络进行小批量样本训练时，BN层对随机小批量具有依赖性从而导致网络性能退化。Singh等 ［ 15 15 ］ 提出一种滤波器响应归一化（Filter Response Normalization，FRN），FRN独立处理批次样本的激活通道，减小样本数量对网络性能的负面影响，归一化后执行仿射变换消除归一化影响。条件参数卷积操作后产生形状为 <math id="M12"><mfenced open="[" close="]" separators="|"><mrow><mi>B</mi><mo>,</mo><mi>H</mi><mo>,</mo><mi>W</mi><mo>,</mo><mi>C</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772869&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772867&type= 20.48933220 3.97933316 的四维滤波器响应 <math id="M13"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772967&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772966&type= 2.45533323 2.79399991 ，其中 <math id="M14"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772877&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772875&type= 2.53999996 2.79399991 代表批量大小， <math id="M15"><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772880&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772879&type= 2.96333337 2.79399991 和 <math id="M16"><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772887&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772884&type= 3.80999994 2.87866688 分别代表图像的高度和宽度， <math id="M17"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772893&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772889&type= 2.62466669 2.79399991 代表滤波器数量（或称通道数量），向量 <math id="M18"><mi mathvariant="bold-italic">p</mi><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>b</mi><mi>c</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772900&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772897&type= 23.79133224 4.82600021 代表第 <math id="M19"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772906&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772904&type= 1.86266661 2.79399991 个批处理中第 <math id="M20"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772911&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772909&type= 1.52400005 2.79399991 个滤波器输出，则FRN操作如下： <math display="block" id="M21"><msup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>=</mo><mfrac><mrow><msubsup><mo>∑</mo><mrow><mi>j</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><msubsup><mrow><mi>p</mi></mrow><mrow><mi>j</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mrow><mrow><mi>H</mi><mo>×</mo><mi>W</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772916&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772914&type= 20.15066719 9.39799976 ， <math display="block" id="M22"><mover accent="true"><mi mathvariant="bold-italic">p</mi><mo>̂</mo></mover><mo>=</mo><mfrac><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mroot><mrow><msup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mi>ε</mi></mrow><mrow/></mroot></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772921&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772918&type= 20.06599998 9.56733322 ， <math display="block" id="M23"><mi>q</mi><mo>=</mo><mi>λ</mi><mover accent="true"><mi mathvariant="bold-italic">p</mi><mo>̂</mo></mover><mo>+</mo><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772926&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772924&type= 17.01799965 4.14866638 ， 其中： <math id="M24"><msup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772931&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772930&type= 3.04800010 3.04800010 是 <math id="M25"><mi mathvariant="bold-italic">p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772937&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772935&type= 1.94733346 3.64066648 的均方范数， <math id="M26"><mi>ε</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772944&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772940&type= 1.43933344 2.79399991 是常量以防止被零除， <math id="M27"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772950&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772947&type= 1.77800000 2.79399991 和 <math id="M28"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773128&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773126&type= 1.94733346 3.64066648 是学习参数， <math id="M29"><mi>j</mi><mo>∈</mo><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772960&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772957&type= 6.77333355 3.64066648 ， <math id="M30"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772963&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772961&type= 1.86266661 2.79399991 代表 <math id="M31"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772967&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772966&type= 2.45533323 2.79399991 中向量数量。 滤波器响应归一化缺乏平均中心可能导致激活过程中产生偏离零的任意偏差，偏差与ReLU激活函数结合会对学习产生负面影响，因此引用学习阈值 <math id="M32"><mi>τ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772971&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772969&type= 1.60866666 2.79399991 来改进ReLU激活函数，定义TLU激活函数来解决偏差问题，即： <math display="block" id="M33"><mi>r</mi><mo>=</mo><mi mathvariant="normal">T</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>q</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mi>q</mi><mo>,</mo><mi>τ</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772975&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772973&type= 40.21666718 3.97933316 ， <math display="block" id="M34"><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mi>q</mi><mo>,</mo><mi>τ</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mi>q</mi><mo>-</mo><mi>τ</mi><mo>,</mo><mn mathvariant="normal">0</mn><mo stretchy="false">)</mo><mo>+</mo><mi>τ</mi><mo>=</mo><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>q</mi><mo>-</mo><mi>τ</mi><mo stretchy="false">)</mo><mo>+</mo><mi>τ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772978&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772976&type= 81.02600098 3.97933316 . 2.3　多尺度稠密模块 2 本文利用改进的条件参数卷积（CondConv）设计多尺度稠密模块（Multiscale Dense Module，MDM）以优化网络框架，结构如 图3 图3 所示。多尺度稠密模块以密集网络 ［ 16 16 ］ （DenseNet）为主体，密集网络利用前馈方式将模型各层彼此相连，实现层与层间密集连接和特征重用，但随着网络层数的递增，特征图维度随之增加。因此本文设计的密集模块舍弃部分跳跃连接，并利用改进的条件参数卷积替代普通卷积，在提高模型容量和性能的同时降低网络参数。 多尺度稠密模块由四个改进的条件参数卷积（CondConv）层、一个DropBlock层和一个条纹池化层 ［ 17 17 ］ （Strip Pooling）共同组成，改进的条件参数卷积用于病变特征提取，DropBlock层通过随机丢弃方式解决过度拟合问题。编码器依赖最大池化层（Maxpooling）进行下采样，最大池化层利用正方形池化核处理密集目标，提供全局上下文信息。但是当图像中目标区域是长条形或离散分布时，正方形池化核不能很好地提取远距离特征，条纹池化层可以利用长条状池化核处理离散分布目标，提取远距离特征，捕获局部上下文信息。条纹池化层分为垂直和水平条纹池化，以像素值求平均的方式将输入特征图形状由 <math id="M35"><mi>H</mi><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772990&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772988&type= 11.59933376 2.87866688 转化为 <math id="M36"><mi>H</mi><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772999&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772996&type= 9.65200043 2.79399991 和 <math id="M37"><mn mathvariant="normal">1</mn><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773006&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773003&type= 10.49866676 2.87866688 ，然后将垂直特征图沿着左右方向进行扩容，水平特征图沿着上下方向进行扩容，最后Sigmoid激活函数获取注意力系数 ζ ∈［0，1］，注意力系数与原特征图相乘确定其像素权重，与目标任务关系越紧密的图像被保留的特征越多。密集网络使前层输出作为本层输入，并将本层输出传递给后层，实现特征信息重用，捕获密集目标，条纹池化层捕获远距离特征，使皮肤病变图像中离散分布区域和带状结构区域连接成为可能，捕获离散分布目标，密集网络和条纹池化层的结合，实现了多尺度目标的捕捉。 2.4　混合池化模块 2 皮肤病变图像经过编码层下采样后直接输入解码层中恢复图像信息，可能导致深层特征图未获得足够感受野，难以捕获深层语义信息。由条纹池化和金字塔池化 ［ 18 18 ］ 组合而成的混合池化模块 ［ 19 19 ］ （Mixed Pooling Module，MPM），可以有效地融合多尺度特征并扩大特征图感受野。其中，特征图的局部上下文信息由垂直和水平条纹池化层捕获，条纹池化层的长条状池化核使皮肤病变图像中离散分布区域和带状结构区域连接成为可能，聚合长距离依赖关系。特征图的全局上下文信息由金字塔池化层捕获，金字塔池化层的正方形池化核可以提取皮肤病变图像中分布紧密的语义，聚合短距离依赖关系，混合池化模块结构如 图4 图4 所示。 皮肤病变特征图 <math id="M38"><mi>X</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>H</mi><mo>×</mo><mi>W</mi><mo>×</mo><mi>C</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773019&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773017&type= 19.30400085 3.38666677 ， H、W 和 C 分别代表特征图的高度、宽度和通道数，为避免不相关区域信息污染，提高目标区分度，特征提取多分支单独进行。Pool_H和Pool_W表示垂直和水平条纹池化层，对皮肤病变特征图进行垂直和水平方向压缩，输出特征图 <math id="M39"><msub><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>H</mi><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mi>C</mi><mo>/</mo><mn mathvariant="normal">4</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773022&type= 21.33600044 4.23333359 和 <math id="M40"><msub><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mi>W</mi><mo>×</mo><mi>C</mi><mo>/</mo><mn mathvariant="normal">4</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773029&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773027&type= 21.75933456 4.23333359 ，并对输出特征图进行上采样（Upsample）处理，恢复图像尺寸捕获长距离依赖关系。Pool_S3和Pool_S5表示3×3和5×5的金字塔池化，对皮肤病变特征图进行不同比例的压缩，输出特征图 <math id="M41"><msub><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>H</mi><mo>/</mo><mn mathvariant="normal">3</mn><mo>×</mo><mi>W</mi><mo>/</mo><mn mathvariant="normal">3</mn><mo>×</mo><mi>C</mi><mo>/</mo><mn mathvariant="normal">4</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773036&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773032&type= 26.24666595 4.23333359 和 <math id="M42"><msub><mrow><mi>X</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>H</mi><mo>/</mo><mn mathvariant="normal">5</mn><mo>×</mo><mi>W</mi><mo>/</mo><mn mathvariant="normal">5</mn><mo>×</mo><mi>C</mi><mo>/</mo><mn mathvariant="normal">4</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773042&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773039&type= 26.24666595 4.23333359 ，输出特征图再进行上采样并与原始特征图 <math id="M43"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773048&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773045&type= 2.62466669 2.79399991 相加，捕获短距离依赖关系。最后调整通道数拼接 <math id="M44"><msub><mrow><mi>Y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773054&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773051&type= 4.06400013 3.72533321 和 <math id="M45"><msub><mrow><mi>Y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773059&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773057&type= 4.06400013 3.72533321 得到最终输出 <math id="M46"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773065&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773063&type= 2.87866688 2.79399991 ，混合池化模块实现了特征图全局信息和局部信息的整合，建立长短程依赖关系。 2.5　双残差模块 2 深层语义信息的解码十分重要，如果上采样忽略深层语义信息的重建，可能导致病变区域模糊和残缺，传统HRNet结构较为简单，难以训练复杂目标和重建细节信息，同时存在梯度消失和梯度爆炸问题，解码部分若像编码部分一样添加多尺度稠密模块会使网络结构过于臃肿。因此本文设计出双残差模块（Double Residual Module，DRM）用于图像解码特征重建，使用3×3卷积（Conv）、滤波器响应归一化（FRN）、TLU激活函数和DropBlock层来构建残差学习块，两个残差学习块组合成双残差块，如 图5 图5 所示。 2.6　损失函数 2 皮肤病变分割任务中常用Dice-coefficient Loss函数缓解类别间不平衡的影响，但该函数不能优化假阴性和假阳性权重，导致最终结果精度较高，而召回率较低。Tversky Loss ［ 20 20 ］ 函数能够平衡假阴性和假阳性，优化精度和召回率关系，但部分皮肤病变图像上存在难以区分的较小感兴趣区域（Region Of Interest，ROI）。因此在原损失函数基础上引入超参数 <math id="M47"><mi>γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773132&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773130&type= 1.94733346 3.64066648 构成Focal Tversky Loss函数，增强模型对病变区域和较小感兴趣区域之间的辨识度，更好地适应前景（病变皮肤）与背景（正常皮肤）像素比例不平衡的分割任务，新损失函数定义为： <math display="block" id="M48"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">L</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><mi>α</mi><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><mi>β</mi><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773080&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773079&type= 43.18000031 8.80533314 ， <math display="block" id="M49"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">F</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">L</mi></mrow></msub><mo>=</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">L</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi>γ</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773084&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773082&type= 27.43199921 4.65666676 ， 其中： <math id="M50"><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773162&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773161&type= 3.97933316 3.72533321 表示真阳性，正确分类皮肤病变区域像素数量； <math id="M51"><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773094&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773091&type= 4.23333359 3.72533321 表示真阴性，正确分类非皮肤病变区域像素数量； <math id="M52"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773170&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773168&type= 3.89466691 3.72533321 表示假阳性，错误分类皮肤病变区域像素数量； <math id="M53"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773104&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773102&type= 4.14866638 3.72533321 表示假阴性，错误分类非皮肤病变区域像素数量；参数 <math id="M54"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773124&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773122&type= 1.94733346 2.79399991 和 <math id="M55"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773128&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773126&type= 1.94733346 3.64066648 用来调整假阴性和假阳性权重，缓解类别间不平衡的影响；超参数 <math id="M56"><mi>γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773132&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773130&type= 1.94733346 3.64066648 用来抑制ROI干扰。 2.7　网络结构 2 皮肤病变图像具有复杂的形态结构，分割时容易丢失特征信息和误分割病变区域，为提高分割精度，本文提出高分辨率复合网络（HCNet）应用于皮肤病变图像分割，网络结构如 图6 图6 所示。HCNet由前端图像预处理（Image Preprocessing，IP）、编码器（Encode）、解码器（Decode）和混合池化模块（MPM）组成。编码器部分用来获取皮肤病变图像空间与位置信息，由多尺度稠密模块（MDM）和HRNet架构组成，对皮肤病变图像进行通道扩张和空间收缩，将尺度为256×256×3的皮肤病变图像变成16×16×512，多尺度稠密模块能够进行特征重用，HRNet能够保证高清特征图全局传递，有效地减少下采样过程中特征信息的丢失。解码器部分用来预测像素类别，重新构建皮肤病变信息，由双残差模块（DRM）和反向HRNet架构组成，对皮肤病变图像进行通道收缩和空间扩张，将16×16×512的皮肤病变图像恢复为256×256×32，双残差模块在上采样时能够发掘深层语义信息和重建细节特征，分割出边缘轮廓更加清晰的图像。混合池化模块（MPM）用于传递编解码部分底层信息，利用金字塔池化和条纹池化捕获特征图全局和局部特征，建立目标特征长短程依赖关系。网络末端是Sigmoid激活函数和Focal Tversky Loss函数，Sigmoid激活函数对前景和背景进行分类，Focal Tversky Loss函数抑制因正负样本不均而引起的误分割，使分割结果更为优异。 3 实验结果与分析 1 3.1　数据集和实验环境 2 本文采用ISBI2016数据集 ［ 21 21 ］ 、ISBI2017数据集 ［ 22 22 ］ 、ISIC2018数据集 ［ 23 23 ］ 和PH2数据集 ［ 24 24 ］ 作为实验样本。ISBI2016数据集包含900张训练图片和379张测试图片，ISBI2017数据集包含2 000张训练图片、150张验证图片和600张测试图片。ISIC2018数据集包含2 594张图片，将其划分为1 815张训练图片、259张验证图片和520张测试图片，PH2数据集包含200张图片，作为ISIC2018数据集的额外测试集。 实验仿真平台为PyCharm，实验环境为TensorFlow2.0，实验计算机配置为Intel Core TM i7-6700H CPU，Nvidia GeForce GTX 2070 GPU，16 G内存。模型采用Adam算法优化Focal Tversky Loss函数，迭代次数设置为50，初始学习率设置为1e - 5，训练批量设置为8。Focal Tversky Loss函数中参数 <math id="M57"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773124&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773122&type= 1.94733346 2.79399991 设置为0.7，参数 <math id="M58"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773128&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773126&type= 1.94733346 3.64066648 设置为0.3，超参数 <math id="M59"><mi>γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773132&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773130&type= 1.94733346 3.64066648 设置为0.75。 3.2　图像预处理 2 皮肤病变图像在收集时存在毛发遮掩、颜色差异和多病变区域现象，导致收集的图像中病变区域模糊。为提高病变区域分割准确率，本文对皮肤病变图像进行预处理操作，图像预处理步骤如下： （1）形态学操作。形态学腐蚀运算使病变区域减小，收缩目标边界以消除毛发遮掩；形态学膨胀运算使病变区域增大，恢复目标尺度以填充空洞区域；本文对存在大量毛发的皮肤病变图像进行腐蚀和膨胀运算，弱化毛发对分割精度的影响。 （2）样本扩充。ISBI2016、ISBI2017和ISIC2018数据集中样本数量较少，为防止模型在训练时产生过拟合现象，因此需要对皮肤病变图像数据集进行图片扩充，本文采用弹性变换、网格失真、水平翻转、垂直翻转、灰度变换、随机通道、旋转、转置、高斯模糊等方法来扩充图片数量，增加模型训练样本，并将皮肤病变图像分辨率调整为256×256。图像预处理部分操作如 图7 图7 所示。 3.3　评估指标 2 本文使用准确度（Accuracy， A cc ）、特异性（Specificity， S pe ）、敏感度（Sensitivity， S en ）、Jaccard指数（Jaccard Index， J ）和Dice相似系数（Dice Similarity Coefficient， D ）作为本文网络性能的评价依据。准确度揭示出正确分类像素数量与总像素数量比率的关系，特异性表示检测正常皮肤像素数量与真实正常皮肤像素数量比率的关系，敏感度表示检测病变皮肤像素数量与真实病变皮肤像素数量比率的关系，定义如下： <math display="block" id="M60"><msub><mrow><mi>A</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773141&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773139&type= 41.06333542 8.46666718 ， <math display="block" id="M61"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">e</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773146&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773143&type= 22.77533340 8.46666718 ， <math display="block" id="M62"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773150&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773148&type= 22.77533340 8.46666718 ， <math display="block" id="M63"><mi>D</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773154&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773152&type= 32.00400162 8.46666718 ， <math display="block" id="M64"><mi>J</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773158&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773156&type= 28.87133408 8.46666718 ， 其中： <math id="M65"><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773162&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773161&type= 3.97933316 3.72533321 表示真阳性，正确分类皮肤病变区域像素数量； <math id="M66"><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773167&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773165&type= 4.23333359 3.72533321 表示真阴性，正确分类非皮肤病变区域像素数量； <math id="M67"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773170&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773168&type= 3.89466691 3.72533321 表示假阳性，错误分类皮肤病变区域像素数量； <math id="M68"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773174&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773172&type= 4.14866638 3.72533321 表示假阴性，错误分类非皮肤病变区域像素数量。 3.4　不同网络主观性对比 2 为验证高分辨率复合网络（HCNet）对皮肤病变图像分割的有效性，本文选取文献［ 7 7 ］中U型网络（U-Net）、文献［ 8 8 ］中高分辨率网络（HRNet）、文献［ 25 25 ］中密集编解码结构网络（DEDNet）、文献［ 26 26 ］中综合注意卷积神经网络（CANet）与本文高分辨率复合网络（HCNet）进行指标对比。U-Net中编码器和解码器对称连接，编码器中下采样使特征图大小减半卷积核数量翻倍，解码器通过直连方式整合上采样层和编码器输入特征，恢复目标尺寸。HRNet能够将高分辨率特征图融进下层编码器中，使图像保持高分辨率传递，优化网络浅层信息。DEDNet以U型网络为基础架构，在编码部分中添加密集网络和空洞空间卷积池化金字塔，并用密集跳跃连接组合编码部分和解码部分。CANet是在U型网络中添加联合空间注意模块、通道注意模块和尺度注意模块，分别用来提高前景区域关注度、重新校准通道特征响应和强调最显著多尺度特征图。普通卷积高分辨率复合网络（CHNet）是将改进的条件参数卷积还原成普通卷积层，其余结构与本文高分辨率复合网络一致。在同样实验环境下对上述六种网络进行测试，对比结果见 表1 表1 和 表2 表2 ，最优指标加粗表示。 2 Method 5 ISBI 2016 7 ISBI 2017 Accuracy Sensitivity Specificity Dice Jaccard Accuracy Sensitivity Specificity Dice Jaccard Para/M Time/s U-Net 94.92% 93.06% 95.66% 91.18% 83.80% 92.26% 75.29% 97.50% 82.11% 69.65% 28.21 383 HRNet 94.98% 93.36% 95.62% 91.30% 83.99% 92.70% 76.35% 97.74% 83.18% 71.15% 30.79 1064 DEDNet 95.49% 93.17% 96.40% 92.10% 85.35% 93.00% 77.69% 97.73% 83.97% 72.37% 44.54 623 CANet 95.61% 94.32 % 96.12% 92.37% 85.83% 93.17% 78.59% 98.47% 84.44% 73.07% 45.55 435 CHNet 95.93% 93.46% 96.60% 92.78% 86.13% 93.56% 81.66% 98.17% 87.23% 76.26% 48.24 668 HCNet 96.14% 93.62% 97.24 % 93.16 % 87.01 % 93.72 % 83.54 % 98.52 % 88.56 % 77.19 % 33.96 497 2 Method 5 PH2 7 ISIC2018 Accuracy Sensitivity Specificity Dice Jaccard Accuracy Sensitivity Specificity Dice Jaccard Para/M Time/s U-Net 91.68% 92.33% 92.85% 89.05% 80.26% 93.56% 89.32% 95.16% 88.38% 80.18% 28.21 343 HRNet 91.73% 92.69% 90.70% 86.62% 78.34% 93.70% 89.90% 93.76% 87.10% 81.14% 30.79 978 DEDNet 92.93% 91.21% 93.75 % 89.27% 80.61% 94.74% 88.88% 95.57% 88.61% 81.55% 44.54 564 CANet 92.86% 93.32% 92.64% 89.39% 80.81% 94.87% 91.20% 94.77% 88.95% 82.09% 45.55 403 CHNet 92.94% 94.28% 92.31% 89.60% 81.16% 95.15% 90.92% 95.06% 90.59% 84.52% 48.24 594 HCNet 94.31 % 96.06 % 93.48% 91.59 % 84.48 % 95.73 % 91.67 % 97.57 % 92.00 % 85.19 % 33.96 455 表1 表1 给出本文网络和其他五种网络在ISBI2016和ISBI2017数据集上的性能指标， 表2 表2 给出本文网络和其他五种网络在PH2和ISIC2018数据集上的性能指标，综合对比本文高分辨率复合网络（HCNet）性能较优。CHNet是将改进的条件参数卷积还原成普通卷积层，其余结构和HCNet一致，在ISBI2017数据集上，HCNet网络参数（Parameter）是CHNet网络参数的70.40%，单轮训练时长（Time）是其74.40%。在ISIC2018数据集上，HCNet网络参数是CHNet网络参数的70.40%，单轮训练时长是其76.60%。可见改进的条件参数卷积既可以提高模型容量和性能，又可以保持高效推理。虽然HCNet在网络参数和单轮训练时长上不如U-Net，但在准确度、特异性、敏感度、Jaccard指数和Dice相似系数等评价指标上明显高于U-Net，能更好地平衡参数时间与分割性能关系。 在 表1 表1 和 表2 表2 中本文网络HCNet准确度均为最高，四个数据集上的准确度分别为96.14%、93.72%、94.31%和95.73%，准确度揭示出正确分类像素数量与总像素数量比率的关系，说明HCNet对皮肤病变区域像素和皮肤正常区域像素分类性能最优。Dice相似系数可以衡量标签图像与分割图像的相似程度，本文网络HCNet的Dice相似系数均为最高，四个数据集上分别为93.16%、88.56%、91.59%和92.00%，说明HCNet分割结果更加贴合真实标签，性能指标证明HCNet分割结果相比其他网络更优，病变区域误分割率更低。 图8 图8 展示出不同网络对皮肤病变图像分割的结果，图片（a）~（f）来源于ISBI2016数据集，图片（g）~（l）来源于ISBI2017数据集，从上到下依次为原始图像、标签（Ground Truth）、U-Net、HRNet、DEDNet、CANet、CHNet和HCNet分割结果。HCNet分割图对比其他网络更为优异，在图片（a）和（g）中皮肤病变区域与皮肤正常区域界线分明，对比度较高，本文网络及其他网络均可较好地分割出病变区域。在图片（d）中皮肤病变区域边界轮廓曲折复杂，U-Net和HRNet作为基础神经网络对目标特征重构能力不足、容易丢失边缘特征信息，HCNet在解码部分引入双残差模块，增强目标边缘特征重构能力，使病变区域边界轮廓准确清晰。在图片（h）中皮肤病变区域分为深色和浅色区域，在U-Net和HRNet分割结果图中，缺失的病变区域较多，CANet和CHNet只能分割出深色病变区域，忽略了浅色病变区域，说明上述网络图像特征提取能力不足，特征信息丢失情况严重，HCNet中多尺度稠密模块能够实现特征信息重用和捕获多尺度特征，使分割结果与标签基本一致。对比结果说明本文网络HCNet能够更好地提取和重构病变特征，减少特征信息缺失，使分割结果边界轮廓准确清晰。 图9 图9 中图片（a）~（f）来源于PH2数据集，图片（g）~（l）来源于ISIC2018数据集，综合分析HCNet分割图较其他网络更为优异。在图片8中皮肤病变图像中存在大量毛发，HRNet和CANet易将真实皮肤病变区域缩小或扩大，U-Net、DEDNet和CHNet受毛发影响，病变轮廓分割效果较差，本文网络HCNet预处理操作能够弱化干扰因素，降低毛发对病变区域的影响，分割出来的图像与真实标签贴合度较高，拥有更强的鲁棒性。 图10 图10 展示三个数据集上不同网络分割细节图，用红色和蓝色增强皮肤病变区域与皮肤正常区域对比度， 图10 图10 中图片（a）是对 图8 图8 中图片（c）进行放大，由黄色箭头指示位置可以看出，当皮肤病变图像中部分病变区域与正常皮肤区域相近时，HCNet中多尺度稠密模块能够重用特征捕获细节信息，分割出不明显病变区域，而其他网络易忽略浅色病变区域从而进行模糊性分割。 图10 图10 中图片（c）是对 图8 图8 中图片（j）放大，由黄色箭头指示位置可以看出，当皮肤病变图像中存在较小感兴趣区域时，U-Net、HRNet、DEDNet和CANet不能有效地辨别真实病变区域和其他影响区域，容易将较小感兴趣区域误分割为皮肤病变区域，出现多病变块，而CHNet和HCNet引入Focal Tversky Loss函数，在一定程度上辨别出二者，减少误分割。 图10 图10 中图片（e）是对 图9 图9 中图片（i）进行放大，由黄色箭头指示位置可以看出，当皮肤病变区域周围存在大量毛发时，HCNet预处理中的形态学操作通过腐蚀和膨胀运算消除毛发，弱化异物遮挡对分割精度的影响，而其他网络不是将毛发区域误分割为病变区域，就是将病变区域误分割为非病变区域，分割效果相对与本文网络较差，上述分析说明，皮肤病变图像分割时存在的异物遮挡、特征信息缺失和病变区域误分割等问题，本文网络HCNet能够有效解决。 图11 图11 给出ISBI2016数据集上的训练Dice相似系数、训练Jaccard指数、训练损失和验证损失变化曲线， 图12 图12 给出ISIC2018数据集上的训练Dice相似系数、训练Jaccard指数、训练损失和验证损失变化曲线，评价指标曲线图能够更加直观地突显HCNet优越性能。Jaccard指数可以衡量样本间的差异性，Jaccard指数越高证明网络对皮肤病变区域的识别度越好，分割正常皮肤区域与病变皮肤区域准确度越高。Dice相似系数可以衡量标签图像与分割图像的相似程度，Dice相似系数越高说明分割结果越贴合真实标签。损失函数能够衡量分割图像与标签图像不一致程度，损失越小网络拟合度越好。 图11 图11 和 图12 图12 可以看出本文网络HCNet的Jaccard指数和Dice相似系数收敛最快且数值最高，训练损失和验证损失相比其他网络更低，图中上方曲线为验证损失曲线，下方曲线为训练损失曲线。 3.5　不同网络客观性对比 2 表3 表3 给出本文网络与其他参考文献网络在ISBI2016数据集上客观对比结果，最优指标加粗表示。EXB、CUMED、Mahudr、SFU-mial和TMUteam ［ 27 27 ］ 代表ISBI2016挑战赛中排名前五的网络，与EXB相比本文网络HCNet在准确度上提高0.84%，敏感度上提高2.62%，特异性上提高0.74%，Dice相似系数上提高2.16%，Jaccard指数上提高2.71%，HCNet各项指标均高于挑战赛中第一名网络。对比其他文献，无论是在像素分割准确度、敏感度，还是Jaccard指数和Dice相似系数上本文网络指标均有较大提升。次优参考文献［ 28 28 ］提出一种反馈注意网络，反馈机制能够重用参数，丰富特征信息，降低池化操作中特征丢失，在不进行数据增强的情况下获得高质量特征图。其特异性比本文网络高0.19%，但准确度、敏感度、Dice相似系数和Jaccard指数分别比本文网络低0.05%、1.12%、0.65%和0.78%，本文网络进行皮肤病变图像预处理，在增强数据样本的同时降低外在因素干扰，实验结果分析说明数据增强具有必要性。 Method Accuracy Sensitivity Specificity Dice Jaccard EXB 95.30% 91.00% 96.50% 91.00% 84.30% CUMED 94.90% 91.10% 95.70% 89.70% 82.90% Mahudr 95.20% 88.00% 96.90% 89.50% 82.20% SFU-mial 94.40% 91.50% 95.50% 88.50% 81.10% TMUteam 94.60% 83.20% 98.70 % 88.80% 81.00% Ref.［ 29 29 ］ 95.02% 90.15% 97.00% 90.11% 83.30% Ref.［ 30 30 ］ 95.4% 92.7% 96.1% 90.8% 84.5% Ref.［ 31 31 ］ 95.7% 92.8% 96.3% 91.9% 85.5% Ref.［ 32 32 ］ 95.8% 91.4% 97.1% 91.8% 85.8% Ref.［ 33 33 ］ 95.87% 92.67% 96.42% 91.47% 85.34% Ref.［ 28 28 ］ 96.09% 92.50% 97.43% 92.51% 86.23% HCNet 96.14 % 93.62 % 97.24% 93.16 % 87.01 % 表4 表4 给出本文网络与其他参考文献网络在ISBI2017数据集上客观对比结果。文献［ 11 11 ］利用分割器和判别器组成密集U型生成对抗网络，分割器中引入密集模块，以确保在密集尺度范围内皮肤病变信息最大化传递，判别器中对抗性特征匹配损失可以稳定模型训练和引导注意模块专注于多尺度病变区域，使Jaccard指数最高80.45%，高于本文3.26%，敏感度高于本文3.80%，但本文特异性和Dice相似系数比其高5.38%和0.70%，本文网络采用多尺度稠密模块和Focal Tversky Loss函数，对抗性特征匹配损失函数侧重于敏感度，Focal Tversky Loss函数侧重于特异性，二种损失函数各有优点。文献［ 34 34 ］提出一种SkinNet，将U-Net编解码器中的普通卷积层替换为密集卷积层，并在网络最底端加入1 ~ 32扩张率的空洞卷积去扩大感受野，捕获非本地图像信息特征，SkinNet敏感度达到最高93.0%，比本文网络高9.46%，特异性比本文网络低8.02%，空洞卷积虽然能够扩大感受野，提取全局信息，但扩张率过大时，会使3×3卷积退化成1×1卷积，丢失空间上连续信息。 Method Accuracy Sensitivity Specificity Dice Jaccard Ref.［ 11 11 ］ 93.29% 87.34% 93.14% 87.86% 80.45 % Ref.［ 30 30 ］ 92.6% 82.5% 96.5% 83.0% 74.2% Ref.［ 32 32 ］ 93.8% 87.0% 96.4% 86.2% 78.3% Ref.［ 28 28 ］ 93.63% 81.06% 97.43% 84.91% 74.27% Ref.［ 34 34 ］ 93.2% 93.0 % 90.5% 85.1% 76.7% Ref.［ 35 35 ］ 93.39% 90.82% 92.68% 84.26% 74.81% Ref.［ 36 36 ］ 93.5% 83.5% 97.6% 85.9% 77.1% Ref.［ 12 12 ］ 93.6% 81.6% 98.3% 87.8% 78.2% HCNet 93.72 % 83.54% 98.52 % 88.56 % 77.19% 表5 表5 给出本文网络与其他参考文献网络在ISIC2018数据集上客观对比结果。本文网络HCNet除敏感度外，其他指标均为最高，对比其他参考文献准确度分别提升2.33%、1.15%、1.03%和0.05%。文献［ 37 37 ］将空间细节嵌入到高级语义特征中并建立远程依赖关系，原始皮肤病变图像中的信息，逐渐补充编码器中的语义和细节信息，使敏感度最高96.7%，比HCNet高5.03%，但HCNet的Dice相似系数和Jaccard指数比文献［ 37 37 ］分别高4.3%和5.79%。综合对比ISBI2016数据集、ISBI2017数据集和ISIC2018数据集结果，证明本文提出的高分辨率复合网络整体性能优于现有网络，能够充分提取特征信息和精确定位皮肤病变区域，对皮肤病变图像具有较好的分割效果。 Method Accuracy Sensitivity Specificity Dice Jaccard Ref.［ 37 37 ］ 93.4% 96.7 % 90.4% 87.7% 79.4% Ref.［ 38 38 ］ 94.58% 91.57% 95.85% 90.96% 83.42% Ref.［ 39 39 ］ 94.7% 94.2% 94.1% 90.8% 84.4% Ref.［ 40 40 ］ 95.68% 93.06% 94.69% 89.55% 83.09% HCNet 95.73 % 91.67% 97.57 % 92.00 % 85.19 % 3.6　消融实验 2 为验证高分辨率复合网络（HCNet）各模块具体作用，本文在ISBI2016和ISBI2017数据集上进行消融实验。HCNet_1是将高分辨率网络和U型网络结合，不添加其他模块，HCNet_2在HCNet_1的基础上添加多尺度稠密模块，HCNet_3在HCNet_1的基础上添加混合池化模块，HCNet_4在HCNet_1的基础上添加双残差模块，HCNet_5在HCNet_2的基础上添加双残差模块，实验结果如 表6 表6 所示。 2 Method 5 ISBI2016 5 ISBI2017 Accuracy Sensitivity Specificity Dice Jaccard Accuracy Sensitivity Specificity Dice 2 Jaccard U-Net 94.92% 93.06% 95.66% 91.18% 83.80% 92.26% 75.29% 97.50% 82.11% 2 69.65% HCNet_1 95.02% 93.46% 95.43% 91.78% 84.19% 92.96% 80.57% 97.42% 83.09% 2 72.63% HCNet_2 95.88% 93.30% 97.57 % 92.42% 86.42% 93.55% 81.69% 98.73 % 86.97% 2 75.37% HCNet_3 95.41% 95.50 % 95.35% 92.10% 85.37% 93.12% 84.95 % 97.14% 84.63% 2 74.02% HCNet_4 95.63% 93.98% 96.14% 92.22% 85.57% 93.41% 81.72% 97.62% 87.00% 2 75.26% HCNet_5 96.02% 93.42% 96.81% 93.03% 86.99% 93.68% 82.56% 98.39% 88.12% 2 77.07% HCNet 96.14 % 93.62% 97.24% 93.16 % 87.01 % 93.72 % 83.54% 98.52% 88.56 % 2 77.19 % 消融研究展示了各模块具体作用，其中HCNet_1是直接将高分辨率网络替代U型网络原编解码结构，直接复合虽然能够使分割性能指标有所提升，但是提升数值并不显著。HCNet_2在HCNet_1的基础上添加多尺度稠密模块，多尺度稠密模块利用前馈方式将模型各层彼此相连，实现层与层间密集连接和特征重用，条纹池化层通过垂直和水平条纹池化捕获多尺度特征，充分提取图像信息，精确定位出皮肤病变区域，分割性能指标有显著性提高，特异性达到最高分别为97.57%和98.73%。HCNet_3在HCNet_1的基础上添加混合池化模块，处于网络底端的混合池化模块可以扩大感受野，实现特征图全局信息和局部信息的整合，建立特征长短程依赖关系，使解码部分获取更多有用信息，敏感度达到最高分别为95.50%和84.95%。HCNet_4是在HCNet_1的基础上添加双残差模块，HCNet_5是在HCNet_2的基础上添加双残差模块，双残差模块在重建编码部分送入的信息时，能够挖掘深层语义信息，使分割出的皮肤病变图像边缘轮廓清晰。相比HCNet_4中分割指标，HCNet_5中分割指标更为优异，因为多尺度稠密模块提取出更多特征，使双残差模块重建皮肤病变图像时有更多可用信息，Dice相似系数分别为93.03%和88.12%。消融实验结果说明本文网络HCNet中多尺度稠密模块用于提高特异性，混合池化模块用于提高敏感度，双残差模块用于提高Dice相似系数。 4 结 论 1 针对皮肤病变图像分割时存在异物遮挡、特征信息缺失和病变区域误分割等问题，本文提出一种基于高分辨率复合网络的皮肤病变分割方法，以高分辨率网络为对称结构，实现高清特征图全网络传递。首先对皮肤病变图像进行细化，减少异物对分割性能的影响，再扩充图片数量避免过度拟合；其次利用正反向高分辨率网络构建编码部分和解码部分，进行皮肤病变图像特征的提取和重建，多尺度稠密模块充分提取特征，双残差模块挖掘深层语义信息，减少特征信息缺失情况；最后Focal Tversky Loss函数抑制正负样本不均引起的分割误差，从而使分割结果更为优异。在ISBI2016、ISBI2017和ISIC2018数据集上准确度分别为96.14%、93.72%和95.73%，分割性能优于现有方法，对皮肤疾病的诊断具有一定应用价值。高分辨率复合网络通过多形式卷积核建立长短程依赖关系。未来考虑通过特征图三维形状重塑来建立特征长短程依赖关系，提高皮肤病变图像分割的精度。 参考文献 WEI Z H ， SHI F ， SONG H ， et al . Attentive boundary aware network for multi-scale skin lesion segmentation with adversarial training ［J］. Multimedia Tools and Applications ， 2020 ， 79 （ 37/38 ）： 27115 - 27136 . doi: 10.1007/s11042-020-09334-2 http://dx.doi.org/10.1007/s11042-020-09334-2 Attentive boundary aware network for multi-scale skin lesion segmentation with adversarial training 任凤雷 ， 何昕 ， 魏仲慧 ， 等 . 基于DeepLabV3+与超像素优化的语义分割 ［J］. 光学 精密工程 ， 2019 ， 27 （ 12 ）： 2722 - 2729 . doi: 10.3788/ope.20192712.2722 http://dx.doi.org/10.3788/ope.20192712.2722 基于DeepLabV3+与超像素优化的语义分割 REN F L ， HE X ， WEI Z H ， et al . Semantic segmentation based on DeepLabV3+ and superpixel optimization ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 12 ）： 2722 - 2729 . （in Chinese） . doi: 10.3788/ope.20192712.2722 http://dx.doi.org/10.3788/ope.20192712.2722 Semantic segmentation based on DeepLabV3+ and superpixel optimization 秦传波 ， 宋子玉 ， 曾军英 ， 等 . 联合多尺度和注意力-残差的深度监督乳腺癌分割 ［J］. 光学 精密工程 ， 2021 ， 29 （ 4 ）： 877 - 895 . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877 联合多尺度和注意力-残差的深度监督乳腺癌分割 QIN C B ， SONG Z Y ， ZENG J Y ， et al . Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 877 - 895 . （in Chinese） . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877 Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals ZHAO C ， SHUAI R J ， MA L ， et al . Segmentation of skin lesions image based on U-Net + + ［J］. Multimedia Tools and Applications ， 2022 ， 81 （ 6 ）： 8691 - 8717 . doi: 10.1007/s11042-022-12067-z http://dx.doi.org/10.1007/s11042-022-12067-z Segmentation of skin lesions image based on U-Net + + GARG S ， JINDAL B . Skin lesion segmentation using k-mean and optimized fire fly algorithm ［J］. Multimedia Tools and Applications ， 2021 ， 80 （ 5 ）： 7397 - 7410 . doi: 10.1007/s11042-020-10064-8 http://dx.doi.org/10.1007/s11042-020-10064-8 Skin lesion segmentation using k-mean and optimized fire fly algorithm 邹永宁 ， 张智斌 ， 李琦 ， 等 . 基于Hessian矩阵和支持向量机的CT图像裂纹分割 ［J］. 光学 精密工程 ， 2021 ， 29 （ 10 ）： 2517 - 2527 . doi: 10.37188/OPE.2021.0349 http://dx.doi.org/10.37188/OPE.2021.0349 基于Hessian矩阵和支持向量机的CT图像裂纹分割 ZOU Y N ， ZHANG Z B ， LI Q ， et al . Crack detection and segmentation in CT images using Hessian matrix and support vector machine ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 10 ）： 2517 - 2527 . （in Chinese） . doi: 10.37188/OPE.2021.0349 http://dx.doi.org/10.37188/OPE.2021.0349 Crack detection and segmentation in CT images using Hessian matrix and support vector machine RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 U-net： convolutional networks for biomedical image segmentation SUN K ， ZHAO Y ， JIANG B R ， et al . High-resolution representations for labeling pixels and regions ［EB/OL］. 2019： arXiv ： 1904 .04514［cs.CV］. https：//arxiv.org/abs/1904.04514 https://arxiv.org/abs/1904.04514 High-resolution representations for labeling pixels and regions RADMAN A ， SALLAM A ， SUANDI S A . Deep residual network for face sketch synthesis ［J］. Expert Systems With Applications ， 2022 ， 190 ： 115980 . doi: 10.1016/j.eswa.2021.115980 http://dx.doi.org/10.1016/j.eswa.2021.115980 Deep residual network for face sketch synthesis BAGHERSALIMI S ， BOZORGTABAR B ， SCHMID-SAUGEON P ， et al . DermoNet： densely linked convolutional neural network for efficient skin lesion segmentation ［J］. EURASIP Journal on Image and Video Processing ， 2019 ， 2019（ 1 ）： 1 - 10 . doi: 10.1186/s13640-019-0467-y http://dx.doi.org/10.1186/s13640-019-0467-y DermoNet： densely linked convolutional neural network for efficient skin lesion segmentation WEI Z H ， SONG H ， CHEN L ， et al . Attention-based DenseUnet network with adversarial training for skin lesion segmentation ［J］. IEEE Access ， 2019 ， 7 ： 136616 - 136629 . doi: 10.1109/access.2019.2940794 http://dx.doi.org/10.1109/access.2019.2940794 Attention-based DenseUnet network with adversarial training for skin lesion segmentation SARKER M M K ， RASHWAN H A ， AKRAM F ， et al . SLSDeep： skin lesion segmentation based on dilated residual and pyramid pooling networks ［C］. Medical Image Computing and Computer Assisted Intervention-MICCAI 2018 ， 2018 ： 21 - 29 . doi: 10.1007/978-3-030-00934-2_3 http://dx.doi.org/10.1007/978-3-030-00934-2_3 SLSDeep： skin lesion segmentation based on dilated residual and pyramid pooling networks 孟颖 ， 田启川 ， 吴施瑶 . 基于U型网络复合特征的视网膜血管分割方法 ［J］. 计算机应用与软件 ， 2021 ， 38 （ 8 ）： 227 - 232， 267 . doi: 10.3969/j.issn.1000-386x.2021.08.035 http://dx.doi.org/10.3969/j.issn.1000-386x.2021.08.035 基于U型网络复合特征的视网膜血管分割方法 MENG Y ， TIAN Q C ， WU S Y . Retinal vessel segmentation method of composite feature based on u-net ［J］. Computer Applications and Software ， 2021 ， 38 （ 8 ）： 227 - 232， 267 . （in Chinese） . doi: 10.3969/j.issn.1000-386x.2021.08.035 http://dx.doi.org/10.3969/j.issn.1000-386x.2021.08.035 Retinal vessel segmentation method of composite feature based on u-net YANG B ， BENDER G ， LE Q V ， et al . CondConv： conditionally parameterized convolutions for efficient inference ［EB/OL］. 2019： arXiv ： 1904 .04971［cs.CV］. https：//arxiv.org/abs/1904.04971 https://arxiv.org/abs/1904.04971 CondConv： conditionally parameterized convolutions for efficient inference SINGH S ， KRISHNAN S . Filter response normalization layer： eliminating batch dependence in the training of deep neural networks ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 11234 - 11243 . doi: 10.1109/cvpr42600.2020.01125 http://dx.doi.org/10.1109/cvpr42600.2020.01125 Filter response normalization layer： eliminating batch dependence in the training of deep neural networks HUANG G ， LIU Z ， VAN DER MAATEN L ， et al . Densely connected convolutional networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 4700 - 4708 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243 Densely connected convolutional networks HOU Q B ， ZHANG L ， CHENG M M ， et al . Strip pooling： rethinking spatial pooling for scene parsing ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 4002 - 4011 . doi: 10.1109/cvpr42600.2020.00406 http://dx.doi.org/10.1109/cvpr42600.2020.00406 Strip pooling： rethinking spatial pooling for scene parsing ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid scene parsing network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 6230 - 6239 . doi: 10.1109/cvpr.2017.660 http://dx.doi.org/10.1109/cvpr.2017.660 Pyramid scene parsing network 汪水源 ， 侯志强 ， 王囡 ， 等 . 基于自适应模板更新与多特征融合的视频目标分割算法 ［J］. 光电工程 ， 2021 ， 48 （ 10 ）： 210193 . 基于自适应模板更新与多特征融合的视频目标分割算法 WANG S Y ， HOU Z Q ， WANG N ， et al . Video object segmentation algorithm based on adaptive template updating and multi-feature fusion ［J］. Opto-Electronic Engineering ， 2021 ， 48 （ 10 ）： 210193 . （in Chinese） Video object segmentation algorithm based on adaptive template updating and multi-feature fusion SALEHI S S M ， ERDOGMUS D ， GHOLIPOUR A . Tversky loss function for image segmentation using 3D fully convolutional deep networks ［C］. Machine Learning in Medical Imaging ， Springer ， Cham ， 2017 ： 379 - 387 . doi: 10.1007/978-3-319-67389-9_44 http://dx.doi.org/10.1007/978-3-319-67389-9_44 Tversky loss function for image segmentation using 3D fully convolutional deep networks GUTMAN D ， CODELLA N C F ， CELEBI E ， et al . Skin lesion analysis toward melanoma detection： A challenge at the international symposium on biomedical imaging （ISBI） 2016， hosted by the international skin imaging collaboration （ISIC） ［J］. arXiv preprint arXive：1605 . 01397 ， 2016 Skin lesion analysis toward melanoma detection： A challenge at the international symposium on biomedical imaging （ISBI） 2016， hosted by the international skin imaging collaboration （ISIC） CODELLA N C F ， GUTMAN D ， CELEBI E ， et al . Skin lesion analysis toward melanoma detection： A challenge at the 2017 international symposium on biomedical imaging （ISBI）， hosted by the international skin imaging collaboration （ISIC） ［C］. 2018 IEEE 15th international symposium on biomedical imaging （ISBI 2018）. IEEE ， 2018 ： 168 - 172 . doi: 10.1109/isbi.2018.8363547 http://dx.doi.org/10.1109/isbi.2018.8363547 Skin lesion analysis toward melanoma detection： A challenge at the 2017 international symposium on biomedical imaging （ISBI）， hosted by the international skin imaging collaboration （ISIC） TSCHANDL P ， ROSENDAHL C ， KITTLER H . The HAM10000 dataset， a large collection of multi-source dermatoscopic images of common pigmented skin lesions ［J］. Scientific Data ， 2018 ， 5 ： 180161 . doi: 10.1038/sdata.2018.161 http://dx.doi.org/10.1038/sdata.2018.161 The HAM10000 dataset， a large collection of multi-source dermatoscopic images of common pigmented skin lesions MENDONÇA T ， FERREIRA P M ， MARQUES J S ， et al . PH 2 - A dermoscopic image database for research and benchmarking ［C］. 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society . Osaka， Japan . IEEE ， 2013 ： 5437 - 5440 . doi: 10.1109/embc.2013.6610779 http://dx.doi.org/10.1109/embc.2013.6610779 PH2 - A dermoscopic image database for research and benchmarking QAMAR S ， AHMAD P ， SHEN L L . Dense encoder-decoder-based architecture for skin lesion segmentation ［J］. Cognitive Computation ， 2021 ， 13 （ 2 ）： 583 - 594 . doi: 10.1007/s12559-020-09805-6 http://dx.doi.org/10.1007/s12559-020-09805-6 Dense encoder-decoder-based architecture for skin lesion segmentation GU R ， WANG G T ， SONG T ， et al . CA-net： comprehensive attention convolutional neural networks for explainable medical image segmentation ［J］. IEEE Transactions on Medical Imaging ， 2021 ， 40 （ 2 ）： 699 - 711 . doi: 10.1109/tmi.2020.3035253 http://dx.doi.org/10.1109/tmi.2020.3035253 CA-net： comprehensive attention convolutional neural networks for explainable medical image segmentation 杨国亮 ， 洪志阳 ， 王志元 ， 等 . 基于改进全卷积网络的皮肤病变图像分割 ［J］. 计算机工程与设计 ， 2018 ， 39 （ 11 ）： 3500 - 3505 . 基于改进全卷积网络的皮肤病变图像分割 YANG G L ， HONG Z Y ， WANG Z Y ， et al . Image segmentation of skin lesions based on improved fully convolution network ［J］. Computer Engineering and Design ， 2018 ， 39 （ 11 ）： 3500 - 3505 . （in Chinese） Image segmentation of skin lesions based on improved fully convolution network DONG Y Y ， WANG L J ， CHENG S L ， et al . FAC-net： feedback attention network based on context encoder network for skin lesion segmentation ［J］. Sensors （Basel， Switzerland） ， 2021 ， 21 （ 15 ）： 5172 . doi: 10.3390/s21155172 http://dx.doi.org/10.3390/s21155172 FAC-net： feedback attention network based on context encoder network for skin lesion segmentation MIRIKHARAJI Z ， IZADI S ， KAWAHARA J ， et al . Deep auto-context fully convolutional neural network for skin lesion segmentation ［C］. 2018 IEEE 15th International Symposium on Biomedical Imaging . Washington， DC， USA . IEEE ， 2018 ： 877 - 880 . doi: 10.1109/isbi.2018.8363711 http://dx.doi.org/10.1109/isbi.2018.8363711 Deep auto-context fully convolutional neural network for skin lesion segmentation TONG X Z ， WEI J Y ， SUN B ， et al . ASCU-net： attention gate， spatial and channel attention U-net for skin lesion segmentation ［J］. Diagnostics （Basel， Switzerland） ， 2021 ， 11 （ 3 ）： 501 . doi: 10.3390/diagnostics11030501 http://dx.doi.org/10.3390/diagnostics11030501 ASCU-net： attention gate， spatial and channel attention U-net for skin lesion segmentation NASR-ESFAHANI E ， RAFIEI S ， JAFARI M H ， et al . Dense pooling layers in fully convolutional network for skin lesion segmentation ［J］. Computerized Medical Imaging and Graphics ， 2019 ， 78 ： 101658 . doi: 10.1016/j.compmedimag.2019.101658 http://dx.doi.org/10.1016/j.compmedimag.2019.101658 Dense pooling layers in fully convolutional network for skin lesion segmentation XIE F Y ， YANG J W ， LIU J ， et al . Skin lesion segmentation using high-resolution convolutional neural network ［J］. Computer Methods and Programs in Biomedicine ， 2020 ， 186 ： 105241 . doi: 10.1016/j.cmpb.2019.105241 http://dx.doi.org/10.1016/j.cmpb.2019.105241 Skin lesion segmentation using high-resolution convolutional neural network TANG Y J ， YANG F ， YUAN S F ， et al . A multi-stage framework with context information fusion structure for skin lesion segmentation ［C］. 2019 IEEE 16th International Symposium on Biomedical Imaging . Venice， Italy . IEEE ， 2019 ： 1407 - 1410 . doi: 10.1109/isbi.2019.8759535 http://dx.doi.org/10.1109/isbi.2019.8759535 A multi-stage framework with context information fusion structure for skin lesion segmentation VESAL S ， RAVIKUMAR N ， MAIER A . SkinNet： a deep learning framework for skin lesion segmentation ［C］. 2018 IEEE Nuclear Science Symposium and Medical Imaging Conference Proceedings . Sydney， NSW， Australia . IEEE ， 2018 ： 1 - 3 . doi: 10.1109/nssmic.2018.8824732 http://dx.doi.org/10.1109/nssmic.2018.8824732 SkinNet： a deep learning framework for skin lesion segmentation ÜNVER H M ， AYAN E . Skin lesion segmentation in dermoscopic images with combination of YOLO and GrabCut algorithm ［J］. Diagnostics （Basel， Switzerland） ， 2019 ， 9 （ 3 ）： 72 . doi: 10.3390/diagnostics9030072 http://dx.doi.org/10.3390/diagnostics9030072 Skin lesion segmentation in dermoscopic images with combination of YOLO and GrabCut algorithm LEI B Y ， XIA Z M ， JIANG F ， et al . Skin lesion segmentation via generative adversarial networks with dual discriminators ［J］. Medical Image Analysis ， 2020 ， 64 ： 101716 . doi: 10.1016/j.media.2020.101716 http://dx.doi.org/10.1016/j.media.2020.101716 Skin lesion segmentation via generative adversarial networks with dual discriminators JIN Q G ， CUI H ， SUN C M ， et al . Cascade knowledge diffusion network for skin lesion diagnosis and segmentation ［J］. Applied Soft Computing ， 2021 ， 99 ： 106881 . doi: 10.1016/j.asoc.2020.106881 http://dx.doi.org/10.1016/j.asoc.2020.106881 Cascade knowledge diffusion network for skin lesion diagnosis and segmentation RAMADAN R ， ALY S . CU-net： a new improved multi-input color U-net model for skin lesion semantic segmentation ［J］. IEEE Access ， 2022 ， 10 ： 15539 - 15564 . doi: 10.1109/access.2022.3148402 http://dx.doi.org/10.1109/access.2022.3148402 CU-net： a new improved multi-input color U-net model for skin lesion semantic segmentation WU H S ， PAN J Q ， LI Z Y ， et al . Automated skin lesion segmentation via an adaptive dual attention module ［J］. IEEE Transactions on Medical Imaging ， 2021 ， 40 （ 1 ）： 357 - 370 . doi: 10.1109/tmi.2020.3027341 http://dx.doi.org/10.1109/tmi.2020.3027341 Automated skin lesion segmentation via an adaptive dual attention module HU K ， LU J ， LEE D J ， et al . AS-net： attention synergy network for skin lesion segmentation ［J］. Expert Systems With Applications ， 2022 ， 201 ： 117112 . doi: 10.1016/j.eswa.2022.117112 http://dx.doi.org/10.1016/j.eswa.2022.117112 AS-net： attention synergy network for skin lesion segmentation 10.37188/OPE.20223016.2021 R751.05 TP183 A 1004-924X（2022）16-2021-18 梁礼明,周珑颂,冯骏等.基于高分辨率复合网络的皮肤病变分割[J].光学精密工程,2022,30(16):2021-2038. 梁礼明,周珑颂,冯骏等.基于高分辨率复合网络的皮肤病变分割[J].光学精密工程,2022,30(16):2021-2038. LIANG Liming,ZHOU Longsong,FENG Jun,et al.Skin lesion segmentation based on high-resolution composite network[J].Optics and Precision Engineering,2022,30(16):2021-2038. LIANG Liming,ZHOU Longsong,FENG Jun,et al.Skin lesion segmentation based on high-resolution composite network[J].Optics and Precision Engineering,2022,30(16):2021-2038. 国家自然科学基金项目（No.61463018，No.51365017）；江西省教育厅科学技术研究重点项目（No.GJJ170491）；江西省自然科学基金面上项目（No.20192BAB205084）；江西省研究生创新专项资金项目（No.YC2021-S585） 2022-03-13 2022-04-21 2022-08-25 2022-09-01 光学精密工程 16 30