Skin lesion segmentation based on high-resolution composite network

Liming LIANG; Longsong ZHOU; Jun FENG; Xiaoqi SHENG; Jian WU

doi:10.37188/OPE.20223016.2021

您当前的位置：

首页 >

文章列表页 >

Skin lesion segmentation based on high-resolution composite network

Information Sciences | 更新时间：2022-09-01

- Skin lesion segmentation based on high-resolution composite network
- Optics and Precision Engineering Vol. 30, Issue 16, Pages: 2021-2038(2022)
- 作者机构：
  
  1.江西理工大学电气工程与自动化学院，江西赣州 341000
  2.华南理工大学计算机科学与工程学院，广东广州 510006
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223016.2021
  CLC： R751.05;TP183
- Received：13 March 2022，
  
  Revised：21 April 2022，
  
  Published：25 August 2022
- 稿件说明：
移动端阅览
梁礼明,周珑颂,冯骏等.基于高分辨率复合网络的皮肤病变分割[J].光学精密工程,2022,30(16):2021-2038.

LIANG Liming,ZHOU Longsong,FENG Jun,et al.Skin lesion segmentation based on high-resolution composite network[J].Optics and Precision Engineering,2022,30(16):2021-2038.
梁礼明,周珑颂,冯骏等.基于高分辨率复合网络的皮肤病变分割[J].光学精密工程,2022,30(16):2021-2038. DOI： 10.37188/OPE.20223016.2021.

LIANG Liming,ZHOU Longsong,FENG Jun,et al.Skin lesion segmentation based on high-resolution composite network[J].Optics and Precision Engineering,2022,30(16):2021-2038. DOI： 10.37188/OPE.20223016.2021.

摘要

针对皮肤病变图像分割时存在异物遮挡、特征信息缺失和病变区域误分割等问题，提出一种基于高分辨率复合网络的皮肤病变分割方法。该方法一是利用预处理操作细化和扩充皮肤病变图像，降低异物遮挡对网络分割性能的影响。二是利用高分辨率网络和多尺度稠密模块构建编码部分，高分辨率网络能够保证高清特征图全局传递，多尺度稠密模块能够最大化传递病变特征，减少图像特征信息缺失，精确定位皮肤病变区域。三是利用反向高分辨率网络和双残差模块构建解码部分，双残差模块在重建解码特征时能够捕获深层语义信息与空间信息，提高皮肤病变图像分割精度。在ISBI2016、ISBI2017和ISIC2018数据集上进行实验，其准确度分别为96.14%、93.72%和95.73%，Dice相似系数分别为93.16%、88.56%和92.00%，Jaccard指数分别为87.01%、77.19%和85.19%，其分割方法整体性能优于现有方法。仿真实验证明，高分辨率复合网络对皮肤病变图像具有较好的分割效果，为皮肤疾病的诊断提供了新窗口。

Abstract

To address problems in foreign object occlusion， a lack of feature information， and the incorrect segmentation of lesion areas during skin lesion image segmentation， a skin lesion segmentation method based on a high-resolution composite network is proposed. First， we use a preprocessing operation to refine and expand the skin lesion image to reduce the impact of foreign object occlusion on the network segmentation performance. Subsequently， we use a high-resolution network and multi-scale dense module to construct the encoding part. The high-resolution network can ensure the global transmission of high-definition feature maps， and the multi-scale dense module can maximize the transmission of lesion features， reduce the loss of image feature information， and accurately locate skin lesion areas. Next， we use a reverse high-resolution network and double residual module to construct the decoding part. The double residual module can capture deep semantic information and spatial information when reconstructing decoding features and improve the segmentation accuracy of skin lesions images. Experiments are performed on the ISBI2016， ISBI2017， and ISIC2018 datasets， whereby the obtained accuracies are 96.14 %， 93.72 %， and 95.73 %， respectively； the Dice similarity coefficients are 93.16 %， 88.56 %， and 92.00 %， respectively； and the Jaccard indices are 87.01 %， 77.19 %， and 85.19 %， respectively， and the overall performance of the segmentation method is superior to existing methods. Simulation experiments reveal that the high-resolution composite network demonstrates a superior segmentation effect on skin lesions images， which opens new avenues for the diagnosis of skin diseases.

关键词

Keywords

references

WEI Z H ， SHI F ， SONG H ， et al . Attentive boundary aware network for multi-scale skin lesion segmentation with adversarial training ［J］. Multimedia Tools and Applications ， 2020 ， 79 （ 37/38 ）： 27115 - 27136 . doi: 10.1007/s11042-020-09334-2 http://dx.doi.org/10.1007/s11042-020-09334-2

任凤雷，何昕，魏仲慧，等 . 基于DeepLabV3+与超像素优化的语义分割［J］. 光学精密工程， 2019 ， 27 （ 12 ）： 2722 - 2729 . doi: 10.3788/ope.20192712.2722 http://dx.doi.org/10.3788/ope.20192712.2722

REN F L ， HE X ， WEI Z H ， et al . Semantic segmentation based on DeepLabV3+ and superpixel optimization ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 12 ）： 2722 - 2729 . （in Chinese） . doi: 10.3788/ope.20192712.2722 http://dx.doi.org/10.3788/ope.20192712.2722

秦传波，宋子玉，曾军英，等 . 联合多尺度和注意力-残差的深度监督乳腺癌分割［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 877 - 895 . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

QIN C B ， SONG Z Y ， ZENG J Y ， et al . Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 877 - 895 . （in Chinese） . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

ZHAO C ， SHUAI R J ， MA L ， et al . Segmentation of skin lesions image based on U-Net + + ［J］. Multimedia Tools and Applications ， 2022 ， 81 （ 6 ）： 8691 - 8717 . doi: 10.1007/s11042-022-12067-z http://dx.doi.org/10.1007/s11042-022-12067-z

GARG S ， JINDAL B . Skin lesion segmentation using k-mean and optimized fire fly algorithm ［J］. Multimedia Tools and Applications ， 2021 ， 80 （ 5 ）： 7397 - 7410 . doi: 10.1007/s11042-020-10064-8 http://dx.doi.org/10.1007/s11042-020-10064-8

邹永宁，张智斌，李琦，等 . 基于Hessian矩阵和支持向量机的CT图像裂纹分割［J］. 光学精密工程， 2021 ， 29 （ 10 ）： 2517 - 2527 . doi: 10.37188/OPE.2021.0349 http://dx.doi.org/10.37188/OPE.2021.0349

ZOU Y N ， ZHANG Z B ， LI Q ， et al . Crack detection and segmentation in CT images using Hessian matrix and support vector machine ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 10 ）： 2517 - 2527 . （in Chinese） . doi: 10.37188/OPE.2021.0349 http://dx.doi.org/10.37188/OPE.2021.0349

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

SUN K ， ZHAO Y ， JIANG B R ， et al . High-resolution representations for labeling pixels and regions ［EB/OL］. 2019： arXiv ： 1904 .04514［cs.CV］. https：//arxiv.org/abs/1904.04514 https://arxiv.org/abs/1904.04514

RADMAN A ， SALLAM A ， SUANDI S A . Deep residual network for face sketch synthesis ［J］. Expert Systems With Applications ， 2022 ， 190 ： 115980 . doi: 10.1016/j.eswa.2021.115980 http://dx.doi.org/10.1016/j.eswa.2021.115980

BAGHERSALIMI S ， BOZORGTABAR B ， SCHMID-SAUGEON P ， et al . DermoNet： densely linked convolutional neural network for efficient skin lesion segmentation ［J］. EURASIP Journal on Image and Video Processing ， 2019 ， 2019（ 1 ）： 1 - 10 . doi: 10.1186/s13640-019-0467-y http://dx.doi.org/10.1186/s13640-019-0467-y

WEI Z H ， SONG H ， CHEN L ， et al . Attention-based DenseUnet network with adversarial training for skin lesion segmentation ［J］. IEEE Access ， 2019 ， 7 ： 136616 - 136629 . doi: 10.1109/access.2019.2940794 http://dx.doi.org/10.1109/access.2019.2940794

SARKER M M K ， RASHWAN H A ， AKRAM F ， et al . SLSDeep： skin lesion segmentation based on dilated residual and pyramid pooling networks ［C］. Medical Image Computing and Computer Assisted Intervention-MICCAI 2018 ， 2018 ： 21 - 29 . doi: 10.1007/978-3-030-00934-2_3 http://dx.doi.org/10.1007/978-3-030-00934-2_3

孟颖，田启川，吴施瑶 . 基于U型网络复合特征的视网膜血管分割方法［J］. 计算机应用与软件， 2021 ， 38 （ 8 ）： 227 - 232， 267 . doi: 10.3969/j.issn.1000-386x.2021.08.035 http://dx.doi.org/10.3969/j.issn.1000-386x.2021.08.035

MENG Y ， TIAN Q C ， WU S Y . Retinal vessel segmentation method of composite feature based on u-net ［J］. Computer Applications and Software ， 2021 ， 38 （ 8 ）： 227 - 232， 267 . （in Chinese） . doi: 10.3969/j.issn.1000-386x.2021.08.035 http://dx.doi.org/10.3969/j.issn.1000-386x.2021.08.035

YANG B ， BENDER G ， LE Q V ， et al . CondConv： conditionally parameterized convolutions for efficient inference ［EB/OL］. 2019： arXiv ： 1904 .04971［cs.CV］. https：//arxiv.org/abs/1904.04971 https://arxiv.org/abs/1904.04971

SINGH S ， KRISHNAN S . Filter response normalization layer： eliminating batch dependence in the training of deep neural networks ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 11234 - 11243 . doi: 10.1109/cvpr42600.2020.01125 http://dx.doi.org/10.1109/cvpr42600.2020.01125

HUANG G ， LIU Z ， VAN DER MAATEN L ， et al . Densely connected convolutional networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 4700 - 4708 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243

HOU Q B ， ZHANG L ， CHENG M M ， et al . Strip pooling： rethinking spatial pooling for scene parsing ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 4002 - 4011 . doi: 10.1109/cvpr42600.2020.00406 http://dx.doi.org/10.1109/cvpr42600.2020.00406

ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid scene parsing network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 6230 - 6239 . doi: 10.1109/cvpr.2017.660 http://dx.doi.org/10.1109/cvpr.2017.660

汪水源，侯志强，王囡，等 . 基于自适应模板更新与多特征融合的视频目标分割算法［J］. 光电工程， 2021 ， 48 （ 10 ）： 210193 .

WANG S Y ， HOU Z Q ， WANG N ， et al . Video object segmentation algorithm based on adaptive template updating and multi-feature fusion ［J］. Opto-Electronic Engineering ， 2021 ， 48 （ 10 ）： 210193 . （in Chinese）

SALEHI S S M ， ERDOGMUS D ， GHOLIPOUR A . Tversky loss function for image segmentation using 3D fully convolutional deep networks ［C］. Machine Learning in Medical Imaging ， Springer ， Cham ， 2017 ： 379 - 387 . doi: 10.1007/978-3-319-67389-9_44 http://dx.doi.org/10.1007/978-3-319-67389-9_44

GUTMAN D ， CODELLA N C F ， CELEBI E ， et al . Skin lesion analysis toward melanoma detection： A challenge at the international symposium on biomedical imaging （ISBI） 2016， hosted by the international skin imaging collaboration （ISIC）［J］. arXiv preprint arXive：1605 . 01397 ， 2016

CODELLA N C F ， GUTMAN D ， CELEBI E ， et al . Skin lesion analysis toward melanoma detection： A challenge at the 2017 international symposium on biomedical imaging （ISBI）， hosted by the international skin imaging collaboration （ISIC）［C］. 2018 IEEE 15th international symposium on biomedical imaging （ISBI 2018）. IEEE ， 2018 ： 168 - 172 . doi: 10.1109/isbi.2018.8363547 http://dx.doi.org/10.1109/isbi.2018.8363547

TSCHANDL P ， ROSENDAHL C ， KITTLER H . The HAM10000 dataset， a large collection of multi-source dermatoscopic images of common pigmented skin lesions ［J］. Scientific Data ， 2018 ， 5 ： 180161 . doi: 10.1038/sdata.2018.161 http://dx.doi.org/10.1038/sdata.2018.161

MENDONÇA T ， FERREIRA P M ， MARQUES J S ， et al . PH 2 - A dermoscopic image database for research and benchmarking ［C］. 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society . Osaka， Japan . IEEE ， 2013 ： 5437 - 5440 . doi: 10.1109/embc.2013.6610779 http://dx.doi.org/10.1109/embc.2013.6610779

QAMAR S ， AHMAD P ， SHEN L L . Dense encoder-decoder-based architecture for skin lesion segmentation ［J］. Cognitive Computation ， 2021 ， 13 （ 2 ）： 583 - 594 . doi: 10.1007/s12559-020-09805-6 http://dx.doi.org/10.1007/s12559-020-09805-6

GU R ， WANG G T ， SONG T ， et al . CA-net： comprehensive attention convolutional neural networks for explainable medical image segmentation ［J］. IEEE Transactions on Medical Imaging ， 2021 ， 40 （ 2 ）： 699 - 711 . doi: 10.1109/tmi.2020.3035253 http://dx.doi.org/10.1109/tmi.2020.3035253

杨国亮，洪志阳，王志元，等 . 基于改进全卷积网络的皮肤病变图像分割［J］. 计算机工程与设计， 2018 ， 39 （ 11 ）： 3500 - 3505 .

YANG G L ， HONG Z Y ， WANG Z Y ， et al . Image segmentation of skin lesions based on improved fully convolution network ［J］. Computer Engineering and Design ， 2018 ， 39 （ 11 ）： 3500 - 3505 . （in Chinese）

DONG Y Y ， WANG L J ， CHENG S L ， et al . FAC-net： feedback attention network based on context encoder network for skin lesion segmentation ［J］. Sensors （Basel， Switzerland）， 2021 ， 21 （ 15 ）： 5172 . doi: 10.3390/s21155172 http://dx.doi.org/10.3390/s21155172

MIRIKHARAJI Z ， IZADI S ， KAWAHARA J ， et al . Deep auto-context fully convolutional neural network for skin lesion segmentation ［C］. 2018 IEEE 15th International Symposium on Biomedical Imaging . Washington， DC， USA . IEEE ， 2018 ： 877 - 880 . doi: 10.1109/isbi.2018.8363711 http://dx.doi.org/10.1109/isbi.2018.8363711

TONG X Z ， WEI J Y ， SUN B ， et al . ASCU-net： attention gate， spatial and channel attention U-net for skin lesion segmentation ［J］. Diagnostics （Basel， Switzerland）， 2021 ， 11 （ 3 ）： 501 . doi: 10.3390/diagnostics11030501 http://dx.doi.org/10.3390/diagnostics11030501

NASR-ESFAHANI E ， RAFIEI S ， JAFARI M H ， et al . Dense pooling layers in fully convolutional network for skin lesion segmentation ［J］. Computerized Medical Imaging and Graphics ， 2019 ， 78 ： 101658 . doi: 10.1016/j.compmedimag.2019.101658 http://dx.doi.org/10.1016/j.compmedimag.2019.101658

XIE F Y ， YANG J W ， LIU J ， et al . Skin lesion segmentation using high-resolution convolutional neural network ［J］. Computer Methods and Programs in Biomedicine ， 2020 ， 186 ： 105241 . doi: 10.1016/j.cmpb.2019.105241 http://dx.doi.org/10.1016/j.cmpb.2019.105241

TANG Y J ， YANG F ， YUAN S F ， et al . A multi-stage framework with context information fusion structure for skin lesion segmentation ［C］. 2019 IEEE 16th International Symposium on Biomedical Imaging . Venice， Italy . IEEE ， 2019 ： 1407 - 1410 . doi: 10.1109/isbi.2019.8759535 http://dx.doi.org/10.1109/isbi.2019.8759535

VESAL S ， RAVIKUMAR N ， MAIER A . SkinNet： a deep learning framework for skin lesion segmentation ［C］. 2018 IEEE Nuclear Science Symposium and Medical Imaging Conference Proceedings . Sydney， NSW， Australia . IEEE ， 2018 ： 1 - 3 . doi: 10.1109/nssmic.2018.8824732 http://dx.doi.org/10.1109/nssmic.2018.8824732

ÜNVER H M ， AYAN E . Skin lesion segmentation in dermoscopic images with combination of YOLO and GrabCut algorithm ［J］. Diagnostics （Basel， Switzerland）， 2019 ， 9 （ 3 ）： 72 . doi: 10.3390/diagnostics9030072 http://dx.doi.org/10.3390/diagnostics9030072

LEI B Y ， XIA Z M ， JIANG F ， et al . Skin lesion segmentation via generative adversarial networks with dual discriminators ［J］. Medical Image Analysis ， 2020 ， 64 ： 101716 . doi: 10.1016/j.media.2020.101716 http://dx.doi.org/10.1016/j.media.2020.101716

JIN Q G ， CUI H ， SUN C M ， et al . Cascade knowledge diffusion network for skin lesion diagnosis and segmentation ［J］. Applied Soft Computing ， 2021 ， 99 ： 106881 . doi: 10.1016/j.asoc.2020.106881 http://dx.doi.org/10.1016/j.asoc.2020.106881

RAMADAN R ， ALY S . CU-net： a new improved multi-input color U-net model for skin lesion semantic segmentation ［J］. IEEE Access ， 2022 ， 10 ： 15539 - 15564 . doi: 10.1109/access.2022.3148402 http://dx.doi.org/10.1109/access.2022.3148402

WU H S ， PAN J Q ， LI Z Y ， et al . Automated skin lesion segmentation via an adaptive dual attention module ［J］. IEEE Transactions on Medical Imaging ， 2021 ， 40 （ 1 ）： 357 - 370 . doi: 10.1109/tmi.2020.3027341 http://dx.doi.org/10.1109/tmi.2020.3027341

HU K ， LU J ， LEE D J ， et al . AS-net： attention synergy network for skin lesion segmentation ［J］. Expert Systems With Applications ， 2022 ， 201 ： 117112 . doi: 10.1016/j.eswa.2022.117112 http://dx.doi.org/10.1016/j.eswa.2022.117112

Views

833

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Computed tomography image segmentation of cell pole piece via strip attention mechanism

Sand microscopic image segmentation with enhanced tuna swarm optimization exponential entropy

Brain tumor image segmentation based on Semantic Flow Guided Sampling and Attention Mechanism

Automatic segmentation of aggregate images with MET optimized by chaos SSA

Colorectal polyp segmentation algorithm using DoubleUNet network

Related Author

LIU Zefang

LONG Chao

LIU Xueshuan

HAN Yan

TAN Chuandong

TAN Hui

DUAN Liming

WANG Mengfei

Related Institution

Project Management Center， Equipment Department of Rocket Force

College of Optoelectronic Engineering， Chongqing University

ICT Research Center， Key Laboratory of Optoelectronic Technology and Systems of Ministry of Education， Chongqing University

School of Electrical and Electronic Engineering， Wenzhou University

College of Information， Chang'an University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰