Colorectal polyp segmentation algorithm using DoubleUNet network

Changjia XU; Jianbing YI; Feng CAO; Wangsheng FANG

doi:10.37188/OPE.20223008.0970

您当前的位置：

首页 >

文章列表页 >

Colorectal polyp segmentation algorithm using DoubleUNet network

Information Sciences | 更新时间：2022-04-26

- Colorectal polyp segmentation algorithm using DoubleUNet network
- Optics and Precision Engineering Vol. 30, Issue 8, Pages: 970-983(2022)
- 作者机构：
  
  江西理工大学信息工程学院，江西赣州 341000
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223008.0970
  CLC： TP391.4
- Received：16 May 2021，
  
  Revised：24 June 2021，
  
  Published：25 April 2022
- 稿件说明：
移动端阅览
徐昌佳,易见兵,曹锋等.采用DoubleUNet网络的结直肠息肉分割算法[J].光学精密工程,2022,30(08):970-983.

XU Changjia,YI Jianbing,CAO Feng,et al.Colorectal polyp segmentation algorithm using DoubleUNet network[J].Optics and Precision Engineering,2022,30(08):970-983.
徐昌佳,易见兵,曹锋等.采用DoubleUNet网络的结直肠息肉分割算法[J].光学精密工程,2022,30(08):970-983. DOI： 10.37188/OPE.20223008.0970.

XU Changjia,YI Jianbing,CAO Feng,et al.Colorectal polyp segmentation algorithm using DoubleUNet network[J].Optics and Precision Engineering,2022,30(08):970-983. DOI： 10.37188/OPE.20223008.0970.

摘要

由于结直肠息肉的大小、颜色和质地各异，且息肉与周围粘膜的边界不清晰，导致息肉分割存在较大挑战。为提高结直肠息肉的分割准确率，本文提出了一种改进的DoubleUNet网络分割算法。该算法首先对息肉图像进行去反光处理，并通过数据扩增方法将训练数据集进行扩大；接着，在DoubleUNet网络的解码器部分引入注意力机制，并将网络中的空洞空间卷积池化金字塔（ASPP）模块替换为密集连接空洞空间卷积池化金字塔（DenseASPP）模块，以提高网络提取特征的能力；最后，为提高小目标的分割精度，提出利用Focal Tversky Loss函数作为本算法的损失函数。该算法在Kvasir-SEG、CVC-ClinicDB、ETIS-Larib、ISIC和DSB数据集测试中的准确率分别为0.953 0、0.964 2、0.815 7、0.950 3和0.964 1，而DoubleUNet算法在上述数据集的准确率分别为0.939 4、0.959 2、0.800 7、0.945 9和0.949 6。实验结果表明本文算法相对于DoubleUNet算法具有更好的分割效果，可以有效的辅助医师切除结直肠异常组织从而降低息肉癌变的概率，且能够应用于其它医学图像分割任务中。

Abstract

Colorectal polyps are different in size， color and texture， and the boundaries between the polyps and the surrounding mucosa are not clear， leading to significant challenges in polyp segmentation. In order to improve the segmentation accuracy of colorectal polyps， this paper proposes an improved DoubleUNet network segmentation algorithm. The algorithm first de-reflects the polyp image， and the training dataset is amplified by data-augmentation method； then introduces an attention mechanism in the decoder part of the DoubleUNet network， and replaces the atrous spatial pyramid pooling module of the network with a densely connected atrous spatial pyramid pooling module to improve the ability of the network to extract features； finally， in order to improve the segmentation accuracy of small targets， the Focal Tversky Loss function is proposed as the loss function of this algorithm. The accuracies of the algorithm in the Kvasir-SEG， CVC-ClinicDB， ETIS-Larib， ISIC， and DSB dataset are 0.953 0， 0.964 2， 0.815 7， 0.950 3， 0.964 1， respectively， while the accuracies of the DoubleUNet algorithm in the above datasets are 0.939 4， 0.959 2， 0.800 7， 0.945 9， 0.949 6. The experimental results show that the algorithm in this paper has a better segmentation effect than the DoubleUNet algorithm， which can effectively assist physicians to remove abnormal tissues of colorectum and thus reduce the probability of cancerous polyps and it can be applied to other medical image segmentation tasks as well.

关键词

Keywords

references

蔡程飞，徐军，梁莉，等 . 基于深度卷积网络的结直肠全扫描病理图像的多种组织分割［J］. 中国生物医学工程学报， 2017 ， 36 （ 5 ）： 632 - 636 . doi: 10.3969/j.issn.0258-8021.2017.05.018 http://dx.doi.org/10.3969/j.issn.0258-8021.2017.05.018

CAI C F ， XU J ， LIANG L ， et al . A deep convolutional networks for identifying multiple tissues from colorectal histologic image of whole slide ［J］. Chinese Journal of Biomedical Engineering ， 2017 ， 36 （ 5 ）： 632 - 636 . （in Chinese） . doi: 10.3969/j.issn.0258-8021.2017.05.018 http://dx.doi.org/10.3969/j.issn.0258-8021.2017.05.018

MORI Y ， KUDO S E . Detecting colorectal polyps via machine learning ［J］. Nature Biomedical Engineering ， 2018 ， 2 （ 10 ）： 713 - 714 . doi: 10.1038/s41551-018-0308-9 http://dx.doi.org/10.1038/s41551-018-0308-9

MAMONOV A V ， FIGUEIREDO I N ， FIGUEIREDO P N ， et al . Automated polyp detection in colon capsule endoscopy ［J］. IEEE Transactions on Medical Imaging ， 2014 ， 33 （ 7 ）： 1488 - 1502 . doi: 10.1109/tmi.2014.2314959 http://dx.doi.org/10.1109/tmi.2014.2314959

TAJBAKHSH N ， GURUDU S R ， LIANG J M . Automated polyp detection in colonoscopy videos using shape and context information ［J］. IEEE Transactions on Medical Imaging ， 2016 ， 35 （ 2 ）： 630 - 644 . doi: 10.1109/tmi.2015.2487997 http://dx.doi.org/10.1109/tmi.2015.2487997

秦传波，宋子玉，曾军英，等 . 联合多尺度和注意力-残差的深度监督乳腺癌分割［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 877 - 895 . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

QIN C B ， SONG Z Y ， ZENG J Y ， et al . Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 877 - 895 . （in Chinese） . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

刘媛媛，张硕，于海业，等 . 基于语义分割的复杂场景下的秸秆检测［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 200 - 211 . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

LIU Y Y ， ZHANG S ， YU H Y ， et al . Straw detection algorithm based on semantic segmentation in complex farm scenarios ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 200 - 211 . （in Chinese） . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

陈彦彤，李雨阳，吕石立，等 . 基于深度语义分割的多源遥感图像海面溢油监测［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1165 - 1176 .

CHEN Y T ， LI Y Y ， LÜ S L ， et al . Research on oil spill monitoring of multi-source remote sensing image based on deep semantic segmentation ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1165 - 1176 . （in Chinese）

YU L Q ， CHEN H ， DOU Q ， et al . Integrating online and offline three-dimensional deep learning for automated polyp detection in colonoscopy videos ［J］. IEEE Journal of Biomedical and Health Informatics ， 2017 ， 21 （ 1 ）： 65 - 75 . doi: 10.1109/jbhi.2016.2637004 http://dx.doi.org/10.1109/jbhi.2016.2637004

ZHANG R K ， ZHENG Y L ， POON C C Y ， et al . Polyp detection during colonoscopy using a regression-based convolutional neural network with a tracker ［J］. Pattern Recognition ， 2018 ， 83 ： 209 - 219 . doi: 10.1016/j.patcog.2018.05.026 http://dx.doi.org/10.1016/j.patcog.2018.05.026

BRANDAO P ， MAZOMENOS E ， CIUTI G ， et al . Fully convolutional neural networks for polyp segmentation in colonoscopy ［C］. SPIE Medical Imaging. Proc SPIE 10134， Medical Imaging 2017 ： Computer-Aided Diagnosis， Orlando， Florida， USA . 2017 ， 10134 ： 101 - 107 . doi: 10.1117/12.2254361 http://dx.doi.org/10.1117/12.2254361

LONG J ， SHELHAMER E ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . 712，2015 ， Boston， MA， USA . IEEE ， 2015 ： 3431 - 3440 . doi: 10.1109/cvpr.2015.7298965 http://dx.doi.org/10.1109/cvpr.2015.7298965

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

ZHANG Z X ， LIU Q J ， WANG Y H . Road extraction by deep residual U-net ［J］. IEEE Geoscience and Remote Sensing Letters ， 2018 ， 15 （ 5 ）： 749 - 753 . doi: 10.1109/lgrs.2018.2802944 http://dx.doi.org/10.1109/lgrs.2018.2802944

ZHOU Z W ， SIDDIQUEE M M R ， TAJBAKHSH N ， et al . UNet++： a nested U-net architecture for medical image segmentation ［J］. Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support： 4th International Workshop， DLMIA 2018， and 8th International Workshop ， ML-CDS 2018 ， Held in Conjunction With MICCAI 2018， Granada， Spain， S ， 2018， 11045 ： 3 - 11 . doi: 10.1007/978-3-030-00889-5_1 http://dx.doi.org/10.1007/978-3-030-00889-5_1

FAN D P ， JI G P ， ZHOU T ， et al . PraNet： parallel reverse attention network for polyp segmentation ［C］. Medical Image Computing and Computer Assisted Intervention-MICCAI 2020 ， 2020 ： 263 - 273 . doi: 10.1007/978-3-030-59725-2_26 http://dx.doi.org/10.1007/978-3-030-59725-2_26

JHA D ， RIEGLER M A ， JOHANSEN D ， et al . DoubleU-net： a deep convolutional neural network for medical image segmentation ［C］. 2020 IEEE 33rd International Symposium on Computer-Based Medical Systems . 2830，2020 ， Rochester ， MN ， USA . IEEE ， 2020 ： 558 - 564 . doi: 10.1109/cbms49503.2020.00111 http://dx.doi.org/10.1109/cbms49503.2020.00111

王亚刚，郗怡媛，潘晓英 . 改进DeepLabv3+网络的肠道息肉分割方法［J］. 计算机科学与探索， 2020 ， 14 （ 7 ）： 1243 - 1250 . doi: 10.3778/j.issn.1673-9418.1907053 http://dx.doi.org/10.3778/j.issn.1673-9418.1907053

WANG Y G ， XI Y Y ， PAN X Y . Method for intestinal polyp segmentation by improving DeepLabv3+ network ［J］. Journal of Frontiers of Computer Science and Technology ， 2020 ， 14 （ 7 ）： 1243 - 1250 . （in Chinese） . doi: 10.3778/j.issn.1673-9418.1907053 http://dx.doi.org/10.3778/j.issn.1673-9418.1907053

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all you need ［J］. Advances in neural information processing systems ， 2017 ： 5998 - 6008 .

LI H C ， XIONG P F ， AN J ， et al . Pyramid attention network for semantic segmentation ［J］. arXiv preprint arXiv： 1805.10180 ， 2018 . doi: 10.23919/chicc.2019.8865946 http://dx.doi.org/10.23919/chicc.2019.8865946

OKTAY O ， SCHLEMPER J ， FOLGOC L L ， et al . Attention U-net： learning where to look for the pancreas ［EB/OL］. 2018： arXiv ： 1804 .03999［cs.CV］. https：//arxiv.org/abs/1804.03999 https://arxiv.org/abs/1804.03999

CHEN L C ， ZHU Y K ， PAPANDREOU G ， et al . Encoder-decoder with atrous separable convolution for semantic image segmentation ［C］. Computer Vision-ECCV 2018 ， 2018 ： 801 - 818 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

YANG M K ， YU K ， ZHANG C ， et al . DenseASPP for semantic segmentation in street scenes ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 3684 - 3692 . doi: 10.1109/cvpr.2018.00388 http://dx.doi.org/10.1109/cvpr.2018.00388

JADON S . A survey of loss functions for semantic segmentation ［C］. 2020 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology . 2729，2020 ， Via del Mar ， Chile . IEEE ， 2020 ： 1 - 7 . doi: 10.1109/cibcb48159.2020.9277638 http://dx.doi.org/10.1109/cibcb48159.2020.9277638

JHA D ， SMEDSRUD P H ， RIEGLER M A ， et al . Kvasir-seg： A segmented polyp dataset ［C］. International Conference on Multimedia Modeling. Springer ， Cham ， 2020 ： 451 - 462 . doi: 10.1007/978-3-030-37734-2_37 http://dx.doi.org/10.1007/978-3-030-37734-2_37

BERNAL J ， SÁNCHEZ F J ， FERNÁNDEZ-ESPARRACH G ， et al . WM-DOVA maps for accurate polyp highlighting in colonoscopy： validation vs. saliency maps from physicians ［J］. Computerized Medical Imaging and Graphics ， 2015 ， 43 ： 99 - 111 . doi: 10.1016/j.compmedimag.2015.02.007 http://dx.doi.org/10.1016/j.compmedimag.2015.02.007

SILVA J ， HISTACE A ， ROMAIN O ， et al . Toward embedded detection of polyps in WCE images for early diagnosis of colorectal cancer ［J］. International Journal of Computer Assisted Radiology and Surgery ， 2014 ， 9 （ 2 ）： 283 - 293 . doi: 10.1007/s11548-013-0926-3 http://dx.doi.org/10.1007/s11548-013-0926-3

BERNAL J ， TAJKBAKSH N ， SANCHEZ F J ， et al . Comparative validation of polyp detection methods in video colonoscopy： results from the MICCAI 2015 endoscopic vision challenge ［J］. IEEE Transactions on Medical Imaging ， 2017 ， 36 （ 6 ）： 1231 - 1249 . doi: 10.1109/tmi.2017.2664042 http://dx.doi.org/10.1109/tmi.2017.2664042

CODELLA N C F ， GUTMAN D ， CELEBI M E ， et al . Skin lesion analysis toward melanoma detection： a challenge at the 2017 International symposium on biomedical imaging （ISBI）， hosted by the international skin imaging collaboration （ISIC）［C］. 2018 IEEE 15th International Symposium on Biomedical Imaging . 47，2018 ， Washington， DC， USA . IEEE ， 2018 ： 168 - 172 . doi: 10.1109/isbi.2018.8363547 http://dx.doi.org/10.1109/isbi.2018.8363547

ARNOLD M ， GHOSH A ， AMELING S ， et al . Automatic segmentation and inpainting of specular highlights for endoscopic imaging ［J］. EURASIP Journal on Image and Video Processing ， 2010 ， 2010 ： 1 - 12 . doi: 10.1155/2010/814319 http://dx.doi.org/10.1155/2010/814319

KRÄHENBÜHL P ， KOLTUN V . Efficient inference in fully connected CRFs with Gaussian edge potentials ［J］. Advances in neural information processing systems ， 2011 ： 109 - 117 .

侯腾璇，赵涓涓，强彦，等 . CRF 3D-UNet肺结节分割网络［J］. 计算机工程与设计， 2020 ， 41 （ 6 ）： 1663 - 1669 .

HOU T X ， ZHAO J J ， QIANG Y ， et al . Pulmonary nodules segmentation based on CRF 3D-UNet structure ［J］. Computer Engineering and Design ， 2020 ， 41 （ 6 ）： 1663 - 1669 . （in Chinese）

QADIR H A ， SHIN Y ， SOLHUSVIK J ， et al . Polyp detection and segmentation using mask R-CNN： does a deeper feature extractor CNN always perform better？［C］. 2019 13th International Symposium on Medical Information and Communication Technology （ISMICT）. 810，2019 ， Oslo， Norway. IEEE ， 2019 ： 1 - 6 . doi: 10.1109/ismict.2019.8743694 http://dx.doi.org/10.1109/ismict.2019.8743694

IBTEHAZ N ， RAHMAN M S . MultiResUNet： Rethinking the U-Net architecture for multimodal biomedical image segmentation ［J］. Neural Networks ， 2020 ， 121 ： 74 - 87 . doi: 10.1016/j.neunet.2019.08.025 http://dx.doi.org/10.1016/j.neunet.2019.08.025

Views

1175

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Brain tumor image segmentation based on Semantic Flow Guided Sampling and Attention Mechanism

Underwater image enhancement based on multi-branch residual attention network

End-to-end recognition of nighttime wildlife based on semi-supervised learning

Computed tomography image segmentation of cell pole piece via strip attention mechanism

Real-time deblurring of wideband small target based on attention mechanism

Related Author

SONG Jianli

LÜ Xiaoqi

GU Yu

CHENG Zhuming

LI Jiaxuan

HUANG San'ao

HAN Lichao

WANG Peizhen

Related Institution

School of Information Engineering， Inner Mongolia University of Science and Technology

School of Information Engineering， Inner Mongolia University of Technology

School of Electrical and Information Engineering， Anhui University of Technology， Maanshan

School of Mechatronic Engineering and Automation，Shanghai University

Beijing Institute of Space Mechanics & Electricity

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰