采用DoubleUNet网络的结直肠息肉分割算法

徐昌佳; 易见兵; 曹锋; 方旺盛

doi:10.37188/OPE.20223008.0970

您当前的位置：

首页 >

文章列表页 >

采用DoubleUNet网络的结直肠息肉分割算法

信息科学 | 更新时间：2022-04-26

- 采用DoubleUNet网络的结直肠息肉分割算法
- Colorectal polyp segmentation algorithm using DoubleUNet network
- 光学精密工程 2022年30卷第8期页码：970-983
- 作者机构：
  
  江西理工大学信息工程学院，江西赣州 341000
- 作者简介：
  
  [ "徐昌佳（1996-），男，江西九江人，硕士研究生，2019年于江西理工大学获得学士学位，主要从事图像分割、医学图像处理等方面的研究。E-mail： 18720183006@163.com" ]
  [ "易见兵（1980-），男，江西宜春人，博士，副教授，2003年于南方冶金学院获得学士学位，2009年于江西理工大学获得硕士学位，2017年于深圳大学获得博士学位，主要从事计算机视觉、图像配准、高性能计算等方面的研究。E-mail： yijianbing8@163.com" ]
- 基金信息：
  
  国家自然科学基金项目(61862031);江西省自然科学基金项目(20181BAB202004);江西省教育厅科技项目(GJJ190458;GJJ200818);赣州市科技计划项目(GZKJ20206030)
- DOI：10.37188/OPE.20223008.0970
  中图分类号： TP391.4
- 收稿日期：2021-05-16，
  
  修回日期：2021-06-24，
  
  纸质出版日期：2022-04-25
- 稿件说明：
移动端阅览
徐昌佳,易见兵,曹锋等.采用DoubleUNet网络的结直肠息肉分割算法[J].光学精密工程,2022,30(08):970-983.

XU Changjia,YI Jianbing,CAO Feng,et al.Colorectal polyp segmentation algorithm using DoubleUNet network[J].Optics and Precision Engineering,2022,30(08):970-983.
徐昌佳,易见兵,曹锋等.采用DoubleUNet网络的结直肠息肉分割算法[J].光学精密工程,2022,30(08):970-983. DOI： 10.37188/OPE.20223008.0970.

XU Changjia,YI Jianbing,CAO Feng,et al.Colorectal polyp segmentation algorithm using DoubleUNet network[J].Optics and Precision Engineering,2022,30(08):970-983. DOI： 10.37188/OPE.20223008.0970.

摘要

由于结直肠息肉的大小、颜色和质地各异，且息肉与周围粘膜的边界不清晰，导致息肉分割存在较大挑战。为提高结直肠息肉的分割准确率，本文提出了一种改进的DoubleUNet网络分割算法。该算法首先对息肉图像进行去反光处理，并通过数据扩增方法将训练数据集进行扩大；接着，在DoubleUNet网络的解码器部分引入注意力机制，并将网络中的空洞空间卷积池化金字塔（ASPP）模块替换为密集连接空洞空间卷积池化金字塔（DenseASPP）模块，以提高网络提取特征的能力；最后，为提高小目标的分割精度，提出利用Focal Tversky Loss函数作为本算法的损失函数。该算法在Kvasir-SEG、CVC-ClinicDB、ETIS-Larib、ISIC和DSB数据集测试中的准确率分别为0.953 0、0.964 2、0.815 7、0.950 3和0.964 1，而DoubleUNet算法在上述数据集的准确率分别为0.939 4、0.959 2、0.800 7、0.945 9和0.949 6。实验结果表明本文算法相对于DoubleUNet算法具有更好的分割效果，可以有效的辅助医师切除结直肠异常组织从而降低息肉癌变的概率，且能够应用于其它医学图像分割任务中。

Abstract

Colorectal polyps are different in size， color and texture， and the boundaries between the polyps and the surrounding mucosa are not clear， leading to significant challenges in polyp segmentation. In order to improve the segmentation accuracy of colorectal polyps， this paper proposes an improved DoubleUNet network segmentation algorithm. The algorithm first de-reflects the polyp image， and the training dataset is amplified by data-augmentation method； then introduces an attention mechanism in the decoder part of the DoubleUNet network， and replaces the atrous spatial pyramid pooling module of the network with a densely connected atrous spatial pyramid pooling module to improve the ability of the network to extract features； finally， in order to improve the segmentation accuracy of small targets， the Focal Tversky Loss function is proposed as the loss function of this algorithm. The accuracies of the algorithm in the Kvasir-SEG， CVC-ClinicDB， ETIS-Larib， ISIC， and DSB dataset are 0.953 0， 0.964 2， 0.815 7， 0.950 3， 0.964 1， respectively， while the accuracies of the DoubleUNet algorithm in the above datasets are 0.939 4， 0.959 2， 0.800 7， 0.945 9， 0.949 6. The experimental results show that the algorithm in this paper has a better segmentation effect than the DoubleUNet algorithm， which can effectively assist physicians to remove abnormal tissues of colorectum and thus reduce the probability of cancerous polyps and it can be applied to other medical image segmentation tasks as well.

关键词

Keywords

references

蔡程飞，徐军，梁莉，等 . 基于深度卷积网络的结直肠全扫描病理图像的多种组织分割［J］. 中国生物医学工程学报， 2017 ， 36 （ 5 ）： 632 - 636 . doi: 10.3969/j.issn.0258-8021.2017.05.018 http://dx.doi.org/10.3969/j.issn.0258-8021.2017.05.018

CAI C F ， XU J ， LIANG L ， et al . A deep convolutional networks for identifying multiple tissues from colorectal histologic image of whole slide ［J］. Chinese Journal of Biomedical Engineering ， 2017 ， 36 （ 5 ）： 632 - 636 . （in Chinese） . doi: 10.3969/j.issn.0258-8021.2017.05.018 http://dx.doi.org/10.3969/j.issn.0258-8021.2017.05.018

MORI Y ， KUDO S E . Detecting colorectal polyps via machine learning ［J］. Nature Biomedical Engineering ， 2018 ， 2 （ 10 ）： 713 - 714 . doi: 10.1038/s41551-018-0308-9 http://dx.doi.org/10.1038/s41551-018-0308-9

MAMONOV A V ， FIGUEIREDO I N ， FIGUEIREDO P N ， et al . Automated polyp detection in colon capsule endoscopy ［J］. IEEE Transactions on Medical Imaging ， 2014 ， 33 （ 7 ）： 1488 - 1502 . doi: 10.1109/tmi.2014.2314959 http://dx.doi.org/10.1109/tmi.2014.2314959

TAJBAKHSH N ， GURUDU S R ， LIANG J M . Automated polyp detection in colonoscopy videos using shape and context information ［J］. IEEE Transactions on Medical Imaging ， 2016 ， 35 （ 2 ）： 630 - 644 . doi: 10.1109/tmi.2015.2487997 http://dx.doi.org/10.1109/tmi.2015.2487997

秦传波，宋子玉，曾军英，等 . 联合多尺度和注意力-残差的深度监督乳腺癌分割［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 877 - 895 . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

QIN C B ， SONG Z Y ， ZENG J Y ， et al . Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 877 - 895 . （in Chinese） . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

刘媛媛，张硕，于海业，等 . 基于语义分割的复杂场景下的秸秆检测［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 200 - 211 . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

LIU Y Y ， ZHANG S ， YU H Y ， et al . Straw detection algorithm based on semantic segmentation in complex farm scenarios ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 200 - 211 . （in Chinese） . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200

陈彦彤，李雨阳，吕石立，等 . 基于深度语义分割的多源遥感图像海面溢油监测［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1165 - 1176 .

CHEN Y T ， LI Y Y ， LÜ S L ， et al . Research on oil spill monitoring of multi-source remote sensing image based on deep semantic segmentation ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1165 - 1176 . （in Chinese）

YU L Q ， CHEN H ， DOU Q ， et al . Integrating online and offline three-dimensional deep learning for automated polyp detection in colonoscopy videos ［J］. IEEE Journal of Biomedical and Health Informatics ， 2017 ， 21 （ 1 ）： 65 - 75 . doi: 10.1109/jbhi.2016.2637004 http://dx.doi.org/10.1109/jbhi.2016.2637004

ZHANG R K ， ZHENG Y L ， POON C C Y ， et al . Polyp detection during colonoscopy using a regression-based convolutional neural network with a tracker ［J］. Pattern Recognition ， 2018 ， 83 ： 209 - 219 . doi: 10.1016/j.patcog.2018.05.026 http://dx.doi.org/10.1016/j.patcog.2018.05.026

BRANDAO P ， MAZOMENOS E ， CIUTI G ， et al . Fully convolutional neural networks for polyp segmentation in colonoscopy ［C］. SPIE Medical Imaging. Proc SPIE 10134， Medical Imaging 2017 ： Computer-Aided Diagnosis， Orlando， Florida， USA . 2017 ， 10134 ： 101 - 107 . doi: 10.1117/12.2254361 http://dx.doi.org/10.1117/12.2254361

LONG J ， SHELHAMER E ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . 712，2015 ， Boston， MA， USA . IEEE ， 2015 ： 3431 - 3440 . doi: 10.1109/cvpr.2015.7298965 http://dx.doi.org/10.1109/cvpr.2015.7298965

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

ZHANG Z X ， LIU Q J ， WANG Y H . Road extraction by deep residual U-net ［J］. IEEE Geoscience and Remote Sensing Letters ， 2018 ， 15 （ 5 ）： 749 - 753 . doi: 10.1109/lgrs.2018.2802944 http://dx.doi.org/10.1109/lgrs.2018.2802944

ZHOU Z W ， SIDDIQUEE M M R ， TAJBAKHSH N ， et al . UNet++： a nested U-net architecture for medical image segmentation ［J］. Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support： 4th International Workshop， DLMIA 2018， and 8th International Workshop ， ML-CDS 2018 ， Held in Conjunction With MICCAI 2018， Granada， Spain， S ， 2018， 11045 ： 3 - 11 . doi: 10.1007/978-3-030-00889-5_1 http://dx.doi.org/10.1007/978-3-030-00889-5_1

FAN D P ， JI G P ， ZHOU T ， et al . PraNet： parallel reverse attention network for polyp segmentation ［C］. Medical Image Computing and Computer Assisted Intervention-MICCAI 2020 ， 2020 ： 263 - 273 . doi: 10.1007/978-3-030-59725-2_26 http://dx.doi.org/10.1007/978-3-030-59725-2_26

JHA D ， RIEGLER M A ， JOHANSEN D ， et al . DoubleU-net： a deep convolutional neural network for medical image segmentation ［C］. 2020 IEEE 33rd International Symposium on Computer-Based Medical Systems . 2830，2020 ， Rochester ， MN ， USA . IEEE ， 2020 ： 558 - 564 . doi: 10.1109/cbms49503.2020.00111 http://dx.doi.org/10.1109/cbms49503.2020.00111

王亚刚，郗怡媛，潘晓英 . 改进DeepLabv3+网络的肠道息肉分割方法［J］. 计算机科学与探索， 2020 ， 14 （ 7 ）： 1243 - 1250 . doi: 10.3778/j.issn.1673-9418.1907053 http://dx.doi.org/10.3778/j.issn.1673-9418.1907053

WANG Y G ， XI Y Y ， PAN X Y . Method for intestinal polyp segmentation by improving DeepLabv3+ network ［J］. Journal of Frontiers of Computer Science and Technology ， 2020 ， 14 （ 7 ）： 1243 - 1250 . （in Chinese） . doi: 10.3778/j.issn.1673-9418.1907053 http://dx.doi.org/10.3778/j.issn.1673-9418.1907053

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all you need ［J］. Advances in neural information processing systems ， 2017 ： 5998 - 6008 .

LI H C ， XIONG P F ， AN J ， et al . Pyramid attention network for semantic segmentation ［J］. arXiv preprint arXiv： 1805.10180 ， 2018 . doi: 10.23919/chicc.2019.8865946 http://dx.doi.org/10.23919/chicc.2019.8865946

OKTAY O ， SCHLEMPER J ， FOLGOC L L ， et al . Attention U-net： learning where to look for the pancreas ［EB/OL］. 2018： arXiv ： 1804 .03999［cs.CV］. https：//arxiv.org/abs/1804.03999 https://arxiv.org/abs/1804.03999

CHEN L C ， ZHU Y K ， PAPANDREOU G ， et al . Encoder-decoder with atrous separable convolution for semantic image segmentation ［C］. Computer Vision-ECCV 2018 ， 2018 ： 801 - 818 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

YANG M K ， YU K ， ZHANG C ， et al . DenseASPP for semantic segmentation in street scenes ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 3684 - 3692 . doi: 10.1109/cvpr.2018.00388 http://dx.doi.org/10.1109/cvpr.2018.00388

JADON S . A survey of loss functions for semantic segmentation ［C］. 2020 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology . 2729，2020 ， Via del Mar ， Chile . IEEE ， 2020 ： 1 - 7 . doi: 10.1109/cibcb48159.2020.9277638 http://dx.doi.org/10.1109/cibcb48159.2020.9277638

JHA D ， SMEDSRUD P H ， RIEGLER M A ， et al . Kvasir-seg： A segmented polyp dataset ［C］. International Conference on Multimedia Modeling. Springer ， Cham ， 2020 ： 451 - 462 . doi: 10.1007/978-3-030-37734-2_37 http://dx.doi.org/10.1007/978-3-030-37734-2_37

BERNAL J ， SÁNCHEZ F J ， FERNÁNDEZ-ESPARRACH G ， et al . WM-DOVA maps for accurate polyp highlighting in colonoscopy： validation vs. saliency maps from physicians ［J］. Computerized Medical Imaging and Graphics ， 2015 ， 43 ： 99 - 111 . doi: 10.1016/j.compmedimag.2015.02.007 http://dx.doi.org/10.1016/j.compmedimag.2015.02.007

SILVA J ， HISTACE A ， ROMAIN O ， et al . Toward embedded detection of polyps in WCE images for early diagnosis of colorectal cancer ［J］. International Journal of Computer Assisted Radiology and Surgery ， 2014 ， 9 （ 2 ）： 283 - 293 . doi: 10.1007/s11548-013-0926-3 http://dx.doi.org/10.1007/s11548-013-0926-3

BERNAL J ， TAJKBAKSH N ， SANCHEZ F J ， et al . Comparative validation of polyp detection methods in video colonoscopy： results from the MICCAI 2015 endoscopic vision challenge ［J］. IEEE Transactions on Medical Imaging ， 2017 ， 36 （ 6 ）： 1231 - 1249 . doi: 10.1109/tmi.2017.2664042 http://dx.doi.org/10.1109/tmi.2017.2664042

CODELLA N C F ， GUTMAN D ， CELEBI M E ， et al . Skin lesion analysis toward melanoma detection： a challenge at the 2017 International symposium on biomedical imaging （ISBI）， hosted by the international skin imaging collaboration （ISIC）［C］. 2018 IEEE 15th International Symposium on Biomedical Imaging . 47，2018 ， Washington， DC， USA . IEEE ， 2018 ： 168 - 172 . doi: 10.1109/isbi.2018.8363547 http://dx.doi.org/10.1109/isbi.2018.8363547

ARNOLD M ， GHOSH A ， AMELING S ， et al . Automatic segmentation and inpainting of specular highlights for endoscopic imaging ［J］. EURASIP Journal on Image and Video Processing ， 2010 ， 2010 ： 1 - 12 . doi: 10.1155/2010/814319 http://dx.doi.org/10.1155/2010/814319

KRÄHENBÜHL P ， KOLTUN V . Efficient inference in fully connected CRFs with Gaussian edge potentials ［J］. Advances in neural information processing systems ， 2011 ： 109 - 117 .

侯腾璇，赵涓涓，强彦，等 . CRF 3D-UNet肺结节分割网络［J］. 计算机工程与设计， 2020 ， 41 （ 6 ）： 1663 - 1669 .

HOU T X ， ZHAO J J ， QIANG Y ， et al . Pulmonary nodules segmentation based on CRF 3D-UNet structure ［J］. Computer Engineering and Design ， 2020 ， 41 （ 6 ）： 1663 - 1669 . （in Chinese）

QADIR H A ， SHIN Y ， SOLHUSVIK J ， et al . Polyp detection and segmentation using mask R-CNN： does a deeper feature extractor CNN always perform better？［C］. 2019 13th International Symposium on Medical Information and Communication Technology （ISMICT）. 810，2019 ， Oslo， Norway. IEEE ， 2019 ： 1 - 6 . doi: 10.1109/ismict.2019.8743694 http://dx.doi.org/10.1109/ismict.2019.8743694

IBTEHAZ N ， RAHMAN M S . MultiResUNet： Rethinking the U-Net architecture for multimodal biomedical image segmentation ［J］. Neural Networks ， 2020 ， 121 ： 74 - 87 . doi: 10.1016/j.neunet.2019.08.025 http://dx.doi.org/10.1016/j.neunet.2019.08.025

浏览量

1175

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

语义流引导采样结合注意力机制的脑肿瘤图像分割

基于多分支残差注意力网络的水下图像增强

半监督式野生动物夜间目标端到端检测

融合条形注意力机制的电芯极片计算机断层图像分割

基于注意力机制的宽波段小目标实时去模糊