Polyp image segmentation based on multi-scale ResNeSt-50 aggregation network and message passing

XIA Ping; ZHANG Guangyi; LEI Bangjun; ZOU Yaobing; TANG Tinglong

doi:10.37188/OPE.20233118.2765

您当前的位置：

首页 >

文章列表页 >

Polyp image segmentation based on multi-scale ResNeSt-50 aggregation network and message passing

Information Sciences | 更新时间：2023-09-25

- Polyp image segmentation based on multi-scale ResNeSt-50 aggregation network and message passing
- Optics and Precision Engineering Vol. 31, Issue 18, Pages: 2765-2780(2023)
- 作者机构：
  
  1.三峡大学水电工程智能视觉监测湖北省重点实验室，湖北宜昌 443002
  2.三峡大学计算机与信息学院，湖北宜昌 443002
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233118.2765
  CLC： TP391
- Received：30 March 2023，
  
  Revised：04 May 2023，
  
  Published：25 September 2023
- 稿件说明：
移动端阅览
夏平,张光一,雷帮军等.多尺度ResNeSt-50聚合网络与置信度传播的息肉图像分割[J].光学精密工程,2023,31(18):2765-2780.

XIA Ping,ZHANG Guangyi,LEI Bangjun,et al.Polyp image segmentation based on multi-scale ResNeSt-50 aggregation network and message passing[J].Optics and Precision Engineering,2023,31(18):2765-2780.
夏平,张光一,雷帮军等.多尺度ResNeSt-50聚合网络与置信度传播的息肉图像分割[J].光学精密工程,2023,31(18):2765-2780. DOI： 10.37188/OPE.20233118.2765.

XIA Ping,ZHANG Guangyi,LEI Bangjun,et al.Polyp image segmentation based on multi-scale ResNeSt-50 aggregation network and message passing[J].Optics and Precision Engineering,2023,31(18):2765-2780. DOI： 10.37188/OPE.20233118.2765.

摘要

针对大肠的息肉组织与正常组织间无明显边界，准确定位息肉位置困难的问题，提出了一种多尺度ResNeSt-50聚合网络融合顺序树重加权置信度传播（sequential Tree-Reweighted Message Passing， TRW-S）的息肉图像分割方法。为提高网络对息肉信息的表达能力，构建编码-解码结构的多尺度ResNeSt-50聚合网络，编码器由卷积模块和4级ResNeSt模块级联构建ResNeSt-50骨干网络，实现跨通道信息间的线性整合与连接；ResNeSt-50采用拆分注意力机制加强重要通道组的表现能力，增强了残差模块提取息肉图像信息的能力；解码部分下三层构建多层感受野模块（receptive field block， RFB）获取多尺度信息，然后用密集聚合模块整合其输出，并以快速解码方式输出解码信息，保证其分割性能的同时减少参数量；其次，生成预测图时采用测试时图像增强（Test-Time Augmentation， TTA）模块提升预测准确度，并增强网络的泛化能力；最后，构建基于马尔科夫随机场的TRW-S算法对输出的预测图进行后处理，以实现分割边缘的连续性和分割区域内部的一致性。对大肠息肉数据集Kvasir-SEG的测试结果表明，本文方法相比于U-Net，U-Net++，ResUnet、SFA、PraNet等算法，mDice值达91.6%，mIoU达86.3%，Smeasure达0.921， MAE为0.023，优于其他五种息肉分割算法；在未知数据集ETIS-LaribPolypDB，ColonDB上测试结果表明，相比于PraNet模型，本文模型的mDice值分别提升了14.2%，7.7%；从本文模型在ETIS-LaribPolypDB数据集上的分割表现看，本文算法对微小病变十分敏感；因此，本文算法分割的息肉图像，在分割区域内部的一致性、分割边缘的连续性、轮廓清晰度、捕捉微小病变能力等方面均表现出优良的性能，同时，对未知数据集具有较好的泛化能力。

Abstract

There boundary between colorectal polyps and normal tissues is not typically evident. Therefore， accurately locating polyp positions is challenging. This study developed a novel polyp image segmentation method based on a combination of multiscale ResNeSt-50 aggregation network and sequential tree-reweighted message passing （TRW-S）. First， a multiscale ResNeSt-50 aggregation network with an encoding–decoding structure was constructed to improve the expressiveness of the network. The encoder of the network is cascaded by convolution module and four-level ResNeSt module to build the ResNeSt-50 backbone network， which realizes linear integration and communication between cross-channel information， ResNeSt-50 uses split attention to strengthen the performance of important channel groups and enhance the ability of the residual module to extract polyp image information. In the bottom three layers of the decoder， a multilayer receptive field block （RFB） was used to obtain multiscale information. Subsequently， the dense aggregation module was used to integrate the output. The decoding information was output by using a fast decoding method， which ensured consistent segmentation performance and reduced the number of parameters. Second， the test-time augmentation （TTA） module was used to improve the prediction accuracy and enhance the generalization ability of the network when generating predictive images. Finally， a sequential tree-reweighted message passing （TRW-S） algorithm based on Markov random fields was constructed to postprocess the predicted image output of the model. This helped achieve continuity of the segmentation edge and consistency within the segmentation region. The experimental results on Kvasir-SEG， an open-access dataset for gastrointestinal polyps images， show that our method achieved an mDice value of 91.6%， mIoU of 86.3%， Smeasure of 92.1%， and MAE of 2.3%，which are higher than those of the polyp segmentation algorithms based on U-NET， U-Net++， ResUNet， SFA， and PraNet. Test results on the unknown datasets ETIS-LaribPolypDB and ColonDB indicate that the proposed model affords improvements in the PraNet and mDice values by 16.4% and 7.7%， respectively. As regards the segmentation performance on the ETIS-LaribPolypDB dataset， the proposed model was found to be highly sensitive to small lesions. Thus， the proposed model exhibits excellent performance in terms of consistency of segmentation area， continuity of segmentation edge， sharpness of contour， and ability to capture small lesions. In addition， it exhibits good generalization ability in the case of unknown datasets.

关键词

Keywords

references

SILVA J ， HISTACE A ， ROMAIN O ， et al . Toward embedded detection of polyps in WCE images for early diagnosis of colorectal cancer ［J］. International Journal of Computer Assisted Radiology and Surgery ， 2014 ， 9 （ 2 ）： 283 - 293 . doi: 10.1007/s11548-013-0926-3 http://dx.doi.org/10.1007/s11548-013-0926-3

郑荣寿，孙可欣，张思维，等 . 2015年中国恶性肿瘤流行情况分析［J］. 中华肿瘤杂志， 2019 ， 41 （ 1 ）： 19 - 28 . doi: 10.3760/cma.j.issn.0253-3766.2019.01.005 http://dx.doi.org/10.3760/cma.j.issn.0253-3766.2019.01.005

ZHENG R S ， SUN K X ， ZHANG S W ， et al . Report of cancer epidemiology in China， 2015 ［J］. Chinese Journal of Oncology ， 2019 ， 41 （ 1 ）： 19 - 28 . （in Chinese） . doi: 10.3760/cma.j.issn.0253-3766.2019.01.005 http://dx.doi.org/10.3760/cma.j.issn.0253-3766.2019.01.005

ARAN V ， VICTORINO AP ， THULER LC ， et al . Colorectal cancer： epidemiology， disease mechanisms and interventions to reduce onset and mortality ［J］. Clinical Colorectal Cancer ， 2016 ， 15 （ 3 ）： 195 - 203 . doi: 10.1016/j.clcc.2016.02.008 http://dx.doi.org/10.1016/j.clcc.2016.02.008

江贵平，秦文健，周寿军，等 . 医学图像分割及其发展现状［J］. 计算机学报， 2015 ， 38（ 6 ） 1222 - 1242 . doi: 10.11897/SP.J.1016.2015.01222 http://dx.doi.org/10.11897/SP.J.1016.2015.01222

JIANG G P ， QIN W J ， ZHOU S J ， et al . State-of-the-art in medical image segmentation ［J］. Chinese Journal of Computers ， 2015 ， 38（ 6 ） 1222 - 1242 （in Chinese） . doi: 10.11897/SP.J.1016.2015.01222 http://dx.doi.org/10.11897/SP.J.1016.2015.01222

田娟秀，刘国才，谷珊珊，等 . 医学图像分析深度学习方法研究与挑战［J］. 自动化学报， 2018 ， 44（ 3 ） 401 - 424 . doi: 10.16383/j.aas.2018.c170153 http://dx.doi.org/10.16383/j.aas.2018.c170153

TIAN J X ， LIU G C ， GU S S ， et al . Deep learning in medical image analysis and its challenges ［J］. Acta Automatica Sinica ， 2018 ， 44（ 3 ） 401 - 424 （in Chinese） . doi: 10.16383/j.aas.2018.c170153 http://dx.doi.org/10.16383/j.aas.2018.c170153

李少东，洪森，李世权等 . 人工智能利用图像深度学习诊疗消化道肿瘤的现状及展望［J］. 中国普外基础与临床杂志， 2021 ， 28 （ 11 ）： 1524 - 1529 . doi: 10.7507/1007-9424.202012127 http://dx.doi.org/10.7507/1007-9424.202012127

LI SH D ， HONG S ， LI SH Q ， et al . Current situation and prospect of artificial intelligence in the diagnosis and treatment of . doi: 10.7507/1007-9424.202012127 http://dx.doi.org/10.7507/1007-9424.202012127

gastrointestinal tumors using image deep learning ［J］. Chinese Journal of Bases and Clinics in General Surgery ， 2021 ， 28 （ 11 ）： 1524 - 1529 . doi: 10.7507/1007-9424.202012127 http://dx.doi.org/10.7507/1007-9424.202012127

吴锦珍，谢玥，王新颖 . 人工智能在结直肠息肉性质鉴别中的应用进展［J］. 中华消化内镜杂志， 2020 ， 37 （ 11 ）： 849 - 852 . doi: 10.3760/cma.j.cn321463-20200610-00515 http://dx.doi.org/10.3760/cma.j.cn321463-20200610-00515

WU J Z ， XIE Y ， WANG X Y . Application progress of artificial intelligence in identification of colorectal polyps ［J］. Chinese Journal of Digestive Endoscopy ， 2020 ， 37 （ 11 ）： 849 - 852 . （in Chinese） . doi: 10.3760/cma.j.cn321463-20200610-00515 http://dx.doi.org/10.3760/cma.j.cn321463-20200610-00515

SHELHAMER E ， LONG J ， DARRELL T . Fully convolutional networks for semantic segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 4 ）： 640 - 651 . doi: 10.1109/tpami.2016.2572683 http://dx.doi.org/10.1109/tpami.2016.2572683

RONNEBERGER O ， FISCHER P ， BROX T . U-Net ： Convolutional Networks for Biomedical Image Segmentation ［M］. Lecture Notes in Computer Science . Cham ： Springer International Publishing ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

ZHOU Z ， SIDDIQUEE M M R ， TAJBAKHSH N ， et al . UNet++： a Nested U-net Architecture for Medical Image Segmentation ［EB/OL］. 2018 ： arXiv ： 1807 . 10165 . https：//arxiv.org/abs/1807.10165 https://arxiv.org/abs/1807.10165 . doi: 10.1007/978-3-030-00889-5_1 http://dx.doi.org/10.1007/978-3-030-00889-5_1

JHA D ， SMEDSRUD P H ， RIEGLER M A ， et al . ResUNet： an advanced architecture for medical image segmentation ［C］. 2019 IEEE International Symposium on Multimedia （ISM） . 9 - 11 ， 2019， San Diego， CA， USA. IEEE ， 2020： 225 - 2255 . doi: 10.1109/ism46123.2019.00049 http://dx.doi.org/10.1109/ism46123.2019.00049

FAN D P ， JI G P ， ZHOU T ， et al . PraNet ： Parallel Reverse Attention Network for Polyp Segmentation ［M］. Medical Image Computing and Computer Assisted Intervention-MICCAI 2020 . Cham ： Springer International Publishing ， 2020 ： 263 - 273 . doi: 10.1007/978-3-030-59725-2_26 http://dx.doi.org/10.1007/978-3-030-59725-2_26

JHA D ， RIEGLER M A ， JOHANSEN D ， et al . DoubleU-net： a deep convolutional neural network for medical image segmentation ［C］. 2020 IEEE 33rd International Symposium on Computer-Based Medical Systems （CBMS） . 28 - 30 ， 2020， Rochester， MN， USA. IEEE ， 2020： 558 - 564 . doi: 10.1109/cbms49503.2020.00111 http://dx.doi.org/10.1109/cbms49503.2020.00111

FANG Y Q ， ZHU D L ， YAO J H ， et al . ABC-net： area-boundary constraint network with dynamical feature selection for colorectal polyp segmentation ［J］. IEEE Sensors Journal ， 2021 ， 21 （ 10 ）： 11799 - 11809 . doi: 10.1109/jsen.2020.3015831 http://dx.doi.org/10.1109/jsen.2020.3015831

ZHANG R F ， LI G B ， LI Z ， et al . Adaptive Context Selection for Polyp Segmentation ［M］. Medical Image Computing and Computer Assisted Intervention - MICCAI 2020 . Cham ： Springer International Publishing ， 2020 ： 253 - 262 . doi: 10.1007/978-3-030-59725-2_25 http://dx.doi.org/10.1007/978-3-030-59725-2_25

刘佳伟，刘巧红，李晓欧，等 . 一种改进的双U型网络的结肠息肉分割方法［J］. 光学学报， 2021 ， 41 （ 18 ）： 1810001 . doi: 10.3788/aos202141.1810001 http://dx.doi.org/10.3788/aos202141.1810001

LIU J W ， LIU Q H ， LI X O ， et al . Improved colonic polyp segmentation method based on double U-shaped network ［J］. Acta Optica Sinica ， 2021 ， 41 （ 18 ）： 1810001 . （in Chinese） . doi: 10.3788/aos202141.1810001 http://dx.doi.org/10.3788/aos202141.1810001

撖子奇，刘巧红，凌晨，等 . 结合HarDNet和反向注意力的息肉分割方法［J］. 激光与光电子学进展， 2023 ， 60 （ 2 ）： 3788 /LOP212665. doi: 10.3788/LOP212665 http://dx.doi.org/10.3788/LOP212665

HAN Z Q ， LIU Q H ， LING C ， et al . Polyp segmentation method combining HarDNet and reverse attention ［J］. Laser & Optoelectronics Progress ， 2023 ， 60 （ 2 ）： 3788 /LOP212665. （in Chinese） . doi: 10.3788/LOP212665 http://dx.doi.org/10.3788/LOP212665

ZHANG H ， WU C R ， ZHANG Z Y ， et al . ResNeSt： split-attention networks ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW） . 19 - 20 ， 2022， New Orleans， LA， USA. IEEE ， 2022： 2735 - 2745 . doi: 10.1109/cvprw56347.2022.00309 http://dx.doi.org/10.1109/cvprw56347.2022.00309

LIU S T ， HUANG D ， WANG Y H . Receptive Field Block Net for Accurate and Fast Object Detection ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 404 - 419 . doi: 10.1007/978-3-030-01252-6_24 http://dx.doi.org/10.1007/978-3-030-01252-6_24

ZHU Z ， BIAN Z ， HOU J ， et al . When Residual Learning Meets Dense Aggregation： Rethinking the Aggregation of Deep Neural Networks ［EB/OL］. 2020 ： arXiv ： 2004 . 08796 . https：//arxiv.org/abs/2004.08796 https://arxiv.org/abs/2004.08796 . doi: 10.48550/arXiv.2004.08796 http://dx.doi.org/10.48550/arXiv.2004.08796

YAMADA M ， SAITO Y ， IMAOKA H ， et al . Development of a real-time endoscopic image diagnosis support system using deep learning technology in colonoscopy ［J］. Scientific Reports ， 2019 ， 9 ： 14465 . doi: 10.1038/s41598-019-50567-5 http://dx.doi.org/10.1038/s41598-019-50567-5

WAINWRIGHT M J ， JAAKKOLA T S ， WILLSKY A S . MAP estimation via agreement on trees： message-passing and linear programming ［J］. IEEE Transactions on Information Theory ， 2005 ， 51 （ 11 ）： 3697 - 3717 . doi: 10.1109/tit.2005.856938 http://dx.doi.org/10.1109/tit.2005.856938

SZELISKI R ， ZABIH R ， SCHARSTEIN D ， et al . A comparative study of energy minimization methods for Markov random fields with smoothness-based priors ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2008 ， 30 （ 6 ）： 1068 - 1080 . doi: 10.1109/tpami.2007.70844 http://dx.doi.org/10.1109/tpami.2007.70844

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 27 - 30 ， 2016， Las Vegas， NV， USA. IEEE ， 2016： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 18 - 23 ， 2018， Salt Lake City， UT， USA. IEEE ， 2018： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

LI X ， WANG W H ， HU X L ， et al . Selective kernel networks ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 510 - 519 . doi: 10.1109/cvpr.2019.00060 http://dx.doi.org/10.1109/cvpr.2019.00060

XIE S N ， GIRSHICK R ， DOLLÁR P ， et al . Aggregated residual transformations for deep neural networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 21 - 26 ， 2017， Honolulu， HI， USA. IEEE ， 2017： 5987 - 5995 . doi: 10.1109/cvpr.2017.634 http://dx.doi.org/10.1109/cvpr.2017.634

ZHANG H ， ZU K K ， LU J ， et al . EPSANet ： an Efficient Pyramid Squeeze Attention Block on Convolutional Neural Network ［M］. Computer Vision-ACCV 2022 . Cham ： Springer Nature Switzerland ， 2023 ： 541 - 557 . doi: 10.1007/978-3-031-26313-2_33 http://dx.doi.org/10.1007/978-3-031-26313-2_33

WU Z ， SU L ， HUANG Q M . Cascaded partial decoder for fast and accurate salient object detection ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 3902 - 3911 . doi: 10.1109/cvpr.2019.00403 http://dx.doi.org/10.1109/cvpr.2019.00403

KOLMOGOROV V . Convergent tree-reweighted message passing for energy minimization ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2006 ， 28 （ 10 ）： 1568 - 1583 . doi: 10.1109/tpami.2006.200 http://dx.doi.org/10.1109/tpami.2006.200

YANG X ， GAO X B ， TAO D C ， et al . An efficient MRF embedded level set method for image segmentation ［J］. IEEE Transactions on Image Processing ， 2015 ， 24 （ 1 ）： 9 - 21 . doi: 10.1109/tip.2014.2372615 http://dx.doi.org/10.1109/tip.2014.2372615

夏平，施宇，雷帮军，等 . 复小波域混合概率图模型的超声医学图像分割［J］. 自动化学报， 2021 ， 47 （ 1 ）： 185 - 196 . doi: 10.16383/j.aas.c180132 http://dx.doi.org/10.16383/j.aas.c180132

XIA P ， SHI Y ， LEI B J ， et al . Ultrasound medical image segmentation based on hybrid probabilistic graphical model in complex-wavelet domain ［J］. Acta Automatica Sinica ， 2021 ， 47 （ 1 ）： 185 - 196 . （in Chinese） . doi: 10.16383/j.aas.c180132 http://dx.doi.org/10.16383/j.aas.c180132

BERNAL J ， SÁNCHEZ FJ ， FERNÁNDEZ-ESPARRACH G ， et al . WM-DOVA maps for accurate polyp highlighting in colonoscopy： validation vs . saliency maps from physicians ［J］. Computerized Medical Imaging and Graphics ， 2015 ， 43 ： 99 - 111 . doi: 10.1016/j.compmedimag.2015.02.007 http://dx.doi.org/10.1016/j.compmedimag.2015.02.007

JHA D ， SMEDSRUD P H ， RIEGLER M A ， et al . Kvasir-SEG ： a Segmented Polyp Dataset ［M］. MultiMedia Modeling . Cham ： Springer International Publishing ， 2019 ： 451 - 462 . doi: 10.1007/978-3-030-37734-2_37 http://dx.doi.org/10.1007/978-3-030-37734-2_37

TAJBAKHSH N ， GURUDU S R ， LIANG J M . Automated polyp detection in colonoscopy videos using shape and context information ［J］. IEEE Transactions on Medical Imaging ， 2016 ， 35 （ 2 ）： 630 - 644 . doi: 10.1109/tmi.2015.2487997 http://dx.doi.org/10.1109/tmi.2015.2487997

VÁZQUEZ D ， BERNAL J ， et al . A benchmark for endoluminal scene segmentation of colonoscopy images ［J］. Journal of Healthcare Engineering ， 2017 ， 2017 ： 4037190 . doi: 10.1155/2017/4037190 http://dx.doi.org/10.1155/2017/4037190

LIU L ， JIANG H ， HE P ， et al . On the variance of the adaptive learning rate and beyond ［J］. arXiv e-prints ， 2019 ： arXiv： 1908.03265 . doi: 10.48550/arXiv.1908.03265 http://dx.doi.org/10.48550/arXiv.1908.03265

FANG Y Q ， CHEN C ， YUAN Y X ， et al . Selective Feature Aggregation Network with Area-Boundary Constraints for Polyp Segmentation ［M］. Lecture Notes in Computer Science . Cham ： Springer International Publishing ， 2019 ： 302 - 310 . doi: 10.1007/978-3-030-32239-7_34 http://dx.doi.org/10.1007/978-3-030-32239-7_34

QIN X B ， ZHANG Z C ， HUANG C Y ， et al . BASNet： boundary-aware salient object detection ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 15 - 20 ， 2019， Long Beach， CA， USA. IEEE ， 2020： 7471 - 7481 . doi: 10.1109/cvpr.2019.00766 http://dx.doi.org/10.1109/cvpr.2019.00766

WEI J ， WANG S H ， HUANG Q M . F³Net： fusion， feedback and focus for salient object detection ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12321 - 12328 . doi: 10.1609/aaai.v34i07.6916 http://dx.doi.org/10.1609/aaai.v34i07.6916

FAN D P ， CHENG M M ， LIU Y ， et al . Structure-measure： a new way to evaluate foreground maps ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 22 - 29 ， 2017， Venice， Italy. IEEE ， 2017： 4558 - 4567 . doi: 10.1109/iccv.2017.487 http://dx.doi.org/10.1109/iccv.2017.487

Views

666

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

No data

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰