注意力感知的多尺度语义视杯盘分割

燕杨; 曹娅迪; 黄文博

doi:10.37188/OPE.20233121.3203

您当前的位置：

首页 >

文章列表页 >

注意力感知的多尺度语义视杯盘分割

信息科学 | 更新时间：2023-11-16

- 注意力感知的多尺度语义视杯盘分割
- Multi-scale semantic OD/OC segmentation method based on attention perception
- 光学精密工程 2023年31卷第21期页码：3203-3211
- 作者机构：
  
  长春师范大学计算机科学与技术学院，吉林长春 130032
- 作者简介：
  
  [ "燕杨（1981-），女，汉族，博士，副教授，从事机器学习与模式识别方向的研究。E-mail：yanyang2016@hotmail.com" ]
  曹娅迪（1997-），女，汉族，硕士研究生，主要从事医学影像自动分割算法的研究。E-mail： Ant0nia@163.com
- 基金信息：
  
  吉林省自然科学基金资助项目(YDZJ202101ZYTS147)
- DOI：10.37188/OPE.20233121.3203
  中图分类号： TP394.1;TH691.9
- 收稿日期：2023-05-22，
  
  修回日期：2023-06-15，
  
  纸质出版日期：2023-11-10
- 稿件说明：
移动端阅览
燕杨,曹娅迪,黄文博.注意力感知的多尺度语义视杯盘分割[J].光学精密工程,2023,31(21):3203-3211.

YANG Yan,CAO Yadi,HUANG Wenbo.Multi-scale semantic OD/OC segmentation method based on attention perception[J].Optics and Precision Engineering,2023,31(21):3203-3211.
燕杨,曹娅迪,黄文博.注意力感知的多尺度语义视杯盘分割[J].光学精密工程,2023,31(21):3203-3211. DOI： 10.37188/OPE.20233121.3203.

YANG Yan,CAO Yadi,HUANG Wenbo.Multi-scale semantic OD/OC segmentation method based on attention perception[J].Optics and Precision Engineering,2023,31(21):3203-3211. DOI： 10.37188/OPE.20233121.3203.

摘要

为了解决编码器-解码器网络结构在目标提取中抑制无关语义、跨越语义鸿沟等问题，以获取更高精度，采用U-Net作为提取特征的主干网络；为了减轻浅层特征与深层特征语义的差异，设计一种融合注意力感知的多尺度语义池化模块（Channel-Spatial-Pyramid， CSP），替代早期层中的跳跃链接。CSP模块从空间与通道两个层面强调更有意义的语义信息，通过4个不同池化核的并行分支提取不同尺度特征，聚合所有分支结果与后期层特征拼接。实验结果表明，CSP-Net在彩色眼底图像视盘分割中的Dice指数可达99.6%，视杯分割结果的Dice指数为92.1%，相比现有算法均有提高。所提出的CSP-Net对于眼底图像中的微小目标提取的有效性及抗干扰性较高，可为青光眼筛查与诊断临床提借鉴。

Abstract

To suppress irrelevant semantics and cross semantic gaps in object extraction using an encoder-decoder network structure， thereby achieving higher accuracy. U-Net is used as the backbone network for feature extraction. To reduce semantic differences between shallow and deep features， a multi-scale semantic pooling module （CSP， Channel-Spatial-Pyramid） integrates attention perception and replaces skip links in early layers. The CSP module emphasizes more meaningful semantic information from two levels corresponding to space and channel， extracts features at different scales through parallel branches of four different pooling cores， and aggregates all branch results to splice with the features of later layers. The experimental results show that the Dice index of CSP-Net in color fundus image disc segmentation reaches 99.6%， whereas that of cup segmentation reaches 92.1%. Both results represent improvements over existing algorithms. CSP-Net exhibits a high effectiveness and anti-interference ability for extracting small targets in fundus images， making it appropriate for clinical reference in glaucoma screening and diagnosis.

关键词

Keywords

references

于洋，蒋沁，曹国凡 . 高度近视合并青光眼的临床诊断研究进展［J］. 国际眼科杂志， 2021 ， 21 （ 6 ）： 1008 - 1011 . doi: 10.3980/j.issn.1672-5123.2021.6.14 http://dx.doi.org/10.3980/j.issn.1672-5123.2021.6.14

YU Y ， JIANG Q ， CAO G F . Progress in the clinical diagnosis of high myopia combined with glaucoma ［J］. International Eye Science ， 2021 ， 21 （ 6 ）： 1008 - 1011 . （in Chinese） . doi: 10.3980/j.issn.1672-5123.2021.6.14 http://dx.doi.org/10.3980/j.issn.1672-5123.2021.6.14

SIDDIQUEE M S ， PATHAN N S . Optic disc segmentation using superpixel based features and random forest classifier ［C］. 2019 4th International Conference on Electrical Information and Communication Technology .Khulna，Bangladesh EICT ， 2019 ： 1 - 5 . doi: 10.1109/eict48899.2019.9068827 http://dx.doi.org/10.1109/eict48899.2019.9068827

REHMAN Z U ， NAQVI S S ， KHAN T M ， et al . Multi-parametric optic disc segmentation using superpixel based feature classification ［J］. Expert Systems With Applications ， 2019 ， 120 ： 461 - 473 . doi: 10.1016/j.eswa.2018.12.008 http://dx.doi.org/10.1016/j.eswa.2018.12.008

SINGH R U ， GUJRAL S . Assessment of disc damage likelihood scale （DDLS） for automated glaucoma diagnosis ［J］. Procedia Computer Science ， 2014 ， 36 ： 490 - 497 . doi: 10.1016/j.procs.2014.09.028 http://dx.doi.org/10.1016/j.procs.2014.09.028

YU T ， MA Y ， LI W . Automatic localization and segmentation of optic disc in fundus image using morphology and level set ［C］. 9th International Symposium on Medical Information and Communication Technology ， Kamakura， Japan. ISMICT ， 2015 ： 195 - 199 . doi: 10.1109/ismict.2015.7107527 http://dx.doi.org/10.1109/ismict.2015.7107527

FU H Z ， CHENG J ， XU Y W ， et al . Joint optic disc and cup segmentation based on multi-label deep network and polar transformation ［J］. IEEE Transactions on Medical Imaging ， 2018 ， 37 （ 7 ）： 1597 - 1605 . doi: 10.1109/tmi.2018.2791488 http://dx.doi.org/10.1109/tmi.2018.2791488

LIU B Y ， PAN D R ， SONG H . Joint optic disc and cup segmentation based on densely connected depthwise separable convolution deep network ［J］. BMC Medical Imaging ， 2021 ， 21 （ 1 ）： 1 - 12 . doi: 10.1186/s12880-020-00528-6 http://dx.doi.org/10.1186/s12880-020-00528-6

于舒扬，袁鑫，郑秀娟 . 融合感受野模块的卷积神经网络视杯视盘联合分割［J］. 中国生物医学工程学报， 2022 ， 41 （ 2 ）： 167 - 176 . doi: 10.3969/j.issn.0258-8021.2022.02.005 http://dx.doi.org/10.3969/j.issn.0258-8021.2022.02.005

YU SH Y ， YUAN X ， ZHENG X J . Joint optic cup and disc segmentation using convolutional neural network with receptive field module ［J］. Chinese Journal of Biomedical Engineering ， 2022 ， 41 （ 2 ）： 167 - 176 . （in Chinese） . doi: 10.3969/j.issn.0258-8021.2022.02.005 http://dx.doi.org/10.3969/j.issn.0258-8021.2022.02.005

ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid scene parsing network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21 - 26 ， 2017 . Honolulu， HI. IEEE ， 2017 ： 6230 - 6239 .

RONNEBERGER O ， FISCHER P ， BROX T . U - net ： Convolutional Networks for Biomedical Image Segmentation ［M］. Lecture Notes in Computer Science . Cham ： Springer International Publishing ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

SEVASTOPOLSKY A . Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network ［J］. Pattern Recognition and Image Analysis ， 2017 ， 27 （ 3 ）： 618 - 624 . doi: 10.1134/s1054661817030269 http://dx.doi.org/10.1134/s1054661817030269

黄文博，黄钰翔，姚远，等 . 融合注意力的ConvNeXt视网膜病变自动分级［J］. 光学精密工程， 2022 ， 30 （ 17 ）： 2147 - 2154 . doi: 10.37188/OPE.20223017.2147 http://dx.doi.org/10.37188/OPE.20223017.2147

HUANG W B ， HUANG Y X ， YAO Y ， et al . Automatic classification of retinopathy with attention ConvNeXt ［J］. Optics and Precision Engineering ， 2022 ， 30 （ 17 ）： 2147 - 2154 . （in Chinese） . doi: 10.37188/OPE.20223017.2147 http://dx.doi.org/10.37188/OPE.20223017.2147

CARMONA E J ， RINCÓN M ， GARCÍA-FEIJOÓ J ， et al . Identification of the optic nerve head with genetic algorithms ［J］. Artificial Intelligence in Medicine ， 2008 ， 43 （ 3 ）： 243 - 259 . doi: 10.1016/j.artmed.2008.04.005 http://dx.doi.org/10.1016/j.artmed.2008.04.005

FUMERO F ， ALAYON S ， SANCHEZ J L ， et al . RIM-ONE： an open retinal image database for optic nerve evaluation ［C］. 2011 24th International Symposium on Computer-Based Medical Systems （CBMS）. June 27 - 30 ， 2011 . Bristol， United Kingdom. IEEE ， 2011 ： 1 - 6 .

SIVASWAMY J ， KRISHNADAS S R ， DATT JOSHI G ， et al . Drishti-GS： Retinal image dataset for optic nerve head（ONH） segmentation ［C］. 2014 IEEE 11th International Symposium on Biomedical Imaging （ISBI）. April 29-May 2 ， 2014 . Beijing， China. IEEE ， 2014： 53 - 56， . doi: 10.1109/isbi.2014.6867807 http://dx.doi.org/10.1109/isbi.2014.6867807

MANINIS K K ， PONT-TUSET J ， ARBELÁEZ P ， et al . Deep Retinal Image Understanding ［M］. Medical Image Computing and Computer-Assisted Intervention - MICCAI 2016 . Cham ： Springer International Publishing ， 2016 ： 140 - 148 . doi: 10.1007/978-3-319-46723-8_17 http://dx.doi.org/10.1007/978-3-319-46723-8_17

OKTAY O . Attention U-Net： learning where to look for the pancreas ［C/OL］ . https：//openreview.net/forum？id=Skft7cijM https://openreview.net/forum?id=Skft7cijM .

ALOM M Z ， YAKOPCIC C ， TAHA T M ， et al . Nuclei segmentation with recurrent residual convolutional neural networks based U-net （R2U-net）［C］. NAECON 2018 - IEEE National Aerospace and Electronics Conference. July 23 - 26 ， 2018 . Dayton， OH， USA. IEEE ， 2018 ： 228 - 233 .

WEN Y ， CHEN L T ， QIAO L F ， et al . An efficient weakly-supervised learning method for optic disc segmentation ［C］. 2020 IEEE International Conference on Bioinformatics and Biomedicine （BIBM）. December 16 - 19 ， 2020 . Seoul， Korea （South）. IEEE ， 2020 ： 835 - 842 .

KIRILLOV A ， MINTUN E . Segment anything ［J］. arXiv e-prints.abs/2304 . 02643 .

MA J ， HE Y ， LI F ， et al . Segment Anything in Medical Images ［EB/OL］. 2023 ： arXiv ： 2304 . 12306 . https：//arxiv.org/abs/2304.12306.pdf https://arxiv.org/abs/2304.12306.pdf .

MA B Q ， YANG Q ， CUI H ， et al . MEAL： meta enhanced entropy-driven adversarial learning for optic disc and cup segmentation ［C］. 2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society （EMBC）. November 1 - 5 ， 2021. Mexico. IEEE ， 2021： 3273 - 3276 . doi: 10.1109/embc46164.2021.9630517 http://dx.doi.org/10.1109/embc46164.2021.9630517

WANG S J ， YU L Q ， YANG X ， et al . Patch-based output space adversarial learning for joint optic disc and cup segmentation ［J］. IEEE Transactions on Medical Imaging ， 2019 ， 38 （ 11 ）： 2485 - 2495 . doi: 10.1109/tmi.2019.2899910 http://dx.doi.org/10.1109/tmi.2019.2899910

SHELHAMER E ， LONG J ， DARRELL T . Fully convolutional networks for semantic segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 4 ）： 640 - 651 . doi: 10.1109/tpami.2016.2572683 http://dx.doi.org/10.1109/tpami.2016.2572683

BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615

HAIDER A ， ARSALAN M ， PARK C ， et al . Exploring deep feature-blending capabilities to assist glaucoma screening ［J］. Applied Soft Computing ， 2023 ， 133 ： 109918 . doi: 10.1016/j.asoc.2022.109918 http://dx.doi.org/10.1016/j.asoc.2022.109918

CIVIT-MASOT J ， LUNA-PEREJÓNF . A study on the use of Edge TPUs for eye fundus image segmentation ［J］. Engineering Applications of Artificial Intelligence ， 2021 ， 104 ： 104384 . doi: 10.1016/j.engappai.2021.104384 http://dx.doi.org/10.1016/j.engappai.2021.104384

HAIDERA ， ARSALANM . Artificial Intelligence-based computer-aided diagnosis of glaucoma using retinal fundus images ［J］. Expert Systems With Applications ， 2022 ， 207 ： 117968 . doi: 10.1016/j.eswa.2022.117968 http://dx.doi.org/10.1016/j.eswa.2022.117968

SUN J D ， YAO C ， LIU J ， et al . GNAS-U 2 Net： a new optic cup and optic disc segmentation architecture with genetic neural architecture search ［J］. IEEE Signal Processing Letters ， 2022 ， 29 ： 697 - 701 . doi: 10.1109/lsp.2022.3151549 http://dx.doi.org/10.1109/lsp.2022.3151549

浏览量

618

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

整合边缘卷积与全局-局部自注意力的机载点云分类

全天时中高轨目标探测系统恒星移除

混合像元分解在氧气吸收被动测距中的应用

联合多尺度和注意力-残差的深度监督乳腺癌分割

基于GPU的小行星光学观测图像实时处理