基于CNN和Transformer的睑板腺图像多粒度分割

杨松; 夏振平; 李笠; 吴彥澍

doi:10.37188/OPE.20253320.3299

您当前的位置：

首页 >

文章列表页 >

基于CNN和Transformer的睑板腺图像多粒度分割

信息科学 | 更新时间：2025-11-28

- 基于CNN和Transformer的睑板腺图像多粒度分割
- Multi-granularity segmentation of meibomian gland images based on CNN and Transformer
- 光学精密工程 2025年33卷第20期页码：3299-3314
- 作者机构：
  
  1.苏州科技大学电子与信息工程学院，江苏苏州 215009
  2.福建省立医院眼科，福建福州 350001
- 作者简介：
  
  [ "杨松（1999-），男，湖北孝感人，硕士研究生，2022年于徐州医科大学获得学士学位，主要从事医学图像处理、医学辅助诊断等方面的研究。E-mail： 15549516759@163.com" ]
  [ "夏振平（1985-），男，江苏兴化人，博士，副教授，硕士生导师，2014年于东南大学获得博士学位，主要从事视觉相关的医学图像处理及辅助诊断、显示图像质量测评和优化方面的研究。E-mail： xzp@usts.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(62002254);江苏省自然科学基金资助项目(BK20200988);江苏省研究生科研与实践创新计划项目(SJCX24_1866)
- DOI：10.37188/OPE.20253320.3299
  中图分类号： TP391.41
- CSTR：32169.14.OPE.20253320.3299
- 收稿：2025-05-14，
  
  修回：2025-07-18，
  
  纸质出版：2025-10-25
- 稿件说明：
移动端阅览
杨松,夏振平,李笠等.基于CNN和Transformer的睑板腺图像多粒度分割[J].光学精密工程,2025,33(20):3299-3314.

YANG Song,XIA Zhenping,LI Li,et al.Multi-granularity segmentation of meibomian gland images based on CNN and Transformer[J].Optics and Precision Engineering,2025,33(20):3299-3314.
杨松,夏振平,李笠等.基于CNN和Transformer的睑板腺图像多粒度分割[J].光学精密工程,2025,33(20):3299-3314. DOI： 10.37188/OPE.20253320.3299. CSTR： 32169.14.OPE.20253320.3299.

YANG Song,XIA Zhenping,LI Li,et al.Multi-granularity segmentation of meibomian gland images based on CNN and Transformer[J].Optics and Precision Engineering,2025,33(20):3299-3314. DOI： 10.37188/OPE.20253320.3299. CSTR： 32169.14.OPE.20253320.3299.

摘要

针对睑板腺图像分割中的多阶段处理和边缘模糊问题，本文设计了一种端到端的多粒度分割算法。在编码阶段，采用TransUNet编码器架构，能够高效提取眼睑和腺体区域的共享特征；在解码阶段，采用双解码路径针对眼睑和腺体区域的不同特征分别设置不同的解码器分支。同时，针对腺体区域，设计了多尺度特征融合模块，并在跳跃连接中加入通道注意力机制。这些优化提升了边缘精度、纹理清晰度和形状轮廓，从而有效解决了边缘模糊和腺体粘连的问题。对于眼睑区域，则采用标准解码器结构进行分割预测。通过与现有先进分割方法的实验对比，所提算法在上下睑板腺的精度均值上表现优异，尤其在关键指标平均交并比和Dice相似性系数上，分别达到了79.9%和76.5%，较TransUNet分别提高了3.2%和5.3%。本文算法能够精准地分割睑板腺图像的目标区域，可以为睑板腺功能障碍的辅助诊断提供依据。

Abstract

To address the multi-stage processing and edge blurring issues in meibomian gland image segmentation， this paper designed an end-to-end multi-granularity segmentation algorithm. During the encoding phase， the TransUNet encoder architecture was adopted to efficiently extract shared features of the eyelid and glandular regions. In the decoding phase， a dual decoding path was employed to set up different decoder branches for the unique features of the eyelid and glandular regions. Meanwhile， for the glandular region， a multi-scale feature fusion module was designed， and a channel attention mechanism was incorporated into the skip connections. These optimizations improved edge accuracy， texture clarity， and shape contour， thereby effectively solving the problems of edge blurring and glandular adhesion. For the eyelid region， a standard decoder structure was used for segmentation prediction. Through experimental comparison with existing advanced segmentation methods， the proposed algorithm exhibits excellent performance in terms of the average accuracy for the upper and lower meibomian glands. Especially on the key indicators of mean Intersection over Union （IoU） and Dice Similarity Coefficient， it reaches 79.9% and 76.5% respectively， which are 3.2% and 5.3% higher than those of TransUNet. The algorithm in this paper can accurately segment the target regions of meibomian gland images， which can provide a basis for the auxiliary diagnosis of meibomian gland dysfunction.

关键词

Keywords

references

吴曈，胡浩基，冯洋，等 . 分割一切模型（SAM）在医学图像分割中的应用［J］. 中国激光， 2024 ， 51 （ 21 ）： 27 - 42 .

WU T ， HU H J ， FENG Y ， et al . Application of segment anything model in medical image segmentation ［J］. Chinese Journal of Lasers ， 2024 ， 51 （ 21 ）： 27 - 42 . （in Chinese）

高威，蒋慧，焦一平，等 . 基于多任务和注意力的胰腺癌全切片图像多组织分割模型［J］. 生物医学工程学杂志， 2023 ， 40 （ 1 ）： 70 - 78 .

GAO W ， JIANG H ， JIAO Y P ， et al . Multi-tissue segmentation model of whole slide image of pancreatic cancer based on multi task and attention mechanism ［J］. Journal of Biomedical Engineering ， 2023 ， 40 （ 1 ）： 70 - 78 . （in Chinese）

徐昌佳，易见兵，曹锋，等 . 采用DoubleUNet网络的结直肠息肉分割算法［J］. 光学精密工程， 2022 ， 30 （ 8 ）： 970 - 983 . doi: 10.37188/ope.20223008.0970 http://dx.doi.org/10.37188/ope.20223008.0970

XU C J ， YI J B ， CAO F ， et al . Colorectal polyp segmentation algorithm using DoubleUNet network ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 8 ）： 970 - 983 . （in Chinese） . doi: 10.37188/ope.20223008.0970 http://dx.doi.org/10.37188/ope.20223008.0970

言方荣 . 人工智能在生物医药领域中的应用和进展［J］. 中国药科大学学报， 2023 ， 54 （ 3 ）： 263 - 268 .

YAN F R . Application and advance of artificial intelligence in biomedical field ［J］. Journal of China Pharmaceutical University ， 2023 ， 54 （ 3 ）： 263 - 268 . （in Chinese）

蒋冬冬，靳荷 . 睑板腺功能障碍相关干眼的诊疗进展［J］. 国际眼科杂志， 2021 ， 21 （ 7 ）： 1209 - 1212 .

JIANG D D ， JIN H . Progress in diagnosis and treatment of meibomian gland dysfunction associated with dry eye ［J］. International Eye Science ， 2021 ， 21 （ 7 ）： 1209 - 1212 . （in Chinese）

VU C H V ， KAWASHIMA M ， YAMADA M ， et al . Influence of meibomian gland dysfunction and friction-related disease on the severity of dry eye ［J］. Ophthalmology ， 2018 ， 125 （ 8 ）： 1181 - 1188 . doi: 10.1016/j.ophtha.2018.01.025 http://dx.doi.org/10.1016/j.ophtha.2018.01.025

KNOP N ， KNOP E . Meibomian glands. Part I： anatomy， embryology and histology of the Meibomian glands ［J］. Der Ophthalmologe ， 2009 ， 106 （ 10 ）： 872 - 883 . doi: 10.1007/s00347-009-2006-1 http://dx.doi.org/10.1007/s00347-009-2006-1

WISE R J ， SOBEL R K ， ALLEN R C . Meibography： a review of techniques and technologies ［J］. Saudi Journal of Ophthalmology ， 2012 ， 26 （ 4 ）： 349 - 356 . doi: 10.1016/j.sjopt.2012.08.007 http://dx.doi.org/10.1016/j.sjopt.2012.08.007

SONG P G ， XIA W ， WANG M L ， et al . Variations of dry eye disease prevalence by age， sex and geographic characteristics in China： a systematic review and meta-analysis ［J］. Journal of Global Health ， 2018 ， 8 （ 2 ）： 020503 . doi: 10.7189/jogh.08.020503 http://dx.doi.org/10.7189/jogh.08.020503

LEMP M A ， CREWS L A ， BRON A J ， et al . Distribution of aqueous-deficient and evaporative dry eye in a clinic-based patient cohort： a retrospective study ［J］. Cornea ， 2012 ， 31 （ 5 ）： 472 - 478 . doi: 10.1097/ico.0b013e318225415a http://dx.doi.org/10.1097/ico.0b013e318225415a

洪晶 . 我国睑板腺功能障碍诊断与治疗专家共识（2017 年）［J］. 中华眼科杂志， 2017 ， 53 （ 9 ）： 657 - 661 .

HONG J . Expert consensus on the diagnosis and treatment of meibomian gland dysfunction in China （2017）［J］. Chinese Journal of Ophthalmology ， 2017 ， 53 （ 9 ）： 657 - 661 . （in Chinese）

骆仲舟，邓宇晴，王耿媛，等 . 基于红外成像原理的睑板腺图像量化分析系统［J］. 眼科学报， 2021 ， 36 （ 1 ）： 30 - 37 .

LUO Z Z ， DENG Y Q ， WANG G Y ， et al . Meibomian gland image quantitative analysis system based on infrared imaging principle ［J］. Yan Ke Xue Bao ， 2021 ， 36 （ 1 ）： 30 - 37 . （in Chinese）

董芮岚，周义霖，原昊，等 . “ 精于诊断，准其治疗”：精准医疗背景下北京大学第三医院干眼特色诊疗平台建设的探索与分析［J］. 眼科学报， 2021 ， 36 （ 4 ）： 306 - 318 .

DONG R L ， ZHOU Y L ， YUAN H ， et al . “ Be exact in diagnosis and accurate in treatment”： Exploration and analysis of construction of characteristic diagnosis and treatment platform for dry eye in Peking University Third Hospital under the background of precision medicine ［J］. YanKe XueBao ， 2021 ， 36 （ 4 ）： 306 - 318 . （in Chinese）

柳长安，冯雪菱，孙长浩，等 . 基于改进麻雀算法的最大2维熵分割方法［J］. 激光技术， 2022 ， 46 （ 2 ）： 274 - 282 .

LIU C A ， FENG X L ， SUN C H ， et al . Maximum 2-D entropy image segmentation method based on improved sparrow algorithm ［J］. Laser Technology ， 2022 ， 46 （ 2 ）： 274 - 282 . （in Chinese）

秦传波，宋子玉，曾军英，等 . 联合多尺度和注意力-残差的深度监督乳腺癌分割［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 877 - 895 . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

QIN C B ， SONG Z Y ， ZENG J Y ， et al . Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 877 - 895 . （in Chinese） . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

李大湘，杨福杰，刘颖，等 . 融入交叉注意力编码的皮肤病变分割网络［J］. 光学精密工程， 2024 ， 32 （ 4 ）： 609 - 621 . doi: 10.37188/ope.20243204.0609 http://dx.doi.org/10.37188/ope.20243204.0609

LI D X ， YANG F J ， LIU Y ， et al . Skin lesion segmentation network with cross-attention coding ［J］. Opt. Precision Eng. ， 2024 ， 32 （ 4 ）： 609 - 621 . （in Chinese） . doi: 10.37188/ope.20243204.0609 http://dx.doi.org/10.37188/ope.20243204.0609

谢斌，刘阳倩，李俞霖 . 结合极化自注意力和Transformer的结直肠息肉分割方法［J］. 光电工程， 2024 ， 51 （ 10 ）： 97 - 112 .

XIE B ， LIU Y Q ， LI Y L . Colorectal polyp segmentation method combining polarized self-attention and Transformer ［J］. Opto-Electronic Engineering ， 2024 ， 51 （ 10 ）： 97 - 112 . （in Chinese）

雷雨婷，张东，杨双 . 基于逻辑校准的多分类残差网络的肺分割算法［J］. 半导体光电， 2021 ， 42 （ 4 ）： 585 - 589， 595 .

LEI Y T ， ZHANG D ， YANG S . An algorithm of lung segmentation based on logit adjustment in multi-class residual network ［J］. Semiconductor Optoelectronics ， 2021 ， 42 （ 4 ）： 585 - 589， 595 . （in Chinese）

陈明惠，王腾，袁媛，等 . 引入双编码器模型的OCT视网膜图像分割［J］. 光电工程， 2023 ， 50 （ 10 ）： 32 - 40 .

CHEN M H ， WANG T ， YUAN Y ， et al . Study on retinal OCT segmentation with dual-encoder ［J］. Opto-Electronic Engineering ， 2023 ， 50 （ 10 ）： 32 - 40 . （in Chinese）

张贺童，姚康，丁上上，等 . 深度学习红外成像睑板腺分割处理系统［J］. 中国医疗器械杂志， 2022 ， 46 （ 4 ）： 377 - 381， 427 .

ZHANG H T ， YAO K ， DING S S ， et al . Infrared imaging meibomian gland segmentation system based on deep learning ［J］. Chinese Journal of Medical Instrumentation ， 2022 ， 46 （ 4 ）： 377 - 381， 427 . （in Chinese）

URBIETA I ， MUJIKA A ， PIÉROLA G ， et al . WebLabel： OpenLABEL-compliant multi-sensor labelling ［J］. Multimedia Tools and Applications ， 2024 ， 83 （ 9 ）： 26505 - 26524 . doi: 10.1007/s11042-023-16664-4 http://dx.doi.org/10.1007/s11042-023-16664-4

林嘉雯，林智明，赖泰辰，等 . 基于深度学习的睑板腺腺体分割方法研究［J］. 国际眼科杂志， 2022 ， 22 （ 7 ）： 1191 - 1194 . doi: 10.3390/app11073155 http://dx.doi.org/10.3390/app11073155

LIN J W ， LIN Z M ， LAI T C ， et al . Segmentation of meibomian glands based on deep learning ［J］. International Eye Science ， 2022 ， 22 （ 7 ）： 1191 - 1194 . （in Chinese） . doi: 10.3390/app11073155 http://dx.doi.org/10.3390/app11073155

ZHANG Z H ， LIN X L ， YU X X ， et al . Meibomian gland density： an effective evaluation index of meibomian gland dysfunction based on deep learning and transfer learning ［J］. Journal of Clinical Medicine ， 2022 ， 11 （ 9 ）： 2396 . doi: 10.3390/jcm11092396 http://dx.doi.org/10.3390/jcm11092396

吴玉超，林岚，王婧璇，等 . 基于卷积神经网络的语义分割在医学图像中的应用［J］. 生物医学工程学杂志， 2020 ， 37 （ 3 ）： 533 - 540 .

WU Y C ， LIN L ， WANG J X ， et al . Application of semantic segmentation based on convolutional neural network in medical images ［J］. Journal of Biomedical Engineering ， 2020 ， 37 （ 3 ）： 533 - 540 . （in Chinese）

梁礼明，周珑颂，冯骏，等 . 基于高分辨率复合网络的皮肤病变分割［J］. 光学精密工程， 2022 ， 30 （ 16 ）： 2021 - 2038 . doi: 10.37188/ope.20223016.2021 http://dx.doi.org/10.37188/ope.20223016.2021

LIANG L M ， ZHOU L S ， FENG J ， et al . Skin lesion segmentation based on high-resolution composite network ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 16 ）： 2021 - 2038 . （in Chinese） . doi: 10.37188/ope.20223016.2021 http://dx.doi.org/10.37188/ope.20223016.2021

周腊珍，陈红池，李秋霞，等 . 基于Transformer深度学习模型在医学图像分割中的研究进展［J］. 中国生物医学工程学报， 2024 ， 43 （ 4 ）： 467 - 476 .

ZHOU L Z ， CHEN H C ， LI Q X ， et al . Research progress on transformer-based deep learning models for medical image segmentation ［J］. Chinese Journal of Biomedical Engineering ， 2024 ， 43 （ 4 ）： 467 - 476 . （in Chinese）

JIA F ， WONG W H ， ZENG T Y . DDUNet： dense dense U-Net with applications in image denoising ［C］. 2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）. 11-17，2021 ， Montreal， BC， Canada. IEEE ， 2021 ： 354 - 364 . doi: 10.1109/iccvw54120.2021.00044 http://dx.doi.org/10.1109/iccvw54120.2021.00044

ZHOU Z W ， RAHMAN SIDDIQUEE M M ， TAJBAKHSH N ， et al . UNet++ ： A nested U - Net Architecture for Medical Image Segmentation ［M］. Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support . Cham ： Springer International Publishing ， 2018 ： 3 - 11 . doi: 10.1007/978-3-030-00889-5_1 http://dx.doi.org/10.1007/978-3-030-00889-5_1

CHEN J N ， MEI J R ， LI X H ， et al . TransUNet： Rethinking the U-Net architecture design for medical image segmentation through the lens of transformers ［J］. Medical Image Analysis ， 2024 ， 97 ： 103280 . doi: 10.1016/j.media.2024.103280 http://dx.doi.org/10.1016/j.media.2024.103280

CHEN Y F ， ZOU B F ， GUO Z X ， et al . SCUNet： swin-UNet and CNN bottleneck hybrid architecture with multi-fusion dense skip connection for pulmonary embolism CT image segmentation ［C］. 2024 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV）. 3-8，2024 ， Waikoloa， HI， USA. IEEE ， 2024 ： 7744 - 7752 . doi: 10.1109/wacv57701.2024.00758 http://dx.doi.org/10.1109/wacv57701.2024.00758

李雪涛，王耀雄，高放 . 图像修复方法综述［J］. 激光与光电子学进展， 2023 ， 60 （ 2 ）： 29 - 44 . doi: 10.3788/LOP212680 http://dx.doi.org/10.3788/LOP212680

LI X T ， WANG Y X ， GAO F . Review of image inpainting methods ［J］. Laser & Optoelectronics Progress ， 2023 ， 60 （ 2 ）： 29 - 44 . （in Chinese） . doi: 10.3788/LOP212680 http://dx.doi.org/10.3788/LOP212680

HAN K ， WANG Y ， CHEN H ， et al . A survey on vision transformer ［J］. IEEE Trans Pattern Anal Mach Intell ， 2023 ， 45 （ 1 ）： 87 - 110 . doi: 10.1109/tpami.2022.3152247 http://dx.doi.org/10.1109/tpami.2022.3152247

HE H B ， GARCIA E A . Learning from imbalanced data ［J］. IEEE Transactions on Knowledge and Data Engineering ， 2009 ， 21 （ 9 ）： 1263 - 1284 . doi: 10.1109/tkde.2008.239 http://dx.doi.org/10.1109/tkde.2008.239

DICE L R . Measures of the amount of ecologic association between species ［J］. Ecology ， 1945 ， 26 （ 3 ）： 297 - 302 . doi: 10.2307/1932409 http://dx.doi.org/10.2307/1932409

SAHA R K ， MAHMUD CHOWDHURY A M ， NA K S ， et al . Automated quantification of meibomian gland dropout in infrared meibography using deep learning ［J］. The Ocular Surface ， 2022 ， 26 ： 283 - 294 . doi: 10.1016/j.jtos.2022.06.006 http://dx.doi.org/10.1016/j.jtos.2022.06.006

LIU Y T ， ZHU H J ， LIU M T ， et al . Rolling-unet： revitalizing MLP’s ability to efficiently extract long-distance dependencies for medical image segmentation ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2024 ， 38 （ 4 ）： 3819 - 3827 . doi: 10.1609/aaai.v38i4.28173 http://dx.doi.org/10.1609/aaai.v38i4.28173

RONNEBERGER O ， FISCHER P ， BROX T . U - Net ： Convolutional Networks for Biomedical Image Segmentation ［M］. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015. Cham ： Springer International Publishing ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

CHEN L C ， ZHU Y K ， PAPANDREOU G ， et al . Encoder-decoder with atrous separable convolution for semantic image segmentation ［C］. Computer Vision-ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 833 - 851 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

ARITA R ， ITOH K ， INOUE K ， et al . Noncontact infrared meibography to document age-related changes of the meibomian glands in a normal population ［J］. Ophthalmology ， 2008 ， 115 （ 5 ）： 911 - 915 . doi: 10.1016/j.ophtha.2007.06.031 http://dx.doi.org/10.1016/j.ophtha.2007.06.031

SMOLA A J ， SCHÖLKOPF B . A tutorial on support vector regression ［J］. Statistics and Computing ， 2004 ， 14 （ 3 ）： 199 - 222 . doi: 10.1023/b:stco.0000035301.49549.88 http://dx.doi.org/10.1023/b:stco.0000035301.49549.88

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于光照引导的三阶段低光照图像增强

多模态特征融合的RGB-T目标跟踪网络

多维度聚合Transformer的图像超分辨率重建

基于知识蒸馏的Transformer视觉跟踪器