Research on fundus image classification based on transfer learning and feature fusion

Xiao CHEN; Xiang-bing ZHU; Chang-fan WU; Yan YU; Peng-fei ZHANG

doi:10.37188/OPE.20212902.0388

您当前的位置：

首页 >

文章列表页 >

Research on fundus image classification based on transfer learning and feature fusion

Information Sciences | 更新时间：2021-03-05

- Research on fundus image classification based on transfer learning and feature fusion
- Optics and Precision Engineering Vol. 29, Issue 2, Pages: 388-399(2021)
- 作者机构：
  
  1.安徽师范大学物理与电子信息学院，安徽芜湖 241000
  2.皖南医学院第一附属医院眼科，安徽芜湖 241000
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20212902.0388
  CLC： TP391.41
- Received：03 August 2020，
  
  Revised：18 October 2020，
  
  Published：15 February 2021
- 稿件说明：
移动端阅览
陈筱,朱向冰,吴昌凡等.基于迁移学习与特征融合的眼底图像分类[J].光学精密工程,2021,29(02):388-399.

CHEN Xiao,ZHU Xiang-bing,WU Chang-fan,et al.Research on fundus image classification based on transfer learning and feature fusion[J].Optics and Precision Engineering,2021,29(02):388-399.
陈筱,朱向冰,吴昌凡等.基于迁移学习与特征融合的眼底图像分类[J].光学精密工程,2021,29(02):388-399. DOI： 10.37188/OPE.20212902.0388.

CHEN Xiao,ZHU Xiang-bing,WU Chang-fan,et al.Research on fundus image classification based on transfer learning and feature fusion[J].Optics and Precision Engineering,2021,29(02):388-399. DOI： 10.37188/OPE.20212902.0388.

摘要

针对大量眼底图片难以收集和标注、有经验的眼科医生地区分配不均匀等，导致眼底疾病患者检查准确度低、花费时间较长等问题，本文基于迁移学习提出一种图像分类方法：首先修改EfficientNet-B0和EfficientNet-B7模型并进行参数微调，将微调后的模型作为特征提取器用于提取眼底图像的特征，再对提取的特征进行特征融合并使用DNN分类器实现最终分类，同时使用加权梯度类激活映射可视化解释模型诊断异常的原因。提出的方法在内部数据上十折交叉验证得到的平均准确度、灵敏度和AUC分别为95.74%，96.46%，0.987，在公开数据集JSIEC上获得97.04%的准确度和97.14%的灵敏度。结果表明该方法可用于大规模筛查异常眼底，辅助医生实现高效诊断。

Abstract

Given the many fundus images that must be collected and the uneven distribution of experienced ophthalmologists， which lead to low accuracy and lengthy examinations of patients with fundus diseases， this study proposes an image classification method based on transfer learning. We first modified and fine-tuned the EfficientNet-B0 and EfficientNet-B7 models for later use as feature extractors on fundus images. Feature fusion was then performed and a deep neural network classifier was finally implemented to detect abnormal fundus. In addition， a visual representation that used gradient-weighted class activation mapping was produced to explain why the model predicted that the fundus images would be abnormal. The proposed method obtained an average accuracy， sensitivity， and area under curve of 95.74%， 96.46%， and 0.987， respectively， for internal data using a 10-fold cross-validation. It also achieved an accuracy of 97.04% and sensitivity of 97.14% on the public JSIEC dataset. The results demonstrated that this method can be used for large-scale screening of abnormal fundus and can assist doctors in performing efficient diagnoses.

关键词

Keywords

references

CHAKRABARTY L ， JOSHI G D ， CHAKRAVARTY A ， et al . . Automated detection of glaucoma from topographic features of the optic nerve head in color fundus photographs ［J］. Journal of glaucoma ， 2016 ， 25 （ 7 ）： 590 - 597 .

GRINSVEN M J . J.P.V， LECHANTEUR Y T.E.， VEN J P.H. V D， et al .. Automatic drusen quantification and risk assessment of age-related macular degeneration on color fundus images ［J］. Investigative ophthalmology & visual science ， 2013 ， 54 （ 4 ）： 3019 - 3027 .

FAUW J D ， LEDSAM J R ， ROMERA-PAREDES B ， et al . . Clinically applicable deep learning for diagnosis and referral in retinal disease ［J］. Nature medicine ， 2018 ， 24 （ 9 ）： 1342 - 1350 .

LIU P ， GUO J-M ， CHAMNONGTHAI K ， et al . . Fusion of color histogram and LBP-based features for texture image retrieval and classification ［J］. Information Sciences ， 2017 ， 390 ： 95 - 111 .

RADMAN A ， ZAINAL N ， SUANDI S A . Automated segmentation of iris images acquired in an unconstrained environment using HOG-SVM and GrowCut ［J］. Digital Signal Processing ， 2017 ， 64 ： 60 - 70 .

LECUN Y ， BENGIO Y ， HINTON G . Deep learning ［J］. Nature ， 2015 ， 521 （ 7553 ）： 436 - 444 .

陈彦彤，陈伟楠，张献中，等 . 基于深度卷积神经网络的蝇类面部识别［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1558 - 1567 .

CHEN Y T ， CHEN W N ， ZHANG X ZH ， et al . . Fly facial recognition based on deep convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1558 - 1567 . （in Chinese）

谭中伟，杨婧雅，刘艳，等 . 基于卷积神经网络的增敏型光纤弯曲传感器［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1454 - 1461 .

TAN ZH W ， YANG J Y ， LIU Y ， et al . . Enhanced fiber optic bending senor based on convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1454 - 1461 . （in Chinese）

李云红，李弘昊，文达，等 . 卷积神经网络的光学晶格中超冷源自栋梁分布预测［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1480 - 1484 .

LI Y H ， LI H H ， WEN D ， et al . . Prediction of momentum of supercooled atoms in optical lattice using convolutional-recurrent network ［J］， Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1480 - 1484 . （in Chinese）

贠卫国，史其琦，王民 . 基于深度卷积神经网络的多特征融合的手势识别［J］. 液晶与显示， 2019 ， 34 （ 4 ）： 417 - 422 .

YUN W G ， SHI Q Q ， WANG M . Multi-feature fusion gesture recognition based on deep convolutional neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 4 ）： 417 - 422 . （in Chinese）

BESENCI R ， TOTH J ， HAJDU A . A review on automatic analysis techniques for color fundus photographs ［J］. Computational and structural biotechnology journal ， 2016 ， 14 ： 371 - 384 .

KRIZHEVSHY A ， SUTSKEVER I ， Hinton G . Imagenet classification with deep convolutional neural networks ［C］. Proceedings of Advances in neural information processing systems. Lake Tahoe ： MIT Press ， 2012 ： 1097 - 1105 .

TAN M ， LE QV . EfficientNet：Rethinking model scaling for convolutional neural networks ［C］. 36th International Conference on Machine Learning （ICML）， California ， 2019 ： 691 - 700 .

BREIMAN L . Random Forests ［J］. Machine Learning ， 2001 ， 45 （ 1 ）： 5 - 32 .

NOBEL W S . What is a support vector machine？［J］. Nature biotechnology ， 2006 ， 24 （ 12 ）： 1565 - 1567 .

CHEN T GUESTRIN C . Xgboost： A scalable tree boosting system ［C］. Proceedings of the 22nd acmsigkdd international conference on knowledge discovery and data mining. San Francisco ： ACM Press ， 2016 ： 785 - 794 .

YANG J ， YANG J Y ， ZHANG D ， et al . . Feature fusion： parallel strategy vs. serial strategy ［J］. Pattern Recognition ， 2003 ， 36 （ 6 ）： 1369 - 1381 .

WANG Z ， YIN Y ， SHI J ， et al .. Zoom-in-net： Deep mining lesions for diabetic retinopathy detection ［C］. Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham ： Springer Press ， 2017 ： 267 - 275 .

GULSHAN V ， PENG L ， CORAM M ， et al . . Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs ［J］. Jama ， 2016 ， 316 （ 22 ）： 2402 - 2410 .

YUL C J ， KEUN Y T ， GI S J ， et al . . Multi-categorical deep learning neural network to classify retinal images： A pilot study employing small database ［J］. Plos One ， 2017 ， 12 （ 11 ）： e0187336 .

SALEH E ， BLASCZYNSKIB J ， MORENO A ， et al . . Learning ensemble classifiers for diabetic retinopathy assessment ［J］. Artificial intelligence in medicine ， 2018 ， 85 ： 50 - 63 .

熊荔 . 基于彩色眼底图的图像分析与疾病自动诊断算法研究［D］. 北京：北京理工大学， 2017 .

XIONG L . Automatic Analysis and Diagnosis of Color Retinal Image ［D］. Beijing ： Beijing Institute of Technology ， 2017 . （in Chinese）

李建强，张苓琳，张莉，等 . 基于深度学习的白内障识别与分级［J］. 第二军医大学学报， 2018 ， 39 （ 8 ）： 878 - 885 .

LI J Q ， ZHANG L L ， ZHANG L ， et al . . Cataract recognition and grading based on deep learning ［J］. Academic Journal of Second Military Medical University ， 2018 ， 39 （ 8 ）： 878 - 885 . （in Chinese）

PRATAP T ， KOKIL P . Computer-aided diagnosis of cataract using deep transfer learning ［J］. Biomedical Signal Processing and Control ， 2019 ， 53 ： 101533 .

柯士园，胡曼，徐永利 . 基于集成学习的计算机辅助诊断青光眼算法研究［J］. 北京化工大学学报（自然科学版）， 2019 ， 46 （ 4 ）： 86 - 91 .

KE SH Y ， HU M ， XU Y L . Algorithms for computer-aided diagnosis of glaucoma based on ensemble learning ［J］. Journal of Beijing university of chemical technology （natural science edition）， 2019 ， 46 （ 4 ）： 86 - 91 . （in Chinese）

CLARO M ， VERAS R ， SANTANA A ， et al . . An hybrid feature space from texture information and transfer learning for glaucoma classification ［J］. Journal of Visual Communication and Image Representation ， 2019 ， 64 ： 102597 .

TAN C ， SUN F ， KONG T ， et al .. A survey on deep transfer learning ［C］. Proceedings of International Conference on Artificial Neural Networks. Cham ： Springer Press ， 2018 ： 270 - 279 .

SIMONYAN K ， ZISSERMAN A . Very Deep Convolutional Networks for Large-scale Image Recognition ［M］. International Conference on Learning Representations ， 2015 .

SZEGEDY C ， IOFFE S ， VANHOUCKE V ， et al .. Inception-v4， Inception-ResNet and the impact of residual connections on learning ［C］. Proceedings of Thirty-First AAAI Conference on Artificial Intelligence. San Francisco ： AAAI Press ， 2017 ： 4278 - 4284 .

OJALA T ， PIETIKAINEN M ， MAENPAAMAENPAA T . Multiresolution gray-scale and rotation invariant texture classification with local binary patterns ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence ， 2002 ， 24 （ 7 ）： 971 - 987 .

YUAN L H ， FU L ， YANG Y ， et al . . Analysis of texture feature extracted by gray level co-occurrence matrix ［J］. Journal of Computer Applications ， 2009 ， 29 （ 4 ）： 1018 - 1021 .

DALAL N ， TRIGGS B . Histograms of oriented gradients for human detection ［C］. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego ： IEEE Press ， 2005 ： 886 - 893 .

CAI J ， LUO J ， WANG S ， et al . . Feature selection in machine learning： A new perspective ［J］. Neurocomputing ， 2018 ， 300 ： 70 - 79 .

GRANITTO P M ， FURLANELLO C ， BIASIOLI ， et al . . Recursive feature elimination with random forest for PTR-MS analysis of agroindustrial products ［J］. Chemometrics and Intelligent Laboratory Systems ， 2006 ， 83 （ 2 ）： 83 - 90 .

WU Y H ， LIU P ZH . A Classification Algorithm of Ultrasonic Thyroid Standard Planes Using LBP and HOG Features ［C］. International Conference on Anti-counterfeiting ， Security ， and Identification （ASID）， Xiamen ， China ： IEEE Press . 2019 ： 103 - 107 .

邹北骥，张子谦，朱承璋，等 . 基于残差网络的糖网自动筛查［J］. 计算机辅助设计与图像学学报， 2019 ， 31 （ 4 ）： 580 - 588 .

ZOU B J ， ZHANG Z Q ， ZHU CH ZH ， et al . . Automatic screening of diabetic retinopathy based on residual network ［J］. Journal of Computer-aided design and computer graphics ， 2019 ， 31 （ 4 ）： 580 - 588 . （in Chinese）

JOSE A M ， KUMARC. S. ， DEEPAV. . Automated detection of microaneurysm using textural analysis ［C］. International Conference on Intelligent Computing ， Instrumentation and Control Technologies （ICICICT）， India： IEEE press ， 2019 （ 1 ）： 791 - 796 .

SELVARAJU RR ， COGSWELL M ， DAS A ， et al .. Grad-CAM： Visual explanations from deep networks via gradient-based localization ［C］. Proceedings of the IEEE International Conference on Computer Vision， Italy ： IEEE press ， 2017 ： 618 - 626 .

Views

727

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Enhanced edge feature extraction dual branch fusion network for real image dehazing

Lightweight video super-resolution based on hybrid spatio-temporal convolution

Joint self-attention and branch sampling for object detection on drone imagery

Multidimensional attention mechanism and selective feature fusion for image super-resolution reconstruction

Cross-scale infrared pedestrian detection based on dynamic feature optimization mechanism

Related Author

XIE Tao

WANG Hongliang

ZHANG Kaomin

XIA Fengling

LI Xiongxin

CHEN Hao

XIA Zhenping

ZHANG Yuning

Related Institution

Faculty of Civil Aviation and Aeronautics，Kunming University of Science and Technology

Cheng Laboratory for Information Display and Visualization

Jiangsu Industrial Intelligent and Low-carbon Technology Engineering Center

Display R&D Centre， School of Electronic Science & Engineering， Southeast University

School of Electronic & Information Engineering， Suzhou University of Science and Technology

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰