Automatic location of anatomical points in head MRI based on the scale attention hourglass network

Sai LI; Hao-jiang LI; Li-zhi LIU; Tian-qiao ZHANG; Hong-bo CHEN

doi:10.37188/OPE.20212909.2278

您当前的位置：

首页 >

文章列表页 >

Automatic location of anatomical points in head MRI based on the scale attention hourglass network

Information Sciences | 更新时间：2021-10-08

- Automatic location of anatomical points in head MRI based on the scale attention hourglass network
- Optics and Precision Engineering Vol. 29, Issue 9, Pages: 2278-2286(2021)
- 作者机构：
  
  1.桂林电子科技大学生命与环境科学学院，广西桂林 541004
  2.中山大学肿瘤防治中心放射科，广东广州 510060
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20212909.2278
  CLC： TP391.4
- Received：28 November 2020，
  
  Revised：05 January 2021，
  
  Published：15 September 2021
- 稿件说明：
移动端阅览
李赛,黎浩江,刘立志等.基于尺度注意力沙漏网络的头部MRI解剖点自动定位[J].光学精密工程,2021,29(09):2278-2286.

LI Sai,LI Hao-jiang,LIU Li-zhi,et al.Automatic location of anatomical points in head MRI based on the scale attention hourglass network[J].Optics and Precision Engineering,2021,29(09):2278-2286.
李赛,黎浩江,刘立志等.基于尺度注意力沙漏网络的头部MRI解剖点自动定位[J].光学精密工程,2021,29(09):2278-2286. DOI： 10.37188/OPE.20212909.2278.

LI Sai,LI Hao-jiang,LIU Li-zhi,et al.Automatic location of anatomical points in head MRI based on the scale attention hourglass network[J].Optics and Precision Engineering,2021,29(09):2278-2286. DOI： 10.37188/OPE.20212909.2278.

摘要

为了自动定位头部核磁共振成像（Magnetic Resonance Imaging， MRI）中稳定解剖结构点，提出了一种基于沙漏网络（Hourglass Network， HN）的头部MRI图像解剖点自动定位方法。该方法使用HN的基本结构实现多尺度特征的提取与融合，并在融合多尺度特征时引入尺度注意力机制，提高解剖结构点的提取精度。利用DSNT（Differentiable Spatial to Numerical Transform）层将卷积神经网络生成的预测热图进行坐标回归来定位解剖点。500例头部MRI图像用于训练，300例图像用于测试，测试结果表明本文提出的方法对四个解剖点的定位准确率均超过了80%，与常用的关键点定位方法相比，该方法取得了最好的效果。该方法可辅助医生进行图像的解剖点标记，为头部图像的自动配准和头部疾病的大数据分析提供技术支持。

Abstract

To automate the location of stable anatomical points in head magnetic resonance imaging （MRI）， an automated anatomical point locating procedure using head MRI images has been proposed that relies on hourglass network （HN）. In this method， the basic HN structure is used to extract and fuse multi-scale features. The scale attention mechanism is introduced in the fusion of multi-scale features to improve anatomical point location accuracy. This method uses the differential spatial to numerical transform （DSNT） layer to locate anatomical points using coordinate regression of the predicted heat map generated by the convolution neural network. Five hundred head MRI images were used for training， whereas three hundred images were used for testing. Accuracy of the proposed method for location of four anatomical points was >80%. Compared with the common methods currently used to locate key points， the proposed method achieved the best results. This method can assist doctors in marking anatomical points in images and provide technical support for automated registration of head MRI and big data analyses of head diseases.

关键词

Keywords

references

SONG C R ， CHENG P ， CHENG J L ， et al . Differential diagnosis of nasopharyngeal carcinoma and nasopharyngeal lymphoma based on DCE-MRI and RESOLVE-DWI ［J］. European Radiology ， 2020 ， 30 （ 1 ）： 110 - 118 . doi: 10.1007/s00330-019-06343-0 http://dx.doi.org/10.1007/s00330-019-06343-0

RESTEGHINI C ， TRAMA A ， BORGONOVI E ， et al . Big data in head and neck cancer ［J］. Current Treatment Options in Oncology ， 2018 ， 19 （ 12 ）： 62 . doi: 10.1007/s11864-018-0585-2 http://dx.doi.org/10.1007/s11864-018-0585-2

MING X ， OEI R W ， ZHAI R P ， et al . MRI-based radiomics signature is a quantitative prognostic biomarker for nasopharyngeal carcinoma ［J］. Scientific Reports ， 2019 ， 9 ： 10412 . doi: 10.1038/s41598-019-46985-0 http://dx.doi.org/10.1038/s41598-019-46985-0

PENG H ， DONG D ， FANG M J ， et al . Prognostic value of deep learning PET/CT-based radiomics： potential role for future individual induction chemotherapy in advanced nasopharyngeal carcinoma ［J］. Clinical Cancer Research ， 2019 ， 25 （ 14 ）： 4271 - 4279 . doi: 10.1158/1078-0432.ccr-18-3065 http://dx.doi.org/10.1158/1078-0432.ccr-18-3065

TOEWS M ， WACHINGER C ， ESTEPAR R S J ， et al . A feature-based approach to big data analysis of medical images ［C］. Information Processing in Medical Imaging ， 2015 ， 24 ： 339 - 350 . doi: 10.1007/978-3-319-19992-4_26 http://dx.doi.org/10.1007/978-3-319-19992-4_26

ZHANG L ， ZHOU H Y ， GU D S ， et al . Radiomic nomogram： pretreatment evaluation of local recurrence in nasopharyngeal carcinoma based on MR imaging ［J］. Journal of Cancer ， 2019 ， 10 （ 18 ）： 4217 - 4225 . doi: 10.7150/jca.33345 http://dx.doi.org/10.7150/jca.33345

WANG Z S ， LIU X Y ， CHEN W F . Head and neck CT atlases alignment based on anatomical priors constraint ［J］. Journal of Medical Imaging and Health Informatics ， 2019 ， 9 （ 9 ）： 2004 - 2011 . doi: 10.1166/jmihi.2019.2844 http://dx.doi.org/10.1166/jmihi.2019.2844

王红玉，冯筠，崔磊，等 . 应用显著纹理特征的医学图像配准［J］. 光学精密工程， 2015 ， 23 （ 9 ）： 2656 - 2665 . doi: 10.3788/ope.20152309.2656 http://dx.doi.org/10.3788/ope.20152309.2656

WANG H Y ， FENG J ， CUI L ， et al . Medical image registration based on salient texture ［J］. Opt. Precision Eng. ， 2015 ， 23 （ 9 ）： 2656 - 2665 . （in Chinese） . doi: 10.3788/ope.20152309.2656 http://dx.doi.org/10.3788/ope.20152309.2656

王宾，刘林，侯榆青，等 . 应用改进迭代最近点方法的三维心脏点云配准［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 474 - 484 .

WANG B ， LIU L ， HOU Y Q ， et al . Three-dimensional cardiac point cloud registration by improved iterative closest point method ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 474 - 484 . （in Chinese）

CHEN Z X ， XU Z K ， YI W W ， et al . Real-time and multimodal brain slice-to-volume registration using CNN ［J］. Expert Systems With Applications ， 2019 ， 133 ： 86 - 96 . doi: 10.1016/j.eswa.2019.05.016 http://dx.doi.org/10.1016/j.eswa.2019.05.016

PENNEY G P ， BARRATT D C ， CHAN C S K ， et al . Cadaver validation of intensity-based ultrasound to CT registration ［J］. Medical Image Analysis ， 2006 ， 10 （ 3 ）： 385 - 395 . doi: 10.1016/j.media.2006.01.003 http://dx.doi.org/10.1016/j.media.2006.01.003

冯筠，陈雨，仝鑫龙，等 . 三维颅骨特征点的自动标定［J］. 光学精密工程， 2014 ， 22 （ 5 ）： 1388 - 1394 . doi: 10.3788/ope.20142205.1388 http://dx.doi.org/10.3788/ope.20142205.1388

FENG J ， CHEN Y ， TONG X L ， et al . Automatic feature point extraction for three-dimensional skull ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 5 ）： 1388 - 1394 . （in Chinese） . doi: 10.3788/ope.20142205.1388 http://dx.doi.org/10.3788/ope.20142205.1388

LI S ， CHEN S C ， LI H J ， et al . Anatomical point-of-interest detection in head MRI using multipoint feature descriptor ［J］. IEEE Access ， 2020 ， 8 ： 173239 - 173249 . doi: 10.1109/access.2020.3023743 http://dx.doi.org/10.1109/access.2020.3023743

GAN K . Automated localization of anatomical landmark points in 3D medical images ［C］. 2015 IEEE International Conference on Digital Signal Processing （DSP）. July 21 - 24 ， 2015 . Singapore， Singapore. IEEE ， 2015 ： 143 - 147 . doi: 10.1109/icdsp.2015.7251847 http://dx.doi.org/10.1109/icdsp.2015.7251847

NEWELL A ， YANG K Y ， DENG J . Stacked Hourglass Networks for Human Pose Estimation ［M］. Computer Vision-ECCV 2016. Cham ： Springer International Publishing ， 2016 ： 483 - 499 . doi: 10.1007/978-3-319-46484-8_29 http://dx.doi.org/10.1007/978-3-319-46484-8_29

ZHANG Y D ， LIU J ， HUANG K Y . Dilated hourglass networks for human pose estimation ［C］. 2018 Chinese Automation Congress （CAC）. November 30-December 2 ， 2018 . Xi'an， China. IEEE ， 2018： 2597 - 2602 . doi: 10.1109/cac.2018.8623582 http://dx.doi.org/10.1109/cac.2018.8623582

LUO Y M ， XU Z T ， LIU P Z ， et al . Combining fractal hourglass network and skeleton joints pairwise affinity for multi-person pose estimation ［J］. Multimedia Tools and Applications ， 2019 ， 78 （ 6 ）： 7341 - 7363 . doi: 10.1007/s11042-018-6502-7 http://dx.doi.org/10.1007/s11042-018-6502-7

WANG X Y ， CAO Z Z ， WANG R ， et al . Improving human pose estimation with self-attention generative adversarial networks ［J］. IEEE Access ， 2019 ， 7 ： 119668 - 119680 . doi: 10.1109/access.2019.2936709 http://dx.doi.org/10.1109/access.2019.2936709

HUA G G ， LI L H ， LIU S G . Multipath affinage stacked—hourglass networks for human pose estimation ［J］. Frontiers of Computer Science ， 2020 ， 14 （ 4 ）： 1 - 12 . doi: 10.1007/s11704-019-8266-2 http://dx.doi.org/10.1007/s11704-019-8266-2

LIN T Y ， DOLLAR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21 - 26 ， 2017 . Honolulu， HI. IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

CHEN Y L ， WANG Z C ， PENG Y X ， et al . Cascaded pyramid network for multi-person pose estimation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18 - 23 ， 2018 . Salt Lake City， UT. IEEE ， 2018 ： 7103 - 7112 . doi: 10.1109/cvpr.2018.00742 http://dx.doi.org/10.1109/cvpr.2018.00742

ZHAO X T ， LI W ， ZHANG Y F ， et al . Aggregated residual dilation-based feature pyramid network for object detection ［J］. IEEE Access ， 2019 ， 7 ： 134014 - 134027 . doi: 10.1109/access.2019.2941892 http://dx.doi.org/10.1109/access.2019.2941892

OCER N E ， KAPLAN G ， ERDEM F ， et al . Tree extraction from multi-scale UAV images using Mask R-CNN with FPN ［J］. Remote Sensing Letters ， 2020 ， 11 （ 9 ）： 847 - 856 . doi: 10.1080/2150704x.2020.1784491 http://dx.doi.org/10.1080/2150704x.2020.1784491

WANG B ， CHEN S H ， WANG J ， et al . Residual feature pyramid networks for salient object detection ［J］. The Visual Computer ， 2020 ， 36 （ 9 ）： 1897 - 1908 . doi: 10.1007/s00371-019-01779-3 http://dx.doi.org/10.1007/s00371-019-01779-3

SUN Y ， WANG X G ， TANG X O . Deep convolutional network cascade for facial point detection ［C］. 2013 IEEE Conference on Computer Vision and Pattern Recognition. June 23 - 28 ， 2013 . Portland， OR， USA. IEEE ， 2013 ： 3476 - 3483 . doi: 10.1109/cvpr.2013.446 http://dx.doi.org/10.1109/cvpr.2013.446

GALBUSERA F ， NIEMEYER F ， WILKE H J ， et al . Fully automated radiological analysis of spinal disorders and deformities： a deep learning approach ［J］. European Spine Journal ， 2019 ， 28 （ 5 ）： 951 - 960 . doi: 10.1007/s00586-019-05944-z http://dx.doi.org/10.1007/s00586-019-05944-z

LUVIZON D C ， TABIA H ， PICARD D . Human pose regression by combining indirect part detection and contextual information ［J］. Computers & Graphics ， 2019 ， 85 ： 15 - 22 . doi: 10.1016/j.cag.2019.09.002 http://dx.doi.org/10.1016/j.cag.2019.09.002

李锵，姚麟倩，关欣 . 基于级联卷积神经网络的服饰关键点定位算法［J］. 天津大学学报（自然科学与工程技术版）， 2020 ， 53 （ 3 ）： 229 - 236 . doi: 10.17706/jsw.14.8.380-387 http://dx.doi.org/10.17706/jsw.14.8.380-387

LI Q ， YAO L Q ， GUAN X . Clothing key points detection algorithm based on cascade convolutional neural network ［J］. Journal of Tianjin University （Science and Technology）， 2020 ， 53 （ 3 ）： 229 - 236 . （in Chinese） . doi: 10.17706/jsw.14.8.380-387 http://dx.doi.org/10.17706/jsw.14.8.380-387

ZHANG W C ， SHUI P L . Contour-based corner detection via angle difference of principal directions of anisotropic Gaussian directional derivatives ［J］. Pattern Recognition ， 2015 ， 48 （ 9 ）： 2785 - 2797 . doi: 10.1016/j.patcog.2015.03.021 http://dx.doi.org/10.1016/j.patcog.2015.03.021

ZHANG W C ， SUN C M . Corner detection using multi-directional structure tensor with multiple scales ［J］. International Journal of Computer Vision ， 2020 ， 128 （ 2 ）： 438 - 459 . doi: 10.1007/s11263-019-01257-2 http://dx.doi.org/10.1007/s11263-019-01257-2

WANG M Z ， ZHANG W C ， SUN C M ， et al . Corner detection based on shearlet transform and multi-directional structure tensor ［J］. Pattern Recognition ， 2020 ， 103 ： 107299 . doi: 10.1016/j.patcog.2020.107299 http://dx.doi.org/10.1016/j.patcog.2020.107299

Views

759

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

No data

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰