基于尺度注意力沙漏网络的头部MRI解剖点自动定位

基于尺度注意力沙漏网络的头部MRI解剖点自动定位 Automatic location of anatomical points in head MRI based on the scale attention hourglass network 1 first-author 李　赛（1995-），男，河北石家庄人，硕士研究生，2014年于河北北方学院获得学士学位。现就读于桂林电子科技大学生命与环境科学学院，研究方向为医学图像处理。Email： 1007912471@qq.com李　赛（1995-），男，河北石家庄人，硕士研究生，2014年于河北北方学院获得学士学位。现就读于桂林电子科技大学生命与环境科学学院，研究方向为医学图像处理。Email： 1007912471@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935163&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935170&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935166&type= 22.01332855 32.00399780 李　赛 （1995-），男，河北石家庄人，硕士研究生，2014年于河北北方学院获得学士学位。现就读于桂林电子科技大学生命与环境科学学院，研究方向为医学图像处理。Email： 1007912471@qq.com 李　赛 （1995-），男，河北石家庄人，硕士研究生，2014年于河北北方学院获得学士学位。现就读于桂林电子科技大学生命与环境科学学院，研究方向为医学图像处理。Email： 1007912471@qq.com 1007912471@qq.com 2 2 1 1 corresp 陈洪波（1972-），男，湖南茶陵人，教授，博士生导师。2009年于中南大学获得博士学位。主要从事医学模式识别、医学图像处理、医学人工智能方面的研究。Email：hongbochen@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935175&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935182&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935178&type= 22.01332855 32.00400162 陈洪波 （1972-），男，湖南茶陵人，教授，博士生导师。2009年于中南大学获得博士学位。主要从事医学模式识别、医学图像处理、医学人工智能方面的研究。Email： hongbochen@163.com hongbochen@163.com 桂林电子科技大学 生命与环境科学学院， 广西 桂林 541004 桂林电子科技大学 生命与环境科学学院， 广西 桂林 541004 School of Life & Environmental Science， Guilin University of Electronic Technology， Guilin 541004， China School of Life & Environmental Science， Guilin University of Electronic Technology， Guilin 541004， China 中山大学肿瘤防治中心 放射科， 广东 广州 510060 中山大学肿瘤防治中心 放射科， 广东 广州 510060 Department of Radiology， Sun Yat-sen University Cancer Center， Guangzhou 510060， China）;Correponding author， E-mail： hongbochen@163.com Department of Radiology， Sun Yat-sen University Cancer Center， Guangzhou 510060， China）;Correponding author， E-mail： hongbochen@163.com 为了自动定位头部核磁共振成像（Magnetic Resonance Imaging， MRI）中稳定解剖结构点，提出了一种基于沙漏网络（Hourglass Network， HN）的头部MRI图像解剖点自动定位方法。该方法使用HN的基本结构实现多尺度特征的提取与融合，并在融合多尺度特征时引入尺度注意力机制，提高解剖结构点的提取精度。利用DSNT（Differentiable Spatial to Numerical Transform）层将卷积神经网络生成的预测热图进行坐标回归来定位解剖点。500例头部MRI图像用于训练，300例图像用于测试，测试结果表明本文提出的方法对四个解剖点的定位准确率均超过了80%，与常用的关键点定位方法相比，该方法取得了最好的效果。该方法可辅助医生进行图像的解剖点标记，为头部图像的自动配准和头部疾病的大数据分析提供技术支持。 To automate the location of stable anatomical points in head magnetic resonance imaging （MRI）， an automated anatomical point locating procedure using head MRI images has been proposed that relies on hourglass network （HN）. In this method， the basic HN structure is used to extract and fuse multi-scale features. The scale attention mechanism is introduced in the fusion of multi-scale features to improve anatomical point location accuracy. This method uses the differential spatial to numerical transform （DSNT） layer to locate anatomical points using coordinate regression of the predicted heat map generated by the convolution neural network. Five hundred head MRI images were used for training， whereas three hundred images were used for testing. Accuracy of the proposed method for location of four anatomical points was >80%. Compared with the common methods currently used to locate key points， the proposed method achieved the best results. This method can assist doctors in marking anatomical points in images and provide technical support for automated registration of head MRI and big data analyses of head diseases. 头部MR图像 解剖点定位 沙漏网络 尺度注意力 DSNT head MRI anatomical points location hourglass network scale attention DSNT 1 引　言 1 核磁共振成像（Magnetic Resonance Imaging， MRI）在鉴别鼻咽癌方面性能显著 ［ 1 1 ］ 。因此，头部MRI在鼻咽癌的辅助诊断和预测预后方面发挥着越来越重要的作用。近年来，放射组学和大数据图像分析技术已成为鼻咽癌预后研究的主要手段 ［ 2 2 - 6 6 2-6 ］ 。图像配准是医学影像大数据分析的一个重要预处理步骤 ［ 7 7 ］ 。基于特征点的图像配准是医学图像配准中常用的方法，该方法在配准前需要选择若干个特征点作为参考点 ［ 8 8 - 9 9 8-9 ］ 。在医学图像中，常用一些稳定的解剖点作为特征点进行配准。稳定的解剖点在配准中不受个体差异的影响。采用基于特征点的配准方法在配准前需要获得解剖点的位置标记，这些标记通常依赖于特殊设备、侵入性植入物或人工标记 ［ 10 10 - 11 11 10-11 ］ 。前者对患者的伤害较大而人工标记对医生来说是一项费时的操作。设计一种算法使得计算机自动定位目标解剖点在医学图像分析中具有重大意义 ［ 12 12 ］ 。 医学图像解剖点定位方法大致可分为基于人工特征和基于深度学习两类。基于人工特征的方法通过人为定义的特征对待检测图像的所有像素点和标记点进行特征描述后采用特征匹配的方式确定解剖点位置 ［ 13 13 - 14 14 13-14 ］ 。由于人为定义的特征对像素点的描述能力有限，采用人工特征的方法实现解剖点定位的效果一般。随着深度学习技术的发展，其在图像识别、分割以及关键点定位的问题上得到了广泛的应用。在图像的关键点定位的任务中融合多尺度特征的沙漏网络（Hourglass Network， HN）实现了人体姿态估计中人体关键点的精确定位 ［ 15 15 - 19 19 15-19 ］ ，特征金字塔网络广泛应用于目标检测、关键点检测等任务 ［ 20 20 - 24 24 20-24 ］ ，这两种网络将提取到的不同尺度的特征进行融合后得到最终的特征图避免了只利用单一尺度下的特征图来进行关键点定位时造成的信息丢失，因其优越的性能这两种网络的使用占据了图像关键点定位的半壁江山。本文采用尺度注意力沙漏网络（Scale Attention Hourglass Network， SAHN）作为特征提取网络来获得特征图。要得到关键点的位置还需利用特征图进行坐标回归，目前广泛应用的坐标回归方式可分为全连接层直接回归 ［ 25 25 ］ 和基于热图的回归方法。一般而言，全连接层直接回归方式丢失了特征图中的位置信息所以空间泛化能力不强，而热图回归的方式保留了空间信息但该方式的最终输出为预测热图而不是坐标，在训练过程中对内存的需求大且无法实现由输入图像到坐标的端到端的学习。本文采用DSNT（Differentiable Spatial to Numerical Transform）层 ［ 26 26 - 27 27 26-27 ］ 实现坐标回归，该层对生成的预测热图求期望得到关键点的数值坐标，即保留了特征图的空间信息也实现了由输入图像到坐标的端到端的学习。我们选取了四个在特征上具有代表性的解剖点作为实验对象，测试算法性能。如 图1 图1 所示，右/左侧内耳门点（Right/Left Internal Acoustic pore， RIA/LIA） 为两个解剖结构的交叉点，周围特征丰富多样；右/左侧颈内动脉海绵窦段垂直部点（Right/Left Ascending Segment of the Internal Carotid Artery in the Posterior Cavernous Sinus，RAS/LAS）为血管的中心点，结构点周围的特征不太明显。这两类结构点在头部结构中广泛存在。 2 方　法 1 头部MRI自动定位算法流程图如 图2 图2 所示。选用HN作为特征提取网络，在融合不同尺度的特征时通过加入1×1的卷积层使得各层特征所占的权重可调。在数据输入到HN之前，使用特征预提取模块将输入图像数据的大小和通道数达到沙漏网络的输入要求（输入HN的特征图大小为128×128×128），经过HN提取特征后得到同样大小的特征图。该特征图经过1×1卷积层和Softmax层后输出大小为128×128的预测热图。热图中每个位置的值为所定位的解剖点在该位置的概率，DSNT层根据热图中的概率值将热图转化为坐标值输出，该坐标值即为所要定位的解剖点的预测坐标。 2.1　特征提取网络设计 2 现有的关键点定位网络结构大多只使用最后一层的卷积特征，只利用单一尺度下的特征图来进行关键点定位，会造成信息的丢失。我们选用HN来实现特征提取，HN是为解决人体姿态估计问题中人体关键点的精确定位而设计，最初由Newell等人 ［ 14 14 ］ 提出。HN的输入一般为通道数为 n 的特征图，因此不能将图像直接输入到网络中。如 图2 图2 所示，输入图像先经过预处理模块提高通道数后再送入HN。该网络的主要贡献在于利用多尺度特征来定位关键点，网络采用残差模块为基本单元，通过下采样操作逐步降低特征图的分辨率。同时通过另一路卷积保留下采样前的特征图，用于和上采样部分同尺度的特征图进行融合。当下采样部分特征图达到最小分辨率，网络经过最近邻上采样后与保留的同尺度特征图进行融合 ［ 28 28 ］ 。原始HN中特征融合的方式为简单的像素相加。在像素相加之前加入1×1卷积层，相当于为每个尺度的特征图设置了一个权重系数，在网络训练过程中网路会自动的选择合适的尺度特征增加其对输出的权重实现网络对不同尺度特征的注意力机制从而更准确的定位解剖点。最终，网络将不同尺度的特征融合后输出128×128×128的特征图用于定位解剖点的位置。 2.2　坐标回归 2 将图像输入到卷积神经网络中经过特征提取后会输出一个特征图，利用坐标回归获取解剖点的位置。如 图2 图2 所示，HN的输出为128×128×128的特征图，在早期的做法中通常使用全连接层直接将特征图映射到坐标，但全连接层的使用会使得模型缺乏空间泛化能力，造成过拟合。本文使用1×1卷积层将多通道的特征图映射为单通道的特征矩阵，该矩阵中的元素经Softmax函数归一化后生成解剖点的预测热图。HN最初用于人体关键点定位时，在模型训练过程中通过定义一个以真值坐标为中心的二维高斯热图，将该热图作为训练标签，利用均方误差损失对模型进行训练。在测试过程中，通过计算热图矩阵的Argmax函数值得到模型输出的数值坐标，由于Argmax函数是不可微分的，因而在网络的训练过程中无法实现由输入图像到坐标的端到端的学习。对于像解剖点定位这样的坐标回归任务，为了实现端到端的可微性，其输出需要是一个坐标而不是热图。通过DSNT层将生成的热力图转换为一个预测坐标值（ x，y ），计算真实坐标值与DNST层输出的预测坐标值之间的损失间接的对热图进行监督。热图 H 中的值 <math id="M1"><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935213&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935207&type= 4.74133301 3.72533321 为所要定位的解剖点在该位置（ x=j，y=i ）的概率，经过Softmax函数归一化以后 <math id="M2"><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><msubsup><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935220&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935216&type= 22.60600090 5.16466665 =1。我们另外创建两个矩阵 X 与 Y ，其中 <math id="M3"><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935225&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935223&type= 4.91066647 3.72533321 =j， <math id="M4"><msub><mrow><mi>Y</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935232&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935228&type= 5.16466665 3.72533321 =i ，定义二维向量 C 为解剖点的坐标向量，根据以上所述可知： <math display="block" id="M5"><mi>P</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">C</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>Y</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow></mfenced></mrow></mfenced><mo>=</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935238&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935234&type= 38.52333450 5.67266655 . 在DSNT层中我们将 C 的数学期望作为最终的输出，我们定义 <math id="M6"><mi>μ</mi><mo>=</mo><mi>E</mi><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935244&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935241&type= 15.57866764 3.72533321 ，由概率论知识我们可以知道： <math display="block" id="M7"><mi>μ</mi><mo>=</mo><mo stretchy="false">[</mo><mo><</mo><mi mathvariant="bold-italic">H</mi><mo>,</mo><mi mathvariant="bold-italic">X</mi><msub><mrow><mo>></mo></mrow><mrow><mi>F</mi></mrow></msub><mtext> </mtext><mo>,</mo><mtext>  </mtext><mo><</mo><mi mathvariant="bold-italic">H</mi><mo>,</mo><mi mathvariant="bold-italic">Y</mi><msub><mrow><mo>></mo></mrow><mrow><mi>F</mi></mrow></msub><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935246&type= 50.88466644 4.65666676 . 在DSNT层中求得热图 H 与矩阵 X ， Y 的Frobenius内积的值就可以得到解剖点的预测坐标 （x，y） ，该过程可微且不增加可学习的参数。由上文所述，原始图像的大小为512×512，热图的大小为128×128，原始图像到热图中间缩小了4倍，故最终输出的横纵坐标值为： <math display="block" id="M8"><mi>x</mi><mo>=</mo><mo><</mo><mi mathvariant="bold-italic">H</mi><mo>,</mo><mi mathvariant="bold-italic">X</mi><msub><mrow><mo>></mo></mrow><mrow><mi>F</mi></mrow></msub><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935257&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935254&type= 28.53266525 4.14866638 4， <math display="block" id="M9"><mi>y</mi><mo>=</mo><mo><</mo><mi mathvariant="bold-italic">H</mi><mo>,</mo><mi mathvariant="bold-italic">Y</mi><msub><mrow><mo>></mo></mrow><mrow><mi>F</mi></mrow></msub><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935265&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935260&type= 28.61733437 4.57200003 4. 3 实验与结果分析 1 3.1　实验数据与环境 2 本实验所使用的图像数据由中山大学附属肿瘤医院提供，总共800例图像数据，其中500例用于模型训练，剩余300例用作测试。所用图像的大小为512×512像素，图像标注工作由中山大学附属肿瘤医院影像科一名具有五年以上的影像科医师勾画完成，并由一名医学影像学主任医师确认，数据真实可靠。算法实现的软件环境为Ubuntu 16.04，中央处理器为Intel（R） Xeon（R） CPU E5-2640 v4， 2.40 GHz，显卡为RTX 2080ti，使用的深度学习框架为Tensorflow。 3.2　训练过程与评价指标 2 在训练过程中loss值为预测坐标与真实坐标之间的均方误差： <math display="block" id="M10"><mi>L</mi><mo>=</mo><mo stretchy="false">(</mo><mi>y</mi><mo>-</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>'</mi></mrow></msup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mo stretchy="false">(</mo><mi>x</mi><mo>-</mo><msup><mrow><mi>x</mi></mrow><mrow><mi>'</mi></mrow></msup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935271&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935268&type= 38.26933289 4.06400013 ， 其中： x，y 为真实位置的横、纵坐标值， <math id="M11"><msup><mrow><mi>x</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935276&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935274&type= 2.53999996 3.04800010 ， <math id="M12"><msup><mrow><mi>y</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935283&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935280&type= 2.45533323 3.89466691 为算法预测出的横、纵坐标值。优化算法选用ADAM，初始学习率为1.0× <math id="M13"><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">5</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935289&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935286&type= 6.85799980 3.04800010 。批量数据大小（Batch Size）设置为1，迭代次数为1 000。整个模型大约训练6 h。 输出结果为解剖点的预测坐标值（ x ， y ），并计算出输出的预测坐标值与医生手动标记的解剖点位置的坐标值之间的欧式距离。解剖点本身具有一定大小范围，如果算法输出的结果位于解剖点的组织区域内，则可认为检测准确。如 图3 图3 所示，解剖点的大小在图像上的表达为一直径为10~15个像素的圆域，医生标记的点位于其中心，所以算法输出的点如果落在以医生标记点为中心半径为5~7个像素的圆中，即可认为检测准确。在本实验中我们为了保守统计结果准确率，将预测的坐标与医生标注的坐标的距离小于4个像素的结果视为正确的结果，这种评价手段与现行角点提取算法性能的评价方法一致 ［ 29 29 - 31 31 29-31 ］ 。 3.3　不同网络算法结果对比 2 为了阐明本文方法的性能，与原始HN以及特征金字塔网络（FPN， Feature Pyramid Networks）的结果进行对比。如 表1 表1 所示，本文方法得到了最好的结果。原始HN与FPN相比，前者效果优于后者，FPN失效的原因是产生了严重的过拟合现象，在实验过程中发现训练好的FPN模型在训练集上进行测试其平均距离可达到1.1个像素，但在训练集上测试发现其平均距离高达6-7个像素，FPN采用残差网络作为主框架，其层数较深适合大数据集的训练。如 图4 图4 所示，本文改进后的效果与原始HN相比有明显提高，在加入尺度注意力机制后，不同尺度特征的权重可调，使得定位的结果更准确。 2 解剖点 2 SAHN 2 原始HN 2 FPN 准确率（%） 平均距离 （像素） 准确率（%） 平均距离 （像素） 准确率（%） 平均距离 （像素） RIA 83.0 2.7 <math id="M14"><mo>±</mo><mn>2.9</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935404&type= 7.45066643 2.45533323 74.5 3.2 <math id="M15"><mo>±</mo><mn>5.4</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935309&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935306&type= 7.36600018 2.45533323 26.3 6.7 <math id="M16"><mo>±</mo><mn>4.4</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935317&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935313&type= 7.36600018 2.45533323 LIA 82.3 2.7 <math id="M17"><mo>±</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935362&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935359&type= 3.21733332 2.45533323 1.5 74.0 3.3 <math id="M18"><mo>±</mo><mn>5.7</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935328&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935325&type= 7.36600018 2.45533323 29.7 6.8 <math id="M19"><mo>±</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935362&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935359&type= 3.21733332 2.45533323 4.2 RAS 90.3 2.4 <math id="M20"><mo>±</mo><mn>3.1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935451&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935449&type= 7.36600018 2.45533323 84.6 3.2 <math id="M21"><mo>±</mo><mn>8.8</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935345&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935343&type= 7.36600018 2.45533323 24.3 7.4 <math id="M22"><mo>±</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935362&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935359&type= 3.21733332 2.45533323 4.3 LAS 93.0 1.9 <math id="M23"><mo>±</mo><mn>2.0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935468&type= 7.45066643 2.45533323 86.3 3.0 <math id="M24"><mo>±</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935362&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935359&type= 3.21733332 2.45533323 4.5 25.3 <math id="M25"><mn>7.1</mn><mo>±</mo><mn>4.0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935368&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935366&type= 12.19200039 2.45533323 图5 图5 所示为不同网络的定位效果图，该图给出了采用不同网络对四个解剖点的定位情况，可以看出，对于一些难以定位的图像如图像中存在一些与真实点形状相似的点、图像敏感变化不一的情况本文方法仍然能准确定位解剖点。FPN在一些难以定位的情况下虽然可以定位出解剖点的大概位置，但与医生标记的位置对比可以发现FPN定位出的点与真实点的位置存在一些偏移。原始HN对真实点的识别能力较差，如RAS点在一幅图像中存在两个形状相似的空腔点，其中一个是真实点，但原始HN误将与真实点形状相似的点作为了真实点。 3.4　不同网络深度结果对比 2 HN的阶数 n 指的是网络的最后输出融合了 n 层下采样前的不同尺度的特征。HN的深度对于模型的性能存在一定的影响，是本模型的一个重要参数。HN的阶数越高，提取的特征信息越丰富， 表2 表2 所示为采用不同网络阶数所对应的最终结果，由 表2 表2 我们可以看出对每个特定的解剖结构点，不同阶数网络的定位性能存在一定的差异，这是由于每个解剖点的周围特征以及背景复杂度有所不同，每个解剖点所对应的网络最佳阶数略有不同。 2 解剖点 2 3阶 2 4阶 2 5阶 2 6阶 准确率（%） 平均距离 （像素） 准确率（%） 平均距离 （像素） 准确率（%） 平均距离 （像素） 准确率（%） 平均距离 （像素） RIA 80.7 2.7 <math id="M26"><mo>±</mo><mn>2.9</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935404&type= 7.45066643 2.45533323 83.0 2.7 <math id="M27"><mo>±</mo><mn>2.9</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935404&type= 7.45066643 2.45533323 80.0 2.8 <math id="M28"><mo>±</mo><mn>3.0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935438&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935436&type= 7.36600018 2.45533323 80.0 2.8 <math id="M29"><mo>±</mo><mn>3.0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935438&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935436&type= 7.36600018 2.45533323 LIA 81.7 2.8 <math id="M30"><mo>±</mo><mn>1.6</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935430&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935428&type= 7.36600018 2.45533323 80.7 2.8 <math id="M31"><mo>±</mo><mn>1.5</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935434&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935432&type= 7.36600018 2.45533323 78.0 3.0 <math id="M32"><mo>±</mo><mn>1.6</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935430&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935428&type= 7.36600018 2.45533323 82.3 2.7 <math id="M33"><mo>±</mo><mn>1.5</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935434&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935432&type= 7.36600018 2.45533323 RAS 87.3 2.5 <math id="M34"><mo>±</mo><mn>3.0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935438&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935436&type= 7.36600018 2.45533323 89.0 2.7 <math id="M35"><mo>±</mo><mn>3.1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935451&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935449&type= 7.36600018 2.45533323 89.7 2.4 <math id="M36"><mo>±</mo><mn>3.1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935451&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935449&type= 7.36600018 2.45533323 90.3 2.4 <math id="M37"><mo>±</mo><mn>3.1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935451&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935449&type= 7.36600018 2.45533323 LAS 90.7 <math id="M38"><mn>2.1</mn><mo>±</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935459&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935455&type= 7.61999989 2.45533323 2.1 91.7 2.2 <math id="M39"><mo>±</mo><mn>2.1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935477&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935474&type= 7.45066643 2.45533323 93.0 1.9 <math id="M40"><mo>±</mo><mn>2.0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935468&type= 7.45066643 2.45533323 91.0 2.1 <math id="M41"><mo>±</mo><mn>2.1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935477&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20935474&type= 7.45066643 2.45533323 4 结　论 1 图像的关键点自动定位在计算机视觉中是一项非常重要的技术，在医学图像配准任务中，常常需要获取一些稳定的解剖点的位置作为参考，本文将人体图像中的关键点检测技术引入医学图像中，提出了一种基于卷积神经网络的头部MRI解剖点定位算法，旨在实现医学图像解剖点标记自动化。实验结果可以表明本文算法能有效提取头部MRI中的稳定解剖点，可以辅助医生进行解剖点勾画，提高医生的工作效率，在医学图像配准、医学图像大数据分析场景下具有重大应用价值。 本文算法的主要贡献为：（1）针对关键点检测任务依赖于图像的多尺度特征问题，采用HN的基本结构作为特征提取网路，在融合不同尺度的特征时加入尺度注意力机制大大提高了解剖点定位的准确度。（2）算法将DSNT模块与沙漏网络相结合，实现了图像的关键点的数值坐标回归，在模型训练阶段实现了端到端的学习。 参考文献 SONG C R ， CHENG P ， CHENG J L ， et al . Differential diagnosis of nasopharyngeal carcinoma and nasopharyngeal lymphoma based on DCE-MRI and RESOLVE-DWI ［J］. European Radiology ， 2020 ， 30 （ 1 ）： 110 - 118 . doi: 10.1007/s00330-019-06343-0 http://dx.doi.org/10.1007/s00330-019-06343-0 Differential diagnosis of nasopharyngeal carcinoma and nasopharyngeal lymphoma based on DCE-MRI and RESOLVE-DWI RESTEGHINI C ， TRAMA A ， BORGONOVI E ， et al . Big data in head and neck cancer ［J］. Current Treatment Options in Oncology ， 2018 ， 19 （ 12 ）： 62 . doi: 10.1007/s11864-018-0585-2 http://dx.doi.org/10.1007/s11864-018-0585-2 Big data in head and neck cancer MING X ， OEI R W ， ZHAI R P ， et al . MRI-based radiomics signature is a quantitative prognostic biomarker for nasopharyngeal carcinoma ［J］. Scientific Reports ， 2019 ， 9 ： 10412 . doi: 10.1038/s41598-019-46985-0 http://dx.doi.org/10.1038/s41598-019-46985-0 MRI-based radiomics signature is a quantitative prognostic biomarker for nasopharyngeal carcinoma PENG H ， DONG D ， FANG M J ， et al . Prognostic value of deep learning PET/CT-based radiomics： potential role for future individual induction chemotherapy in advanced nasopharyngeal carcinoma ［J］. Clinical Cancer Research ， 2019 ， 25 （ 14 ）： 4271 - 4279 . doi: 10.1158/1078-0432.ccr-18-3065 http://dx.doi.org/10.1158/1078-0432.ccr-18-3065 Prognostic value of deep learning PET/CT-based radiomics： potential role for future individual induction chemotherapy in advanced nasopharyngeal carcinoma TOEWS M ， WACHINGER C ， ESTEPAR R S J ， et al . A feature-based approach to big data analysis of medical images ［C］. Information Processing in Medical Imaging ， 2015 ， 24 ： 339 - 350 . doi: 10.1007/978-3-319-19992-4_26 http://dx.doi.org/10.1007/978-3-319-19992-4_26 A feature-based approach to big data analysis of medical images ZHANG L ， ZHOU H Y ， GU D S ， et al . Radiomic nomogram： pretreatment evaluation of local recurrence in nasopharyngeal carcinoma based on MR imaging ［J］. Journal of Cancer ， 2019 ， 10 （ 18 ）： 4217 - 4225 . doi: 10.7150/jca.33345 http://dx.doi.org/10.7150/jca.33345 Radiomic nomogram： pretreatment evaluation of local recurrence in nasopharyngeal carcinoma based on MR imaging WANG Z S ， LIU X Y ， CHEN W F . Head and neck CT atlases alignment based on anatomical priors constraint ［J］. Journal of Medical Imaging and Health Informatics ， 2019 ， 9 （ 9 ）： 2004 - 2011 . doi: 10.1166/jmihi.2019.2844 http://dx.doi.org/10.1166/jmihi.2019.2844 Head and neck CT atlases alignment based on anatomical priors constraint 王红玉 ， 冯筠 ， 崔磊 ， 等 . 应用显著纹理特征的医学图像配准 ［J］. 光学 精密工程 ， 2015 ， 23 （ 9 ）： 2656 - 2665 . doi: 10.3788/ope.20152309.2656 http://dx.doi.org/10.3788/ope.20152309.2656 应用显著纹理特征的医学图像配准 WANG H Y ， FENG J ， CUI L ， et al . Medical image registration based on salient texture ［J］. Opt. Precision Eng. ， 2015 ， 23 （ 9 ）： 2656 - 2665 . （in Chinese） . doi: 10.3788/ope.20152309.2656 http://dx.doi.org/10.3788/ope.20152309.2656 Medical image registration based on salient texture 王宾 ， 刘林 ， 侯榆青 ， 等 . 应用改进迭代最近点方法的三维心脏点云配准 ［J］. 光学 精密工程 ， 2020 ， 28 （ 2 ）： 474 - 484 . 应用改进迭代最近点方法的三维心脏点云配准 WANG B ， LIU L ， HOU Y Q ， et al . Three-dimensional cardiac point cloud registration by improved iterative closest point method ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 474 - 484 . （in Chinese） Three-dimensional cardiac point cloud registration by improved iterative closest point method CHEN Z X ， XU Z K ， YI W W ， et al . Real-time and multimodal brain slice-to-volume registration using CNN ［J］. Expert Systems With Applications ， 2019 ， 133 ： 86 - 96 . doi: 10.1016/j.eswa.2019.05.016 http://dx.doi.org/10.1016/j.eswa.2019.05.016 Real-time and multimodal brain slice-to-volume registration using CNN PENNEY G P ， BARRATT D C ， CHAN C S K ， et al . Cadaver validation of intensity-based ultrasound to CT registration ［J］. Medical Image Analysis ， 2006 ， 10 （ 3 ）： 385 - 395 . doi: 10.1016/j.media.2006.01.003 http://dx.doi.org/10.1016/j.media.2006.01.003 Cadaver validation of intensity-based ultrasound to CT registration 冯筠 ， 陈雨 ， 仝鑫龙 ， 等 . 三维颅骨特征点的自动标定 ［J］. 光学 精密工程 ， 2014 ， 22 （ 5 ）： 1388 - 1394 . doi: 10.3788/ope.20142205.1388 http://dx.doi.org/10.3788/ope.20142205.1388 三维颅骨特征点的自动标定 FENG J ， CHEN Y ， TONG X L ， et al . Automatic feature point extraction for three-dimensional skull ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 5 ）： 1388 - 1394 . （in Chinese） . doi: 10.3788/ope.20142205.1388 http://dx.doi.org/10.3788/ope.20142205.1388 Automatic feature point extraction for three-dimensional skull LI S ， CHEN S C ， LI H J ， et al . Anatomical point-of-interest detection in head MRI using multipoint feature descriptor ［J］. IEEE Access ， 2020 ， 8 ： 173239 - 173249 . doi: 10.1109/access.2020.3023743 http://dx.doi.org/10.1109/access.2020.3023743 Anatomical point-of-interest detection in head MRI using multipoint feature descriptor GAN K . Automated localization of anatomical landmark points in 3D medical images ［C］. 2015 IEEE International Conference on Digital Signal Processing （DSP）. July 21 - 24 ， 2015 . Singapore， Singapore. IEEE ， 2015 ： 143 - 147 . doi: 10.1109/icdsp.2015.7251847 http://dx.doi.org/10.1109/icdsp.2015.7251847 Automated localization of anatomical landmark points in 3D medical images NEWELL A ， YANG K Y ， DENG J . Stacked Hourglass Networks for Human Pose Estimation ［M］. Computer Vision-ECCV 2016. Cham ： Springer International Publishing ， 2016 ： 483 - 499 . doi: 10.1007/978-3-319-46484-8_29 http://dx.doi.org/10.1007/978-3-319-46484-8_29 Stacked Hourglass Networks for Human Pose Estimation ZHANG Y D ， LIU J ， HUANG K Y . Dilated hourglass networks for human pose estimation ［C］. 2018 Chinese Automation Congress （CAC）. November 30-December 2 ， 2018 . Xi'an， China. IEEE ， 2018： 2597 - 2602 . doi: 10.1109/cac.2018.8623582 http://dx.doi.org/10.1109/cac.2018.8623582 Dilated hourglass networks for human pose estimation LUO Y M ， XU Z T ， LIU P Z ， et al . Combining fractal hourglass network and skeleton joints pairwise affinity for multi-person pose estimation ［J］. Multimedia Tools and Applications ， 2019 ， 78 （ 6 ）： 7341 - 7363 . doi: 10.1007/s11042-018-6502-7 http://dx.doi.org/10.1007/s11042-018-6502-7 Combining fractal hourglass network and skeleton joints pairwise affinity for multi-person pose estimation WANG X Y ， CAO Z Z ， WANG R ， et al . Improving human pose estimation with self-attention generative adversarial networks ［J］. IEEE Access ， 2019 ， 7 ： 119668 - 119680 . doi: 10.1109/access.2019.2936709 http://dx.doi.org/10.1109/access.2019.2936709 Improving human pose estimation with self-attention generative adversarial networks HUA G G ， LI L H ， LIU S G . Multipath affinage stacked—hourglass networks for human pose estimation ［J］. Frontiers of Computer Science ， 2020 ， 14 （ 4 ）： 1 - 12 . doi: 10.1007/s11704-019-8266-2 http://dx.doi.org/10.1007/s11704-019-8266-2 Multipath affinage stacked—hourglass networks for human pose estimation LIN T Y ， DOLLAR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21 - 26 ， 2017 . Honolulu， HI. IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106 Feature pyramid networks for object detection CHEN Y L ， WANG Z C ， PENG Y X ， et al . Cascaded pyramid network for multi-person pose estimation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18 - 23 ， 2018 . Salt Lake City， UT. IEEE ， 2018 ： 7103 - 7112 . doi: 10.1109/cvpr.2018.00742 http://dx.doi.org/10.1109/cvpr.2018.00742 Cascaded pyramid network for multi-person pose estimation ZHAO X T ， LI W ， ZHANG Y F ， et al . Aggregated residual dilation-based feature pyramid network for object detection ［J］. IEEE Access ， 2019 ， 7 ： 134014 - 134027 . doi: 10.1109/access.2019.2941892 http://dx.doi.org/10.1109/access.2019.2941892 Aggregated residual dilation-based feature pyramid network for object detection OCER N E ， KAPLAN G ， ERDEM F ， et al . Tree extraction from multi-scale UAV images using Mask R-CNN with FPN ［J］. Remote Sensing Letters ， 2020 ， 11 （ 9 ）： 847 - 856 . doi: 10.1080/2150704x.2020.1784491 http://dx.doi.org/10.1080/2150704x.2020.1784491 Tree extraction from multi-scale UAV images using Mask R-CNN with FPN WANG B ， CHEN S H ， WANG J ， et al . Residual feature pyramid networks for salient object detection ［J］. The Visual Computer ， 2020 ， 36 （ 9 ）： 1897 - 1908 . doi: 10.1007/s00371-019-01779-3 http://dx.doi.org/10.1007/s00371-019-01779-3 Residual feature pyramid networks for salient object detection SUN Y ， WANG X G ， TANG X O . Deep convolutional network cascade for facial point detection ［C］. 2013 IEEE Conference on Computer Vision and Pattern Recognition. June 23 - 28 ， 2013 . Portland， OR， USA. IEEE ， 2013 ： 3476 - 3483 . doi: 10.1109/cvpr.2013.446 http://dx.doi.org/10.1109/cvpr.2013.446 Deep convolutional network cascade for facial point detection GALBUSERA F ， NIEMEYER F ， WILKE H J ， et al . Fully automated radiological analysis of spinal disorders and deformities： a deep learning approach ［J］. European Spine Journal ， 2019 ， 28 （ 5 ）： 951 - 960 . doi: 10.1007/s00586-019-05944-z http://dx.doi.org/10.1007/s00586-019-05944-z Fully automated radiological analysis of spinal disorders and deformities： a deep learning approach LUVIZON D C ， TABIA H ， PICARD D . Human pose regression by combining indirect part detection and contextual information ［J］. Computers & Graphics ， 2019 ， 85 ： 15 - 22 . doi: 10.1016/j.cag.2019.09.002 http://dx.doi.org/10.1016/j.cag.2019.09.002 Human pose regression by combining indirect part detection and contextual information 李锵 ， 姚麟倩 ， 关欣 . 基于级联卷积神经网络的服饰关键点定位算法 ［J］. 天津大学学报（自然科学与工程技术版） ， 2020 ， 53 （ 3 ）： 229 - 236 . doi: 10.17706/jsw.14.8.380-387 http://dx.doi.org/10.17706/jsw.14.8.380-387 基于级联卷积神经网络的服饰关键点定位算法 LI Q ， YAO L Q ， GUAN X . Clothing key points detection algorithm based on cascade convolutional neural network ［J］. Journal of Tianjin University （Science and Technology） ， 2020 ， 53 （ 3 ）： 229 - 236 . （in Chinese） . doi: 10.17706/jsw.14.8.380-387 http://dx.doi.org/10.17706/jsw.14.8.380-387 Clothing key points detection algorithm based on cascade convolutional neural network ZHANG W C ， SHUI P L . Contour-based corner detection via angle difference of principal directions of anisotropic Gaussian directional derivatives ［J］. Pattern Recognition ， 2015 ， 48 （ 9 ）： 2785 - 2797 . doi: 10.1016/j.patcog.2015.03.021 http://dx.doi.org/10.1016/j.patcog.2015.03.021 Contour-based corner detection via angle difference of principal directions of anisotropic Gaussian directional derivatives ZHANG W C ， SUN C M . Corner detection using multi-directional structure tensor with multiple scales ［J］. International Journal of Computer Vision ， 2020 ， 128 （ 2 ）： 438 - 459 . doi: 10.1007/s11263-019-01257-2 http://dx.doi.org/10.1007/s11263-019-01257-2 Corner detection using multi-directional structure tensor with multiple scales WANG M Z ， ZHANG W C ， SUN C M ， et al . Corner detection based on shearlet transform and multi-directional structure tensor ［J］. Pattern Recognition ， 2020 ， 103 ： 107299 . doi: 10.1016/j.patcog.2020.107299 http://dx.doi.org/10.1016/j.patcog.2020.107299 Corner detection based on shearlet transform and multi-directional structure tensor 10.37188/OPE.20212909.2278 TP391.4 A 1004-924X（2021）09-2278-09 李赛,黎浩江,刘立志等.基于尺度注意力沙漏网络的头部MRI解剖点自动定位[J].光学精密工程,2021,29(09):2278-2286. 李赛,黎浩江,刘立志等.基于尺度注意力沙漏网络的头部MRI解剖点自动定位[J].光学精密工程,2021,29(09):2278-2286. LI Sai,LI Hao-jiang,LIU Li-zhi,et al.Automatic location of anatomical points in head MRI based on the scale attention hourglass network[J].Optics and Precision Engineering,2021,29(09):2278-2286. LI Sai,LI Hao-jiang,LIU Li-zhi,et al.Automatic location of anatomical points in head MRI based on the scale attention hourglass network[J].Optics and Precision Engineering,2021,29(09):2278-2286. 国家自然科学基金项目（No.81760322，No.81460273） 2020-11-28 2021-01-05 2021-09-15 2021-10-12 光学精密工程 9 29