Image registration based on residual mixed attention and multi-resolution constraints

残差混合注意力结合多分辨率约束的图像配准 Image registration based on residual mixed attention and multi-resolution constraints 1 first-author 张明娜（1997-），女，山东济南人，硕士研究生，2020年于山东第一医科大学获得学士学位，主要从事智能图像处理、深度学习及图像配准方面的研究。E-mail：1292579223@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785656&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785659&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785657&type= 22.01332855 32.00399780 张明娜 （1997-），女，山东济南人，硕士研究生，2020年于山东第一医科大学获得学士学位，主要从事智能图像处理、深度学习及图像配准方面的研究。E-mail： 1292579223@qq.com 1292579223@qq.com 1 2 corresp E-mail： lxiaoqi@imust.edu.cn E-mail： lxiaoqi@imust.edu.cn 吕晓琪（1963-），男，内蒙古包头人，博士，教授，博士生导师，1984年于内蒙古大学获得学士学位，1989年于西安交通大学获得硕士学位，2003年于北京科技大学获得博士学位，主要从事智能信息处理、医学图像处理、数字化医疗相关技术等方面的研究。E-mail： lxiaoqi@imust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785660&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785662&type= 22.01332855 32.00399780 吕晓琪 （1963-），男，内蒙古包头人，博士，教授，博士生导师，1984年于内蒙古大学获得学士学位，1989年于西安交通大学获得硕士学位，2003年于北京科技大学获得博士学位，主要从事智能信息处理、医学图像处理、数字化医疗相关技术等方面的研究。E-mail： lxiaoqi@imust.edu.cn lxiaoqi@imust.edu.cn 1 内蒙古科技大学 信息工程学院 模式识别与智能图像处理重点实验室，内蒙古 包头 014010 内蒙古科技大学 信息工程学院 模式识别与智能图像处理重点实验室，内蒙古 包头 014010 Key Laboratory of Rattern Recognition and Intelligent Image Processing， School of Information Engineering，Inner Mongolia University of Science and Technology， Baotou 014010， China Key Laboratory of Rattern Recognition and Intelligent Image Processing， School of Information Engineering，Inner Mongolia University of Science and Technology， Baotou 014010， China 内蒙古工业大学 信息工程学院，内蒙古 呼和浩特 010051 内蒙古工业大学 信息工程学院，内蒙古 呼和浩特 010051 School of Information Engineering， Inner Mongolia University of Technology， Hohhot 010051， China School of Information Engineering， Inner Mongolia University of Technology， Hohhot 010051， China 医学图像配准在图谱创建和时间序列图像对比等临床应用中具有重要意义。目前，使用深度学习的配准方法与传统方法相比更好地满足了临床实时性的需求，但配准精确度仍有待提升。基于此，本文提出了一种结合残差混合注意力与多分辨率约束的配准模型MAMReg-Net，实现了脑部核磁共振成像（Magnetic Resonance Imaging， MRI）的单模态非刚性图像配准。该模型通过添加残差混合注意力模块，可以同时获取大量局部和非局部信息，在网络训练过程中提取到了更有效的大脑内部结构特征。其次，使用多分辨率损失函数来进行网络优化，实现更高效和更稳健的训练。在脑部T1 MR图像的12个解剖结构中，平均Dice分数达到0.817，平均ASD数值达到0.789，平均配准时间仅为0.34 s。实验结果表明，MAMReg-Net配准模型能够更好地学习脑部结构特征从而有效地提升配准精确度，并且满足临床实时性的需求。 Medical image registration has great significance in clinical applications such as atlas creation and time-series image comparison. Currently， in contrast to traditional methods， deep learning-based registration achieves the requirements of clinical real-time； however， the accuracy of registration still needs to be improved. Based on this observation， this paper proposes a registration model named MAMReg-Net， which combines residual mixed attention and multi-resolution constraints to realize the non-rigid registration of brain magnetic resonance imaging （MRI）. By adding the residual mixed attention module， the model can obtain a large amount of local and non-local information simultaneously， and extract more effective internal structural features of the brain in the process of network training. Secondly， multi-resolution loss function is used to optimize the network to make the training more efficient and robust. The average dice score of the 12 anatomical structures in T1 brain MR images was 0.817， the average ASD score was 0.789， and the average registration time was 0.34 s. Experimental results demonstrate that the MAMReg-Net registration model can be better trained to learn the brain structure features to effectively improve the registration accuracy and meet clinical real-time requirements. 医学图像处理 单模态配准 深度学习 注意力机制 多分辨率约束 medical imaging process unimodal registration deep learning attentional mechanism multi-resolution constraint 1 引　言 1 医学图像配准 ［ 1 1 - 2 2 1-2 ］ 的目的是为一对图像之间建立密集的非线性对应关系，利用这种关系可以让参考图像和配准后的图像在空间位置或者解剖结构上能够一一对应起来，其在图像融合、医学图谱创建、时间序列图像对比等医学图像分析任务 ［ 3 3 - 4 4 3-4 ］ 中起着至关重要的作用。传统的配准方法 ［ 5 5 - 6 6 5-6 ］ 利用图像对像素之间的信息进行相似性度量计算，通过迭代的方式最小化相似性度量寻求最优的对应关系 ［ 7 7 ］ 。然而该类方法通常在高维空间进行运算，使得计算量大，运算时间过长。 随着深度学习在医学图像处理领域的广泛应用 ［ 8 8 - 10 10 8-10 ］ ，配准方式发生了改变。最初，Wu等人 ［ 11 11 ］ 提出利用深度学习提取输入图像对的特征，以增强配准的性能。Eppenhof等人 ［ 12 12 ］ 则直接使用深度学习取代相似性度量来估计图像对之间的误差。这些方法虽然成功地将深度学习应用于配准方法中，但是仍未能改变传统配准方法迭代的本质。空间变换网络（Spatial Transformer Network，STN） ［ 13 13 ］ 的提出使得网络直接估计形变参数的方法得以实现，可以更好地满足临床实时性要求。Chee等人 ［ 14 14 ］ 提出的仿射图像配准网络AIRNet中，使用卷积神经网络（Convolutional Neural Networks， CNN） ［ 15 15 ］ 直接估计3D脑部核碳共振（Magnetic Resonance， MR）图像的DVF（Displacement Vector Field）。随后，Hu ［ 16 16 ］ 等人提出了一种有标签引导的深监督配准网络，并在损失函数的计算中添加了多尺度信息进行训练。这类方法的缺点在于，依赖于专家手工操作的数据作为监督信息，而大量的具有标注的数据很难获得，这在一定程度上限制了配准的性能。 为了消除监督信息的限制，Balakrishnan等人 ［ 17 17 ］ 使用CNN提出了一种端到端的无监督配准框架VoxelMorph，该方法在无需任何监督信息的基础上实现了快速、精细配准。在此基础之上，为了解决VoxelMorph网络在大位移形变中效果不佳的问题，Zhang等人 ［ 18 18 ］ 提出了端到端的递归级联配准网络，使得所有的子网络能够相互协助地学习图像特征，实现由粗到细的图像配准。Ouyang等人 ［ 19 19 ］ 选择用残差结构建立不同层之间的联系来消除梯度消失问题，并学习更有效的特征。在网络深度相当的情况下，使用的参数更少，而且在小数据集上表现良好，可以有效抑制过拟合。然而，这些方法都是基于卷积神经网络的加深或加长网络，卷积运算的过程中只考虑一个像素及其邻域像素，并且这种局部运算是重复的。然而，大脑内部解剖结构复杂，脑部结构大小不一，导致不同部位所引起的邻域像素值的变化是不一样的。因此，应该在配准网络的学习过程中提取出这些特征，提升网络性能，实现有效的图像配准。 针对上述问题，本文设计了一种结合残差混合注意力与多分辨率约束的配准框架（MAMReg-Net）用于单模态脑部MR图像配准中。首先，采用残差块 ［ 20 20 ］ 加深网络并消除梯度消失问题。其次，在网络中添加多个残差局部和非局部注意力模块，通过特征加权的方式，让网络提取到更关键的特征。尤其需要注意的是，所添加的残差非局部注意力模块，更多地关注于全局，有效改善了卷积运算的缺陷。此外，还采用了一个多分辨率损失函数用于网络训练，从而实现更有效的优化。 2 配准方法 1 定义3D参考图像 <math id="M1"><mi>f</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785742&type= 1.10066664 3.64066648 和浮动图像 <math id="M2"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785731&type= 2.79399991 2.79399991 ，图像配准的目的是寻找一种空间映射关系 <math id="M3"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785671&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785685&type= 2.53999996 2.79399991 ，使得配准后的图像可以和参考图像 <math id="M4"><mi>f</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785742&type= 1.10066664 3.64066648 尽可能相似。因此，图像配准被表述为损失函数的优化问题，如 公式（1） 公式（1） 所示，通过最小化损失函数来优化图像之间的相似性，从而找到最优的空间变换参数。 <math display="block" id="M5"><mover><mrow><mi>u</mi></mrow><mrow><mo>⌣</mo></mrow></mover><mo>=</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mfenced open="{" close="}" separators="|"><mrow><mi>M</mi><mfenced open="[" close="]" separators="|"><mrow><mi>f</mi><mo>,</mo><mo stretchy="false">(</mo><mi>m</mi><mo>∘</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>u</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfenced><mo>+</mo><mi>λ</mi><mi>R</mi><mfenced separators="|"><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>u</mi></mrow></msub></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785675&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785674&type= 62.39933777 6.60400009 ， 其中： <math id="M6"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785709&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785676&type= 3.38666677 2.87866688 代表相似性度量函数； <math id="M7"><mo>∘</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785697&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785695&type= 1.01600003 2.79399991 代表非线性变形操作；空间转换 <math id="M8"><msub><mrow><mi>T</mi></mrow><mrow><mi>u</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785700&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785713&type= 3.72533321 3.72533321 （即变形场 <math id="M9"><mi>Φ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785746&type= 2.87866688 2.79399991 ）是由空间转换模型参数 <math id="M10"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785720&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785704&type= 1.86266661 2.79399991 所确定的； <math id="M11"><mi>R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786281&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786293&type= 2.70933342 2.79399991 代表正则化操作，以确保变形场的光滑；通常，相似性度量函数的计算与变形场的光滑程度呈反比关系，超参数 <math id="M12"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786075&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786083&type= 1.77800000 2.79399991 用来平衡两者。 本文所提出的配准网络模型MAMReg-Net如 图1 图1 所示，首先将参考图像 <math id="M13"><mi>f</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785742&type= 1.10066664 3.64066648 和浮动图像 <math id="M14"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785731&type= 2.79399991 2.79399991 作为双通道输入，然后经过网络进行特征提取，并得到不同分辨率下的估计变形场 <math id="M15"><mi>Φ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785746&type= 2.87866688 2.79399991 。利用得到的变形场对浮动图像进行变换，使用空间转换层生成配准后的图像 <math id="M16"><mi>Φ</mi><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785750&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785754&type= 9.48266602 3.55599999 ， <math id="M17"><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785752&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785751&type= 14.81666565 4.48733330 ， <math id="M18"><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785769&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785761&type= 16.00200081 4.48733330 ， <math id="M19"><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785773&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785770&type= 15.83266735 4.48733330 。最后，将同样分辨率的配准后图像与参考图像进行相似性度量。多分辨率相似性度量与变形场的正则化共同作为损失函数对网络的参数更新进行约束。 2.1　网络结构 2 与VoxelMorph类似，MAMReg-Net也是基于U-Net的卷积神经网络架构，如 图2 图2 所示。与VoxelMorph不同的是，MAMReg-Net不再使用单纯的卷积层进行特征提取。在编码器中，首先是一个步长为1的3 <math id="M20"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 3 <math id="M21"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 3卷积层对输入图像对进行特征提取，然后使用LeakyReLU和Batch Normalization进行激活与标准化。下采样操作使用步长为2的3 <math id="M22"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 3 <math id="M23"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 3卷积层替代原本的pool层。交替地添加残差局部注意力模块、残差非局部注意力模块和下采样操作来捕获不同分辨率下的关键特征，注意力模块的添加能够在下采样的过程中保存更多有价值的信息。随着下采样的执行，特征图大小逐步减半，卷积层的感受野不断扩大。当执行3次下采样之后，添加残差非局部注意力模块，让卷积提取特征的过程关注到更多整体信息。解码器中，连续4次使用最近邻插值算法的上采样层Up-sampling对被压缩的特征图进行恢复，在每一次上采样层之前，以残差块取代普通的卷积层加深网络并提高特征重用，其中残差块由两个1 <math id="M24"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 1 <math id="M25"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 1卷积层和一个3 <math id="M26"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 3 <math id="M27"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 3的卷积层构成。使用残差块不仅可以提高成像质量和成像速度，还可以有效缓解梯度消失问题。同时，为了弥补下采样操作造成的信息丢失，使用跳跃连接将相同层编码器输出的浅层特征与解码器获得的深层特征相融合，在跳跃连接中同样添加残差注意力模块提取关键特征，提高配准性能。最后，通过通道数为3的3 <math id="M28"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 3 <math id="M29"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 3卷积层估计出不同分辨率下的变形场。 2.2　残差混合注意力 2 Oh等人 ［ 21 21 ］ 通过实验证明添加注意力模块可以在网络学习过程中保留更多脑部结构特征，得到配准性能的提升。在此基础之上，本文受到秦等人 ［ 22 22 ］ 提出的残差注意力机制的启发，引入了残差混合注意力机制，它由多个残差局部和非局部注意力模块构成。残差局部注意力模块的中间部分被分为主干分支Trunk和掩码分支Mask，如 图3 图3 （a）所示。残差非局部注意力模块就是在残差局部注意力模块的基础上添加非局部注意力模块（Non-local） ［ 23 23 ］ ，以此来让网络关注到更多的全局信息，如 图3 图3 （b）所示。 1;2; 2 . 2 . 1　残差局部注意力模块 3 该模块分为Trunk和Mask，其中Trunk用来提取图像原始特征，Mask则用来学习特征的权重分配。残差局部注意力模块的输出 <math id="M30"><mi>O</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785851&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785841&type= 2.96333337 2.87866688 表示如 式（2） 式（2） 所示。 <math display="block" id="M31"><msub><mrow><mi>O</mi></mrow><mrow><mi>l</mi><mo>,</mo><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mi>x</mi><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>l</mi><mo>,</mo><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><msub><mrow><mi>S</mi></mrow><mrow><mi>l</mi><mo>,</mo><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785860&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785858&type= 45.63533020 4.48733330 ， 其中： <math id="M32"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785864&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785863&type= 1.18533325 2.79399991 代表位置； <math id="M33"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785856&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785854&type= 1.52400005 2.79399991 代表通道； <math id="M34"><msub><mrow><mi>S</mi></mrow><mrow><mi>l</mi><mo>,</mo><mi>c</mi></mrow></msub><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785874&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785857&type= 10.41399956 4.06400013 的范围是［0，1］， <math id="M35"><msub><mrow><mi>F</mi></mrow><mrow><mi>l</mi><mo>,</mo><mi>c</mi></mrow></msub><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785867&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785875&type= 10.75266743 4.06400013 和 <math id="M36"><msub><mrow><mi>S</mi></mrow><mrow><mi>l</mi><mo>,</mo><mi>c</mi></mrow></msub><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785869&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785878&type= 10.41399956 4.06400013 分别代表Trunk和Mask的输出。这种方式通过直接引入输入信息 <math id="M37"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785871&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785870&type= 2.03200006 2.79399991 ，避免网络学习过程中丢弃过多的低层特征。 在残差局部注意力模块中，Mask起着非常重要的作用，它能够选择更有效的图像特征并且能够有效地抑制主干分支中的噪声。如 图4 图4 所示，Mask具有U-Net结构，从输入开始，在编码层中多次执行最大池化与残差块操作之后达到快速增加接受域的目的。之后在上采样结束后进行与编码层的跳跃连接，避免在增加接受域的过程中造成特征丢失。最后添加两个卷积层和一个Sigmoid层对输出进行归一化。通常，残差局部注意力模块通过Trunk保留原有的图像特征信息，使用Mask关注大脑内部细微结构的特征，给出关于图中像素如何与其他像素相关的信息。Mask的输出是一组权重值，它可以表示每一个像素值在配准过程中的重要性。 2 . 2 . 2　残差非局部注意力模块 3 为了让网络在学习的过程中关注更多的全局信息，在残差局部注意力模块的掩码分支前加入 图5 图5 所示的非局部注意力块（Non-local），使之变成残差非局部注意力模块。这种非局部操作的定义如 式（3） 式（3） 所示。 <math display="block" id="M38"><msub><mrow><mi>Y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><munder><mo movablelimits="false">∑</mo><mrow><mo>∀</mo><mi>j</mi></mrow></munder><mrow><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mi>g</mi></mrow><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfenced><mo>/</mo><munder><mo movablelimits="false">∑</mo><mrow><mo>∀</mo><mi>j</mi></mrow></munder><mrow><mi>p</mi></mrow><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785890&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785903&type= 63.41533279 10.58333302 ， 其中： <math id="M39"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785927&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785912&type= 1.10066664 2.79399991 是输出特征的位置索引， <math id="M40"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785955&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785952&type= 1.10066664 3.64066648 代表所有可能位置的索引， <math id="M41"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786017&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786031&type= 2.62466669 2.79399991 和 <math id="M42"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786029&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786027&type= 2.87866688 2.79399991 分别表示此操作的输入和输出， <math id="M43"><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785923&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785920&type= 14.22399998 4.82600021 用来计算 <math id="M44"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785927&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785912&type= 1.10066664 2.79399991 和所有可能相关的位置 <math id="M45"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785955&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785952&type= 1.10066664 3.64066648 之间的关系， <math id="M46"><mi>g</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785931&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785933&type= 9.22866726 4.82600021 用于计算输入 <math id="M47"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785936&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785949&type= 2.62466669 2.79399991 在 <math id="M48"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785955&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785952&type= 1.10066664 3.64066648 位置的特征值；其中 <math id="M49"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785945&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785943&type= 1.86266661 3.64066648 ， <math id="M50"><mi>g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785979&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785947&type= 1.94733346 3.64066648 函数有多种变体函数可以达到相似的效果，一般 <math id="M51"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785945&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785943&type= 1.86266661 3.64066648 使用嵌入式高斯函数更易于深度学习的应用， <math id="M52"><mi>g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785979&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785947&type= 1.94733346 3.64066648 使用线性函数，具体定义如 式（4） 式（4） 和（5）所示。 <math display="block" id="M53"><mtable><mtr><mtd><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mi>θ</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi>ψ</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">θ</mi></mrow></msub><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">ψ</mi></mrow></msub><msub><mrow><mi>X</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785970&type= 52.06999969 10.83733368 <math display="block" id="M54"><mi>g</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">κ</mi></mrow></msub><msub><mrow><mi>X</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785977&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785974&type= 21.92866707 4.82600021 ， 其中： <math id="M55"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">θ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785992&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785991&type= 4.74133301 3.80999994 、 <math id="M56"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">ψ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785997&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29785995&type= 4.99533367 3.80999994 和 <math id="M57"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">κ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786006&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786002&type= 4.74133301 3.80999994 都是权重矩阵。将 公式（4） 公式（4） 和（5）代入到 公式（3） 公式（3） 中，并且使用Softmax函数进行归一化，可以得到非局部操作的表示如 式（6） 式（6） 所示： <math display="block" id="M58"><mi>Y</mi><mo>=</mo><mi>S</mi><mi>o</mi><mi>f</mi><mi>t</mi><mi>m</mi><mi>a</mi><mi>x</mi><mfenced separators="|"><mrow><msup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><msup><mrow><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">θ</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">ψ</mi></mrow></msub><mi>X</mi></mrow></mfenced><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">κ</mi></mrow></msub><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786013&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786011&type= 52.06999969 4.82600021 . 如 图5 图5 所示，计算得到的 <math id="M59"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786029&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786027&type= 2.87866688 2.79399991 可以通过残差结构的形式添加到输入特征 <math id="M60"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786017&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786031&type= 2.62466669 2.79399991 上，得出非局部注意力块（Non-local）的最终输出 <math id="M61"><mi mathvariant="bold-italic">Z</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786021&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786034&type= 2.37066650 2.79399991 ， <math id="M62"><mi mathvariant="bold-italic">Z</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786039&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786038&type= 2.37066650 2.79399991 的表示如 式（7） 式（7） 所示，其中 <math id="M63"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">α</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786043&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786042&type= 4.82600021 3.80999994 代表权重矩阵： <math display="block" id="M64"><mi mathvariant="bold-italic">Z</mi><mo>=</mo><mi>X</mi><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="normal">α</mi></mrow></msub><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786056&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786046&type= 22.18266678 3.89466691 . 2.3　多分辨率损失函数 2 无监督配准工作的实质就是一个的函数优化问题，通过最小化损失函数来优化图像之间的相似性，从而找到最优的空间变换参数。通常损失函数的定义如 式（8） 式（8） 所示。 <math display="block" id="M65"><mi>L</mi><mo stretchy="false">(</mo><mi>f</mi><mo>,</mo><mi>m</mi><mo>,</mo><mi>Φ</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub><mo stretchy="false">(</mo><mi>f</mi><mo>,</mo><mi>m</mi><mo>∘</mo><mi>Φ</mi><mo stretchy="false">)</mo><mo>+</mo><mi>λ</mi><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi></mrow></msub><mo stretchy="false">(</mo><mi>Φ</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786062&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786059&type= 64.17733002 4.91066647 ， 其中： <math id="M66"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786064&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786051&type= 5.41866684 3.72533321 代表参考图像和配准后图像的相似性度量， <math id="M67"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786198&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786181&type= 8.46666718 3.72533321 表示正则化计算， <math id="M68"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786075&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786083&type= 1.77800000 2.79399991 则是损失函数中的超参数。许多配准方法都是用 式（8） 式（8） 作为损失函数进行网络参数优化，然而这种方式在相似性度量计算中只考虑了全分辨率的配准后图像，对于网络学习过程中产生的其他分辨率的参数更新较少，会导致收敛速度慢，有时还会出现过拟合现象。针对这一问题，本文引入了Ma等人 ［ 24 24 ］ 提出的多分辨率损失函数，在解码层的不同阶段输出不同分辨率的变形场信息，并对等同分辨率的浮动图像进行形变。该方法的 <math id="M69"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786079&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786077&type= 5.41866684 3.72533321 表示如 式（9） 式（9） 所示： <math display="block" id="M70"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub><mo stretchy="false">(</mo><mi>f</mi><mo>,</mo><mi>m</mi><mo>∘</mo><mi>Φ</mi><mo stretchy="false">)</mo><mo>=</mo><mi>β</mi><msub><mrow><mi>L</mi></mrow><mrow><mi>Φ</mi></mrow></msub><mo stretchy="false">(</mo><mi>f</mi><mo>,</mo><mi>m</mi><mo>∘</mo><mi>Φ</mi><mo stretchy="false">)</mo><mo>+</mo></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>β</mi><mo stretchy="false">)</mo><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>∘</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786089&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786087&type= 50.79999924 10.83733368 其中： <math id="M71"><msub><mrow><mi>L</mi></mrow><mrow><mi>Φ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786101&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786099&type= 4.14866638 3.72533321 表示全分辨率的配准后图像与参考图像的相似性度量， <math id="M72"><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786113&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786093&type= 4.65666676 3.89466691 则表示不同分辨率下的配准后图像与等同分辨率的参考图像进行相似性度量， <math id="M73"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786103&type= 1.94733346 3.64066648 代表超参数。在MAMReg-Net网络模型中，分别输出分辨率为 <math id="M74"><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786110&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786108&type= 2.62466669 7.87400007 ， <math id="M75"><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">4</mn></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786122&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786119&type= 2.62466669 7.87400007 ， <math id="M76"><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">8</mn></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786129&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786124&type= 2.62466669 7.87400007 的变形场信息（ <math id="M77"><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786144&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786130&type= 5.50333309 3.72533321 ， <math id="M78"><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786134&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786147&type= 6.09600019 3.72533321 ， <math id="M79"><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786138&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786136&type= 6.01133299 3.72533321 ）代入 <math id="M80"><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786157&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786154&type= 4.65666676 3.89466691 的计算，则 <math id="M81"><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>∘</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786164&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786161&type= 23.28333473 5.07999992 表示如 公式10 公式10 所示： <math display="block" id="M82"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>∘</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></mrow></mfenced><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi></mrow></msub><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi></mrow></msub><mo>∘</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi></mrow></msub><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi></mrow></msub><mo>∘</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi></mrow></msub><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi></mrow></msub><mo>∘</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786169&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786166&type= 66.88666534 11.76866722 ， 上述所提到的图像间的相似性度量 <math id="M83"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786141&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786170&type= 5.41866684 3.72533321 ，使用均方误差（MSE）函数计算。MSE的具体表示如 公式11 公式11 所示： <math display="block" id="M84"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub><mo stretchy="false">(</mo><mi>f</mi><mo>,</mo><mi>m</mi><mo>∘</mo><mi>Φ</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mo stretchy="false">(</mo><mi>f</mi><mo>,</mo><mi>m</mi><mo>∘</mo><mi>Φ</mi><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>Ω</mi></mrow></mfenced></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi>q</mi><mo>∈</mo><mi>Ω</mi></mrow></munder><mrow><mo stretchy="false">[</mo><mi>f</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>-</mo><mo stretchy="false">(</mo><mi>m</mi><mo>∘</mo><mi>Φ</mi><mo stretchy="false">)</mo><msup><mrow><mo stretchy="false">(</mo><mi>q</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786174&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786188&type= 52.91666412 14.81666565 其中： <math id="M85"><mi>Ω</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786194&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786193&type= 2.45533323 2.79399991 表示图像的空间域， <math id="M86"><mi>q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786179&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786196&type= 1.86266661 3.64066648 表示空间域内的体素点。为了获得更加平滑的变形场，引入正则项 <math id="M87"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786198&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786181&type= 8.46666718 3.72533321 ，计算方法如 式（12） 式（12） 所示，其中 <math id="M88"><mo>∇</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786182&type= 2.87866688 3.13266683 代表相邻体素之间的差异。 <math display="block" id="M89"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi></mrow></msub><mo stretchy="false">(</mo><mi>Φ</mi><mo stretchy="false">)</mo><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>q</mi><mo>∈</mo><mi>Ω</mi></mrow></munder><mrow><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mo>∇</mo><mi>Φ</mi><mo stretchy="false">(</mo><mi>q</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786187&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786186&type= 40.80933380 7.95866632 . 3 实验设置及评价标准 1 3.1　数据集 2 本实验所用数据来自公开的医学影像数据集ADNI3 ［ 25 25 ］ （The Alzheimer’Disease Neuroimaging Initiative），ADNI3数据集提供了包括MRI和PET在内的多种影像类型数据，其受试者包括不同年龄、不同性别的正常认知的成年人，轻度认知障碍的成年人以及阿尔兹海默氏病患者。从中选取了908名受试者不同时期的3D脑部T1 MR图像进行实验，为了提高网络的学习效率，实验采用Chen等人 ［ 26 26 ］ 使用的预处理策略。首先将所有数据重采样到由1 mm体素网格所组成的256 <math id="M90"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 256 <math id="M91"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 256图像中，之后使用Freesurfer ［ 27 27 ］ 进行颅骨剥离、皮下结构分割和仿射对齐的操作。其中颅骨剥离操作能够提取出完整的脑部结构用于配准，Freesurfer操作之后得到的皮下结构分割图用来评价配准性能。另外，由于本文实验是针对可变形图像配准的研究，即非线性变换的研究。所以预处理操作中的仿射对齐完成了所有图像的线性对齐。最后使用中心裁剪的方式将图像尺寸裁剪为160 <math id="M92"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 192 <math id="M93"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786220&type= 2.53999996 2.79399991 224，对裁剪后的图像做最大-最小归一化，将图像灰度值的取值范围转化为［0，1］。 原始图像及其经过上述预处理操作的图像如 图6 图6 所示，预处理后手工去除个别不完整图像数据，一共得到1 551幅T1 MR图像。实验中采用的是基于altas的配准，所以需要在1 551幅MR图像中随机选取一幅作为配准的模板。将另外的1 550幅随机分为1 450幅训练数据，50幅验证数据和50幅测试数据。其中，训练集用于网络模型的训练，验证集用于在训练的过程中保存最优的模型，避免过拟合现象。测试集则用于测试模型的配准性能。 为了进一步研究配准模型的泛化能力，本实验在医学影像数据集ABIDE ［ 28 28 ］ （Autism Brain Imaging Data Exchange）中随机选取了30幅图像进行模型测试，并将选取的30幅3D脑部T1 MR图像进行上述的预处理操作。 3.2　训练策略 2 本实验在DGX的Ubuntu系统NVIDIA v100平台上进行，使用Pytorch实现MAMReg-Net配准网络模型。在网络的训练过程中采用固定的超参数：学习率为0.000 1、正则系数 <math id="M94"><mi>λ</mi><mo>=</mo><mn mathvariant="normal">0.01</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786231&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786230&type= 13.20800018 2.79399991 、多分辨率系数 <math id="M95"><mi>β</mi><mo>=</mo><mn mathvariant="normal">0.9</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786234&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786233&type= 11.59933376 3.64066648 。由于GPU显存的限制，将批处理次数设置为1，即每次随机选取一幅浮动图像与参考图像作为一对图像共同参与训练。使用Adam作为配准网络的优化器，训练过程中设置100个epoch，总迭代次数为145 000。同时，在训练过程中使用验证集保存最优模型，避免过拟合现象。 3.3　评价指标 2 本文的评价指标为配准时间和精确度两个方面。为了满足临床配准实时性的要求，通过比较不同方法的配准时间可以很好地评价配准性能。对于精确度，则通过计算Dice分数和ASD（Averaged Surface Distance）两方面进行定量评价。 Dice分数通常将两幅图片叠在一起进行计算，目的是衡量两个图像之间的相似度，具体计算方式如 式（13） 式（13） 所示： <math display="block" id="M96"><mi mathvariant="normal">D</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo>,</mo><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo>⋂</mo><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow></msub></mrow></mfenced></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub></mrow></mfenced><mo>+</mo><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow></msub></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786249&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786248&type= 43.09533310 11.17599964 ， 通过计算每一幅配准后的分割图 <math id="M97"><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786238&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786250&type= 4.31799984 3.72533321 和参考图像的皮下结构分割图 <math id="M98"><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786253&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786252&type= 3.47133350 3.72533321 之间的Dice分数来定量的评价。得到的Dice分数越接近1，表示配准效果越好。 ASD通常用来计算表面平均距离，是评估图像处理结果质量的一个重要的量化标准。具体计算方式如 式（14） 式（14） 所示： <math display="block" id="M99"><mtable><mtr><mtd><mi mathvariant="normal">A</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">D</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow><mrow><mi>s</mi></mrow></msubsup></mrow></mfenced><mo>+</mo><mfenced open="|" close="|" separators="|"><mrow><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow><mrow><mi>s</mi></mrow></msubsup></mrow></mfenced></mrow></mfrac><mfenced separators="|"><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>a</mi><mo>∈</mo><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow><mrow><mi>s</mi></mrow></msubsup></mrow></munder><mrow><mi>d</mi></mrow><mo stretchy="false">(</mo><mi>a</mi><mo>,</mo><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>+</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>b</mi><mo>∈</mo><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow><mrow><mi>s</mi></mrow></msubsup></mrow></munder><mrow><mi>d</mi></mrow><mo stretchy="false">(</mo><mi>b</mi><mo>,</mo><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></mfenced></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786243&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786254&type= 65.87065887 16.51000023 ， 其中： <math id="M100"><mi>a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786275&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786274&type= 1.86266661 2.79399991 、 <math id="M101"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786258&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786263&type= 1.86266661 2.79399991 分别代表参考图像的皮下结构分割图 <math id="M102"><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow><mrow><mi>s</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786279&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786276&type= 3.55599999 3.97933316 和配准后的分割图 <math id="M103"><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow><mrow><mi>s</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786260&type= 4.31799984 3.97933316 的体素点， <math id="M104"><mi>d</mi><mo stretchy="false">(</mo><mi>a</mi><mo>,</mo><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow><mrow><mi>s</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786273&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786271&type= 13.03866673 4.65666676 代表体素点 <math id="M105"><mi>a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786275&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786274&type= 1.86266661 2.79399991 到 <math id="M106"><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow><mrow><mi>s</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786279&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786276&type= 3.55599999 3.97933316 的最短距离。计算出的ASD数值越小，表示配准结果越好。 在 式（13） 式（13） 和 式（14） 式（14） 中， <math id="M107"><mi>R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786281&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786293&type= 2.70933342 2.79399991 和 <math id="M108"><msup><mrow><mi>R</mi></mrow><mrow><mi>s</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786296&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786295&type= 3.47133350 3.04800010 都代表分割出的解剖结构。实验评价中，在Freesurfer处理得到的皮下结构分割图中随机选取12个解剖结构进行Dice分数以及ASD数值计算，选取的解剖结构体积大小不一，可以更有效地评价MAMReg-Net中混合注意力的作用。如 图7 图7 所示。为了获得配准后的分割图，使用实验中最优模型获得的变形场对原始的皮下结构分割图进行变形。 4 实验结果及分析 1 为了评估本文方法的性能，分别与仿射对齐、由ANTs软件包实现的SYN算法 ［ 29 29 ］ 以及基于深度学习的VoxelMorph算法进行比较，完成了两幅图像之间的线性对齐。其中，只有仿射对齐属于刚性配准。SYN算法实现了微分同胚的可形变配准，该方法是传统配准算法中应用最广的方法。VoxelMorph算法使用U-Net网络实现了端到端的可变形配准网络，该方法与本文所提出的MAMReg-Net类似。作为对比试验，SYN算法均使用ANTs软件包的默认参数。基于Tensorflow框架实现的VoxelMorph算法与MAMReg-Net使用同样的超参数： <math id="M109"><mi>λ</mi><mo>=</mo><mn mathvariant="normal">0.01</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786308&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=29786290&type= 13.46199989 2.79399991 ，批处理次数设置为1，总迭代次数设置为150 000。 4.1　可视化分析 2 本文中基于atlas的脑部MR图像配准的可视化结果如 图8 图8 所示。图中所展示的是从测试集图像中随机获取的一幅样本结果， 图8 图8 （a）、（b）分别代表参考图像和浮动图像， 图8 图8 （c）、（d）分别是使用MR图像查看工具ITK-SNAP ［ 30 30 ］ 中的彩色通道成像和网格成像两种不同形式呈现的变形场可视化结果， 图8 图8 （e）则是配准后图像。可视化结果的分析从图像的三个维度进行，从上到下每一行分别显示了脑部图像的冠状面、矢状面和横断面。从 图8 图8 可以直观的看出，配准后图像与参考图像具有较高的相似性。 图9 图9 展示了颜色叠加图，以便于更好地观察本文所提出的MAMReg-Net的配准效果。 图9 图9 （a）代表参考图像与浮动图像的叠加图， 图9 图9 （b）代表参考图像与配准后图像的叠加图。其中，蓝色标记参考图像，绿色标记浮动图像和配准后图像，蓝色与绿色重叠后表现为青绿色。相比于 图9 图9 （a），在 图9 图9 （b）中可以明显看出三个维度的图像绝大部分都呈现为青绿色，只有很少的蓝色和绿色，这表明MAMReg-Net配准后图像与参考图像重叠部位多，达到了很好的可视化配准效果。 为了进一步对比SYN、VoxelMorph和MAMReg-Net脑部MR图像配准结果的差异，不同方法的可视化结果如 图10 图10 所示。从 图10 图10 （c），（d）和（e）可以看出，不同方法得到的配准后图像都能够与参考图像具有较高的相似性。值得注意的是，在粉红色方框所标记的解剖区域上，MAMReg-Net的配准后图像与参考图像最为相似，效果优于SYN和VoxelMorph。 图10 图10 中图像的三个维度均有粉红色方框标注，表明MAMReg-Net在几种不同方法中具有最好的可视化配准效果。 4.2　量化分析 2 4 . 2 . 1　配准精度 3 ADNI3测试集的配准结果用评价指标Dice分数和ASD进行计算，得到量化的分析。如 表1 表1 所示，MAMReg-Net在不同的方法中取得了最高的平均Dice分数，较Affine、SYN和VoxelMorph分别提升了0.203、0.034和0.013。与此同时，MAMReg-Net在ASD评价指标中也取得了最优配准精度，较Affine、SYN和VoxelMorph的平均ASD数值分别降低了0.884、0.077和0.015。 Method Average Dice Average ASD Affine 0.614±0.071 1.673±0.369 SYN ［ 28 28 ］ 0.783±0.048 0.866±0.142 VoxelMorph ［ 17 17 ］ 0.804±0.029 0.804±0.137 MAMReg-Net 0.817 ± 0.035 0.789 ± 0.205 为了能够更加细致地分析不同方法对于不同解剖部位的配准效果， 图11 图11 和 图12 图12 分别展示了测试集图像在12个解剖结构上的平均Dice分数和平均ASD数值。从 图11 图11 中可以看出，经过可变形配准方法之后的平均Dice分数明显高于只进行刚性变换的Affine。对于这12个解剖结构，MAMReg-Net的平均Dice分数在9个结构上的高于SYN，在10个结构上的高于VoxelMorph。同样，从 图12 图12 可以看出，MAMReg-Net在大部分解剖结构上获得了最优的平均ASD数值。以上结果表明，本文所设计的MAMReg-Net配准模型是有效的。 4 . 2 . 2　配准时间 3 为了评价本文所提出的配准网络模型的配准速度，对SYN、VoxelMorph和MAMReg-Net的平均配准时间进行了比较，如 表2 表2 所示。结果表明，在对VoxelMorph和MAMReg-Net训练出的最优模型进行测试时均能在1秒之内完成配准。其中MAMReg-Net的配准时间约为基于Tensorflow框架实现的VoxelMorph的一半，约为传统方法SYN的百分之一。由于本文配准模型添加了残差混合注意力以及多分辨率约束，所以相比于Pytorch框架实现的VoxelMorph需要更多的配准时间。 Method Average registration time/s SYN ［ 28 28 ］ 35 Tensorflow-VoxelMorph ［ 17 17 ］ 0.74 Pytorch-VoxelMorph 0.16 MAMReg-Net 0.34 4 . 2 . 3　配准模型的泛化能力 3 为了评估MAMReg-Net的泛化能力，实验进一步在ABIDE数据集上进行了测试。方法是直接采用ADNI3数据集训练出的模型，不加任何额外的参数调整，对预处理操作后的30幅ABIDE数据进行基于altas配准。测试结果如 表3 表3 所示，在两个评价标准平均Dice分数和平均ASD数值上，MAMReg-Net的配准精度对比传统配准方法SYN略差，但高于深度学习网络VoxelMorph，这验证了本文配准模型MAMReg-Net的泛化能力较VoxelMorph有所提升。 Method Average Dice Average ASD Affine 0.540±0.035 1.951±0.281 SYN ［ 28 28 ］ 0.740 ± 0.013 1.085 ± 0.092 VoxelMorph ［ 17 17 ］ 0.726±0.020 1.179±0.115 MAMReg-Net 0.734±0.025 1.162±0.163 4.3　消融实验 2 为了验证多分辨率约束、残差局部注意力和残差混合注意力和对配准性能的影响， 表4 表4 对消融实验的配准精度进行了比较。从表中可以看出，在基础网络中添加多分辨率约束、残差局部注意力和残差混合注意力，平均Dice分数分别提升了0.002，0.006和0.008，平均ASD数值分别降低了0.017、0.031和0.036，这表明三个策略对配准任务均有效。其中，添加残差混合注意力比残差局部注意力的平均Dice分数提升了0.002，平均ASD数值降低了0.005，证明了在配准网络的学习过程中使用残差混合注意力考虑全局信息的重要性。本文配准模型MAMReg-Net将配准精度提升较明显的残差混合注意力与多分辨率约束结合起来，达到了最优的平均Dice分数，相比较于Base模型平均Dice分数提升了0.01，平均ASD数值降低了0.047。 4 Method 2 Dice 2 ASD Base Multi-resolution-constraint Residual-attention Non-local √ 0.807±0.038 0.836±0.211 √ √ 0.809±0.036 0.819±0.200 √ √ 0.813±0.038 0.805±0.213 √ √ √ 0.815±0.038 0.800±0.217 √ √ √ √ 0.817 ± 0.035 0.789 ± 0.205 为了更加直观地显示多分辨率约束和残差混合注意力的有效性，消融实验在12个解剖结构上的Dice分数箱线图如 图13 图13 所示。在大多数解剖结构上，相比于基础模型，添加多分辨率约束、残差局部注意力和残差混合注意力都获得了更高的平均Dice分数。并且在多数解剖结构上添加残差混合注意力可比只添加残差局部注意力获得更高的平均Dice分数。另外，在 图13 图13 中所有解剖结构上，本文配准模型MAMReg-Net均取得了最高的平均Dice分数。 图14 图14 是消融实验的ASD数值箱线图，从中可以看出MAMReg-Net在8个解剖结构上取得了最优数值。由此说明，结合多分辨率约束和残差混合注意力能直接有效地提升配准性能。 5 结　论 1 本文提出了一种针对脑部MR图像的无监督配准方法。该方法首先通过引入残差混合注意力的方式实现了更好的特征提取，可以在网络学习的过程中通过权重分配的方式选择出较为重要的特征，从而能够提高大脑内部解剖结构中关键部分的对齐程度。然后采用多分辨率损失函数进行网络的优化，可以有效避免过度依赖配准后图像，在不同分辨率下进行网络优化以达到促进网络更好收敛的目的。实验结果证明：本文所提出的MAMReg-Net配准框架的平均Dice分数相较于传统方法SYN和深度学习方法VoxelMorph分别提升了0.034和0.013，并且在平均ASD数值上分别降低了0.077和0.015，更好地满足了医学图像配准在临床应用中高精确度的需求。对于本文模型的泛化能力，虽然相较于VoxelMorph模型泛化能力有较好的提升，但是相比于传统配准方法效果欠佳，尤其是在处理解剖结构差异较大的脑部MR图像时。下一步的工作将针对这一问题进行改善，增强配准模型的稳定性和泛化性。 参考文献 HASKINS G ， KRUGER U ， YAN P K . Deep learning in medical image registration： a survey ［J］. Machine Vision and Applications ， 2020 ， 31 （ 1/2 ）： 1 - 18 . doi: 10.1007/s00138-020-01060-x http://dx.doi.org/10.1007/s00138-020-01060-x Deep learning in medical image registration： a survey 王宾 ， 刘林 ， 侯榆青 ， 等 . 应用改进迭代最近点方法的三维心脏点云配准 ［J］. 光学 精密工程 ， 2020 ， 28 （ 2 ）： 474 - 484 . doi: 10.3788/OPE.20202802.0474 http://dx.doi.org/10.3788/OPE.20202802.0474 应用改进迭代最近点方法的三维心脏点云配准 WANG B ， LIU L ， HOU Y Q ， et al . Three-dimensional cardiac point cloud registration by improved iterative closest point method ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 474 - 484 . （in Chinese） . doi: 10.3788/OPE.20202802.0474 http://dx.doi.org/10.3788/OPE.20202802.0474 Three-dimensional cardiac point cloud registration by improved iterative closest point method GU Y ， LU X Q ， ZHANG B H ， et al . Automatic lung nodule detection using multi-scale dot nodule-enhancement filter and weighted support vector machines in chest computed tomography ［J］. PLoS One ， 2019 ， 14 （ 1 ）： e0210551 . doi: 10.1371/journal.pone.0210551 http://dx.doi.org/10.1371/journal.pone.0210551 Automatic lung nodule detection using multi-scale dot nodule-enhancement filter and weighted support vector machines in chest computed tomography LU X Q ， GU Y ， YANG L D ， et al . Multi-level 3D densenets for false-positive reduction in lung nodule detection based on chest computed tomography ［J］. Current Medical Imaging ， 2020 ， 16 （ 8 ）： 1004 - 1021 . doi: 10.2174/1573405615666191113122840 http://dx.doi.org/10.2174/1573405615666191113122840 Multi-level 3D densenets for false-positive reduction in lung nodule detection based on chest computed tomography ASHBURNER J . A fast diffeomorphic image registration algorithm ［J］. NeuroImage ， 2007 ， 38 （ 1 ）： 95 - 113 . doi: 10.1016/j.neuroimage.2007.07.007 http://dx.doi.org/10.1016/j.neuroimage.2007.07.007 A fast diffeomorphic image registration algorithm 刘坤 ， 吕晓琪 ， 谷宇 ， 等 . 快速数字影像重建的2维/3维医学图像配准 ［J］. 中国图象图形学报 ， 2016 ， 21 （ 1 ）： 69 - 77 . doi: 10.11834/jig.20160109 http://dx.doi.org/10.11834/jig.20160109 快速数字影像重建的2维/3维医学图像配准 LIU K ， LYU X Q ， GU Y ， et al . The 2D/3D medical image registration algorithm based on rapid digital image reconstruction ［J］. Journal of Image and Graphics ， 2016 ， 21 （ 1 ）： 69 - 77 . （in Chinese） . doi: 10.11834/jig.20160109 http://dx.doi.org/10.11834/jig.20160109 The 2D/3D medical image registration algorithm based on rapid digital image reconstruction KHADER M ， SCHIAVI E ， HAMZA A B . A multicomponent approach to nonrigid registration of diffusion tensor images ［J］. Applied Intelligence ， 2017 ， 46 （ 2 ）： 241 - 253 . doi: 10.1007/s10489-016-0833-8 http://dx.doi.org/10.1007/s10489-016-0833-8 A multicomponent approach to nonrigid registration of diffusion tensor images GU Y ， CHI J Q ， LIU J Q ， et al . A survey of computer-aided diagnosis of lung nodules from CT scans using deep learning ［J］. Computers in Biology and Medicine ， 2021 ， 137 ： 104806 . doi: 10.1016/j.compbiomed.2021.104806 http://dx.doi.org/10.1016/j.compbiomed.2021.104806 A survey of computer-aided diagnosis of lung nodules from CT scans using deep learning QIAN L J ， ZHOU Q ， CAO X H ， et al . A cascade-network framework for integrated registration of liver DCE-MR images ［J］. Computerized Medical Imaging and Graphics ， 2021 ， 89 ： 101887 . doi: 10.1016/j.compmedimag.2021.101887 http://dx.doi.org/10.1016/j.compmedimag.2021.101887 A cascade-network framework for integrated registration of liver DCE-MR images 李赛 ， 黎浩江 ， 刘立志 ， 等 . 基于尺度注意力沙漏网络的头部MRI解剖点自动定位 ［J］. 光学 精密工程 ， 2021 ， 29 （ 9 ）： 2278 - 2286 . doi: 10.37188/OPE.20212909.2278 http://dx.doi.org/10.37188/OPE.20212909.2278 基于尺度注意力沙漏网络的头部MRI解剖点自动定位 LI S ， LI H J ， LIU L Z ， et al . Automatic location of anatomical points in head MRI based on the scale attention hourglass network ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 9 ）： 2278 - 2286 . （in Chinese） . doi: 10.37188/OPE.20212909.2278 http://dx.doi.org/10.37188/OPE.20212909.2278 Automatic location of anatomical points in head MRI based on the scale attention hourglass network WU G R ， KIM M ， WANG Q ， et al . Scalable high-performance image registration framework by unsupervised deep feature representations learning ［J］. IEEE Transactions on Bio-Medical Engineering ， 2016 ， 63 （ 7 ）： 1505 - 1516 . doi: 10.1109/tbme.2015.2496253 http://dx.doi.org/10.1109/tbme.2015.2496253 Scalable high-performance image registration framework by unsupervised deep feature representations learning EPPENHOF K A J ， PLUIM J P W . Error estimation of deformable image registration of pulmonary CT scans using convolutional neural networks ［J］. Journal of Medical Imaging ， 2018 ， 5 ： 024003 . doi: 10.1117/1.jmi.5.2.024003 http://dx.doi.org/10.1117/1.jmi.5.2.024003 Error estimation of deformable image registration of pulmonary CT scans using convolutional neural networks JADERBERG M ， SIMONYAN K ， ZISSERMAN A . Spatial transformer networks ［J］. Advances in neural information processing systems ， 2015 ， 28 ： 2017 - 2025 . doi: 10.1007/s11263-015-0823-z http://dx.doi.org/10.1007/s11263-015-0823-z Spatial transformer networks CHEE E ， WU Z Z . AIRNet： self-supervised affine registration for 3D medical images using neural networks ［J］. arXiv preprint arXiv ： 1810.02583 ， 2018 . AIRNet： self-supervised affine registration for 3D medical images using neural networks 谷宇 . 基于三维卷积神经网络的低剂量CT肺结节检测 ［D］. 上海 ： 上海大学 ， 2019 . 基于三维卷积神经网络的低剂量CT肺结节检测 GU Y . Research on Lung Nodule Detection Based on Deep Convolutional Neural Network in Computed Tomography ［D］. Shanghai ： Shanghai University ， 2019 . （in Chinese） Research on Lung Nodule Detection Based on Deep Convolutional Neural Network in Computed Tomography HU Y P ， MODAT M ， GIBSON E ， et al . Weakly-supervised convolutional neural networks for multimodal image registration ［J］. Medical Image Analysis ， 2018 ， 49 ： 1 - 13 . doi: 10.1016/j.media.2018.07.002 http://dx.doi.org/10.1016/j.media.2018.07.002 Weakly-supervised convolutional neural networks for multimodal image registration BALAKRISHNAN G ， ZHAO A ， SABUNCU M R ， et al . VoxelMorph： a learning framework for deformable medical image registration ［J］. IEEE Transactions on Medical Imaging ， 2019 ， 38 （ 8 ）： 1788 - 1800 . doi: 10.1109/tmi.2019.2897538 http://dx.doi.org/10.1109/tmi.2019.2897538 VoxelMorph： a learning framework for deformable medical image registration ZHANG L T ， ZHOU L ， LI R Y ， et al . Cascaded feature warping network for unsupervised medical image registration ［C］. 2021 IEEE 18th International Symposium on Biomedical Imaging . 1316，2021 ， Nice ， France . IEEE ， 2021 ： 913 - 916 . doi: 10.1109/isbi48211.2021.9433880 http://dx.doi.org/10.1109/isbi48211.2021.9433880 Cascaded feature warping network for unsupervised medical image registration OUYANG X Y ， LIANG X K ， XIE Y Q . Preliminary feasibility study of imaging registration between supine and prone breast CT in breast cancer radiotherapy using residual recursive cascaded networks ［J］. IEEE Access ， 2020 ， 9 ： 3315 - 3325 . doi: 10.1109/access.2020.3047829 http://dx.doi.org/10.1109/access.2020.3047829 Preliminary feasibility study of imaging registration between supine and prone breast CT in breast cancer radiotherapy using residual recursive cascaded networks HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90 Deep residual learning for image recognition OH D ， KIM B ， LEE J ， et al . Unsupervised deep learning network with self-attention mechanism for non-rigid registration of 3D brain MR images ［J］. Journal of Medical Imaging and Health Informatics ， 2021 ， 11 （ 3 ）： 736 - 751 . doi: 10.1166/jmihi.2021.3345 http://dx.doi.org/10.1166/jmihi.2021.3345 Unsupervised deep learning network with self-attention mechanism for non-rigid registration of 3D brain MR images 秦传波 ， 宋子玉 ， 曾军英 ， 等 . 联合多尺度和注意力-残差的深度监督乳腺癌分割 ［J］. 光学 精密工程 ， 2021 ， 29 （ 4 ）： 877 - 895 . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877 联合多尺度和注意力-残差的深度监督乳腺癌分割 QIN C B ， SONG Z Y ， ZENG J Y ， et al . Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 877 - 895 . （in Chinese） . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877 Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals WANG X L ， GIRSHICK R ， GUPTA A ， et al . Non-local neural networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7794 - 7803 . doi: 10.1109/cvpr.2018.00813 http://dx.doi.org/10.1109/cvpr.2018.00813 Non-local neural networks MA Y J ， NIU D M ， ZHANG J S ， et al . Unsupervised deformable image registration network for 3D medical images ［J］. Applied Intelligence ， 2022 ， 52 （ 1 ）： 766 - 779 . doi: 10.1007/s10489-021-02196-7 http://dx.doi.org/10.1007/s10489-021-02196-7 Unsupervised deformable image registration network for 3D medical images JACK C R ， BERNSTEIN M A ， FOX N C ， et al . The Alzheimer's disease neuroimaging initiative （ADNI）： MRI methods ［J］. Journal of Magnetic Resonance Imaging ， 2008 ， 27 （ 4 ）： 685 - 691 . doi: 10.1002/jmri.21049 http://dx.doi.org/10.1002/jmri.21049 The Alzheimer's disease neuroimaging initiative （ADNI）： MRI methods CHEN J Y ， HE Y F ， FREY E C ， et al . ViT-V-net： vision transformer for unsupervised volumetric medical image registration ［J］. arXiv preprint arXiv： 2104.06468 ， 2021 . ViT-V-net： vision transformer for unsupervised volumetric medical image registration FISCHL B . FreeSurfer ［J］. NeuroImage ， 2012 ， 62 （ 2 ）： 774 - 781 . doi: 10.1016/j.neuroimage.2012.01.021 http://dx.doi.org/10.1016/j.neuroimage.2012.01.021 FreeSurfer DI MARTINO A ， YAN C G ， LI Q ， et al . The autism brain imaging data exchange： towards a large-scale evaluation of the intrinsic brain architecture in autism ［J］. Molecular Psychiatry ， 2014 ， 19 （ 6 ）： 659 - 667 . doi: 10.1038/mp.2013.78 http://dx.doi.org/10.1038/mp.2013.78 The autism brain imaging data exchange： towards a large-scale evaluation of the intrinsic brain architecture in autism AVANTS B B ， EPSTEIN C L ， GROSSMAN M ， et al . Symmetric diffeomorphic image registration with cross-correlation： evaluating automated labeling of elderly and neurodegenerative brain ［J］. Medical Image Analysis ， 2008 ， 12 （ 1 ）： 26 - 41 . doi: 10.1016/j.media.2007.06.004 http://dx.doi.org/10.1016/j.media.2007.06.004 Symmetric diffeomorphic image registration with cross-correlation： evaluating automated labeling of elderly and neurodegenerative brain YUSHKEVICH P A ， PIVEN J ， HAZLETT H C ， et al . User-guided 3D active contour segmentation of anatomical structures： significantly improved efficiency and reliability ［J］. NeuroImage ， 2006 ， 31 （ 3 ）： 1116 - 1128 . doi: 10.1016/j.neuroimage.2006.01.015 http://dx.doi.org/10.1016/j.neuroimage.2006.01.015 User-guided 3D active contour segmentation of anatomical structures： significantly improved efficiency and reliability 10.37188/OPE.20223010.1203 TP391.4 A 1004-924X（2022）10-1203-14 张明娜,吕晓琪,谷宇.残差混合注意力结合多分辨率约束的图像配准[J].光学精密工程,2022,30(10):1203-1216. 张明娜,吕晓琪,谷宇.残差混合注意力结合多分辨率约束的图像配准[J].光学精密工程,2022,30(10):1203-1216. ZHANG Mingna,LÜ Xiaoqi,GU Yu.Image registration based on residual mixed attention and multi-resolution constraints[J].Optics and Precision Engineering,2022,30(10):1203-1216. ZHANG Mingna,LÜ Xiaoqi,GU Yu.Image registration based on residual mixed attention and multi-resolution constraints[J].Optics and Precision Engineering,2022,30(10):1203-1216. 国家自然科学基金项目（No.62001255，No.61771266，No.61841204）；内蒙古自治区科技计划项目（No.2019GG138）；中央引导地方科技发展资金项目（No.2021ZY0004）；内蒙古自治区自然科学基金项目（No.2019MS06003，No.2015MS0604）；内蒙古自治区高等学校科学研究项目（No.NJZY145）；教育部“春晖计划”合作科研项目（No.教外司留［2019］1383号） 2021-12-22 2022-02-16 2022-05-25 2022-06-21 光学精密工程 10 30