残差混合注意力结合多分辨率约束的图像配准

张明娜; 吕晓琪; 谷宇

doi:10.37188/OPE.20223010.1203

您当前的位置：

首页 >

文章列表页 >

残差混合注意力结合多分辨率约束的图像配准

信息科学 | 更新时间：2022-06-21

- 残差混合注意力结合多分辨率约束的图像配准
- Image registration based on residual mixed attention and multi-resolution constraints
- 光学精密工程 2022年30卷第10期页码：1203-1216
- 作者机构：
  
  1.内蒙古科技大学信息工程学院模式识别与智能图像处理重点实验室，内蒙古包头 014010
  2.内蒙古工业大学信息工程学院，内蒙古呼和浩特 010051
- 作者简介：
  
  [ "张明娜（1997-），女，山东济南人，硕士研究生，2020年于山东第一医科大学获得学士学位，主要从事智能图像处理、深度学习及图像配准方面的研究。E-mail：1292579223@qq.com" ]
  [ "吕晓琪（1963-），男，内蒙古包头人，博士，教授，博士生导师，1984年于内蒙古大学获得学士学位，1989年于西安交通大学获得硕士学位，2003年于北京科技大学获得博士学位，主要从事智能信息处理、医学图像处理、数字化医疗相关技术等方面的研究。E-mail： lxiaoqi@imust.edu.cn" ]
- 基金信息：
  
  国家自然科学基金项目(62001255;61771266;61841204);内蒙古自治区科技计划项目(2019GG138);中央引导地方科技发展资金项目(2021ZY0004);内蒙古自治区自然科学基金项目(2019MS06003;2015MS0604);内蒙古自治区高等学校科学研究项目(NJZY145);教育部“春晖计划”合作科研项目(教外司留［2019］1383号)
- DOI：10.37188/OPE.20223010.1203
  中图分类号： TP391.4
- 收稿日期：2021-12-22，
  
  修回日期：2022-02-16，
  
  纸质出版日期：2022-05-25
- 稿件说明：
移动端阅览
张明娜,吕晓琪,谷宇.残差混合注意力结合多分辨率约束的图像配准[J].光学精密工程,2022,30(10):1203-1216.

ZHANG Mingna,LÜ Xiaoqi,GU Yu.Image registration based on residual mixed attention and multi-resolution constraints[J].Optics and Precision Engineering,2022,30(10):1203-1216.
张明娜,吕晓琪,谷宇.残差混合注意力结合多分辨率约束的图像配准[J].光学精密工程,2022,30(10):1203-1216. DOI： 10.37188/OPE.20223010.1203.

ZHANG Mingna,LÜ Xiaoqi,GU Yu.Image registration based on residual mixed attention and multi-resolution constraints[J].Optics and Precision Engineering,2022,30(10):1203-1216. DOI： 10.37188/OPE.20223010.1203.

摘要

医学图像配准在图谱创建和时间序列图像对比等临床应用中具有重要意义。目前，使用深度学习的配准方法与传统方法相比更好地满足了临床实时性的需求，但配准精确度仍有待提升。基于此，本文提出了一种结合残差混合注意力与多分辨率约束的配准模型MAMReg-Net，实现了脑部核磁共振成像（Magnetic Resonance Imaging， MRI）的单模态非刚性图像配准。该模型通过添加残差混合注意力模块，可以同时获取大量局部和非局部信息，在网络训练过程中提取到了更有效的大脑内部结构特征。其次，使用多分辨率损失函数来进行网络优化，实现更高效和更稳健的训练。在脑部T1 MR图像的12个解剖结构中，平均Dice分数达到0.817，平均ASD数值达到0.789，平均配准时间仅为0.34 s。实验结果表明，MAMReg-Net配准模型能够更好地学习脑部结构特征从而有效地提升配准精确度，并且满足临床实时性的需求。

Abstract

Medical image registration has great significance in clinical applications such as atlas creation and time-series image comparison. Currently， in contrast to traditional methods， deep learning-based registration achieves the requirements of clinical real-time； however， the accuracy of registration still needs to be improved. Based on this observation， this paper proposes a registration model named MAMReg-Net， which combines residual mixed attention and multi-resolution constraints to realize the non-rigid registration of brain magnetic resonance imaging （MRI）. By adding the residual mixed attention module， the model can obtain a large amount of local and non-local information simultaneously， and extract more effective internal structural features of the brain in the process of network training. Secondly， multi-resolution loss function is used to optimize the network to make the training more efficient and robust. The average dice score of the 12 anatomical structures in T1 brain MR images was 0.817， the average ASD score was 0.789， and the average registration time was 0.34 s. Experimental results demonstrate that the MAMReg-Net registration model can be better trained to learn the brain structure features to effectively improve the registration accuracy and meet clinical real-time requirements.

关键词

Keywords

references

HASKINS G ， KRUGER U ， YAN P K . Deep learning in medical image registration： a survey ［J］. Machine Vision and Applications ， 2020 ， 31 （ 1/2 ）： 1 - 18 . doi: 10.1007/s00138-020-01060-x http://dx.doi.org/10.1007/s00138-020-01060-x

王宾，刘林，侯榆青，等 . 应用改进迭代最近点方法的三维心脏点云配准［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 474 - 484 . doi: 10.3788/OPE.20202802.0474 http://dx.doi.org/10.3788/OPE.20202802.0474

WANG B ， LIU L ， HOU Y Q ， et al . Three-dimensional cardiac point cloud registration by improved iterative closest point method ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 474 - 484 . （in Chinese） . doi: 10.3788/OPE.20202802.0474 http://dx.doi.org/10.3788/OPE.20202802.0474

GU Y ， LU X Q ， ZHANG B H ， et al . Automatic lung nodule detection using multi-scale dot nodule-enhancement filter and weighted support vector machines in chest computed tomography ［J］. PLoS One ， 2019 ， 14 （ 1 ）： e0210551 . doi: 10.1371/journal.pone.0210551 http://dx.doi.org/10.1371/journal.pone.0210551

LU X Q ， GU Y ， YANG L D ， et al . Multi-level 3D densenets for false-positive reduction in lung nodule detection based on chest computed tomography ［J］. Current Medical Imaging ， 2020 ， 16 （ 8 ）： 1004 - 1021 . doi: 10.2174/1573405615666191113122840 http://dx.doi.org/10.2174/1573405615666191113122840

ASHBURNER J . A fast diffeomorphic image registration algorithm ［J］. NeuroImage ， 2007 ， 38 （ 1 ）： 95 - 113 . doi: 10.1016/j.neuroimage.2007.07.007 http://dx.doi.org/10.1016/j.neuroimage.2007.07.007

刘坤，吕晓琪，谷宇，等 . 快速数字影像重建的2维/3维医学图像配准［J］. 中国图象图形学报， 2016 ， 21 （ 1 ）： 69 - 77 . doi: 10.11834/jig.20160109 http://dx.doi.org/10.11834/jig.20160109

LIU K ， LYU X Q ， GU Y ， et al . The 2D/3D medical image registration algorithm based on rapid digital image reconstruction ［J］. Journal of Image and Graphics ， 2016 ， 21 （ 1 ）： 69 - 77 . （in Chinese） . doi: 10.11834/jig.20160109 http://dx.doi.org/10.11834/jig.20160109

KHADER M ， SCHIAVI E ， HAMZA A B . A multicomponent approach to nonrigid registration of diffusion tensor images ［J］. Applied Intelligence ， 2017 ， 46 （ 2 ）： 241 - 253 . doi: 10.1007/s10489-016-0833-8 http://dx.doi.org/10.1007/s10489-016-0833-8

GU Y ， CHI J Q ， LIU J Q ， et al . A survey of computer-aided diagnosis of lung nodules from CT scans using deep learning ［J］. Computers in Biology and Medicine ， 2021 ， 137 ： 104806 . doi: 10.1016/j.compbiomed.2021.104806 http://dx.doi.org/10.1016/j.compbiomed.2021.104806

QIAN L J ， ZHOU Q ， CAO X H ， et al . A cascade-network framework for integrated registration of liver DCE-MR images ［J］. Computerized Medical Imaging and Graphics ， 2021 ， 89 ： 101887 . doi: 10.1016/j.compmedimag.2021.101887 http://dx.doi.org/10.1016/j.compmedimag.2021.101887

李赛，黎浩江，刘立志，等 . 基于尺度注意力沙漏网络的头部MRI解剖点自动定位［J］. 光学精密工程， 2021 ， 29 （ 9 ）： 2278 - 2286 . doi: 10.37188/OPE.20212909.2278 http://dx.doi.org/10.37188/OPE.20212909.2278

LI S ， LI H J ， LIU L Z ， et al . Automatic location of anatomical points in head MRI based on the scale attention hourglass network ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 9 ）： 2278 - 2286 . （in Chinese） . doi: 10.37188/OPE.20212909.2278 http://dx.doi.org/10.37188/OPE.20212909.2278

WU G R ， KIM M ， WANG Q ， et al . Scalable high-performance image registration framework by unsupervised deep feature representations learning ［J］. IEEE Transactions on Bio-Medical Engineering ， 2016 ， 63 （ 7 ）： 1505 - 1516 . doi: 10.1109/tbme.2015.2496253 http://dx.doi.org/10.1109/tbme.2015.2496253

EPPENHOF K A J ， PLUIM J P W . Error estimation of deformable image registration of pulmonary CT scans using convolutional neural networks ［J］. Journal of Medical Imaging ， 2018 ， 5 ： 024003 . doi: 10.1117/1.jmi.5.2.024003 http://dx.doi.org/10.1117/1.jmi.5.2.024003

JADERBERG M ， SIMONYAN K ， ZISSERMAN A . Spatial transformer networks ［J］. Advances in neural information processing systems ， 2015 ， 28 ： 2017 - 2025 . doi: 10.1007/s11263-015-0823-z http://dx.doi.org/10.1007/s11263-015-0823-z

CHEE E ， WU Z Z . AIRNet： self-supervised affine registration for 3D medical images using neural networks ［J］. arXiv preprint arXiv ： 1810.02583 ， 2018 .

谷宇 . 基于三维卷积神经网络的低剂量CT肺结节检测［D］. 上海：上海大学， 2019 .

GU Y . Research on Lung Nodule Detection Based on Deep Convolutional Neural Network in Computed Tomography ［D］. Shanghai ： Shanghai University ， 2019 . （in Chinese）

HU Y P ， MODAT M ， GIBSON E ， et al . Weakly-supervised convolutional neural networks for multimodal image registration ［J］. Medical Image Analysis ， 2018 ， 49 ： 1 - 13 . doi: 10.1016/j.media.2018.07.002 http://dx.doi.org/10.1016/j.media.2018.07.002

BALAKRISHNAN G ， ZHAO A ， SABUNCU M R ， et al . VoxelMorph： a learning framework for deformable medical image registration ［J］. IEEE Transactions on Medical Imaging ， 2019 ， 38 （ 8 ）： 1788 - 1800 . doi: 10.1109/tmi.2019.2897538 http://dx.doi.org/10.1109/tmi.2019.2897538

ZHANG L T ， ZHOU L ， LI R Y ， et al . Cascaded feature warping network for unsupervised medical image registration ［C］. 2021 IEEE 18th International Symposium on Biomedical Imaging . 1316，2021 ， Nice ， France . IEEE ， 2021 ： 913 - 916 . doi: 10.1109/isbi48211.2021.9433880 http://dx.doi.org/10.1109/isbi48211.2021.9433880

OUYANG X Y ， LIANG X K ， XIE Y Q . Preliminary feasibility study of imaging registration between supine and prone breast CT in breast cancer radiotherapy using residual recursive cascaded networks ［J］. IEEE Access ， 2020 ， 9 ： 3315 - 3325 . doi: 10.1109/access.2020.3047829 http://dx.doi.org/10.1109/access.2020.3047829

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

OH D ， KIM B ， LEE J ， et al . Unsupervised deep learning network with self-attention mechanism for non-rigid registration of 3D brain MR images ［J］. Journal of Medical Imaging and Health Informatics ， 2021 ， 11 （ 3 ）： 736 - 751 . doi: 10.1166/jmihi.2021.3345 http://dx.doi.org/10.1166/jmihi.2021.3345

秦传波，宋子玉，曾军英，等 . 联合多尺度和注意力-残差的深度监督乳腺癌分割［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 877 - 895 . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

QIN C B ， SONG Z Y ， ZENG J Y ， et al . Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 877 - 895 . （in Chinese） . doi: 10.37188/OPE.20212904.0877 http://dx.doi.org/10.37188/OPE.20212904.0877

WANG X L ， GIRSHICK R ， GUPTA A ， et al . Non-local neural networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7794 - 7803 . doi: 10.1109/cvpr.2018.00813 http://dx.doi.org/10.1109/cvpr.2018.00813

MA Y J ， NIU D M ， ZHANG J S ， et al . Unsupervised deformable image registration network for 3D medical images ［J］. Applied Intelligence ， 2022 ， 52 （ 1 ）： 766 - 779 . doi: 10.1007/s10489-021-02196-7 http://dx.doi.org/10.1007/s10489-021-02196-7

JACK C R ， BERNSTEIN M A ， FOX N C ， et al . The Alzheimer's disease neuroimaging initiative （ADNI）： MRI methods ［J］. Journal of Magnetic Resonance Imaging ， 2008 ， 27 （ 4 ）： 685 - 691 . doi: 10.1002/jmri.21049 http://dx.doi.org/10.1002/jmri.21049

CHEN J Y ， HE Y F ， FREY E C ， et al . ViT-V-net： vision transformer for unsupervised volumetric medical image registration ［J］. arXiv preprint arXiv： 2104.06468 ， 2021 .

FISCHL B . FreeSurfer ［J］. NeuroImage ， 2012 ， 62 （ 2 ）： 774 - 781 . doi: 10.1016/j.neuroimage.2012.01.021 http://dx.doi.org/10.1016/j.neuroimage.2012.01.021

DI MARTINO A ， YAN C G ， LI Q ， et al . The autism brain imaging data exchange： towards a large-scale evaluation of the intrinsic brain architecture in autism ［J］. Molecular Psychiatry ， 2014 ， 19 （ 6 ）： 659 - 667 . doi: 10.1038/mp.2013.78 http://dx.doi.org/10.1038/mp.2013.78

AVANTS B B ， EPSTEIN C L ， GROSSMAN M ， et al . Symmetric diffeomorphic image registration with cross-correlation： evaluating automated labeling of elderly and neurodegenerative brain ［J］. Medical Image Analysis ， 2008 ， 12 （ 1 ）： 26 - 41 . doi: 10.1016/j.media.2007.06.004 http://dx.doi.org/10.1016/j.media.2007.06.004

YUSHKEVICH P A ， PIVEN J ， HAZLETT H C ， et al . User-guided 3D active contour segmentation of anatomical structures： significantly improved efficiency and reliability ［J］. NeuroImage ， 2006 ， 31 （ 3 ）： 1116 - 1128 . doi: 10.1016/j.neuroimage.2006.01.015 http://dx.doi.org/10.1016/j.neuroimage.2006.01.015

浏览量

790

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多分支残差注意力网络的水下图像增强

基于策略梯度和伪孪生网络的异源图像匹配

面向点云分类和分割的形状自适应特征聚合网络

基于机载的红外动态目标视频实时超分辨率重建

数据驱动的多模复合制导信息融合及其试验验证