增强现实手术导航系统的投影显示技术综述

吴海滨; 徐恺阳; 于双; 王爱丽; 岩堀祐之; 孙晓明

doi:10.37188/OPE.20212909.2019

您当前的位置：

首页 >

文章列表页 >

增强现实手术导航系统的投影显示技术综述

现代应用光学 | 更新时间：2021-10-08

- 增强现实手术导航系统的投影显示技术综述
- Review of projection display technology in augmented reality surgical navigation system
- 光学精密工程 2021年29卷第9期页码：2019-2038
- 作者机构：
  
  1.哈尔滨理工大学黑龙江省激光光谱技术及应用重点实验室，黑龙江哈尔滨 150080
  2.中部大学计算机科学学院，日本爱知 487-8501
- 作者简介：
  
  [ "吴海滨（1977-），男，上海人，博士，教授，博士生导师，2002年于哈尔滨工业大学获得硕士学位，2008年于哈尔滨理工大学获得博士学位，主要从事机器视觉、医学虚拟现实、深度学习图像分类的研究。E-mail： woo@hrbust.edu.cn吴海滨（1977-），男，上海人，博士，教授，博士生导师，2002年于哈尔滨工业大学获得硕士学位，2008年于哈尔滨理工大学获得博士学位，主要从事机器视觉、医学虚拟现实、深度学习图像分类的研究。E-mail： woo@hrbust.edu.cn" ]
  [ "王爱丽（1979-），女，天津人，博士，副教授，硕士生导师，2008年于哈尔滨工业大学获得博士学位，主要从事机器视觉、深度学习图像分类的研究。E-mail： aili925@hrbust.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(61671190;61571168);“理工英才计划”(2018-KYYWF-1681)
- DOI：10.37188/OPE.20212909.2019
  中图分类号： TP391
- 收稿日期：2021-02-09，
  
  修回日期：2021-03-04，
  
  纸质出版日期：2021-09-15
- 稿件说明：
移动端阅览
吴海滨,徐恺阳,于双等.增强现实手术导航系统的投影显示技术综述[J].光学精密工程,2021,29(09):2019-2038.

WU Hai-bin,XU Kai-yang,YU Shuang,et al.Review of projection display technology in augmented reality surgical navigation system[J].Optics and Precision Engineering,2021,29(09):2019-2038.
吴海滨,徐恺阳,于双等.增强现实手术导航系统的投影显示技术综述[J].光学精密工程,2021,29(09):2019-2038. DOI： 10.37188/OPE.20212909.2019.

WU Hai-bin,XU Kai-yang,YU Shuang,et al.Review of projection display technology in augmented reality surgical navigation system[J].Optics and Precision Engineering,2021,29(09):2019-2038. DOI： 10.37188/OPE.20212909.2019.

摘要

增强现实手术导航系统实现虚拟器官与真实场景的融合叠加显示，便于医生手术操作。综述了增强现实技术在不同临床领域中应用或研究的手术导航系统。鉴于增强现实技术为手术导航系统提供了更好的显示方式，从视频显示技术、立体显示技术和投影显示技术3种方式对术中增强现实显示技术进行分类总结。针对最有前景的投影显示技术，综述了针对解析表面和非解析表面的投影畸变校正关键技术的发展、方法及特点。最后，对投影显示技术的难点和未来发展趋势进行了展望。

Abstract

An augmented reality surgical navigation system allows the visualization of a superimposed display of virtual organs above the real surgical scene， making it convenient for doctors to perform surgery. This review covers the application of research into augmented reality technology in various surgical navigation systems in different clinical fields. Furthermore， in view of the fact that augmented reality technology provides an improved display for surgical navigation systems， this paper classifies and summarizes the intraoperative augmented reality display technology into three categories： video display technology， stereo display technology， and projection display technology. Additionally， the development， methods， and characteristics of projection distortion correction techniques for analytical and non-analytical surfaces are reviewed， with the aim to cover the key mechanisms of the most promising projection display technologies. Finally， the limitations and future scope of the projection display technology are prospected.

关键词

Keywords

references

石晓卫，苑慧，吕茗萱，等 . 虚拟现实技术在医学领域的研究现状与进展［J］. 激光与光电子学进展， 2020 ， 57 （ 1 ）： 010006 . doi: 10.3788/lop57.010006 http://dx.doi.org/10.3788/lop57.010006

SHI X W ， YUAN H ， LÜ M X ， et al . Current status and progress of virtual reality technology in medical field ［J］. Laser & Optoelectronics Progress ， 2020 ， 57 （ 1 ）： 010006 . （in Chinese） . doi: 10.3788/lop57.010006 http://dx.doi.org/10.3788/lop57.010006

ROBERTO P ， EMANUELE F ， PRIMO Z ， et al . Design， large-scale usage testing， and important metrics for augmented reality gaming applications ［J］. ACM Transactions on Multimedia Computing， Communications， and Applications ， 2019 ， 15 （ 2 ）： 1 - 18 . doi: 10.1145/3311748 http://dx.doi.org/10.1145/3311748

ASTUTI F N ， SURANTO S ， MASYKURI M . The appropriateness of developing the media： experts’ validation and students’ response of learning media based on augmented reality technology for natural science lesson ［J］. Journal of Physics： Conference Series ， 2020 ， 1567 ： 042023 . doi: 10.1088/1742-6596/1567/4/042023 http://dx.doi.org/10.1088/1742-6596/1567/4/042023

LIM K Y T ， SemioticsLIM R. ， memory and augmented reality ： History education with learner-generated augmentation ［J］. British Journal of Educational Technology ， 2020 ， 51 （ 3 ）： 673 - 691 . doi: 10.1111/bjet.12904 http://dx.doi.org/10.1111/bjet.12904

DANIELSSON O ， HOLM M ， SYBERFELDT A . Augmented reality smart glasses in industrial assembly： Current status and future challenges ［J］. Journal of Industrial Information Integration ， 2020 ， 20 ： 100175 . doi: 10.1016/j.jii.2020.100175 http://dx.doi.org/10.1016/j.jii.2020.100175

CAPUANO N ， GAETA A ， GUARINO G ， et al . Enhancing augmented reality with cognitive and knowledge perspectives： a case study in museum exhibitions ［J］. Behaviour & Information Technology ， 2016 ， 35 （ 11 ）： 968 - 979 . doi: 10.1080/0144929x.2016.1208774 http://dx.doi.org/10.1080/0144929x.2016.1208774

KAGHAT F Z ， AZOUGH A ， FAKHOUR M ， et al . A new audio augmented reality interaction and adaptation model for museum visits ［J］. Computers & Electrical Engineering ， 2020 ， 84 ： 106606 . doi: 10.1016/j.compeleceng.2020.106606 http://dx.doi.org/10.1016/j.compeleceng.2020.106606

刘锦宏，夏高奎，张亚敏 . 现实技术在文化遗产保护中的应用研究［J］. 湘潭大学学报：哲学社会科学版， 2015 ， 39 （ 2 ）： 124 - 126 . doi: 10.2991/iccessh-19.2019.111 http://dx.doi.org/10.2991/iccessh-19.2019.111

LIU J H ， XIA G K ， ZHANG Y M . On the research about the application of augmented reality technology in cultural heritages conservation ［J］. Journal of Xiangtan University： Philosophy and Social Sciences ， 2015 ， 39 （ 2 ）： 124 - 126 . （in Chinese） . doi: 10.2991/iccessh-19.2019.111 http://dx.doi.org/10.2991/iccessh-19.2019.111

李春迎，陆正大，谢凯，等 . 增强现实在医学领域中的应用现状研究［J］. 中国医疗设备， 2020 ， 35 （ 9 ）： 165 - 168 . doi: 10.3969/j.issn.1674-1633.2020.09.038 http://dx.doi.org/10.3969/j.issn.1674-1633.2020.09.038

LI CH Y ， LU ZH D ， XIE K ， et al . Research on the application of augmented reality in medical field ［J］. China Medical Devices ， 2020 ， 35 （ 9 ）： 165 - 168 . （in Chinese） . doi: 10.3969/j.issn.1674-1633.2020.09.038 http://dx.doi.org/10.3969/j.issn.1674-1633.2020.09.038

COLLYER J . Stereotactic navigation in oral and maxillofacial surgery ［J］. British Journal of Oral and Maxillofacial Surgery ， 2010 ， 48 （ 2 ）： 79 - 83 . doi: 10.1016/j.bjoms.2009.04.037 http://dx.doi.org/10.1016/j.bjoms.2009.04.037

HASSFELD S ， MÜHLING J . Computer assisted oral and maxillofacial surgery-a review and an assessment of technology ［J］. International Journal of Oral and Maxillofacial Surgery ， 2001 ， 30 （ 1 ）： 2 - 13 . doi: 10.1054/ijom.2000.0024 http://dx.doi.org/10.1054/ijom.2000.0024

KÜGLER D ， KRUMB H ， BREDEMANN J ， et al . High-precision evaluation of electromagnetic tracking ［J］. International Journal of Computer Assisted Radiology and Surgery ， 2019 ， 14 （ 7 ）： 1127 - 1135 . doi: 10.1007/s11548-019-01959-5 http://dx.doi.org/10.1007/s11548-019-01959-5

DECKER R S ， SHADEMAN A ， OPFERMANN J D ， et al . Biocompatible near-infrared three-dimensional tracking system ［J］. IEEE Transactions on Biomedical Engineering ， 2017 ， 64 （ 3 ）： 549 - 556 . doi: 10.1109/tbme.2017.2656803 http://dx.doi.org/10.1109/tbme.2017.2656803

PESSAUX P ， DIANA M ， SOLER L ， et al . Towards cybernetic surgery： robotic and augmented reality-assisted liver segmentectomy ［J］. Langenbeck's Archives of Surgery ， 2015 ， 400 （ 3 ）： 381 - 385 . doi: 10.1007/s00423-014-1256-9 http://dx.doi.org/10.1007/s00423-014-1256-9

ONDA S ， OKAMOTO T ， KANEHIRA M ， et al . Identification of inferior pancreaticoduodenal artery during pancreaticoduodenectomy using augmented reality-based navigation system ［J］. Journal of Hepato-Biliary-Pancreatic Sciences ， 2014 ， 21 （ 4 ）： 281 - 287 . doi: 10.1002/jhbp.25 http://dx.doi.org/10.1002/jhbp.25

WU M L ， CHIEN J C ， WU C T ， et al . An augmented reality system using improved-iterative closest point algorithm for on-patient medical image visualization ［J］. Sensors ， 2018 ， 18 （ 8 ）： 2505 . doi: 10.3390/s18082505 http://dx.doi.org/10.3390/s18082505

DAGON B ， BAUR C ， BETTSCHART V . Real-time update of 3D deformable models for computer aided liver surgery ［C］. 2008 19th International Conference on Pattern Recognition . 811，2008 ， Tampa ， FL， USA . IEEE ， 2008 ： 1 - 4 . doi: 10.1109/icpr.2008.4761741 http://dx.doi.org/10.1109/icpr.2008.4761741

HAOUCHINE N ， DEQUIDT J ， PETERLIK I ， et al . Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery ［C］. 2013 IEEE International Symposium on Mixed and Augmented Reality （ISMAR）. 14，2013 ， Adelaide， SA， Australia. IEEE ， 2013 ： 199 - 208 . doi: 10.1109/ismar.2013.6671780 http://dx.doi.org/10.1109/ismar.2013.6671780

HAOUCHINE N ， DEQUIDT J ， BERGER M O ， et al . Deformation-based augmented reality for hepatic surgery ［J］. Studies in Health Technology and Informatics ， 2013 ， 184 ： 182 - 188 . doi: 10.1109/ismar.2013.6671780 http://dx.doi.org/10.1109/ismar.2013.6671780

SOTIRAS A ， DAVATZIKOS C ， PARAGIOS N . Deformable medical image registration： a survey ［J］. IEEE Transactions on Medical Imaging ， 2013 ， 32 （ 7 ）： 1153 - 1190 . doi: 10.1109/tmi.2013.2265603 http://dx.doi.org/10.1109/tmi.2013.2265603

SU L M ， VAGVOLGYI B P ， AGARWAL R ， et al . Augmented reality during robot-assisted laparoscopic partial nephrectomy： toward real-time 3D-CT to stereoscopic video registration ［J］. Urology ， 2009 ， 73 （ 4 ）： 896 - 900 . doi: 10.1016/j.urology.2008.11.040 http://dx.doi.org/10.1016/j.urology.2008.11.040

IEIRI S ， UEMURA M ， KONISHI K ， et al . Augmented reality navigation system for laparoscopic splenectomy in children based on preoperative CT image using optical tracking device ［J］. Pediatric Surgery International ， 2012 ， 28 （ 4 ）： 341 - 346 . doi: 10.1007/s00383-011-3034-x http://dx.doi.org/10.1007/s00383-011-3034-x

SONG Y ， TOTZ J ， THOMPSON S ， et al . Locally rigid， vessel-based registration for laparoscopic liver surgery ［J］. International Journal of Computer Assisted Radiology and Surgery ， 2015 ， 10 （ 12 ）： 1951 - 1961 . doi: 10.1007/s11548-015-1236-8 http://dx.doi.org/10.1007/s11548-015-1236-8

CONRAD C ， FUSAGLIA M ， PETERHANS M ， et al . Augmented reality navigation surgery facilitates laparoscopic rescue of failed portal vein embolization ［J］. Journal of the American College of Surgeons ， 2016 ， 223 （ 4 ）： e31 - e34 . doi: 10.1016/j.jamcollsurg.2016.06.392 http://dx.doi.org/10.1016/j.jamcollsurg.2016.06.392

EITOKU S ， TANIKAWA T ， SUZUKI Y . Display composed of water drops for filling space with materialized virtual three-dimensional objects ［J］. IEEE Virtual Reality Conference （VR 2006）， 2006 ： 159 - 166 . doi: 10.1109/vr.2006.51 http://dx.doi.org/10.1109/vr.2006.51

BUCHS N C ， VOLONTE F ， PUGIN F ， et al . Augmented environments for the targeting of hepatic lesions during image-guided robotic liver surgery ［J］. Journal of Surgical Research ， 2013 ， 184 （ 2 ）： 825 - 831 . doi: 10.1016/j.jss.2013.04.032 http://dx.doi.org/10.1016/j.jss.2013.04.032

HASKINS G ， KRUGER U ， YAN P K . Deep learning in medical image registration： a survey ［J］. Machine Vision and Applications ， 2020 ， 31 （ 1/2 ）： 1 - 18 . doi: 10.1007/s00138-020-01060-x http://dx.doi.org/10.1007/s00138-020-01060-x

FU Y ， LEI Y ， WANG T ， et al . Deep learning in medical image registration： a review ［J］. Physics in Medicine and Biology ， 2020 ， 65 （ 20 ）： 20TR01 . doi: 10.1088/1361-6560/ab843e http://dx.doi.org/10.1088/1361-6560/ab843e

ROBERTS D W ， STROHBEHN J W ， HATCH J F ， et al . A frameless stereotaxic integration of computerized tomographic imaging and the operating microscope ［J］. Journal of Neurosurgery ， 1986 ， 65 （ 4 ）： 545 - 549 . doi: 10.3171/jns.1986.65.4.0545 http://dx.doi.org/10.3171/jns.1986.65.4.0545

WATANABE E ， WATANABE T ， MANAKA S ， et al . Three-dimensional digitizer （neuronavigator）： new equipment for computed tomography-guided stereotaxic surgery ［J］. Surgical Neurology ， 1987 ， 27 （ 6 ）： 543 - 547 . doi: 10.1016/0090-3019(87)90152-2 http://dx.doi.org/10.1016/0090-3019(87)90152-2

COSTE-MANIÈRE È ， ADHAMI L ， MOURGUES F ， et al . Optimal planning of robotically assisted heart surgery： first results on the transfer precision in the operating room ［J］. The International Journal of Robotics Research ， 2004 ， 23 （ 4/5 ）： 539 - 548 . doi: 10.1177/0278364904042205 http://dx.doi.org/10.1177/0278364904042205

MARESCAUX J ， RUBINO F ， ARENAS M ， et al . Augmented-reality-assisted laparoscopic adrenalectomy ［J］. JAMA ， 2004 ， 292 （ 18 ）： 2214 - 2215 .

MISCHKOWSKI R A ， ZINSER M J ， KÜBLER A C ， et al . Application of an augmented reality tool for maxillary positioning in orthognathic surgery-A feasibility study ［J］. Journal of Cranio-Maxillofacial Surgery ， 2006 ， 34 （ 8 ）： 478 - 483 . doi: 10.1016/j.jcms.2006.07.862 http://dx.doi.org/10.1016/j.jcms.2006.07.862

袁媛，翁冬冬，王涌天，等 . 基于增强现实的鼻内镜微创手术导航系统［J］. 系统仿真学报， 2008 ， 20 （ S1 ）： 150 - 153 .

YUAN Y ， WENG D D ， WANG Y T ， et al . Navigating system for minimally invasive endoscopic sinus surgery based on augmented reality ［J］. Journal of System Simulation ， 2008 ， 20 （ S1 ）： 150 - 153 . （in Chinese）

臧晓军，翁冬冬，王涌天，等 . 基于增强现实的鼻内窥镜手术导航系统［J］. 北京理工大学学报， 2010 ， 30 （ 1 ）： 69 - 73， 87 .

ZANG X J ， WENG D D ， WANG Y T ， et al . Navigation system for endoscopic sinus surgery based on augmented reality ［J］. Transactions of Beijing Institute of Technology ， 2010 ， 30 （ 1 ）： 69 - 73， 87 . （in Chinese）

CHU Y K ， YANG J ， MA S D ， et al . Registration and fusion quantification of augmented reality based nasal endoscopic surgery ［J］. Medical Image Analysis ， 2017 ， 42 ： 241 - 256 . doi: 10.1016/j.media.2017.08.003 http://dx.doi.org/10.1016/j.media.2017.08.003

ABE Y ， ITO M ， ABUMI K ， et al . A novel cost-effective computer-assisted imaging technology for accurate placement of thoracic pedicle screws ［J］. Journal of Neurosurgery Spine ， 2011 ， 15 （ 5 ）： 479 - 485 . doi: 10.3171/2011.6.spine10721 http://dx.doi.org/10.3171/2011.6.spine10721

ABE Y ， SATO S ， KATO K ， et al . A novel 3D guidance system using augmented reality for percutaneous vertebroplasty： technical note ［J］. Journal of Neurosurgery Spine ， 2013 ， 19 （ 4 ）： 492 - 501 . doi: 10.3171/2013.7.spine12917 http://dx.doi.org/10.3171/2013.7.spine12917

GAO Q Q ， CHANG P L ， RUECKERT D ， et al . Modeling of the bony pelvis from MRI using a multi-atlas AE-SDM for registration and tracking in image-guided robotic prostatectomy ［J］. Computerized Medical Imaging and Graphics ， 2013 ， 37 （ 2 ）： 183 - 194 . doi: 10.1016/j.compmedimag.2013.01.001 http://dx.doi.org/10.1016/j.compmedimag.2013.01.001

HALLET J ， SOLER L ， DIANA M ， et al . Trans-thoracic minimally invasive liver resection guided by augmented reality ［J］. Journal of the American College of Surgeons ， 2015 ， 220 （ 5 ）： e55 - e60 . doi: 10.1016/j.jamcollsurg.2014.12.053 http://dx.doi.org/10.1016/j.jamcollsurg.2014.12.053

LIN L ， SHI Y Y ， TAN A ， et al . Mandibular angle split osteotomy based on a novel augmented reality navigation using specialized robot-assisted arms-A feasibility study ［J］. Journal of Cranio-Maxillofacial Surgery ， 2016 ， 44 （ 2 ）： 215 - 223 . doi: 10.1016/j.jcms.2015.10.024 http://dx.doi.org/10.1016/j.jcms.2015.10.024

ZHOU C Z ， ZHU M ， SHI Y Y ， et al . Robot-assisted surgery for mandibular angle split osteotomy using augmented reality： preliminary results on clinical animal experiment ［J］. Aesthetic Plastic Surgery ， 2017 ， 41 （ 5 ）： 1228 - 1236 . doi: 10.1007/s00266-017-0900-5 http://dx.doi.org/10.1007/s00266-017-0900-5

赵君爽，王鑫，陈炼，等 . 多模态神经导航系统在颅底脊索瘤神经内镜下手术中的应用［J］. 中国临床神经外科杂志， 2019 ， 24 （ 6 ）： 324 - 326 .

ZHAO J SH ， WANG X ， CHEN L ， et al . Clinical application of multimodal neuronavigation system to neuroendoscope-assisted neurosurgery for skull base chordomas ［J］. Chinese Journal of Clinical Neurosurgery ， 2019 ， 24 （ 6 ）： 324 - 326 . （in Chinese）

陈炼，赵君爽，孙广烨，等 . 神经导航多模态系统辅助神经内镜在KnospⅢ、Ⅳ级垂体腺瘤手术中的应用［J］. 临床神经外科杂志， 2019 ， 16 （ 2 ）： 119 - 122， 128 .

CHEN L ， ZHAO J SH ， SUN G Y ， et al . Neuronavigation multimodal system assisted neuroendoscopy in Knosp Ⅲ， Ⅳ pituitary adenoma surgery ［J］. Journal of Clinical Neurosurgery ， 2019 ， 16 （ 2 ）： 119 - 122， 128 . （in Chinese）

ZHANG P ， LUO H L ， ZHU W ， et al . Real-time navigation for laparoscopic hepatectomy using image fusion of preoperative 3D surgical plan and intraoperative indocyanine green fluorescence imaging ［J］. Surgical Endoscopy ， 2020 ， 34 （ 8 ）： 3449 - 3459 . doi: 10.1007/s00464-019-07121-1 http://dx.doi.org/10.1007/s00464-019-07121-1

EITOKU S ， TANIKAWA T ， SUZUKI Y . Display composed of water drops for filling space with materialized virtual three-dimensional objects ［C］. IEEE Virtual Reality Conference （VR 2006）. 2529，2006 ， Alexandria， VA， USA. IEEE ， 2006 ： 159 - 166 . doi: 10.1109/vr.2006.51 http://dx.doi.org/10.1109/vr.2006.51

王田苗，张晓会，张学斌，等 . 腹腔镜增强现实导航的研究进展综述［J］. 机器人， 2019 ， 41 （ 1 ）： 124 - 136 .

WANG T M ， ZHANG X H ， ZHANG X B ， et al . Research progresses in laparoscopic augmented reality navigation ［J］. Robot ， 2019 ， 41 （ 1 ）： 124 - 136 . （in Chinese）

谢国强，周小卫，左毅，等 . 基于智能手机的简易增强现实技术对幕上高血压性脑内血肿定位的价值［J］. 中国临床神经外科杂志， 2019 ， 24 （ 6 ）： 345 - 347， 351 .

XIE G Q ， ZHOU X W ， ZUO Y ， et al . Accuracy and reliability of localization of intracerebral hemorrhage by smart phone based on easy-to-use augmented reality technique ［J］. Chinese Journal of Clinical Neurosurgery ， 2019 ， 24 （ 6 ）： 345 - 347， 351 . （in Chinese）

SCHNEIDER C ， THOMPSON S ， TOTZ J ， et al . Comparison of manual and semi-automatic registration in augmented reality image-guided liver surgery： a clinical feasibility study ［J］. Surgical Endoscopy ， 2020 ， 34 （ 10 ）： 4702 - 4711 . doi: 10.1007/s00464-020-07807-x http://dx.doi.org/10.1007/s00464-020-07807-x

JANG J S ， CHOI S H ， JUNG G S ， et al . Focused augmented mirror based on human visual perception ［J］. The Visual Computer ， 2017 ， 33 （ 5 ）： 625 - 636 . doi: 10.1007/s00371-016-1212-5 http://dx.doi.org/10.1007/s00371-016-1212-5

KHAN M F ， DOGAN S ， MAATAOUI A ， et al . Accuracy of biopsy needle navigation using the Medarpa system-computed tomography reality superimposed on the site of intervention ［J］. European Radiology ， 2005 ， 15 （ 11 ）： 2366 - 2374 . doi: 10.1007/s00330-005-2708-y http://dx.doi.org/10.1007/s00330-005-2708-y

WEISS C R ， MARKER D R ， FISCHER G S ， et al . Augmented reality visualization using Image-Overlay for MR-guided interventions： system description， feasibility， and initial evaluation in a spine phantom ［J］. AJR American Journal of Roentgenology ， 2011 ， 196 （ 3 ）： W305 - W307 . doi: 10.2214/ajr.10.5038 http://dx.doi.org/10.2214/ajr.10.5038

ZHANG X R ， CHEN G W ， LIAO H . High-quality see-through surgical guidance system using enhanced 3-D autostereoscopic augmented reality ［J］. IEEE Transactions on Biomedical Engineering ， 2017 ， 64 （ 8 ）： 1815 - 1825 . doi: 10.1109/tbme.2016.2624632 http://dx.doi.org/10.1109/tbme.2016.2624632

TANG R ， MA L ， XIANG C ， et al . Augmented reality navigation in open surgery for hilar cholangiocarcinoma resection with hemihepatectomy using video-based in situ three-dimensional anatomical modeling： a case report ［J］. Medicine ， 2017 ， 96 （ 37 ）： e8083 . doi: 10.1097/md.0000000000008083 http://dx.doi.org/10.1097/md.0000000000008083

NICOLAU S ， SOLER L ， MUTTER D ， et al . Augmented reality in laparoscopic surgical oncology ［J］. Surgical Oncology ， 2011 ， 20 （ 3 ）： 189 - 201 . doi: 10.1016/j.suronc.2011.07.002 http://dx.doi.org/10.1016/j.suronc.2011.07.002

BAJURA M ， FUCHS H ， OHBUCHI R . Merging virtual objects with the real world ［J］. ACM SIGGRAPH Computer Graphics ， 1992 ， 26 （ 2 ）： 203 - 210 . doi: 10.1145/142920.134061 http://dx.doi.org/10.1145/142920.134061

EDWARDS P J ， HILL D L G ， HAWKES D J ， et al . Neurosurgical guidance using the stereo microscope ［C］. Computer Vision， Virtual Reality and Robotics in Medicine ， 1995 . doi: 10.1007/978-3-540-49197-2_73 http://dx.doi.org/10.1007/978-3-540-49197-2_73

CUI N ， KHAREL P ， GRUEV V . Augmented reality with Microsoft HoloLens holograms for near infrared fluorescence based image guided surgery ［C］. Molecular-Guided Surgery： Molecules， Devices， and Applications III . San Francisco， California， USA . SPIE ， 2017 . doi: 10.1117/12.2251625 http://dx.doi.org/10.1117/12.2251625

丛海波，张恩忠，余志平，等 . 增强现实技术联合3-D打印技术行半椎体置换治疗椎体肿瘤一例［J］. 中国修复重建外科杂志， 2017 ， 31 （ 11 ）： 1407 - 1408 .

CONG H B ， ZHANG E ZH ， YU ZH P ， et al . A case of hemivertebra replacement with augmented reality combined with 3-D printing for vertebral tumor ［J］. Chinese Journal of Reparative and Reconstructive Surgery ， 2017 ， 31 （ 11 ）： 1407 - 1408 . （in Chinese）

PRATT P ， IVES M ， LAWTON G ， et al . Through the HoloLens™ looking glass： augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels ［J］. European Radiology Experimental ， 2018 ， 2 （ 1 ）： 2 . doi: 10.1186/s41747-017-0033-2 http://dx.doi.org/10.1186/s41747-017-0033-2

AGTEN C A ， DENNLER C ， ROSSKOPF A B ， et al . Augmented reality-guided lumbar facet joint injections ［J］. Investigative Radiology ， 2018 ， 53 （ 8 ）： 495 - 498 . doi: 10.1097/rli.0000000000000478 http://dx.doi.org/10.1097/rli.0000000000000478

LIU P ， LI C ， XIAO C ， et al . A wearable augmented reality navigation system for surgical telementoring based on microsoft HoloLens ［J］. Annals of Biomedical Engineering ， 2021 ， 49 （ 1 ）： 287 - 298 . doi: 10.1007/s10439-020-02538-5 http://dx.doi.org/10.1007/s10439-020-02538-5

李闻达，陈亚进 . 谷歌眼镜在外科领域应用现状及前景［J］. 中国实用外科杂志， 2014 ， 34 （ 5 ）： 464 - 465 . doi: 10.4028/www.scientific.net/amr.186.660 http://dx.doi.org/10.4028/www.scientific.net/amr.186.660

LI W D ， CHEN Y J . Current situation and prospect of Google glasses in surgical field ［J］. Chinese Journal of Practical Surgery ， 2014 ， 34 （ 5 ）： 464 - 465 . （in Chinese） . doi: 10.4028/www.scientific.net/amr.186.660 http://dx.doi.org/10.4028/www.scientific.net/amr.186.660

GOLAB M R ， BREEDON P J ， VLOEBERGHS M . A wearable headset for monitoring electromyography responses within spinal surgery ［J］. European Spine Journal ， 2016 ， 25 （ 10 ）： 3214 - 3219 . doi: 10.1007/s00586-016-4626-x http://dx.doi.org/10.1007/s00586-016-4626-x

NOORIAN A R ， BAHR HOSSEINI M ， AVILA G ， et al . Use of wearable technology in remote evaluation of acute stroke patients： feasibility and reliability of a google glass-based device ［J］. Journal of Stroke and Cerebrovascular Diseases ， 2019 ， 28 （ 10 ）： 104258 . doi: 10.1016/j.jstrokecerebrovasdis.2019.06.016 http://dx.doi.org/10.1016/j.jstrokecerebrovasdis.2019.06.016

WANG J C ， SUENAGA H ， YANG L J ， et al . Real-time marker-free patient registration and image-based navigation using stereovision for dental surgery ［C］. Augmented Reality Environments for Medical Imaging and Computer-Assisted Interventions ， 2013 ： 9 - 18 . doi: 10.1007/978-3-642-40843-4_2 http://dx.doi.org/10.1007/978-3-642-40843-4_2

YASUMURO Y ， IMURA M ， MANABE Y ， et al . Projection-based augmented reality with automated shape scanning ［C］. Proc SPIE 5664， Stereoscopic Displays and Virtual Reality Systems XII ， 2005 ， 5664 ： 555 - 562 . doi: 10.1117/12.586303 http://dx.doi.org/10.1117/12.586303

FERRARI V ， MEGALI G ， TROIA E ， et al . A 3-D mixed-reality system for stereoscopic visualization of medical dataset ［J］. IEEE Transactions on Biomedical Engineering ， 2009 ， 56 （ 11 ）： 2627 - 2633 . doi: 10.1109/tbme.2009.2028013 http://dx.doi.org/10.1109/tbme.2009.2028013

VOLONTÉ F ， PUGIN F ， BUCHER P ， et al . Augmented reality and image overlay navigation with OsiriX in laparoscopic and robotic surgery： not only a matter of fashion ［J］. Journal of Hepato-Biliary-Pancreatic Sciences ， 2011 ， 18 （ 4 ）： 506 - 509 . doi: 10.1007/s00534-011-0385-6 http://dx.doi.org/10.1007/s00534-011-0385-6

WU J R ， WANG M L ， LIU K C ， et al . Real-time advanced spinal surgery via visible patient model and augmented reality system ［J］. Computer Methods and Programs in Biomedicine ， 2014 ， 113 （ 3 ）： 869 - 881 . doi: 10.1016/j.cmpb.2013.12.021 http://dx.doi.org/10.1016/j.cmpb.2013.12.021

HOPPE H ， EGGERS G ， HEURICH T ， et al . Projector-based visualization for intraoperative navigation： first clinical results ［J］. International Congress Series ， 2003 ， 1256 ： 771 . doi: 10.1016/s0531-5131(03)00222-x http://dx.doi.org/10.1016/s0531-5131(03)00222-x

NICOLAU S A ， PENNEC X ， SOLER L ， et al . A complete augmented reality guidance system for liver punctures： first clinical evaluation ［J］. Medical Image Computing and Computer-Assisted Intervention ， 2005 ， 8 （pt 1 ）： 539 - 547 . doi: 10.1007/11566465_67 http://dx.doi.org/10.1007/11566465_67

SUN Y ， ANDERSON A ， CASTRO C ， et al . Virtually transparent epidermal imagery for laparo-endoscopic single-site surgery ［C］. 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. August 30 - September 3 ， 2011 ， Boston， MA， USA. IEEE ， 2011： 2107 - 2110 . doi: 10.1109/iembs.2011.6090392 http://dx.doi.org/10.1109/iembs.2011.6090392

CASTRO C A ， SMITH S ， ALQASSIS A ， et al . MARVEL： a wireless miniature anchored robotic videoscope for expedited laparoscopy ［C］. 2012 IEEE International Conference on Robotics and Automation . 1418，2012 ， Saint Paul ， MN ， USA . IEEE ， 2012 ： 2926 - 2931 . doi: 10.1109/icra.2012.6225118 http://dx.doi.org/10.1109/icra.2012.6225118

崔冬强，冯铭，束旭俊，等 . 增强现实技术辅助神经内镜与小骨窗开颅血肿清除术治疗高血压脑出血疗效分析［J］. 中国现代神经疾病杂志， 2019 ， 19 （ 9 ）： 654 - 660 . doi: 10.3969/j.issn.1672-6731.2019.09.009 http://dx.doi.org/10.3969/j.issn.1672-6731.2019.09.009

CUI D Q ， FENG M ， SHU X J ， et al . Comparision of curative effect of augmented reality assisted neuroendosope and small bone window craniotomy for hypertensive cerebral hemorrhage ［J］. Chinese Journal of Contemporary Neurology and Neurosurgery ， 2019 ， 19 （ 9 ）： 654 - 660 . （in Chinese） . doi: 10.3969/j.issn.1672-6731.2019.09.009 http://dx.doi.org/10.3969/j.issn.1672-6731.2019.09.009

LIU P ， SHAO P F ， MA J M ， et al . A co-axial projection surgical navigation system for breast cancer sentinel lymph node mapping： system design and clinical trial ［C］. SPIE BiOS. Proc SPIE 10868 ， Advanced Biomedical and Clinical Diagnostic and Surgical Guidance Systems XVII， San Francisco， California， USA . 2019 ， 1086 ： 48 - 53 . doi: 10.1117/12.2509852 http://dx.doi.org/10.1117/12.2509852

吴柄萱，刘鹏，李幸一，等 . 用于神经外科手术导航的原位同轴投影技术［J］. 中国激光， 2020 ， 47 （ 2 ）： 0207036 . doi: 10.3788/cjl202047.0207036 http://dx.doi.org/10.3788/cjl202047.0207036

WU B X ， LIU P ， LI X Y ， et al . Orthotopic coaxial projective imaging for neurosurgical navigation ［J］. Chinese Journal of Lasers ， 2020 ， 47 （ 2 ）： 0207036 . （in Chinese） . doi: 10.3788/cjl202047.0207036 http://dx.doi.org/10.3788/cjl202047.0207036

MAJUMDER A ， SAJADI B . Large area displays： the changing face of visualization ［J］. Computer ， 2013 ， 46 （ 5 ）： 26 - 33 . doi: 10.1109/mc.2012.429 http://dx.doi.org/10.1109/mc.2012.429

YANG R G ， GOTZ D ， HENSLEY J ， et al . PixelFlex： a reconfigurable multi-projector display system ［C］. Proceedings Visualization， 2001. VIS '01. 2126，2001 ， San Diego， CA， USA. IEEE ， 2001 ： 167 - 554 . doi: 10.1109/visual.2001.964508 http://dx.doi.org/10.1109/visual.2001.964508

TAKAHASHI T ， NUMA N ， AOKI T ， et al . A geometric correction method for projected images using SIFT feature points ［C］. Proceedings of the 5th ACM/IEEE International Workshop on Projector camera systems - PROCAMS '08. August 10 ， 2008 . Marina del Rey， California. New York ： ACM Press ， 2008： 4 . doi: 10.1145/1394622.1394628 http://dx.doi.org/10.1145/1394622.1394628

蓝建梁，丁友东 . 基于结构光与单应的投影机几何校正［J］. 光电子·激光， 2015 ， 26 （ 5 ）： 1010 - 1018 .

LAN J L ， DING Y D . Structured light and homography based projector geometric correction ［J］. Journal of Optoelectronics·Laser ， 2015 ， 26 （ 5 ）： 1010 - 1018 . （in Chinese）

YANG R G ， WELCH G . Automatic and Continuous Projector Display Surface Estimation Using Everyday Imagery ［C］. Proceedings of 9th International Conference in Central Europe on Computer Graphics， Visualization and Computer Vision ， 2001 .

SUN W B ， YANG X B ， XIAO S J ， et al . Robust checkerboard recognition for efficient nonplanar geometry registration in projector-camera systems ［C］. Proceedings of the 5th ACM/IEEE International Workshop on Projector camera systems-PROCAMS '08. August 10 ， 2008 . Marina del Rey， California. New York ： ACM Press ， 2008： 3 . doi: 10.1145/1394622.1394625 http://dx.doi.org/10.1145/1394622.1394625

ZHOU R ， LIN H ， SHI J Y . Geometric calibration on tiled display using multiple matrices ［J］. Proceeding of Pacific Graphics ， 2005 ， 97 - 99 .

HARVILLE M ， CUBERSTON B ， SOBEL I . Practical methods for geometric and photometric correction of tiled projector displays on curved surfaces ［C］. Conf. Comput. New York， USA ： Vision Pattern Recog. Workshops ， 2006 ： 1 - 8 . doi: 10.1109/cvprw.2006.161 http://dx.doi.org/10.1109/cvprw.2006.161

蓝建梁 . 智能投影系统几何校正与交互技术的研究［D］. 上海：上海大学， 2018 .

LAN J L . Research on Geometric Correction and Interactive Techniques of Smart Projection System ［D］. Shanghai ： Shanghai University ， 2018 . （in Chinese）

肖朝，杨红雨，梁海军，等 . 多投影显示系统结构光几何校正算法［J］. 计算机辅助设计与图形学学报， 2013 ， 25 （ 6 ）： 802 - 808 . doi: 10.3969/j.issn.1003-9775.2013.06.006 http://dx.doi.org/10.3969/j.issn.1003-9775.2013.06.006

XIAO CH ， YANG H Y ， LIANG H J ， et al . Geometric calibration for multi-projector display system based on structured light ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2013 ， 25 （ 6 ）： 802 - 808 . （in Chinese） . doi: 10.3969/j.issn.1003-9775.2013.06.006 http://dx.doi.org/10.3969/j.issn.1003-9775.2013.06.006

王欣琪 . 多平面投影融合技术研究与应用［D］. 北京：北方工业大学， 2019 . doi: 10.3934/krm.2019025 http://dx.doi.org/10.3934/krm.2019025

WANG X Q . Research and Application of Multiplanar Projection Fusion Technology ［D］. Beijing ： North China University of Technology ， 2019 . （in Chinese） . doi: 10.3934/krm.2019025 http://dx.doi.org/10.3934/krm.2019025

BHASKER E ， JUANG R ， MAJUMDER A . Registration techniques for using imperfect and partially calibrated devices in planar multi-projector displays ［J］. IEEE Transactions on Visualization and Computer Graphics ， 2007 ， 13 （ 6 ）： 1368 - 1375 . doi: 10.1109/tvcg.2007.70586 http://dx.doi.org/10.1109/tvcg.2007.70586

王胜正，杨杰 . 自动多投影仪非线性几何校正与图像边缘融合方法［J］. 上海交通大学学报， 2008 ， 42 （ 4 ）： 574 - 578， 583 . doi: 10.3321/j.issn:1006-2467.2008.04.013 http://dx.doi.org/10.3321/j.issn:1006-2467.2008.04.013

WANG SH ZH ， YANG J . Auto-nonlinear geometry calibration and edge blending of multi-projector display system ［J］. Journal of Shanghai Jiao Tong University ， 2008 ， 42 （ 4 ）： 574 - 578， 583 . （in Chinese） . doi: 10.3321/j.issn:1006-2467.2008.04.013 http://dx.doi.org/10.3321/j.issn:1006-2467.2008.04.013

李冬 . 非平面投影系统几何优化关键技术研究［D］. 北京：北京理工大学， 2015 . doi: 10.29268/stsc.2015.3.2.1 http://dx.doi.org/10.29268/stsc.2015.3.2.1

LI D . Study on Key Technology of Geometry Optimization for Non-planar Surface Projection System ［D］. Beijing ： Beijing Institute of Technology ， 2015 . （in Chinese） . doi: 10.29268/stsc.2015.3.2.1 http://dx.doi.org/10.29268/stsc.2015.3.2.1

RASKAR R ， BAAR JVAN ， WILLWACHER T ， et al . Quadric transfer for immersive curved screen displays ［J］. Computer Graphics Forum ， 2004 ， 23 （ 3 ）： 451 - 460 . doi: 10.1111/j.1467-8659.2004.00776.x http://dx.doi.org/10.1111/j.1467-8659.2004.00776.x

SAJADI B ， MAJUMDER A . Markerless view-independent registration of multiple distorted projectors on extruded surfaces using an uncalibrated camera ［J］. IEEE Transactions on Visualization and Computer Graphics ， 2009 ， 15 （ 6 ）： 1307 - 1316 . doi: 10.1109/tvcg.2009.166 http://dx.doi.org/10.1109/tvcg.2009.166

SAJADI B ， MAJUMDER A . Auto-calibration of cylindrical multi-projector systems ［C］. 2010 IEEE Virtual Reality Conference （VR）. 2024，2010 ， Boston， MA， USA. IEEE ， 2010 ： 155 - 162 . doi: 10.1109/vr.2010.5444797 http://dx.doi.org/10.1109/vr.2010.5444797

SAJADI B ， MAJUMDER A . Automatic registration of multi-projector domes using a single uncalibrated camera ［J］. Computer Graphics Forum ， 2011 ， 30 （ 3 ）： 1161 - 1170 . doi: 10.1111/j.1467-8659.2011.01965.x http://dx.doi.org/10.1111/j.1467-8659.2011.01965.x

SAJADI B ， MAJUMDER A . Autocalibrating tiled projectors on piecewise smooth vertically extruded surfaces ［J］. IEEE Transactions on Visualization and Computer Graphics ， 2011 ， 17 （ 9 ）： 1209 - 1222 . doi: 10.1109/tvcg.2011.33 http://dx.doi.org/10.1109/tvcg.2011.33

SAJADI B ， MAJUMDER A . Autocalibration of multiprojector CAVE-like immersive environments ［J］. IEEE Transactions on Visualization and Computer Graphics ， 2012 ， 18 （ 3 ）： 381 - 393 . doi: 10.1109/tvcg.2011.271 http://dx.doi.org/10.1109/tvcg.2011.271

DROUIN M A ， JODOIN P M ， PRÉMONT J . Camera-projector matching using an unstructured video stream ［C］. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Workshops . 1318，2010 ， San Francisco， CA， USA . IEEE ， 2010 ： 33 - 40 . doi: 10.1109/cvprw.2010.5543474 http://dx.doi.org/10.1109/cvprw.2010.5543474

FUJIMOTO Y ， SMITH R T ， TAKETOMI T ， et al . Geometrically-correct projection-based texture mapping onto a deformable object ［J］. IEEE Transactions on Visualization and Computer Graphics ， 2014 ， 20 （ 4 ）： 540 - 549 . doi: 10.1109/tvcg.2014.25 http://dx.doi.org/10.1109/tvcg.2014.25

STEIMLE J ， JORDT A ， MAES P . Flexpad： highly flexible bending interactions for projected handheld displays ［C］. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems . Paris France. New York， NY， USA ： ACM ， 2013 . doi: 10.1145/2470654.2470688 http://dx.doi.org/10.1145/2470654.2470688

浏览量

2128

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于二维仿射变换的几何一致性虚实融合

增强现实近眼显示设备中光波导元件的研究进展

眼科手术导航的OCT图像畸变矫正

适应移动智能设备的目标跟踪器