基于双目结构光的术中肝脏表面局部亮度饱和分区投影

陈龙; 王文聪; 张峰峰; 孙立宁

doi:10.37188/OPE.20212911.2590

您当前的位置：

首页 >

文章列表页 >

基于双目结构光的术中肝脏表面局部亮度饱和分区投影

现代应用光学 | 更新时间：2022-01-25

- 基于双目结构光的术中肝脏表面局部亮度饱和分区投影
- Zonal projection based on binocular structured light for localized luminance saturation of intraoperative liver surface
- 光学精密工程 2021年29卷第11期页码：2590-2602
- 作者机构：
  
  1.苏州大学机电工程学院，江苏苏州 215006
  2.苏州大学苏州纳米科技协同创新中心，江苏苏州 215123
- 作者简介：
  
  [ "陈　龙（1995-），男，江苏盐城人，硕士，2014年毕业于南京理工大学紫金学院，现就读于苏州大学机电工程学院。主要从事医疗机器人三维重建及空间定位技术研究。E-mail：clksuda2018@163.com" ]
  [ "张峰峰（1979-），男，山东日照人，副教授，硕士生导师。2001年、2003年、2009年毕业于哈尔滨工业大学分别获得学士、硕士、博士学位，现为苏州大学机电工程学院教师，主要从事医疗机器人方向的研究与开发。E-mail： zhangfengfeng@suda.edu.cn" ]
- 基金信息：
  
  国家重点研发计划项目(2018YFB1307700)
- DOI：10.37188/OPE.20212911.2590
  中图分类号： R687.3;TP242
- 收稿日期：2021-03-26，
  
  修回日期：2021-05-11，
  
  纸质出版日期：2021-11-15
- 稿件说明：
移动端阅览
陈龙,王文聪,张峰峰等.基于双目结构光的术中肝脏表面局部亮度饱和分区投影[J].光学精密工程,2021,29(11):2590-2602.

CHEN Long,WANG Wen-Cong,ZHANG Feng-Feng,et al.Zonal projection based on binocular structured light for localized luminance saturation of intraoperative liver surface[J].Optics and Precision Engineering,2021,29(11):2590-2602.
陈龙,王文聪,张峰峰等.基于双目结构光的术中肝脏表面局部亮度饱和分区投影[J].光学精密工程,2021,29(11):2590-2602. DOI： 10.37188/OPE.20212911.2590.

CHEN Long,WANG Wen-Cong,ZHANG Feng-Feng,et al.Zonal projection based on binocular structured light for localized luminance saturation of intraoperative liver surface[J].Optics and Precision Engineering,2021,29(11):2590-2602. DOI： 10.37188/OPE.20212911.2590.

摘要

开放式肝脏肿瘤切除手术是治疗肝脏肿瘤的最有效方法，基于双目结构光的术中肝脏表面三维重建对肿瘤的精确定位起到至关重要的作用。但由于手术环境光照和双目相机采集图像的位置等因素，将造成相机拍摄的图像出现局部亮度饱和问题，进而导致肝脏表面三维重建缺失。为此，本文提出基于不同反射率区域分割投影算法制定的自适应最佳条纹光栅的方法来解决该问题。先建立肝脏表面光照的物理模型和双目系统下的肝脏表面光照示意图并分析肝脏表面局部亮度饱和的影响。接着，利用肝脏表面不同位置的反射率不同，进行区域划分，根据不同反射率的区域分割投影算法来计算自适应最佳条纹光栅的强度，实现肝脏表面的分区投射。然后，将左、右相机图像中的饱和点转换到投影仪投射的条纹图像中并通过局部亮度饱和实验来验证本文提出的方法对克服肝脏表面局部亮度饱和问题的有效性。最后，通过猪肝实验结果表明：采用本文提出的方法后，三种不同手术状态下因局部亮度饱和而导致猪肝三维重建表面的缺失比率分别从1.1%、2.9%和1.4%降至0%，并且猪肝表面三维重建精度达到0.75 mm。本文的方法基本可以满足医生提出的术中肝脏表面三维重建精度1 mm以内并且重建表面无缺失的要求。

Abstract

An open resection of liver tumors is the most effective method for their treatment. The intraoperative three-dimensional （3D） reconstruction of liver surface based on binocular structural light plays an important role in the accurate localization of liver tumors. However， due to factors such as illumination in the surgical environment and the location of images captured by the binocular camera， a local brightness saturation occurs in the captured images， leading to hindrance in the three-dimensional reconstruction of the liver surface. To solve this problem， an adaptive optimal fringe grating based on the segmentation projection algorithm of different reflectivity regions is proposed in this paper. First， a physical model and a sketch of illumination on the liver surface under binocular system were established， and the influence of local brightness saturation on the liver surface was analyzed. The region was then divided according to the different reflectivity of the liver surface. The intensity of the adaptive optimal fringe grating was calculated according to the region segmentation projection algorithm of different reflectivity， so as to achieve the partition projection of the liver surface. The saturation points of the left and right camera images were transferred to the streaks cast by the projector. The effectiveness of the proposed method to overcome the local brightness saturation of the liver surface was verified by the local brightness saturation experiment. Finally， the experimental results of porcine liver showed that the deletion rate of porcine liver 3D reconstruction surface decreased from 1.1%， 2.9%， and 1.4% to 0%， respectively， under three different operating conditions due to local brightness saturation， and the accuracy of porcine liver 3D reconstruction reached 0.75 mm. The method described in this paper can essentially meet the requirements of doctors， including the intraoperative 3D reconstruction accuracy of liver surface to be less than 1 mm with no defects in the reconstructed surface.

关键词

Keywords

references

梁洪玻 . 多模态影像技术在肝脏肿瘤中的应用［D］. 广州：南方医科大学， 2017 . doi: 10.7666/d.Y3280936 http://dx.doi.org/10.7666/d.Y3280936

LIANG H B . The Application of the Multi-Modal Image Technology in Liver Lesion ［D］. Guangzhou ： Southern Medical University ， 2017 . （in Chinese） . doi: 10.7666/d.Y3280936 http://dx.doi.org/10.7666/d.Y3280936

DANÖ P ， NIELSEN O V ， PETRI M ， et al . Liver morphology and liver function before and after intestinal shunt operation for obesity ［J］. Scandinavian Journal of Gastroenterology ， 1975 ， 10 （ 4 ）： 409 - 416 . doi: 10.1080/00365521.1975.12096986 http://dx.doi.org/10.1080/00365521.1975.12096986

吴远博，赵钢军，李宏，等 . 腹腔镜荧光成像技术在肝癌手术导航中的应用进展［J］. 现代实用医学， 2020 ， 32 （ 11 ）： 1431 - 1433 . doi: 10.3969/j.issn.1671-0800.2020.11.067 http://dx.doi.org/10.3969/j.issn.1671-0800.2020.11.067

WU Y B ， ZHAO G J ， LI H ， et al . Progress in the application of laparoscopic fluorescence imaging in surgical navigation of hepatocellular carcinoma ［J］. Modern Practical Medicine ， 2020 ， 32 （ 11 ）： 1431 - 1433 . （in Chinese） . doi: 10.3969/j.issn.1671-0800.2020.11.067 http://dx.doi.org/10.3969/j.issn.1671-0800.2020.11.067

TEATINI A ， PELANIS E ， AGHAYAN D L ， et al . The effect of intraoperative imaging on surgical navigation for laparoscopic liver resection surgery ［J］. Scientific Reports ， 2019 ， 9 ： 18687 . doi: 10.1038/s41598-019-54915-3 http://dx.doi.org/10.1038/s41598-019-54915-3

MATTHIAS S ， KÄSTNER M ， REITHMEIER E . A 3D measuring endoscope for hand-guided operation ［J］. Measurement Science and Technology ， 2018 ， 29 （ 9 ）： 094001 . doi: 10.1088/1361-6501/aad1e1 http://dx.doi.org/10.1088/1361-6501/aad1e1

张建勋，韩明慧，代煜 . 面向低分辨率单目内窥镜图像的三维多孔结构重建［J］. 光学精密工程， 2020 ， 28 （ 9 ）： 2085 - 2095 . doi: 10.37188/OPE.20202809.2085 http://dx.doi.org/10.37188/OPE.20202809.2085

ZHANG J X ， HAN M H ， DAI Y . Three-dimensional porous structure reconstruction for low-resolution monocular endoscopic images ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 9 ）： 2085 - 2095 . （in Chinese） . doi: 10.37188/OPE.20202809.2085 http://dx.doi.org/10.37188/OPE.20202809.2085

徐宝腾，杨西斌，刘家林，等 . 高速扫描激光共聚焦显微内窥镜图像校正［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 60 - 68 . doi: 10.3788/ope.20202801.0060 http://dx.doi.org/10.3788/ope.20202801.0060

XU B T ， YANG X B ， LIU J L ， et al . Image correction for high speed scanning confocal laser endomicroscopy ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 60 - 68 . （in Chinese） . doi: 10.3788/ope.20202801.0060 http://dx.doi.org/10.3788/ope.20202801.0060

SCHMALZ C ， FORSTER F ， SCHICK A ， et al . An endoscopic 3D scanner based on structured light ［J］. Medical Image Analysis ， 2012 ， 16 （ 5 ）： 1063 - 1072 . doi: 10.1016/j.media.2012.04.001 http://dx.doi.org/10.1016/j.media.2012.04.001

REITER A ， SIGARAS A ， FOWLER D ， et al . Surgical Structured Light for 3D minimally invasive surgical imaging ［C］. 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems . 1418，2014 ， Chicago ， IL ， USA . IEEE ， 2014 ： 1282 - 1287 . doi: 10.1109/iros.2014.6942722 http://dx.doi.org/10.1109/iros.2014.6942722

JAKUBOVIC R ， GUHA D ， GUPTA S ， et al . High speed， high density intraoperative 3D optical topographical imaging with efficient registration to MRI and CT for craniospinal surgical navigation ［J］. Scientific Reports ， 2018 ， 8 ： 14894 . doi: 10.1038/s41598-018-32424-z http://dx.doi.org/10.1038/s41598-018-32424-z

RATPRAKHON K ， NEUBAUER W ， RIEHN K ， et al . Developing an automatic color determination procedure for the quality assessment of mangos （mangifera indica） using a CCD camera and color standards ［J］. Foods ， 2020 ， 9 （ 11 ）： 1709 . doi: 10.3390/foods9111709 http://dx.doi.org/10.3390/foods9111709

同志学，白金池，康智强 . 一种线阵CCD融合光栅尺的高精度尺寸测量新方法研究［J］. 光学技术， 2019 ， 45 （ 3 ）： 275 - 281 .

TONG ZH X ， BAI J CH ， KANG ZH Q . Research on a new method of high precision dimension measurement based on linear CCD fused grating ruler ［J］. Optical Technique ， 2019 ， 45 （ 3 ）： 275 - 281 . （in Chinese）

冷雪，张雪菲，李文明，等 . 全帧CCD相机时间延迟积分模式下的图像缺损［J］. 光学精密工程， 2014 ， 22 （ 2 ）： 467 - 473 . doi: 10.3788/ope.20142202.0467 http://dx.doi.org/10.3788/ope.20142202.0467

LENG X ， ZHANG X F ， LI W M ， et al . Image defect of full-frame CCD in TDI mode ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 2 ）： 467 - 473 . （in Chinese） . doi: 10.3788/ope.20142202.0467 http://dx.doi.org/10.3788/ope.20142202.0467

ZHANG L ， CHEN Q ， ZUO C ， et al . High dynamic range 3D shape measurement based on the intensity response function of a camera ［J］. Applied Optics ， 2018 ， 57 （ 6 ）： 1378 . doi: 10.1364/ao.57.001378 http://dx.doi.org/10.1364/ao.57.001378

SHENG H ， XU J ， ZHANG S . Dynamic projection theory for fringe projection profilometry ［J］. Applied Optics ， 2017 ， 56 （ 30 ）： 8452 - 8460 . doi: 10.1364/ao.56.008452 http://dx.doi.org/10.1364/ao.56.008452

浏览量

431

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

融合结构光的折反射全景单目视觉测距

应用摄像机位姿估计的点云初始配准

基于结构光的身管膛线高度差检测

声场的直接测量

基于数字微镜器件实现共焦测量的结构光参数