光纤光栅与人工智能融合的形状自感知穿刺针

光纤光栅与人工智能融合的形状自感知穿刺针 Fiber Bragg grating and artificial intelligence fusion for shape self-sensing puncture needle corresp first-author E-mail： tianliangli@whut.edu.cn E-mail： tianliangli@whut.edu.cn 李天梁（1990-），男，江西吉安人，博士，教授，博士研究生导师。主要研究现代机械测试理论与技术、先进光纤传感技术、机械装备动态监测以及医疗机器人。E-mai1：tianliangli@whut.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629493&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629501&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629497&type= 22.01332855 32.00400543 李天梁 （1990-），男，江西吉安人，博士，教授，博士研究生导师。主要研究现代机械测试理论与技术、先进光纤传感技术、机械装备动态监测以及医疗机器人。E-mai1： tianliangli@whut.edu.cn tianliangli@whut.edu.cn 武汉理工大学 机电工程学院，湖北 武汉 430070 武汉理工大学 机电工程学院，湖北 武汉 430070 College of Mechanical and Engineering， Wuhan University of Technology， Wuhan 430070， China College of Mechanical and Engineering， Wuhan University of Technology， Wuhan 430070， China 手术机器人可以通过术前路径规划避免重要组织受到损伤，且具有较高的操作精度，因而被广泛应用于穿刺活检手术之中。目前手术机器人在穿刺针形状信息准确实时获取方面存在不足，无法实现穿刺过程中自主避障以及精准的靶点操作。因此研究穿刺针形状感知方法，可为手术机器人自主/主从穿刺提供形状信息反馈，对于提高穿刺手术的安全性与准确性有着重大意义。鉴于此，提出了一种融合分布式光纤光栅传感技术和人工智能的形状自感知穿刺针。利用机器学习算法，对静态标定实验获取的不同弯曲状态下光纤光栅的中心波长数据与形状数据进行训练，得到了光纤光栅中心波长漂移量与形状函数及弯曲方向角之间的神经网络模型，进一步调用该神经网络模型，实现穿刺针的三维形状重构；测试结果表明，穿刺针针体的形状重构最大误差值为0.90 mm，弯曲方向角的最大误差为5.03°。在动态性能验证实验中，形状重构最大误差值为0.84 mm，弯曲方向角的最大误差为1.02°，进一步验证了模型的可靠性。因此所提出的形状自感知穿刺针能够精准实现形状信息的实时获取，从而在手术机器人自主穿刺和主从操作过程中针体形状感知与调控方面具有广阔的应用前景。 Surgical robots can avoid damage to important tissues through preoperative path planning before surgery. As they have high operational accuracy， they are widely used in needle biopsy operations. However， surgical robots cannot currently achieve accurate and real-time acquisition of puncture needle shape information. This problem makes it difficult for them to autonomously avoid obstacles and prevents the needle from precisely reaching its target in order to carry the puncture procedure out. Therefore， studying a shape perception method for needles to provide shape information feedback for autonomous/master-slave punctures by surgical robots， is important for improving the safety and accuracy of puncture surgery. Therefore， a shape self-sensing puncture needle that integrates distributed optical fiber sensing technology and artificial intelligence was developed in this study. A neural network model algorithm was trained using training data comprising the center wavelength data and shape data of the fiber Bragg grating under different bending states， both of which were obtained from a static calibration experiment. Then， the model was used to realize the three-dimensional shape reconstruction of the puncture needle. Experimental results indicate that the maximum error of the needle shape reconstruction is 0.90 mm， and that the maximum error of the bending directional angle is 5.03°. As regards the dynamic experiment， the maximum error of the shape reconstruction is 0.84 mm， and the maximum error of the bending directional angle is 1.02°； the reliability of the model is thus validated. Thus， the proposed shape self-sensing puncture needle can accurately realize real-time acquisition of the shape， and it has broad application prospects in needle shape perception and regulation during autonomous puncture and master-slave operations by surgical robots. 光纤光栅传感 穿刺针形状重构 BP神经网络 图像处理 fiber Bragg grating sensing needle shape reconstruction back propagation neural network（BP） image processing 1 引 言 1 近年来，中国已是世界范围内癌症发病率增幅最大的国家之一，而例行筛查和早诊早治可大大降低恶性肿瘤患者的死亡风险，已成为肿瘤预防的有效途径 ［ 1 1 - 2 2 1-2 ］ 。在临床诊断过程中，仅仅通过影像学检查难以对病灶定性，活体组织的病理检查才是诊断的金标准 ［ 3 3 ］ 。但传统的穿刺活检手术过程中穿刺针因与人体组织的交互作用会产生微量弯曲，从而导致穿刺针不能准确到达靶区或进针过程中损伤人体重要组织，穿刺精度与诊疗效果严重依赖医生的经验 ［ 4 4 ］ 。手术机器人因为可以术前精确规划路径避免重要人体组织损伤以及有较高的操作精度而被广泛应用于穿刺活检手术之中 ［ 5 5 ］ 。但现阶段手术机器人进行穿刺手术主要依赖于医学图像和导航技术，主要有超声成像、计算机断层扫描（Computed Tomography， CT）以及磁共振成像（Magnetic Resonance Imaging， MRI）。但上述技术手段存在着以下不足：超声成像在人体组织中对比度较差，小肿瘤几乎不可见，CT成像会使医生长时间暴露于辐射下，严重影响医护人员健康，MRI扫描仪内部器件的工作精度会受到扫描仪强电磁干扰的影响 ［ 6 6 - 7 7 6-7 ］ 。目前针对刚性穿刺针的穿刺力、柔性穿刺针的针体形状准确实时获得不足，无法实现穿刺过程的信息感知以及精准的靶点操作 ［ 8 8 ］ 。因此发展一种高精度、小型化且抗电磁干扰的穿刺针力形状感知方法，为手术机器人辅助穿刺提供实时、准确的形状信息，对于提高穿刺手术的安全性与准确性有着重大意义 ［ 9 9 ］ 。 近年来，光纤传感器因具有抗电磁干扰、良好的生物兼容性和微型化尺寸等优势而引起国内外学者的广泛关注。它能克服电类敏感元件的大部分局限，实现狭小空间下手术器械变形的精准测量 ［ 10 10 - 11 11 10-11 ］ 。Li等人 ［ 12 12 ］ 设计了一种带有三光纤共三组光纤光栅（Fiber Bragg Grating， FBG）的穿刺针传感器，并对得到的离散曲率数据用四阶多项式进行拟合得到穿刺针整体形状。Jin等人 ［ 13 13 ］ 提出了通过穿刺针内的三根光纤上的FBG传感器获得曲率测量数据，并基于弹性杆理论和李群理论进行穿刺针的形状重构。Khan.F等 ［ 14 14 ］ 利用刻有FBG的多芯光纤制作传感器来测量多段导管的姿态，并基于布拉格光栅的测量值转换为应变，再根据应变数据推导出曲率，最后利用曲率和Bishop框架方程重构导管姿态。Zhang等 ［ 15 15 ］ 利用三光纤五组光纤光栅实现210 mm长穿刺针的二维形状重构。但是文章所提出的重构算法的形状数据均是基于传感器的标定转换矩阵由FBG的波长数据得到穿刺针的离散位置信息，而后对位置信息进行多项式拟合得到形状的数学表达，数据处理过程繁杂。另外多项式拟合的次数越高，其对关键节点位置信息的准确度就要求越高，否则任何位置的信息偏差都会导致重建结果的巨大变化 ［ 16 16 ］ ，所以上述重构方法不适合复杂变形重构。 为了解决上述问题，本文提出了一种融合分布式FBG传感技术和人工智能的形状自感知穿刺针。基于形状自感知穿刺针弯曲变形与光纤光栅中心波长变化之间的映射关系，分别搭建了形状自感知穿刺针的形状标定实验装置与其动态性能测试试验装置，得到不同弯曲状态下光纤光栅的中心波长数据与利用canny边缘检测算子提取得到的穿刺针实验图片序列形状曲线数据。融合反向传播神经网络（Back Propagation neural network， BP），得到光纤光栅中心波长漂移量与形状函数之间的映射模型，实现了形状自感知穿刺针的三维形状重构。实验结果表明：穿刺针针体的形状重构误差值可达到0.90 mm以内，弯曲方向角的最大误差为5.03°；在动态性能验证实验中，形状重构最大误差值为0.84 mm，弯曲方向角的最大误差为1.02°。因此，该光纤传感方案与形状重构算法在穿刺针形状实行精准感知与调控方面具有广阔的应用前景。 2 形状自感知穿刺针传感结构 1 形状自感知穿刺针由镍钛合金穿刺针基体、3根分别刻有5个FBG的单模石英光纤构成，其结构尺寸与FBG布置情况如 图1 图1 所示。穿刺针基体悬置长度为150 mm，直径为3 mm，沿其轴向刻有3个间隔120°、深0.4 mm的直角型凹槽。3根直径为125 μm的单模石英光纤分别命名为 <math id="M1"><mi mathvariant="normal">F</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mtext> </mtext><mi>i</mi><mo>,</mo><mfenced separators="|"><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mn mathvariant="normal">3</mn></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629507&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629504&type= 30.73399925 3.97933316 ，通过环氧树脂胶粘贴在镍钛合金穿刺针基体上的凹槽中。每根光纤上的5个FBG栅区长度均为3 mm，相邻FBG中心间隔28 mm，从穿刺针尖端至尾端分别命名为 <math id="M2"><mi mathvariant="normal">F</mi><mi mathvariant="normal">B</mi><mi mathvariant="normal">G</mi><mo>_</mo><mi>i</mi><mi>j</mi><mo>,</mo><mfenced separators="|"><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mn mathvariant="normal">3,4</mn><mo>,</mo><mn mathvariant="normal">5</mn></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629519&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629511&type= 40.30133438 4.74133301 ，初始波长依次分别为1 535 nm，1 540 nm，1 545 nm，1 550 nm，1 555 nm，穿刺针同一横截面上的3个FBG作为一组传感单元，共构成5组传感单元。 3 基于BP神经网络的形状重构算法 1 3.1　FBG的传感原理 2 根据耦合模理论，FBG中心波长 <math id="M3"><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629537&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629534&type= 3.30200005 3.72533321 取决于其周期 <math id="M4"><mi>Λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629540&type= 2.70933342 2.79399991 和有效折射率 <math id="M5"><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629553&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629550&type= 4.14866638 3.72533321 ，任何使这两个参量发生改变的物理量，都会引起FBG中心波长发生漂移： <math display="block" id="M6"><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow></msub><mi>Λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629560&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629556&type= 17.10266685 3.72533321 . 穿刺针与组织交互时发生形变，带动其表面的FBG产生轴向应变，进而引起FBG中心波长的漂移。设FBG初始中心波长为 <math id="M7"><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629564&type= 3.30200005 3.72533321 ，当FBG受到轴向应变时 <math id="M8"><msub><mrow><mi>ε</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629574&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629570&type= 2.20133328 3.72533321 ，其中心波长漂移 <math id="M9"><mi mathvariant="normal">Δ</mi><mi mathvariant="normal">λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629625&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629622&type= 4.23333359 2.79399991 可表示为： <math display="block" id="M10"><mi mathvariant="normal">Δ</mi><mi>λ</mi><mo>=</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msub></mrow></mfenced><mi mathvariant="normal">Δ</mi><mi>ε</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629589&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629586&type= 29.71800041 4.82600021 ， 其中， <math id="M11"><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629597&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629594&type= 3.30200005 4.57200003 为有效弹光系数。 穿刺针在进针过程中受到的轴向载荷更大，而非受到集中载荷，假设变形曲线 C 可采用三次多项式简化为： <math display="block" id="M12"><mi>C</mi><mo>=</mo><mi>a</mi><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>+</mo><mi>b</mi><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mi>c</mi><mi>x</mi><mo>+</mo><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629604&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629600&type= 37.67666626 3.13266683 ， 其中， <math id="M13"><mi>a</mi><mo>,</mo><mi>b</mi><mo>,</mo><mi>c</mi><mo>,</mo><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629608&type= 12.95400047 3.21733332 分别为该三次多项式的各项系数值。通过文献［ 12 12 ］可知，穿刺针形状曲线 <math id="M14"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629619&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629615&type= 2.62466669 2.79399991 与FBG中心波长漂移量 <math id="M15"><mi mathvariant="normal">Δ</mi><mi mathvariant="normal">λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629625&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629622&type= 4.23333359 2.79399991 之间存在非线性的映射关系。BP神经网络是一种按误差反向传播算法训练的多层前馈网络，能学习和存贮大量的输入—输出的映射关系，无需训练前揭示描述映射关系的数学模型，在解决非线性回归问题上应用广泛 ［ 17 17 ］ ，而且调用建立的模型可快速实现形状重构输出，所以本次采用BP神经网络算法重构穿刺针形状。 3.2　传感器形状感知标定实验系统 2 为了获取训练神经网络模型所需的数据，设计并搭建了形状自感知穿刺针静态标定实验系统，如 图2 图2 所示。首先通过3D打印制备的连接件将形状自感知穿刺针固定在RS60旋转微调架上，实现穿刺针的定位，然后通过 Z 方向微调架安装在试验台上。根据穿刺针小变形假设，设计并通过3D打印技术制备了5个曲率标定板，曲率值依次为0.000 0 mm - 1 ，0.000 2 mm - 1 ，0.000 4 mm - 1 ，0.000 6 mm - 1 和0.000 8 mm - 1 。采用光纤光栅解调仪（高斯光学有限公司，中国；型号：OPM-T1620；采样率：105 Hz；分辨率：1 pm）作为接收FBG反射光谱信息的装置。 通过Labview编程在PC端显示并记录形状自感知穿刺针上15个FBG的中心波长数据。首先记录15个FBG的初始中心波长数据，而后将形状自感知穿刺针固定在曲率标定板的凹槽中，记录所有FBG的中心波长，调节RS60旋转微调架调整穿刺针的安装角度 θ ，每次实验角度间隔为10°，角度调节范围为0~360°。进行了5次实验，共测得180组数据，以其中157组作为神经网络模型的训练数据，33组作为测试数据。 如 图3 图3 所示，显示了 θ =0°时3根光纤在5种不同曲率下的光谱数据，为了更直观地分析光谱变化趋势，对原始光谱进行了滤波和归一化处理。 图3 图3 （a）显示的是Fiber 1的反射光谱，理论上该实验条件下，Fiber 1处于穿刺针中性层上，不会出现波长漂移现象，但是由于传感器的制备与安装误差，导致在实验过程中其产生了微量波长漂移； 图3 图3 （b）和 图3 图3 （c）分别是Fiber 2和Fiber 3在5种不同曲率下的光谱数据，实验时两者受力方向相反，所以两者的波长变化趋势相反，Fiber 2光谱整体右移，Fiber 3光谱整体左移，随着曲率的增加，光谱移动的幅度也越大。另外可以看到，在同一曲率板作用下，FBG的初始中心波长越大，产生波长漂移量也越大。这是因为同一光纤上沿穿刺针轴向曲率是相同，通过 式（2） 式（2） 也可以推导出相同的结论。 1;2;3; 3.3　基于BP神经网络的穿刺针形状重构算法 2 将标定实验所得波长数据及形状数据划分为训练样本和测试样本，训练样本用于训练神经网络得到满足设定迭代次数的模型参数，构建神经网络预测模型。调用该模型对测试样本进行预测，预测结果用来评价该模型。通过仿真调试，综合考虑模型训练时间和预测精度，最终确定的神经网络模型结构如 图4 图4 所示，包括1个输入层，2个隐藏层，1个输出层。其中以形状自感知穿刺针上5组传感单元中心波长漂移量 <math id="M16"><mi mathvariant="normal">Δ</mi><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629682&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629681&type= 4.23333359 2.79399991 作为输入层输入数据，该层有15个神经元节点；第一隐含层和第二隐含层神经元节点数分别为31和10；输出层包含5个节点，即穿刺针变形曲线的多项式各项系数值及穿刺针变形平面与 x - y 平面的夹角 θ 。此外，激活函数、学习函数也是BP神经网络模型的重要组成部分，本次神经网络模型隐藏层、输出层的激活函数均采用双极性 S 函数（tansig），学习函数选取梯度下降的权值/阈值学习函数（learngdm）。 输入信号 <math id="M17"><mi mathvariant="normal">Δ</mi><mi mathvariant="bold-italic">λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629687&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629686&type= 4.31799984 2.79399991 经第一隐含层后的输出 p 1 可以表示为： <math display="block" id="M18"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi>f</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mi mathvariant="normal">Δ</mi><mi>λ</mi><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629689&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629688&type= 30.64933395 4.06400013 . p 1 经相邻的第二隐含层后的输出 p 2 可表示为： <math display="block" id="M19"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mi>f</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629691&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629690&type= 30.05666542 4.82600021 . p 2 经相邻的第二隐含层后的输出 u 可表示为： <math display="block" id="M20"><mi mathvariant="bold-italic">u</mi><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629694&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629693&type= 22.94466591 4.57200003 ， 其中： w 1 ， w 2 ， w 3 分别为输入层与第一隐含层、第一隐含层与第二隐含层、第二隐含层与输出层之间的权值系数，两个隐含层的权值系数， b 1 ， b 2 ， b 3 分别为其对应的偏置。 激活函数 f （ ）采用tansig函数： <math display="block" id="M21"><mi>f</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">2</mn><mi>x</mi></mrow></msup></mrow></mfrac><mo>-</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629700&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39629697&type= 32.68133163 8.21266651 . 本次针对穿刺针平面变形进行测量，重构误差分为穿刺针形状曲线 C 上针尖处的绝对误差和弯曲方向角 θ 的绝对误差 ［ 18 18 ］ 。上述33组测试样本的两类误差如 图5 图5 所示，形状误差最大值为0.90 mm，弯曲方向角最大误差为5.03°。 4 形状自感知穿刺针形状测量与重构 1 4.1　融合图像处理技术的形状重构性能测试系统 2 为验证上述神经网络模型的性能，设计搭建了融合图像处理技术的动态形状重构性能测试系统。采用单目摄像机（索尼（中国）有限公司；型号：α7000；分辨率：3 840×2 160）记录实验过程穿刺针的整体形态，采用光纤光栅解调仪作为接收FBG反射光谱信息的装置。形状自感知穿刺针通过3D打印零件与 X - Y 方向微调架连接，调整微调架可对穿刺针针尖处施加偏移量。为验证穿刺针的动态响应性能，调整微调架以锯齿波的变化趋势变幅值施加位移，利用FBG波长数据采集系统和摄像机分别记录实验过程中的FBG波长和穿刺针的形状信息，实验装置如 图6 图6 所示。 其中摄像机获得的实验视频文件通过图像识别算法可得到穿刺针的形状数学表达。首先将视频文件导入到MATLAB中，实现视频的分帧，得到每帧的实验图像；通过定区域剪裁去除部分背景，仅保留穿刺针所在的区域，以避免背景对下一步边界识别的干扰，得到更准确的边界曲线。由于实验过程中照明情况不佳，导致穿刺针针体与背景（试验台）区分度较小，而canny算子可充分考虑图像梯度，具有较好的连续性和较准确的定位 ［ 19 19 ］ ，故选择了该算子。 调用MATLAB中edge函数，设定canny算子低阈值为0.1，高阈值为0.2，得到实验图片序列的穿刺针边界，通过三阶多项式拟合可得穿刺针变形曲线，具体算法流程如 图7 图7 所示。 4.2　形状自感知穿刺针重构误差分析 2 图8 图8 （a）是动态性能测试实验过程中穿刺针形状重构曲线与摄像机捕获的实际形状曲线上针尖的偏移量。 图8 图8 （b）是取 图8 图8 （a）中一段波谷（139 s）至波峰（167 s）段显示神经网络模型预测输出的穿刺针空间形状。 图8 图8 （c）分别显示了动态性能测试实验的形状曲线误差和弯曲方向角误差，形状曲线 C 最大误差为0.84 mm，弯曲方向角 θ 最大误差为1.02°。动态实验结果说明所提出的神经网络算法可以实现实时的形状输出。 1;2;3; 5 结 论 1 本文提出了一种基于分布式FBG传感原理的穿刺针形状感知传感器结构和封装方法，构建了穿刺针变形重构的神经网络模型，用以监测穿刺针的微量变形。通过实验研究和数值分析，验证了所设计的形状自感知穿刺针可感知穿刺针微量弯曲变形、弯曲方向角，分析得到针尖处重构相对误差小于0.90 mm，弯曲方向角最大误差为5.03°。在动态性能测试实验中，针尖处重构相对误差小于0.84 mm，弯曲方向角最大误差为1.02°，神经网络模型的运行时间也可满足手术过程中穿刺针位置实时显示的要求。综上所述，所提出的形状自感知穿刺针及其形状重构算法能够实现穿刺针微量变形的测量，在机器人辅助/自主穿刺方面具有潜在的应用价值。但设计训练得到的神经网络模型鲁棒性还有待提高，理论上通过增加训练样本数据可以得到精度更高、鲁棒性更强的神经网络模型。 参考文献 管雅喆 ， 任萌 ， 郭冬利 ， 等 . 肺癌筛查研究进展 ［J］. 中国肺癌杂志 ， 2020 ， 23 （ 11 ）： 954 - 960 . doi: 10.3779/j.issn.1009-3419.2020.101.37 http://dx.doi.org/10.3779/j.issn.1009-3419.2020.101.37 肺癌筛查研究进展 GUAN Y ZH ， REN M ， GUO D L ， et al . Research progress on lung cancer screening ［J］. Chinese Journal of Lung Cancer ， 2020 ， 23 （ 11 ）： 954 - 960 . （in Chinese） . doi: 10.3779/j.issn.1009-3419.2020.101.37 http://dx.doi.org/10.3779/j.issn.1009-3419.2020.101.37 Research progress on lung cancer screening 王汉萍 ， 张力 ， 梁智勇 . 正确看待细胞病理学在肺癌诊断中的意义 ［J］. 中华病理学杂志 ， 2013 ， 42 （ 11 ）： 726 - 728 . doi: 10.3760/cma.j.issn.0529-5807.2013.11.002 http://dx.doi.org/10.3760/cma.j.issn.0529-5807.2013.11.002 正确看待细胞病理学在肺癌诊断中的意义 WANG H P ， ZHANG L ， LIANG ZH Y . Correctly view the significance of cytopathology in the diagnosis of lung cancer ［J］. Chinese Journal of Pathology ， 2013 ， 42 （ 11 ）： 726 - 728 . （in Chinese） . doi: 10.3760/cma.j.issn.0529-5807.2013.11.002 http://dx.doi.org/10.3760/cma.j.issn.0529-5807.2013.11.002 Correctly view the significance of cytopathology in the diagnosis of lung cancer HANS S ， JOSEPH F O M . Control of a flexible bevel-tipped needle using super-twisting controller based sliding mode observer ［J］. ISA Transactions ， 2021 ， 109 ： 186 - 198 . doi: 10.1016/j.isatra.2020.09.011 http://dx.doi.org/10.1016/j.isatra.2020.09.011 Control of a flexible bevel-tipped needle using super-twisting controller based sliding mode observer KOETHE Y ， XU S ， VELUSAMY G ， et al . Accuracy and efficacy of percutaneous biopsy and ablation using robotic assistance under computed tomography guidance： a phantom study ［J］. European Radiology ， 2014 ， 24 （ 3 ）： 723 - 730 . doi: 10.1007/s00330-013-3056-y http://dx.doi.org/10.1007/s00330-013-3056-y Accuracy and efficacy of percutaneous biopsy and ablation using robotic assistance under computed tomography guidance： a phantom study 孔祥战 . 颅颌面穿刺诊疗手术机器人关键技术研究 ［D］. 北京 ： 北京理工大学 ， 2015 . 颅颌面穿刺诊疗手术机器人关键技术研究 KONG X ZH . Study on Key Technologies of Needle Insertion Diagnosis and Therapy Surgery Robotic System for Craniomaxillofacial ［D］. Beijing ： Beijing Institute of Technology ， 2015 . （in Chinese） Study on Key Technologies of Needle Insertion Diagnosis and Therapy Surgery Robotic System for Craniomaxillofacial LIN M A ， SIU A F ， BAE J H ， et al . HoloNeedle： augmented reality guidance system for needle placement investigating the advantages of three-dimensional needle shape reconstruction ［J］. IEEE Robotics and Automation Letters ， 2018 ， 3 （ 4 ）： 4156 - 4162 . doi: 10.1109/lra.2018.2863381 http://dx.doi.org/10.1109/lra.2018.2863381 HoloNeedle： augmented reality guidance system for needle placement investigating the advantages of three-dimensional needle shape reconstruction 赵士元 ， 崔继文 ， 陈勐勐 . 光纤形状传感技术综述 ［J］. 光学 精密工程 ， 2020 ， 28 （ 1 ）： 10 - 29 . doi: 10.3788/ope.20202801.0010 http://dx.doi.org/10.3788/ope.20202801.0010 光纤形状传感技术综述 ZHAO SH Y ， CUI J W ， CHEN M M . Review on optical fiber shape sensing technology ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 10 - 29 . （in Chinese） . doi: 10.3788/ope.20202801.0010 http://dx.doi.org/10.3788/ope.20202801.0010 Review on optical fiber shape sensing technology 张贯一 . 锁骨下静脉穿刺机器人及穿刺力模型研究 ［D］. 哈尔滨 ： 哈尔滨理工大学 ， 2019 . 锁骨下静脉穿刺机器人及穿刺力模型研究 ZHANG G Y . Study on Subclavian Vein Puncture Robot and Puncture Force Model ［D］. Harbin ： Harbin University of Science and Technology ， 2019 . （in Chinese） Study on Subclavian Vein Puncture Robot and Puncture Force Model GUO J Z ， AZIMI E ， GONENC B ， et al . MRI-guided needle steering for targets in motion based on Fiber Bragg Grating sensors ［C］. 2016 IEEE SENSORS. October 30 - November 3 ， 2016 ， Orlando， FL， USA. IEEE ， 2017 ： 1 - 3 . doi: 10.1109/icsens.2016.7808419 http://dx.doi.org/10.1109/icsens.2016.7808419 MRI-guided needle steering for targets in motion based on Fiber Bragg Grating sensors 郭永兴 ， 杨跃辉 ， 熊丽 . 双层正交的光纤布拉格光栅柔性形状传感技术 ［J］. 光学 精密工程 ， 2021 ， 29 （ 10 ）： 2306 - 2315 . doi: 10.37188/OPE.20212910.2306 http://dx.doi.org/10.37188/OPE.20212910.2306 双层正交的光纤布拉格光栅柔性形状传感技术 GUO Y X ， YANG Y H ， XIONG L . Double-layer orthogonal fiber Bragg gratings flexible shape sensing technology ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 10 ）： 2306 - 2315 . （in Chinese） . doi: 10.37188/OPE.20212910.2306 http://dx.doi.org/10.37188/OPE.20212910.2306 Double-layer orthogonal fiber Bragg gratings flexible shape sensing technology 孙广开 ， 曲道明 ， 闫光 ， 等 . 软体气动驱动器弯曲变形光纤传感与形状重构 ［J］. 光学 精密工程 ， 2019 ， 27 （ 5 ）： 1052 - 1059 . doi: 10.3788/ope.20192705.1052 http://dx.doi.org/10.3788/ope.20192705.1052 软体气动驱动器弯曲变形光纤传感与形状重构 SUN G K ， QU D M ， YAN G ， et al . Bending deformation of optical fiber sensing and shape reconstruction of soft pneumatic driver ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 5 ）： 1052 - 1059 . （in Chinese） . doi: 10.3788/ope.20192705.1052 http://dx.doi.org/10.3788/ope.20192705.1052 Bending deformation of optical fiber sensing and shape reconstruction of soft pneumatic driver LI M ， LI G ， GONENC B ， et al . Towards human-controlled， real-time shape sensing based flexible needle steering for MRI-guided percutaneous therapies ［J］. The International Journal of Medical Robotics and Computer Assisted Surgery ， 2017 ， 13 （ 2 ）： e1762 . doi: 10.1002/rcs.1762 http://dx.doi.org/10.1002/rcs.1762 Towards human-controlled， real-time shape sensing based flexible needle steering for MRI-guided percutaneous therapies KIM J S ， GUO J Z ， CHATRASINGH M ， et al . Shape determination during needle insertion With curvature measurements ［C］. 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. 2428，2017 ， Vancouver， BC， Canada. IEEE ， 2017 ： 201 - 208 . doi: 10.1109/iros.2017.8202158 http://dx.doi.org/10.1109/iros.2017.8202158 Shape determination during needle insertion With curvature measurements KHAN F ， DONDER A ， GALVAN S ， et al . Pose measurement of flexible medical instruments using fiber Bragg gratings in multi-core fiber ［J］. IEEE Sensors Journal ， 2020 ， 20 （ 18 ）： 10955 - 10962 . doi: 10.1109/jsen.2020.2993452 http://dx.doi.org/10.1109/jsen.2020.2993452 Pose measurement of flexible medical instruments using fiber Bragg gratings in multi-core fiber ZHANG L F ， LI C L ， ZHANG X H ， et al . A new method for fiber Bragg grating based needle shape sensing calibration ［C］. 2019 IEEE International Conference on Robotics and Biomimetics （ROBIO）. 68，2019 ， Dali， China. IEEE ， 2020 ： 1953 - 1958 . doi: 10.1109/robio49542.2019.8961717 http://dx.doi.org/10.1109/robio49542.2019.8961717 A new method for fiber Bragg grating based needle shape sensing calibration 李勐 . 穿刺手术机器人穿刺针—软组织交互机理、规划控制及感知技术研究 ［D］. 北京 ： 北京理工大学 ， 2017 . 穿刺手术机器人穿刺针—软组织交互机理、规划控制及感知技术研究 LI M . Research on Needle-soft Tissue Interaction ， Path Planning and Sensor Integration of Robotically Assisted Needle Placement ［D］. Beijing ： Beijing Institute of Technology ， 2017 . （in Chinese） Research on Needle-soft Tissue Interaction， Path Planning and Sensor Integration of Robotically Assisted Needle Placement 韩军 ， 张磊 ， 段荣鑫 ， 等 . 基于BP神经网络的齿圈装夹变形预测研究 ［J］. 机电工程 ， 2020 ， 37 （ 6 ）： 641 - 646 . doi: 10.3969/j.issn.1001-4551.2020.06.008 http://dx.doi.org/10.3969/j.issn.1001-4551.2020.06.008 基于BP神经网络的齿圈装夹变形预测研究 HAN J ， ZHANG L ， DUAN R X ， et al . Prediction of gear ring clamping deformation based on BP neural network ［J］. Journal of Mechanical & Electrical Engineering ， 2020 ， 37 （ 6 ）： 641 - 646 . （in Chinese） . doi: 10.3969/j.issn.1001-4551.2020.06.008 http://dx.doi.org/10.3969/j.issn.1001-4551.2020.06.008 Prediction of gear ring clamping deformation based on BP neural network HENKEN K R ， DANKELMAN J ， VAN DEN DOBBELSTEEN J J ， et al . Error analysis of FBG-based shape sensors for medical needle tracking ［J］. IEEE/ASME Transactions on Mechatronics ， 2014 ， 19 （ 5 ）： 1523 - 1531 . doi: 10.1109/tmech.2013.2287764 http://dx.doi.org/10.1109/tmech.2013.2287764 Error analysis of FBG-based shape sensors for medical needle tracking 杨莹莹 ， 刘翔 ， 石蕴玉 . 一种改进的AGV障碍物检测方法 ［J］. 电子科技 ， 2022 ， 35 （ 9 ）： 1 - 6 . 一种改进的AGV障碍物检测方法 YANG Y Y ， LIU X ， SHI Y Y . An improved obstacle detection method for AGV ［J］. Electronic Science and Technology ， 2022 ， 35 （ 9 ）： 1 - 6 . （in Chinese） An improved obstacle detection method for AGV 10.37188/OPE.20233102.0160 TN253 A 1004-924X（2023）02-0160-08 李天梁,宋珍珍,陈发银等.光纤光栅与人工智能融合的形状自感知穿刺针[J].光学精密工程,2023,31(02):160-167. 李天梁,宋珍珍,陈发银等.光纤光栅与人工智能融合的形状自感知穿刺针[J].光学精密工程,2023,31(02):160-167. LI Tianliang,SONG Zhenzhen,CHEN Fayin,et al.Fiber Bragg grating and artificial intelligence fusion for shape self-sensing puncture needle[J].Optics and Precision Engineering,2023,31(02):160-167. LI Tianliang,SONG Zhenzhen,CHEN Fayin,et al.Fiber Bragg grating and artificial intelligence fusion for shape self-sensing puncture needle[J].Optics and Precision Engineering,2023,31(02):160-167. 国家自然科学基金资助项目（No.51905398）；湖北省重点研发计划项目（No.2022BAA066） 2022-06-08 2022-08-01 2023-01-25 2023-02-08 光学精密工程 2 31