基于视差放大与超分辨率的三维光场腹腔镜标定

基于视差放大与超分辨率的三维光场腹腔镜标定 Three-dimensional light field endoscope calibration based on light field disparity amplifier and super-resolution network 1 first-author 刘雪岩（1996-），男，吉林长春人，硕士研究生，2019年于东南大学获得学士学位，主要研究方向为图像处理及深度学习。E-mail：xueyanliu@seu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415614&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415621&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415617&type= 22.01333237 32.00401306 刘雪岩 （1996-），男，吉林长春人，硕士研究生，2019年于东南大学获得学士学位，主要研究方向为图像处理及深度学习。E-mail： xueyanliu@seu.edu.cn xueyanliu@seu.edu.cn 1 1 1 2 1 corresp E-mail： capzhou@163.com E-mail： capzhou@163.com 周　平（1980-），男，辽宁凌源人，副教授，硕士生导师，2002年、2007年于中国科学技术大学分别获得学士和博士学位，主要研究方向为图像处理及三维成像。E-mail：capzhou@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415626&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415635&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415630&type= 22.01333618 32.00401306 周　平 （1980-），男，辽宁凌源人，副教授，硕士生导师，2002年、2007年于中国科学技术大学分别获得学士和博士学位，主要研究方向为图像处理及三维成像。E-mail： capzhou@163.com capzhou@163.com 东南大学 生物科学与医学工程学院，江苏 南京 210016 东南大学 生物科学与医学工程学院，江苏 南京 210016 School of Biological Science & Medical Engineering， Southeast University， Nanjing 210016， China School of Biological Science & Medical Engineering， Southeast University， Nanjing 210016， China 南京医科大学第一附属医院，江苏 南京 210029 南京医科大学第一附属医院，江苏 南京 210029 The First Affiliated Hospital of Nanjing Medical University， Nanjing 210029， China The First Affiliated Hospital of Nanjing Medical University， Nanjing 210029， China 基于光场成像理论的三维腹腔镜是实现腹腔三维成像的重要研究方向，标定是光场腹腔镜实现三维成像的基础。针对光场带宽积与较小的光场视差会制约三维光场腹腔镜标定精度提升的问题，提出了一种视差放大方法，将直接计算光场视差的问题转换为间接计算两个特征点的距离问题，较大的特征点间距在光场图像中体现为易于检测的点-点间距和点-线间距，从根本上提高了光场腹腔镜的标定精度；基于SRDenseNet的改进型超分辨率网络，整合通道注意力机制，同时提高了光场腹腔镜四维成像的角度分辨率与位置分辨率，间接地提高了光场腹腔镜的标定精度。实验结果表明，经光场视差放大与超分辨处理后，三维光场腹腔镜标定的反投影误差降低了16%， R 2 提高了6%。 Three-dimensional （3D） light field imaging in laparoscopic surgery is an emerging technology， which has the potential to enable 3D imaging. Calibration is fundamental for the 3D light field endoscope （LFE） to accomplish 3D imaging and is essential but challenging as the light field bandwidth product is limited； moreover， the light field disparity of a 3D LFE is smaller than that of the conventional light field camera， which makes it difficult to achieve acceptable light field calibration results. In this paper， the small light field disparity was amplified by computing the distance between two feature points in a 3D scene. Compared with the conventional light field disparity between different feature points in different sub-aperture images， the distance between the two feature points enlarges the distance， i.e.， the disparity between point-to-point and point-to-line， in the light field image， which leads to better calibration accuracy. Furthermore， an improved super-resolution network based on SRDenseNet was proposed， where cascaded channel attention dense blocks were applied to acquire the features of low-resolution light field images. The super-resolution network improved the two-dimensional （2D） spatial resolution and 2D angular resolution in the 4D light field data simultaneously and improved 3D LFE calibration accuracy indirectly. The experimental results show that the amplified light field disparity and higher resolution facilitated a higher calibration performance， and the re-projection error of the 3D LFE calibration decreased by 16%， while the R -square increased by 6%. 医学成像 光场腹腔镜 光场视差 超分辨率 标定 medical imaging light field endoscope light field disparity super-resolution calibration 1 引　言 1 腹腔镜是腹部微创手术的重要成像工具，在临床中具有广泛的应用。目前使用的三维腹腔镜均基于双目立体视觉原理设计，需临床医生佩戴专用眼镜并自行在头脑中重建手术对象的三维信息。根据双目立体视觉的成像原理可知，这种三维腹腔镜受使用环境限制，“双目”间的基线很短，其三维成像精度较低，难以独立满足临床中三维测量的要求。具有独立三维测量功能的三维腹腔镜是当前研究的前沿问题。 2017年，Liu等提出了一种基于光场成像原理的三维腹腔镜 ［ 1 1 ］ ，为三维腹腔镜的研究提供了一个新的思路。但是，Liu等提出的三维光场腹腔镜仅给出了实现可能，对成像模型、标定与成像算法等关键问题并未给出解决方案，且其成像分辨率仅为54×36，无法满足临床需求。标定算法与光场图像的分辨率是影响三维光场腹腔镜标定精度的重要因素。传统的光场成像系统标定均基于双平面模型，采用将成像参数一次标定或多次分步标定的策略进行。通常，一次标定的精度较高，如Dansereau等 ［ 2 2 - 3 3 2-3 ］ 提出的标定方法，缺点在于成像模型中的参数物理含义不清晰，不利于对成像过程的理解。对于多次分步标定而言，后标定的参数精度受前标定精度的影响，如Zhou ［ 4 4 ］ 等提出的标定方法，优点在于参数物理意义清晰。但这些光场标定方法均应用于传统光场相机，并不适用于光场视差较小的光场腹腔镜。此外，成像分辨率是影响标定精度的重要原因，特别是对于光场成像，由于受到带宽积的限制，位置分辨率远低于传统成像分辨率。为解决分辨率低的问题，超分辨率算法是近年的研究热点 ［ 5 5 - 6 6 5-6 ］ 。自卷积神经网络在图像处理领域取得突破性进展后 ［ 7 7 ］ ，Dong等在2014年提出了首个基于深度学习的图像超分辨方法 ［ 8 8 ］ ，实现了远超传统方法的超分辨重建效果。随后，一系列基于神经网络结构的方法，如VDSR ［ 9 9 ］ ，SR DenseNet ［ 10 10 ］ ，SR GAN ［ 11 11 ］ 等，基于上采样的方法，如转置卷积 ［ 12 12 ］ 、pixel-shuffle ［ 13 13 ］ 等，以及基于损失函数的方法，如perceptual loss ［ 14 14 ］ 、adversarial loss ［ 11 11 ］ 等，进一步提升了深度学习超分辨方法的性能。 针对三维光场腹腔镜的标定问题，本文在前期两步标定法工作的基础上，在第二步标定中针对光场视差较小的问题提出了光场视差放大方法。针对光场三维腹腔镜的带宽积问题，提出了基于SRDenseNet的改进型超分辨率网络，分别对位置分辨率与角度分辨率进行超分辨率处理。 2 光场视差放大 1 基于以往研究成果与Dansereau的虚拟物平面理论，三维光场腹腔镜的标定模型可用如 图1 图1 的双平面模型表示。基于光场的双平面理论，虚拟物平面代表方向平面（ u，v ），微透镜阵列（Micro Lens Array， MLA）平面代表位置平面（ s，t ），因此，将三维光场腹腔镜中的一条光线表示为 L （ u，v，s，t ）。本文将其标定过程分解为光线成像于MLA平面与传感器平面两个步骤。首先，空间中的一个物点 P （ X w ， Y w ， Z w ）成像于MLA平面点 p （ x ， y ），其成像过程如 式（1） 式（1） 所示： <math display="block" id="M1"><msub><mrow><mi>z</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi>x</mi></mtd></mtr><mtr><mtd><mi>y</mi></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mfrac><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msub></mrow><mrow><mi>d</mi></mrow></mfrac></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>-</mo><mfrac><mrow><mi>U</mi><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msub></mrow><mrow><mi>d</mi><mo>⋅</mo><msub><mrow><mi>h</mi></mrow><mrow><mi mathvariant="normal">m</mi></mrow></msub></mrow></mfrac></mtd><mtd><mo>-</mo><mfrac><mrow><mi>U</mi><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msub></mrow><mrow><mi>d</mi></mrow></mfrac></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mfrac><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msub></mrow><mrow><mi>d</mi></mrow></mfrac></mtd><mtd><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>-</mo><mfrac><mrow><mi>V</mi><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msub></mrow><mrow><mi>d</mi><mo>⋅</mo><msub><mrow><mi>h</mi></mrow><mrow><mi mathvariant="normal">m</mi></mrow></msub></mrow></mfrac></mtd><mtd><mo>-</mo><mfrac><mrow><mi>V</mi><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msub></mrow><mrow><mi>d</mi></mrow></mfrac></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd></mtr></mtable></mrow></mfenced><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi>R</mi></mtd><mtd><mi>t</mi></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>Y</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>Z</mi></mrow><mrow><mi mathvariant="normal">w</mi></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415659&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415654&type= 102.61599731 25.56933212 ， 其中：以虚拟物平面中心建立坐标系， Z c 为所得的空间物点坐标中的 Z 方向坐标值， <math id="M2"><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415668&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415664&type= 7.61999989 3.72533321 表示虚拟物平面与MLA平面间的距离，MLA平面与传感器平面间的距离采用 <math id="M3"><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi><mo>-</mo><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415678&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415673&type= 7.70466709 3.72533321 表示， <math id="M4"><msub><mrow><mi>h</mi></mrow><mrow><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415687&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415682&type= 3.64066648 3.72533321 为物方焦平面到虚拟物平面间的距离， d 为微透镜直径。此外，（ U ， V ）为光线落于方向平面的坐标，但不是标定中必须求取的参数。根据光场理论，当以中心子孔径图像为研究对象时，（ U ， V ）=（0，0），将 式（1） 式（1） 描述的过程进行简化，便于完成第一步标定。除 式（1） 式（1） 所示参数外，光场腹腔镜的标定需计算微透镜阵列与传感器平面间的距离 <math id="M5"><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi><mo>-</mo><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415698&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415692&type= 7.70466709 3.72533321 ，在传统标定中使用单个特征点的光场视差实现。因光场腹腔镜中的光场视差较小，标定精度较低，本文提出光场视差放大的方法加以解决。光场视差放大方法通过分析两个特征点在不同光场特征图像中的投影距离与 <math id="M6"><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi><mo>-</mo><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415708&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415702&type= 7.70466709 3.72533321 间的关系，克服了单个特征点光场视差小对三维光场腹腔镜标定的影响，其原理如 图2 图2 所示。 空间中两个特征点 P 1 ， P 2 在像空间成实像于 <math id="M7"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415733&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415729&type= 9.48266602 4.40266657 ，在MLA平面的像点分别为 <math id="M8"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415742&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415738&type= 11.85333347 4.40266657 ，在传感器平面的像点为 <math id="M9"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415751&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415747&type= 11.76866722 4.40266657 。像点 <math id="M10"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415760&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415755&type= 11.85333347 4.40266657 ， <math id="M11"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415770&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415765&type= 11.76866722 4.40266657 间的距离分别为 <math id="M12"><mi mathvariant="normal">Δ</mi><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415843&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415838&type= 5.07999992 2.79399991 与 <math id="M13"><mi mathvariant="normal">Δ</mi><mi>U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415849&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415846&type= 5.50333309 2.79399991 ，量纲为mm。 <math display="block" id="M14"><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi><mo>-</mo><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi>q</mi></mrow><mrow><mi>d</mi></mrow></mfrac><mo>⋅</mo><mfrac><mrow><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msub><mo>-</mo><msubsup><mrow><mi>z</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msub></mrow><mrow><msubsup><mrow><mi>z</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msubsup></mrow></mfrac><mo>⋅</mo><mfrac><mrow><mi mathvariant="normal">Δ</mi><mi>U</mi></mrow><mrow><mi mathvariant="normal">Δ</mi><mi>X</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415795&type= 54.86399841 8.89000034 ， 其中： q 为传感器平面的像元尺寸； <math id="M15"><msubsup><mrow><mi>Z</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415809&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415804&type= 3.80999994 3.97933316 是特征点 <math id="M16"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415818&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415814&type= 3.64066648 3.72533321 所成实像 <math id="M17"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">e</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415827&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415822&type= 3.80999994 3.97933316 在相机坐标系中的 <math id="M18"><mi>Z</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415833&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415830&type= 2.37066650 2.79399991 坐标，该坐标值在第一步标定后，可通过基于EPI的方法计算得到 ［ 15 15 ］ ；与单个特征点的光场视差不同， <math id="M19"><mi mathvariant="normal">Δ</mi><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415843&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415838&type= 5.07999992 2.79399991 与 <math id="M20"><mi mathvariant="normal">Δ</mi><mi>U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415849&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415846&type= 5.50333309 2.79399991 反映在图像中，其对应的像素数值通常大于1个像素，即实现了视差放大功能。三维光场腹腔镜的标定即为求取 式（1） 式（1） 与 式（2） 式（2） 中的参数。 3 光场图像超分辨率算法 1 本文使用棋盘格标定板进行光场三维腹腔镜的标定。在标定过程中，使用中心子孔径图像进行第一步标定，其分辨率为354×236；使用元素图像与中心子孔径图像进行第二步标定，元素图像分辨率为13×13。子孔径图像与元素图像分别为光场图像的位置切片与角度切片，本文采用子孔径图像与元素图像分别超分辨的策略，即分别进行光场图像的位置超分辨与角度超分辨运算。本文基于SR DenseNet网络进行改进，针对标定特征点搜索算法对边界属性的要求，将通道注意力机制 ［ 16 16 ］ 引入超分辨率网络，总体结构如 图3 图3 所示。 该网络的基本思想是使用多个级联的CAD模块（Channel Attention Dense Block）对输入的低分辨率图像进行特征提取，再通过转置卷积上采样提升图像分辨率。网络共包含68个卷积层与16个全连接层，实现了输入二维图像的宽、高各2倍的超分辨处理。通道注意力机制体现在CAD模块中，输入经过可配置层数的 k 个密集连接卷积层后，再采用通道注意力机制对不同通道特征的自适应权重分配使重要特征的权重提升，进而增强特征提取与映射的效果。CAD模块的结构如 图4 图4 所示。 在传统的卷积操作中，输入特征的每个通道权重是相同的。虽然网络可以通过整体调整对应卷积核的参数值来间接调整每一通道的权重，但这种方法无法实现对不同输入内容的自适应权重分配。在对标定板图像进行超分辨处理时，对于边界区域与其他区域的超分辨率要求不一，反映在网络中为不同通道特征的重要程度不同。为实现通道权重的自适应调整，本文采用通道注意力先对输入特征 <math id="M21"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415882&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415879&type= 2.62466669 2.79399991 的每一通道 <math id="M22"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415894&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415890&type= 4.14866638 3.72533321 进行全局平均池化，得到对应每个通道的特征值 <math id="M23"><msub><mrow><mi>u</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415902&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415897&type= 2.87866688 3.72533321 ： <math display="block" id="M24"><msub><mrow><mi>u</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><mi>G</mi><mi>A</mi><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi><mo>⋅</mo><mi>W</mi></mrow></mfrac><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mrow/></msubsup><mrow><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415906&type= 57.82733154 7.95866632 . 使用全局池化的目的在于获取全局视野，利用整个通道的信息来提取特征。然后，本文使用两个全连接层对特征值进行非线性映射，得到每个通道的权重 <math id="M25"><msub><mrow><mi>v</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>u</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415923&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415918&type= 16.00200081 4.91066647 ，最终将通道乘以对应权重作为输出，即 <math id="M26"><msub><mrow><mi>Y</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub><mo>=</mo><msub><mrow><mi>v</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub><mo>×</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415934&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415930&type= 21.67466736 3.72533321 。通过上述架构，通道注意力实现了独立于空间特征的通道特征重分配，且这种分配是自适应、通过学习得到的。CAD模块尾部添加的通道注意力部分能够重新分配密集连接机制带来的多通道特征，两者的有机结合进一步提升了网络的超分辨性能。 超分辨率网络的理想应用场景是将现有的子孔径图像、元素图像作为输入，实现分辨率的增强。然而，由于我们无法获得高于现有光场腹腔镜图像分辨率16倍的图像，因此无法在有监督学习的框架下完成网络训练。考虑到低、高分辨率标定板图像的结构相似性，本文将原始图像进行降采样得到低分辨率图像（LR） ［ 8 8 ］ ，将原始图像作为高分辨率标签图像（HR），使用此LR-HR图像组作为训练数据完成网络训练。网络训练完成后，再将原图作为输入图像实现超分辨率的目标。角度、位置超分辨网络使用的数据集均为实验室自行拍摄，分别包含4.5万与1.2万组LR-HR图像，按照4∶1的比例随机划分为训练集与验证集。 本文的深度学习实验环境为：Intel Core i7-8700 CPU，32 GB内存，Nvidia GeForce RTX 2080Ti GPU。软件平台为Windows10操作系统，Keras 2.2.4深度学习框架。两个网络分别进行了150轮训练，使用Adam优化器和均方误差（Mean Square Error， MSE）损失函数，初始学习率设置为10 - 5 。位置、角度超分辨率网络在训练集与验证集上的峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）训练曲线如 图5 图5 所示，超分辨率处理结果如 图6 图6 所示。在训练中，训练集实施了在线数据增强，在训练时对每张输入LR图像进行随机的高斯随机噪声叠加，以提升网络的稳健性与泛化能力。训练进行150轮后，位置超分辨率网络在进行了数据增强的训练集与验证集上的PSNR分别达到约36.6 dB与36.4 dB，角度超分辨率网络的PSNR均在32.8 dB左右。 Matlab的光场工具箱在进行元素图像重置时，采用双三次插值计算像素值。从获得“新”像素值的角度出发，双三次插值是一种基本的超分辨率算法。为评价本文提出的超分辨网络的性能，这里分别测试了双三次插值方法、经典SR DenseNet网络和本文提出网络在原始训练集LR图像上的超分辨效果。其中，经典SR DenseNet的训练轮数、优化方法等与本文提出的网络相同。对比结果如 表1 表1 所示。 平均PSNR 位置超分辨 角度超分辨 双三次插值 27.4 25.6 SR DenseNet 34.5 34.8 本文方法 38.6 39.0 dB 由 表1 表1 可知，以标定板图像作为输入图像时，本文所提网络具有更好的超分辨率效果。需要指出的是，位置超分辨与角度超分辨网络的训练集不同，因此两者的PSNR数值不能用于直接对比。 4 实　验 1 本文实现的三维光场腹腔镜实验系统由二维腹腔镜（沈大）、物镜（ f =50 mm），微透镜阵列（Pitch=0.063 mm， f =2 mm），中继镜与单反相机（Canon 600D，5 184×3 456 pixel， q =4.2 um）组成。如 图2 图2 所示，所有设备采用笼式结构固定，以保证光轴共轴。根据微透镜Pitch与传感器像元尺寸可知，光场腹腔镜的角度分辨率为13×13，子孔径图像分辨率为354×236 pixel。 4.1　超分辨率网络实验结果 2 本文使用棋盘格标定板完成三维光场腹腔镜的标定。光场腹腔镜拍摄棋盘格标定板，其中心子孔径图像如 图6 图6 （a）所示。采用本文提出的位置超分辨率网络，将子孔径图像的分辨率提高至原始图像的4倍，即708×472 pixel，所得结果如 图6 图6 （b）所示。在对 式（1） 式（1） 所含参数进行标定时，选择棋盘格的角点作为标定特征点。如 图6 图6 （b）所示，子孔径图像分辨率增加，角点邻域内的黑白区域边界更加锐利，这些变化有利于提高角点检测的准确性，进而提高标定精度。 基于 图2 图2 原理进行参数 <math id="M27"><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi><mo>-</mo><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25415978&type= 7.70466709 3.72533321 标定，需要在元素图像中搜索特征点，因此在位置超分辨率之后，采用本文提出的角度超分辨率网络，将元素图像的分辨率，即角度分辨率从13×13提高至26×26。如图 6（c） 6（c） ~ 6（d） 6（d） 所示，元素图像的细节更加清晰，有助于提升特征点的搜索精度。 4.2　三维光场腹腔镜标定 2 与经典标定方法相似，本文使用中心子孔径图像实现标定，选择棋盘格标定板的角点作为特征点，采用张正友标定法完成 式（1） 式（1） 所含参数的标定。针对 <math id="M28"><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi><mo>-</mo><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416037&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416034&type= 7.70466709 3.72533321 ，本文选择元素图像的中心点作为 图2 图2 所示的特征点 <math id="M29"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416070&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416066&type= 3.64066648 3.72533321 的像点 <math id="M30"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416090&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416088&type= 4.91066647 3.97933316 ，选择元素图像中像点 <math id="M31"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416090&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416088&type= 4.91066647 3.97933316 垂直于黑白交界的垂足作为特征点 <math id="M32"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416021&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416017&type= 3.64066648 3.72533321 的像点 <math id="M33"><msubsup><mrow><mi>P</mi></mrow><mrow><msub><mrow/><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416031&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416027&type= 4.91066647 4.23333359 。为实现 <math id="M34"><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi><mo>-</mo><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416037&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416034&type= 7.70466709 3.72533321 的标定，如 图2 图2 所示，需分别确定特征点 <math id="M35"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416070&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416066&type= 3.64066648 3.72533321 ， <math id="M36"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416108&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416103&type= 3.64066648 3.72533321 在MLA平面的像点 <math id="M37"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416124&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416120&type= 4.99533367 3.97933316 ， <math id="M38"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416113&type= 4.99533367 3.97933316 。采用中心子孔径图像，根据光场成像原理，微透镜在微透镜阵列中的位置索引即为该微透镜对应的元素图像中心点在中心子孔径图像中的坐标，因此，与特征点 <math id="M39"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416070&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416066&type= 3.64066648 3.72533321 的像点 <math id="M40"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416090&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416088&type= 4.91066647 3.97933316 对应的像点 <math id="M41"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416124&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416120&type= 4.99533367 3.97933316 在中心子孔径图像的坐标，即为 <math id="M42"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416090&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416088&type= 4.91066647 3.97933316 对应的微透镜在微透镜阵列中的索引。对于 <math id="M43"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416113&type= 4.99533367 3.97933316 的确定，依据光场成像原理，元素图像可视为微透镜拍摄主透镜所成的像，因此元素图像中特征点间的几何关系在中心子孔径图像中仍成立，即特征点 <math id="M44"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416108&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416103&type= 3.64066648 3.72533321 在中心子孔径图像中的像点 <math id="M45"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416113&type= 4.99533367 3.97933316 应为 <math id="M46"><msubsup><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416124&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416120&type= 4.99533367 3.97933316 垂直于黑白交界的垂足，如 图7 图7 所示。 本文采用27幅位置、角度不一的标定板图像完成第一步标定，在元素图像、中心子孔径图像中选择300对特征点完成第二步标定。经优化，使用与不使用超分辨率网络的三维光场腹腔镜的标定结果如 表2 表2 所示。 条　件 <math id="M49"><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi><mo>-</mo><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi></mrow></msub><mo>/</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416167&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416161&type= 12.53066730 3.21733332 <math id="M50"><msub><mrow><mi>d</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">b</mi><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">l</mi></mrow></msub><mo>/</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416174&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416171&type= 12.44600010 3.21733332 <math id="M51"><mi>R</mi><mo>/</mo><msup><mrow><mn>10</mn></mrow><mrow><mo>-</mo><mn>3</mn></mrow></msup><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416181&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416178&type= 12.69999981 2.70933342 <math id="M52"><mi>T</mi><mo>/</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416186&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416183&type= 7.78933382 2.45533323 <math id="M53"><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn>0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn>0</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416191&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416188&type= 8.97466660 3.72533321 <math id="M54"><mo stretchy="false">(</mo><msub><mrow><mi>k</mi></mrow><mrow><mn>1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>k</mi></mrow><mrow><mn>2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416196&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=25416194&type= 8.38199997 3.38666677 超分辨率前 0.45 105.15 （-0.26，-0.0024，2.91） （60.91，12.84，210.17） （183.58，105.30） （-0.60，0.89） 超分辨率后 0.63 109.32 （-0.27，-0.0073，2.92） （59.97，12.65，218.37） （369.62，208.58） （-0.65，0.92） 本文采用超分辨率前后的反投影误差与直线拟合的确定系数（ R 2 ）评价标定结果以及超分辨率处理对标定性能的提升效果，如 图8 图8 所示。可见第一步标定中27张图像超分辨前有个别图像的误差显著高于平均值，超分辨处理后这些图像的误差明显降低；使用与不使用超分辨的平均重投影误差分别为0.058 pixel和0.050 pixel，使用超分辨网络后的平均重投影误差降低了约16%。 第二步标定中，使用与不使用超分辨网络的直线拟合 R 2 系数分别为0.86和0.91。可见超分辨后的 R 2 提升了约6%，数据点在回归直线附近的分布更加密集，说明超分辨网络能够降低第二步标定的随机误差，提升直线拟合的准确度。 综上所述，本文提出的超分辨网络能够提升光场腹腔镜标定图像的清晰度，降低光场腹腔镜第一步和第二步标定过程的随机误差，帮助计算得到更精准的标定参数。 5 结　论 1 影响三维光场腹腔镜标定精度的主要原因在于较小的光场视差与较低的图像分辨率。针对第一个问题，本文提出了一种光场视差放大的方法，将标定中单个特征点的光场视差计算，转变为两个特征点在不同特征图像中的距离计算，从根本上避免了小视差带来的系统误差；针对第二个问题，本文提出了一种适用于光场图像的超分辨网络，实现了比经典SRDenseNet更清晰、准确的超分辨重建效果，能够有效提升光场腹腔镜图像的角度分辨率与位置分辨率。实验结果表明，光场腹腔镜的角度分辨率从13×13提高至26×26，位置分辨率从354×236提高至708×472，光场腹腔镜的整体分辨率提高了16倍。此外，使用本文方法后，光场腹腔镜标定的反投影误差下降了约16%，直线拟合确定系数提升了约6%。使用超分辨率图像后，在标定方法不变的情况下，标定精度的提高进一步验证了本文超分辨率网络的有效性。在今后的工作中，会考虑在网络中加入3D或4D卷积结构，以获得更好的重建效果。 参考文献 LIU J D ， CLAUS D ， XU T F ， et al . Light field endoscopy and its parametric description ［J］. Optics Letters ， 2017 ， 42 （ 9 ）： 1804 - 1807 . doi: 10.1364/ol.42.001804 http://dx.doi.org/10.1364/ol.42.001804 Light field endoscopy and its parametric description DANSEREAU D G ， PIZARRO O ， WILLIAMS S B . Decoding， calibration and rectification for lenselet-based plenoptic cameras ［C］. 2013 IEEE Conference on Computer Vision and Pattern Recognition . 2328，2013 ， Portland ， OR ， USA . IEEE ， 2013 ： 1027 - 1034 . doi: 10.1109/cvpr.2013.137 http://dx.doi.org/10.1109/cvpr.2013.137 Decoding， calibration and rectification for lenselet-based plenoptic cameras ZHANG Q ， ZHANG C P ， LING J B ， et al . A generic multi-projection-center model and calibration method for light field cameras ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2019 ， 41 （ 11 ）： 2539 - 2552 . doi: 10.1109/TPAMI.2018.2864617 http://dx.doi.org/10.1109/TPAMI.2018.2864617 A generic multi-projection-center model and calibration method for light field cameras ZHOU P ， CAI W J ， YU Y L ， et al . A two-step calibration method of lenslet-based light field cameras ［J］. Optics and Lasers in Engineering ， 2019 ， 115 ： 190 - 196 . doi: 10.1016/j.optlaseng.2018.11.024 http://dx.doi.org/10.1016/j.optlaseng.2018.11.024 A two-step calibration method of lenslet-based light field cameras 朱福珍 ， 刘越 ， 黄鑫 ， 等 . 改进的稀疏表示遥感图像超分辨重建 ［J］. 光学 精密工程 ， 2019 ， 27 （ 3 ）： 718 - 725 . doi: 10.13482/j.issn1001-7011.2019.05.004 http://dx.doi.org/10.13482/j.issn1001-7011.2019.05.004 改进的稀疏表示遥感图像超分辨重建 ZHU F ZH ， LIU Y ， HUANG X ， et al . Remote sensing image super-resolution based on improved sparse representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese） . doi: 10.13482/j.issn1001-7011.2019.05.004 http://dx.doi.org/10.13482/j.issn1001-7011.2019.05.004 Remote sensing image super-resolution based on improved sparse representation 魏楚亮 ， 陈儒林 ， 高谦 ， 等 . 基于高层次融合的卷积神经网络 FPGA硬件加速 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1212 - 1219 . doi: 10.3788/OPE.20202805.1212 http://dx.doi.org/10.3788/OPE.20202805.1212 基于高层次融合的卷积神经网络 FPGA硬件加速 WEI CH L ， CHEN R L ， GAO Q ， et al . FPGA-based hardware acceleration for CNNs developed using high-Level synthesis ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1212 - 1219 . （in Chinese） . doi: 10.3788/OPE.20202805.1212 http://dx.doi.org/10.3788/OPE.20202805.1212 FPGA-based hardware acceleration for CNNs developed using high-Level synthesis 范丽丽 ， 赵宏伟 ， 赵浩宇 ， 等 . 基于深度卷积神经网络的目标检测研究综述 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1152 - 1164 . 基于深度卷积神经网络的目标检测研究综述 FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese） Survey of target detection based on deep convolutional neural networks DONG C ， LOY C C ， HE K M ， et al . Learning a deep convolutional network for image super-resolution ［C］. Computer Vision-ECCV 2014 ， 2014 ： 184 - 199 . doi: 10.1007/978-3-319-10593-2_13 http://dx.doi.org/10.1007/978-3-319-10593-2_13 Learning a deep convolutional network for image super-resolution KIM J ， LEE J K ， LEE K M . Accurate image super-resolution using very deep convolutional networks ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 1646 - 1654 . doi: 10.1109/cvpr.2016.182 http://dx.doi.org/10.1109/cvpr.2016.182 Accurate image super-resolution using very deep convolutional networks TONG T ， LI G ， LIU X J ， et al . Image super-resolution using dense skip connections ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 4809 - 4817 . doi: 10.1109/iccv.2017.514 http://dx.doi.org/10.1109/iccv.2017.514 Image super-resolution using dense skip connections LEDIG C ， THEIS L ， HUSZÁR F ， et al . Photo-realistic single image super-resolution using a generative adversarial network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 105 - 114 . doi: 10.1109/cvpr.2017.19 http://dx.doi.org/10.1109/cvpr.2017.19 Photo-realistic single image super-resolution using a generative adversarial network DONG C ， LOY C C ， TANG X O . Accelerating the super-resolution convolutional neural network ［C］. Computer Vision-ECCV 2016 ， 2016 ： 391 - 407 . doi: 10.1007/978-3-319-46475-6_25 http://dx.doi.org/10.1007/978-3-319-46475-6_25 Accelerating the super-resolution convolutional neural network SHI W Z ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207 Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network JOHNSON J ， ALAHI A ， LI F F . Perceptual losses for real-time style transfer and super-resolution ［C］. Computer Vision-ECCV 2016 ， 2016 ： 694 - 711 . doi: 10.1007/978-3-319-46475-6_43 http://dx.doi.org/10.1007/978-3-319-46475-6_43 Perceptual losses for real-time style transfer and super-resolution ZHOU P ， GU C ， ZHANG W Z ， et al . Light field endoscope calibration based on virtual objective lens and virtual feature points ［J］. Optical Engineering ， 2020 ， 59 （ 10 ）： 104101 . doi: 10.1117/1.OE.59.10.104101 http://dx.doi.org/10.1117/1.OE.59.10.104101 Light field endoscope calibration based on virtual objective lens and virtual feature points ZHANG Y L ， LI K P ， LI K ， et al . Image super-resolution using very deep residual channel attention networks ［C］. Computer Vision-ECCV 2018 ， 2018 ： 286 - 301 . doi: 10.1007/978-3-030-01234-2_18 http://dx.doi.org/10.1007/978-3-030-01234-2_18 Image super-resolution using very deep residual channel attention networks 10.37188/OPE.2021.0332 R318.6 A 1004-924X（2022）05-0510-08 刘雪岩,许聿达,雷建昕等.基于视差放大与超分辨率的三维光场腹腔镜标定[J].光学精密工程,2022,30(05):510-517. 刘雪岩,许聿达,雷建昕等.基于视差放大与超分辨率的三维光场腹腔镜标定[J].光学精密工程,2022,30(05):510-517. LIU Xueyan,XU Yuda,LEI Jianxin,et al.Three-dimensional light field endoscope calibration based on light field disparity amplifier and super-resolution network[J].Optics and Precision Engineering,2022,30(05):510-517. LIU Xueyan,XU Yuda,LEI Jianxin,et al.Three-dimensional light field endoscope calibration based on light field disparity amplifier and super-resolution network[J].Optics and Precision Engineering,2022,30(05):510-517. 国家自然科学基金面上项目（No.52071075） 2021-05-22 2021-07-08 2022-03-10 2022-03-25 光学精密工程 5 30