基于Harris-SIFT算法和全卷积深度预测的显微镜成像的三维重建研究

基于Harris-SIFT算法和全卷积深度预测的显微镜成像的三维重建研究 Research on 3D reconstruction of microscope imaging based on Harris-SIFT algorithm and full convolution depth prediction 1 first-author 张宝祥（1995-），男，甘肃白银人，硕士研究生，2017年于湖南理工学院获得学士学位，主要从事图像处理、三维重建和机器视觉等方面研究。E-mail：zhangbaoxiang1004@foxmail.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995650&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995656&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995653&type= 22.01332855 32.00400543 张宝祥 （1995-），男，甘肃白银人，硕士研究生，2017年于湖南理工学院获得学士学位，主要从事图像处理、三维重建和机器视觉等方面研究。E-mail： zhangbaoxiang1004@foxmail.com zhangbaoxiang1004@foxmail.com 2 corresp E-mail： yumingming@ vip.sina.com E-mail： yumingming@ vip.sina.com 玉振明（1963-），男，教授，机器视觉与智能控制广西重点实验室和广西智能显微设备工程技术研究中心主任，2005年于北京航空航天大学获得博士学位，主要从事图像处理和智能显微系统研究。E-mail：yumingming@ vip.sina.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995657&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995661&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995660&type= 22.01333618 32.00399780 玉振明 （1963-），男，教授，机器视觉与智能控制广西重点实验室和广西智能显微设备工程技术研究中心主任，2005年于北京航空航天大学获得博士学位，主要从事图像处理和智能显微系统研究。E-mail： yumingming@ vip.sina.com yumingming@ vip.sina.com 3 广西大学 计算机与电子信息学院，广西 南宁 530004 广西大学 计算机与电子信息学院，广西 南宁 530004 School of Computer，Electronics and Information，Guangxi University，Nanning 530004，China School of Computer，Electronics and Information，Guangxi University，Nanning 530004，China 梧州学院 机器视觉与智能控制广西重点实验室，广西 梧州 543002 梧州学院 机器视觉与智能控制广西重点实验室，广西 梧州 543002 Guangxi Key Laboratory of Machine Vision and Intelligent Control，Wuzhou University， Wuzhou 543002，China Guangxi Key Laboratory of Machine Vision and Intelligent Control，Wuzhou University， Wuzhou 543002，China 梧州学院 大数据与软件工程学院，广西 梧州 543002 梧州学院 大数据与软件工程学院，广西 梧州 543002 School of Data Science & Software Engineering，Wuzhou University，Wuzhou 543002，China School of Data Science & Software Engineering，Wuzhou University，Wuzhou 543002，China 针对珠宝、矿物和金属样本等立体标本在显微镜局部放大观测时存在弱纹理、反光等问题，本文提出了一种适用于显微镜应用场景下基于特征提取的多视图立体三维重建算法。将显微镜镜头角度固定，通过移动载物台对立体标本进行多角度成像获得图像序列。通过将Harris与SIFT算法的优势相结合将原本SFM方法重建中的SIFT算法改进为Harris-SIFT算法进行特征提取与匹配，提升了对显微图像在弱纹理区域特征信息提取的性能。通过使用与深度残差网络相结合的全卷积神经网络对输入的图像进行深度估计和预测，将预测的深度信息通过阈值法与MVS深度图相融合，对MVS深度图进行修正，重建出物体的稠密点云，提升了重建结构完整性并提取到更多的点云数目。在基恩仕VHX-6000数码显微系统进行实验表明，本算法比原始MVS重建算法重建的点云模型点云数目多31.25%，整体重建时间节省了21.16%。 To solve the problems of weak texture and reflection in the local magnification observation of jewelry， mineral， and metal samples， a multiview stereo three-dimensional （3D） reconstruction algorithm based on feature extraction is proposed. The lens of the microscope is fixed at a fixed angle， and the image sequence is obtained via a multi-angle imaging of the 3D specimen by moving the carrier platform. By combining the advantages of the Harris and SIFT algorithms， the SIFT algorithm in the original SFM reconstruction is improved to the Harris-SIFT algorithm for feature extraction and matching， which improves the performance of feature information extraction in weak texture regions of microscopic images. By using the full convolution neural network combined with the depth residual network to estimate and predict the depth of the input image， the predicted depth information is combined with the MVS depth map through the threshold method， the MVS depth map is modified， the dense point cloud of the object is reconstructed， and more point clouds are reconstructed with structural integrity. Experiments performed using a VHX-6000 digital microscope system show that the number of point clouds reconstructed using this algorithm is 31.25% higher than that reconstructed by the original MVS reconstruction algorithm， and the overall reconstruction time is reduced by 21.16%. 显微镜 三维重建 特征检测 深度估计 MVS深度图 microscope 3D reconstruction feature detection depth estimation MVS depth map 1 引 言 1 近年来，随着人工智能和机器视觉技术的快速发展，基于图像的三维重建方法越来越受到关注，但在面向显微镜应用领域，其主要应用于平面标本的观测，鲜有针对立体标本成像以及建模的显微设备。研发新一代智能显微设备的同时，开发出面向立体标本的三维模型重建和立体标本几何参数测量的技术具有重要意义。 作为机器视觉的热门方向，已有诸多方法和理论用于基于图像的三维重建，其中，运动恢复结构法（Structure from Motion，SfM） ［ 1 1 ］ 是应用最广泛的经典方法之一。基于SfM设计出了多种三维建模系统，如Wu开发的开源软件Visual SfM ［ 2 2 ］ ，Moulon等人开发的开源软件OpenMVG ［ 3 3 ］ ，Schönberger等人开发的开源三维建模系统COLMAP ［ 4 4 ， 5 5 ］ 。蒋华强等 ［ 6 6 ］ 针对现有SfM算法重建模型存在的点云稀疏等问题，提出一种利用不同匹配数据进行模型重建的算法。但由于SfM仅计算图像之间成功匹配的特征点的三维信息并将其恢复为三维坐标形成三维点云，而图像中含有的特征点信息相对较少 ［ 7 7 ］ ，因此SfM计算得到的点云模型比较稀疏，重建后的模型精度较低。多视图立体方法（Multi-View Stereo，MVS） ［ 8 8 ］ 可以从物体多个视角图像计算得到场景的密集三维点云。PMVS（Patch-based MVS） ［ 5 5 ］ 以SfM重建的稀疏点云为输入，利用图像面邻域信息迭代，使用点云扩张策略进行点云扩张和过滤，最后重建出稠密点云。Schönberger等人 ［ 9 9 ］ 以SfM得到的稀疏重建模型和相机姿态为输入，采用深度图融合的方法来恢复出稠密点云。基于学习的MVS方法如Point-MVSNet ［ 10 10 ］ ，R-MVSNet ［ 11 11 ］ ，Cascade-MVSNet ［ 12 12 ］ 等采用深度图融合的方法恢复较高精度的场景稠密点云也取得不错的结果。 以上三维重建算法对拍摄设备要求较高，适用于对大场景成像的纹理等细节丰富的场景，而在实体显微镜应用场景中，由于显微镜工作环境、珠宝等立体标本在显微镜局部放大观测时存在弱纹理、细节不丰富和反光等问题，运用上述算法得到的三维重建效果并不理想。本文提出了一种适用于显微镜应用场景下基于特征提取的多视图立体三维重建算法。以基恩士VHX-6000高级体视显微镜作为实验平台，以集成电路板元器件或珠宝首饰作为实验对象，通过显微镜采集物体不同角度的图像序列（大于10张），对立体标本显微镜图像进行三维重建，取得较好效果。 2 相关工作 1 2.1　图像采集与预处理 2 显微镜具有高放大率和窄场的特点，对立体标本的图像采集往往只能获得物体较小的局部放大图像，所采集的显微图像包含的纹理信息较少属于弱纹理图像。因此，为了增强图像的细节信息和纹理信息以便后续过程可以提取到图像更多的特征信息，使用直方图均衡化方法增强图像的细节信息以使图像灰度分布更均匀 ［ 13 13 ］ ，使用一种融合光照和彩色信息的灰度图像补偿算法增强图像的纹理信息对图像进行灰度化 ［ 14 14 ］ 。本文的实验设备为基恩士VHX-6000高端数码显微系统，如 图1 图1 所示。 2.2　改进的Harris-SIFT匹配算法 2 特征点提取与匹配是基于图像三维重建算法的关键一步，特征提取与匹配的精度直接影响重建效果。Harris ［ 15 15 ］ 角点检测算法提取的特征角点比较全面，具有平移和旋转不变性，对参数变化、噪声、图像对比度和光照变化等有很好的鲁棒性，但对图像尺度变化敏感，不具有尺度不变特性。尺度不变特征变换（Scale-invariant Feature Transform， SIFT） ［ 16 16 ］ 算法对旋转、尺度、亮度等变化具有不变性，对视角转换、噪声、仿射变换有很高的容忍度，但由于算法实现过程中需要通过高斯模糊、降采样等方式构建高斯金字塔，得到的特征点精度不是很高，对边缘光滑的目标无法准确提取特征点，且计算量大，效率低。本文采用一种将Harris与SIFT算法相结合的方法 ［ 17 17 ］ ，首先，用Harris进行图像中的特征角点提取，使用特征角点包含的信息熵值对特征角点进一步筛选；其次，使用马氏距离度量特征点之间的相似性；再次，用随机抽样一致性（RANSAC）方法对匹配模型进行优化，筛选匹配点对，提高匹配的正确率；最后使用显微镜采集的显微图像进行对比实验，验证本算法的匹配准确率。 2 . 2 . 1　Harris角点检测 3 Harrs角点检测算法是利用移动的局部窗口在图像中计算灰度变化值，若在任意方向上移动都存在较大的灰度变化就认为该窗口中存在角点。通过设置合理的阈值来决定检测到的角点数。Harris角点检测变化如 图2 图2 所示。 窗口由像素点 <math id="M1"><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995671&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995670&type= 9.05933285 3.97933316 移动 <math id="M2"><mo stretchy="false">(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995676&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995674&type= 8.72066593 3.55599999 产生的灰度变化 <math id="M3"><mi>E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995678&type= 2.62466669 2.79399991 可以表示为： <math display="block" id="M4"><mtable><mtr><mtd><mi>E</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><msub><mo>∑</mo><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></msub><mrow><mi>W</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mrow><msup><mrow><mfenced open="[" close="]" separators="|"><mrow><mi>I</mi><mo stretchy="false">(</mo><mi>x</mi><mo>+</mo><mi>u</mi><mo>,</mo><mi>y</mi><mo>+</mo><mi>v</mi><mo stretchy="false">)</mo><mo>-</mo><mi>I</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995682&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995681&type= 66.88666534 11.93799973 ， 其中： <math id="M5"><mi>I</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995685&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995683&type= 1.26999998 2.79399991 是图像灰度函数， <math id="M6"><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995689&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995687&type= 3.80999994 2.87866688 是窗口函数，将 式（1） 式（1） 用泰勒级数化简可得： <math display="block" id="M7"><mi>E</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mi>u</mi><mo>,</mo><mi>v</mi></mrow></mfenced><mi mathvariant="bold-italic">M</mi><msup><mrow><mfenced open="[" close="]" separators="|"><mrow><mi>u</mi><mo>,</mo><mi>v</mi></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995692&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995690&type= 31.83466530 4.74133301 ， 其中： <math id="M8"><mi mathvariant="bold-italic">M</mi><mo>=</mo><mi>W</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mo>·</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msubsup><mrow><mi>I</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mtd><mtd><msub><mrow><mi>I</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>I</mi></mrow><mrow><mi>y</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>I</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>I</mi></mrow><mrow><mi>y</mi></mrow></msub></mtd><mtd><msubsup><mrow><mi>I</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995695&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995694&type= 41.65599823 8.55133343 ，为自相关矩阵； <math id="M9"><msub><mrow><mi>I</mi></mrow><mrow><mi>x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995697&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995696&type= 2.45533323 3.72533321 ， <math id="M10"><msub><mrow><mi>I</mi></mrow><mrow><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995700&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995699&type= 2.37066650 3.72533321 分别为像素点在 <math id="M11"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995714&type= 2.03200006 2.79399991 方向和 <math id="M12"><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996049&type= 1.86266661 3.72533321 方向上的梯度值。 为了在显微图像中可能存在的弱纹理区域检测到尽可能多的特征点，对图像逐像素点计算灰度变化。使自相关矩阵 <math id="M13"><mi mathvariant="bold-italic">M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995706&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995705&type= 3.47133350 2.96333337 的权重 <math id="M14"><msub><mo>∑</mo><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></msub><mrow><mi>W</mi><mo stretchy="false">(</mo></mrow><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995708&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995707&type= 27.94000053 5.16466665 ，则有 <math id="M15"><mi mathvariant="bold-italic">M</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><msubsup><mrow><mi>I</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mtd><mtd><msub><mrow><mi>I</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>I</mi></mrow><mrow><mi>y</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>I</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>I</mi></mrow><mrow><mi>y</mi></mrow></msub></mtd><mtd><msubsup><mrow><mi>I</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mtd></mtr></mtable></mrow></mfenced><mo>=</mo><mi mathvariant="bold-italic">H</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995712&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995710&type= 43.34933472 8.55133343 ，表示图像每个像素点在 <math id="M16"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995714&type= 2.03200006 2.79399991 ， <math id="M17"><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996049&type= 1.86266661 3.72533321 方向的二阶偏导数和 <math id="M18"><mi>x</mi><mi mathvariant="normal">、</mi><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995724&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995722&type= 5.67266655 3.72533321 方向的导数的Hessian矩阵。从图像中提取到的角点可表示为： <math display="block" id="M19"><mi>R</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="bold-italic">H</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></mfenced><mo>-</mo><mi>λ</mi><mo>•</mo><msup><mrow><mfenced open="{" close="}" separators="|"><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="bold-italic">H</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995727&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995725&type= 70.61199951 6.26533365 ， 其中： <math id="M20"><mi>R</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995729&type= 12.19200039 3.97933316 为角点响应函数； <math id="M21"><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">t</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">H</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995735&type= 11.85333347 3.55599999 为矩阵 <math id="M22"><mi mathvariant="bold-italic">H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995749&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995747&type= 3.04800010 2.79399991 的行列式； <math id="M23"><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">H</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995745&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995743&type= 9.65200043 3.55599999 为矩阵 <math id="M24"><mi mathvariant="bold-italic">H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995749&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995747&type= 3.04800010 2.79399991 的迹； <math id="M25"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995751&type= 1.77800000 2.79399991 为常数（取值范围0.04~0.06），在本文实验中函数 <math id="M26"><mi>R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995757&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995755&type= 2.70933342 2.79399991 的局部极大值点即为特征角点，此时取 <math id="M27"><mi>λ</mi><mo>=</mo><mn mathvariant="normal">0.04</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995761&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995760&type= 13.20800018 2.79399991 。 通过 式（3） 式（3） 初步检测出图像特征点。但由于采用逐一计算每一个像素点的局部窗口内灰度变化，因此检测结果仅反映图像局部变化情况，并会将背景中噪声点或纹理不清晰的像素点判断为特征点。熵值 ［ 18 18 ］ 的大小与局部区域包含的信息量成正比，背景中噪声点或纹理不清晰的像素点包含信息量较少导致计算出的熵值低，熵值大的特征点比熵值小的特征点匹配的准确率高。用以下两式进行熵计算： <math display="block" id="M28"><mi>p</mi><mmultiscripts><mrow><mo>=</mo></mrow><mprescripts/><mrow><mi>i</mi><mi>j</mi></mrow><mrow/></mmultiscripts><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>/</mo><msup><mrow><mi>N</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995766&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995763&type= 24.46866608 5.07999992 ， <math display="block" id="M29"><msub><mrow><mi>H</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>p</mi><mmultiscripts><mrow><mo stretchy="false">)</mo></mrow><mprescripts/><mrow><mi>i</mi><mi>j</mi></mrow><mrow/></mmultiscripts></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995773&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995770&type= 35.72933197 8.97466660 ， 其中： <math id="M30"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995778&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995776&type= 3.13266683 4.57200003 为图像某像素处的灰度值与周围像素的灰度分布的综合特征， N 为图像尺度， <math id="M31"><msub><mrow><mi>H</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995783&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995781&type= 3.72533321 3.72533321 为图像二维熵， <math id="M32"><mi>n</mi><mo>,</mo><mi>i</mi><mo>,</mo><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995789&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995786&type= 7.70466709 3.64066648 为像素灰度值。分别对图像中初步检测出的特征角点利用 式（5） 式（5） 在以特征角点为中心的 <math id="M33"><mi>n</mi><mo>×</mo><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995795&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995792&type= 8.63599968 2.79399991 邻域内计算图像块的局部熵，统计每幅图像中特征点熵的均值，取熵均值的80%作为阈值，删除低于阈值的特征点，对特征点进行提纯。对于图像弱纹理区域统计的熵均值较低，可以删除较少的点进而在弱纹理区域保留较多的特征点，从而提高算法在弱纹理区域匹配的正确率，同时提高算法的效率。 2 . 2 . 2　生成SIFT特征描述子 3 Harris算法提取到特征角点，还需要采用SIFT算法来描述并建立特征向量。SIFT通过利用特征角点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。 <math display="block" id="M34"><mi>m</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mroot><mrow><msup><mrow><mfenced separators="|"><mrow><mi>L</mi><mo stretchy="false">(</mo><mi>x</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>-</mo><mi>L</mi><mo stretchy="false">(</mo><mi>x</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><mfenced separators="|"><mrow><mi>L</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo>-</mo><mi>L</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995802&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995798&type= 117.51732635 6.85799980 ， <math display="block" id="M35"><mi>θ</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mfenced open="[" close="]" separators="|"><mrow><mfrac><mrow><mi>L</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo>-</mo><mi>L</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow><mrow><mi>L</mi><mo stretchy="false">(</mo><mi>x</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>-</mo><mi>L</mi><mo stretchy="false">(</mo><mi>x</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995804&type= 71.28932953 10.49866676 ， 其中： <math id="M36"><mi>m</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995813&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995810&type= 12.44600010 3.97933316 为 <math id="M37"><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995828&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995825&type= 9.05933285 3.97933316 处梯度的幅度， <math id="M38"><mi>θ</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995822&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995819&type= 11.43000031 3.97933316 为 <math id="M39"><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995828&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995825&type= 9.05933285 3.97933316 处的梯度方向， <math id="M40"><mi>L</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995834&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995831&type= 11.93799973 3.97933316 为所有关键点的尺度。在特征点周围 <math id="M41"><mi>n</mi><mo>×</mo><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995840&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995836&type= 8.63599968 2.79399991 邻域内以尺度大小建立一个大采样区域，用式（ 6 6 ）、（ 7 7 ）计算窗口内像素点的梯度方向和大小，然后在该邻域内构建一个小采样区域，并用梯度直方图统计该小采样区域中每个“格子”内像素的梯度方向和大小，形成种子点，从而构建出特征描述子。 在本文实验中，SIFT首先将采样区域旋转至特征点方向上，然后在其周围 <math id="M42"><mn mathvariant="normal">16</mn><mo>×</mo><mn mathvariant="normal">16</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995847&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995844&type= 12.27666664 2.79399991 的邻域内计算梯度方向和大小。然后在每个 <math id="M43"><mn mathvariant="normal">4</mn><mo>×</mo><mn mathvariant="normal">4</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995863&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995860&type= 8.63599968 2.79399991 的采样窗口中计算 <math id="M44"><mn mathvariant="normal">8</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995869&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995866&type= 1.86266661 2.79399991 个方向的梯度直方图，绘制每个方向的累加值，即可形成一个种子点。如 图3 图3 所示，每个特征角点有 <math id="M45"><mn mathvariant="normal">4</mn><mo>×</mo><mn mathvariant="normal">4</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995863&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995860&type= 8.63599968 2.79399991 个种子点，每个种子点有 <math id="M46"><mn mathvariant="normal">8</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995869&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995866&type= 1.86266661 2.79399991 个方向，即每个特征角点由 <math id="M47"><mn mathvariant="normal">4</mn><mo>×</mo><mn mathvariant="normal">4</mn><mo>×</mo><mn mathvariant="normal">8</mn><mo>=</mo><mn mathvariant="normal">128</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995874&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995871&type= 25.73866653 2.79399991 维的描述子组成。 2 . 2 . 3　特征匹配 3 为了提高对显微弱纹理图像的匹配精度，用马氏距离 ［ 19 19 ］ 替代原始SIFT算法中的欧氏距离作为两幅图像中特征角点之间的的相似性判定度量。欧式距离将特征点的不同属性之间的差别等同看待，有时不能满足实际要求。马氏距离与欧式距离的不同之处在于：它考虑到特征点各种特性之间的联系；并且能对两个样本集的相似性进行有效度量，不受尺度变化及变量之间相关性的影响；它还可以排除变量之间的相关性的干扰。马氏距离可以表示为： <math display="block" id="M48"><mi mathvariant="bold-italic">S</mi><mo>=</mo><mi mathvariant="bold-italic">E</mi><mfenced open="{" close="" separators="|"><mrow><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="bold-italic">X</mi><mo>-</mo><mi mathvariant="bold-italic">E</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">X</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced><mfenced open="" close="}" separators="|"><mrow><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="bold-italic">Y</mi><mo>-</mo><mi mathvariant="bold-italic">E</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">Y</mi></mrow></mfenced></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995889&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995886&type= 54.52533722 5.50333309 ， <math display="block" id="M49"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">M</mi></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">X</mi><mo>,</mo><mi mathvariant="bold-italic">Y</mi></mrow></mfenced><mo>=</mo><mroot><mrow><msup><mrow><mfenced separators="|"><mrow><mi mathvariant="bold-italic">X</mi><mo>-</mo><mi mathvariant="bold-italic">Y</mi></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><msup><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mfenced separators="|"><mrow><mi mathvariant="bold-italic">X</mi><mo>-</mo><mi mathvariant="bold-italic">Y</mi></mrow></mfenced></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995895&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995892&type= 60.28266144 6.01133299 ， 其中： <math id="M50"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995901&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995898&type= 2.70933342 2.79399991 ， <math id="M51"><mi mathvariant="bold-italic">Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995907&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995904&type= 2.87866688 2.79399991 为两个特征向量， <math id="M52"><mi mathvariant="bold-italic">S</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995911&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995909&type= 2.37066650 2.79399991 为两组特征向量的协方差矩阵， <math id="M53"><mi mathvariant="bold-italic">E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995916&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995914&type= 2.62466669 2.79399991 为均值。从 式（9） 式（9） 中可以发现，马氏距离计算是建立在总体样本的基础上，即计算的是两个向量间的整体距离。相比欧式距离，马氏距离多了一个协方差矩阵的逆矩阵，能更准确的度量特征点之间的相似性。虽然增加了计算量，但马氏距离把方差归一化，使得特征之间的相似关系更加合理，匹配精度更高。为进一步提高算法在弱纹理显微图像上的匹配准确率，需要剔除掉误匹配点，因此采用随机抽样一致性（RANSAC） ［ 20 20 ］ 算法替代原SIFT算法中的比例阈值法，选择一组局域熵值高的特征点作为初始模型，用初始模型去测试所有的其它数据，如果某个点适用于估计的模型则认为它也是局内点，否则是局外点；然后，用所有假设的局内点去重新估计模型。算法通过 K 次迭代，可精确估计匹配模型参数。 2.3　实体显微镜场景下物体的三维重建 2 2 . 3 . 1　稀疏点云重建 3 利用基恩士VHX-6000可变倍镜头可将智能显微镜镜头调整到一个固定的角度，然后上下、前后、左右等多方向移动载物台，从不同视角拍摄立体样本获得图像序列。本文采用如文献［ 4 4 ］中的增量SfM方法重建物体的三维结构。增量SfM是具有迭代重建组件的顺序处理方法。首先，用本文算法对图像进行特征点提取与匹配，采用包含正确匹配特征点对最多的两视图作为重建种子，通过它们之间的匹配点对估计出本征矩阵，由本征矩阵采用SVD分解法计算出相机位姿。然后，依次将下一最佳匹配图像 <math id="M54"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995919&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995917&type= 4.82600021 3.72533321 （匹配点对数量最多）添加进模型迭代，重复估计相机位姿并对相机进行标定；同时将场景中匹配的点通过三角化来生成三维点，并计算出相机的运动轨迹和场景中物体的三维信息。最后，对所有已生成的三维点和已估计出的相机位姿使用光束平差法（Bundle Adjustment，BA）进行优化。BA结束，得到相机估计参数和场景几何信息，即稀疏的3D点云。 2.3.1.1　有序图像输入 4 由于增量SfM需要对所有图像依次进行匹配，用无序图像进行模型重建时由于图像的无序导致图像位姿的先验条件未知，在匹配环节存在多张图片之间的交叉匹配和多次交叉验证匹配点，所以计算量大，实时性差。为提高图像的匹配效率，采用有序图像序列作为输入。通常相邻拍摄的两张图像所包含的共同特征信息最多，也更加容易正确匹配。在采集图像时根据显微镜载物台移动的轨迹以及图像拍摄时间对所采集的物体不同视角图像添加标签，将图像根据载物台运行轨迹和时间的先后排列成一组顺序固定的图像序列（类似视频中的帧）。显微镜载物台工作距离较小，拍摄的相邻图片中两两之间物体信息的重合很多，包含的特征点信息最多；在特征匹配时使相邻的图片先进行特征匹配。在SfM算法选好初始的两张匹配图象时默认把与这两张图像相邻的图像作为下一最佳匹配图像 <math id="M55"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995924&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995921&type= 4.82600021 3.72533321 进行重建，依次将与上一张图像邻近的图像作为下一最佳输入进行迭代，这样所有图像只需添加匹配一次即可完成所有图像的重建。 2.3.1.2　三角化 4 SfM在图像正确匹配和估计得到相机参数之后，就可以将图像场景之间正确匹配的特征点通过三角化方法恢复为空间三维点，进而得到三维点云。三角化的方法如 图4 图4 所示。 在 图4 图4 中， <math id="M56"><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995936&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995933&type= 2.37066650 3.72533321 ， <math id="M57"><msub><mrow><mi>I</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995943&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995940&type= 2.37066650 3.72533321 为两幅图像， <math id="M58"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995952&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995947&type= 3.64066648 3.72533321 ， <math id="M59"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995956&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995955&type= 3.64066648 3.72533321 分别为两幅图像上匹配的特征点； <math id="M60"><msub><mrow><mi>O</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995959&type= 4.06400013 3.72533321 ， <math id="M61"><msub><mrow><mi>O</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995970&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995967&type= 4.06400013 3.72533321 分别为两幅图像拍摄视角时的相机中心，将每幅图像的相机中心与其特征点的连线延长在空间中交于点 <math id="M62"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995981&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995979&type= 2.45533323 2.79399991 ，则 <math id="M63"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995981&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995979&type= 2.45533323 2.79399991 点为图像上的点所恢复的世界坐标系下的三维点。得到三维点之后通过BA调整，过滤离群值，估计得到物体的三维点云。 2 . 3 . 2　稠密点云重建 3 SfM重建得到的点云模型为稀疏点云，只有大致的模型结构，缺少了很多细节部分，所以还需要将稀疏点云进行稠密化。多视图立体（MVS）是一种将SfM输出的稀疏点云稠密化的方法，MVS重建利用SfM算法输出的稀疏点云、相机参数及相机位姿，然后融合图像的深度图获得物体的稠密三维点云。但对于显微镜工作场景下拍摄的物体局部存在弱纹理的图像，由于表面灰度信息有限，传统MVS方法图像深度信息估计误差较大。因此，针对上述在显微镜应用场景中的物体稠密重建问题，利用CNN网络与MVS结合的方法来估计和预测采集的显微图像的深度图，进而使用深度图进行稠密重建。 为保证模型收敛，本文采用文献［ 21 21 ］提出的基于深度残差网络（ResNet-50） ［ 22 22 - 23 23 22-23 ］ 的全卷积神经网络对采集的显微图像序列进行深度估计和预测。在ResNet-50的基础上设置了反卷积层和上采样层逐步增加每层的输出大小，并在反卷积层输出后增加了激活函数（ReLu） ［ 24 24 ］ ，对输入图像进行同样比例大小的深度预测。通过比较全卷积神经网络预测的深度与MVS所得深度的绝对差值并设置阈值，将大于阈值的预测深度融合到MVS估计的深度图中得到改善的深度图，然后利用SfM得到的稀疏点云和相机的位姿信息与改善后的深度图恢复出物体的稠密点云。 用于预测图像深度的全卷积网络结构如 图5 图5 所示。为了增加系统的实时性并减少计算时内存的占用量，去掉了原ResNet-50中的平均池化层和全连接层部分，仅保留ResNet-50 的卷积层结构来提取图像中的特征信息，从而可以输出尺寸为 <math id="M64"><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995987&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32995985&type= 8.63599968 2.79399991 ，2 048通道的特征图，减少了计算参数，加速模型的训练，提高预测效率。 本文的研究旨在恢复显微镜应用场景中所拍摄物体的近似真实的三维结构。重建物体近似真实的三维结构是以正确估计图像深度为前提的。所以，为了尽可能正确地预测图像的深度信息，约束预测的图像深度值和真实值之间的误差。结合文献［ 21 21 ］采用平均平方误差作为损失函数，损失函数 <math id="M65"><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996047&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996044&type= 2.45533323 2.79399991 定义为： <math display="block" id="M66"><mi>L</mi><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced><mo>=</mo><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><msup><mrow><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>+</mo><mi>ε</mi></mrow></mfrac></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow></mrow><mrow><mi>m</mi><mi>n</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996009&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996006&type= 43.85733414 14.90133286 ， 其中：在图像 <math id="M67"><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996021&type= 7.11199999 4.74133301 处预测的深度值为 <math id="M68"><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996018&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996016&type= 3.13266683 4.57200003 ，在图像 <math id="M69"><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996021&type= 7.11199999 4.74133301 处真实深度值为 <math id="M70"><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996030&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996027&type= 2.45533323 3.72533321 ，图像包含的像素点数为 <math id="M71"><mi>m</mi><mo>×</mo><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996036&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996033&type= 9.56733322 2.79399991 ， <math id="M72"><mi>ε</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996041&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996038&type= 1.43933344 2.79399991 为常数。 <math id="M73"><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996047&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996044&type= 2.45533323 2.79399991 将预测深度图像素点的预测值和真实值之间的平均误差定义为损失，该损失函数对预测的深度值 <math id="M74"><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996049&type= 1.86266661 3.72533321 惩罚较严格，可以很好地减少显微镜载物台背景区域带来的深度误差影响，进一步约束了前景物体的深度误差。 3 实验结果与分析 1 本文的实验平台为基恩士VHX-6000高性能实体显微镜系统，以电子电路板上元件为实体标本采集的立体标本图像序列来验证本算法的可行性。实验PC平台配置为：系统为Ubuntu20.04.3LTS，CPU为英特尔Xeon E5-1630 V3，主频为3.70 GHz，内存为16 G，显卡为英伟达Quadro K2200，显存为4 G，硬盘为2 T固态硬盘。如 图1 图1 所示的基恩士VHX-6000智能显微镜可以通过人为转动手柄灵活调整显微镜物镜的观测角度，以物镜垂直载物台为原点可以任意左右倾斜0°~90°，并通过上下、旋转以及水平任意角度移动载物台实现对立体标本的多视角观测。在本文实验中将显微镜物镜向左调整倾斜60°，放大倍数设置为20倍，然后移动载物台采集了36张电路板上的电容的多视角图像序列。对图像根据载物台移动轨迹和采集时间进行排序，使其成为有序图像序列。采集的图像如 图6 图6 所示。 随机从拍摄的36张图像中选取2张图像进行图像匹配实验，选取的图片如 图7 图7 所示。将选取的2张图像经过本文的图像灰度化补偿算法进行预处理，然后与Harris和SIFT匹配算法经行实验比较，实验数据如 表1 表1 所示，三种匹配算法的实验结果图如 图8 图8 所示。 Matching algorithm Img_L feature_point Img_R feature_point Matching_point Matching_accuracy Time/s Harris 1 403 1 372 1 057 80.61% 6.02 SIFT 1 786 1 631 723 91.53% 11.64 Ours 850 927 392 94.82% 4.61 1;2;3; 可以发现，尽管其他算法能提取出较多的特征点，但本文算法在针对显微图像中弱纹理区域的匹配上具有明显优势。如 图8 图8 所示，本文算法在对电容壁和电容顶部弱纹理区域的特征点匹配中的误匹配较少，而其他算法存在明显的误匹配现象。如 表1 表1 ，本算法也具有更好的性能指标，原因是本文算法在用Harris提取出特征角点之后又利用熵值法对特征点进一步筛选，减少了后续特征点匹配过程的计算量，减少了运算时间；筛选出的包含丰富图像特征信息的点，以及在匹配环节采用马氏距离代替欧氏距离，可更好地计算弱纹理区域特征点之间的相似性，提高了匹配的准确率。匹配准确率相比SIFT算法提高了3.29%，时间比Harris算法减少了23.42%。 本文在稀疏重建环节改进了特征提取与匹配，将使用无序图像进行增量SfM重建改为使用有序图像重建。对 图6 图6 所示的36张图像进行稀疏重建并与SfM算法和OpenMVG算法进行实验比较，实验结果如 图9 图9 所示，实验数据如 表2 表2 所示。 Algorithm Num_image_matches Time/min Num_point_cloud OpenMVG 3 107 10.839 13 257 SFM 3 057 11.146 14 088 Ours 4 281 9.724 16 440 可以看到改进后的SfM重建结果具有更好的结构完整性，本文算法在电容壁处的弱纹理区域重建后的点云比较密集，本文算法相比SfM算法整体点云数量增加16.69%，相比OpenMVG算法重建时间节省了10.29%。 在使用本文深度预测网络模型进行深度预测前先对模型进行训练。本文使用基恩士-VHX6000超景深显微镜拍摄的宝石、电子元器件等不同颜色、形状、材质的立体标本的多视角显微图像构建的本地图像数据集，随机从中取出部分图像构成训练集和验证集，对深度预测网络进行监督训练。基恩士-VHX6000超景深显微镜具有3D测量功能可以同步扫描立体标本的深度信息生成深度图，即在拍摄立体标本多视角图像时可以同步扫描同一视角的深度图作为模型训练的输入图像，图像对应的深度图作为训练标签。模型的前半部分即卷积层部分使用ResNet50在公开数据集ImageNet ［ 25 25 ］ 上预训练好的权重参数作为初始化参数，模型训练时用AdaDelta优化训练效率 ［ 26 26 ］ ，通过批处理的随机梯度下降法优化网络参数，本文训练中batch size设置为4，迭代过程中采用了“早停”机制，即在迭代过程中观察每次迭代输出预测值与真实值的误差，当在验证集上预测值与真实值的误差不再明显变化时停止训练，此时损失函数 L 在0.217附近小幅波动、没有明显变化，说明模型收敛，完成本文模型的训练。 图10 图10 展示了部分预测结果，从预测的深度图可以看出立体标本“电容器”的具体形状，深度变化均匀，很好地预测了立体标本的深度。但不足之处在于，在场景背景处与“电容器”壁身弱纹理处存在噪声以及部分缺失，这在之后用MVS深度图进行修正并利用修正后的深度图恢复三维结构时进行了弥补。 通过以SfM稀疏重建阶段获得的物体稀疏点云和估计的场景几何参数为基础，用本文全卷积神经网络方法预测的图像深度和MVS估计的深度图相融合，以增强显微镜场景下对弱纹理区域的表征效果，重建出物体的稠密点云。将本文的稠密重建方法的重建效果与开源的三维建模系统COLMAP中的MVS方法相比较，估计的深度图如 图11 图11 所示，重建后的密集点云如 图12 图12 所示。 1,2; 在深度图估计方面，COLMAP中MVS方法估计出的深度图会受显微镜聚焦位置的影响，与场景中物体真实结构深度信息不一致。本文方法用全卷积神经网络预测的图像深度对MVS方法估计的深度图进行矫正，得到的深度图更加精确。在稠密点云方面，可以明显看到本文方法比COLMAP得到的稠密点云具有更好的结构完整性，在 图12 图12 中电容周身弱纹理区域的重建结构更加完整，重建得到的点云数量明显多于COLMAP。稠密重建实验数据如 表3 表3 所示。 Algorithm RMSE REL LOG 10 Time/min Num_point_cloud SSIM COLMAP 2.396 0.121 0.073 12.335 560 012 0.64 Ours 1.127 0.086 0.042 9.724 735 016 0.89 用均方根误差（ V RMSE ）、平均相对误差（ V REL ）和平均log10误差（ <math id="M75"><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">O</mi><msub><mrow><mi mathvariant="normal">G</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996179&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996176&type= 8.72066593 3.64066648 ）这3种常见的预测评价指标验证本文使用的全卷积神经网络模型预测深度的精确性，表示为： <math display="block" id="M76"><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi></mrow></msub><mo>=</mo><mroot><mrow><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow><mrow><mi>N</mi></mrow></mfrac></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996186&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996183&type= 37.76133347 14.22399998 ， <math display="block" id="M77"><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">E</mi><mi mathvariant="normal">L</mi></mrow></msub><mo>=</mo><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mfrac><mrow><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfrac></mrow></mrow><mrow><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996192&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996189&type= 30.98800087 14.30866718 ， <math display="block" id="M78"><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">O</mi><msub><mrow><mi mathvariant="normal">G</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub></mrow></msub><mo>=</mo><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mfenced open="|" close="|" separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mrow><mrow><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996198&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996195&type= 46.05867004 12.86933327 ， 其中： <math id="M79"><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996203&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996201&type= 2.62466669 4.57200003 为第 <math id="M80"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996221&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996218&type= 1.10066664 2.79399991 个像素点的真实深度， <math id="M81"><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996215&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996212&type= 2.96333337 3.72533321 为 <math id="M82"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996221&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996218&type= 1.10066664 2.79399991 个像素点的深度预测值， <math id="M83"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996227&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996224&type= 2.87866688 2.87866688 为图像像素点总数。可以发现与COLMAP的MVS算法相比，本算法在对包含了弱纹理区域的显微图像深度预测误差评价指标均更小。点云数目增加31.25%，整体重建时间节省了21.16%。 对重建得到的稠密点云进行模型化，使用泊松表面重建方法将点云网格化，用MeshLab软件对重建后的模型进行显示，实验结果如 图13 图13 所示。由于本文算法重建得到点云数量更多、点云更加稠密，最终得到的物体模型结构更加完整，细节效果更优。使用结构相似度（ V SSIM ） ［ 27 27 ］ 评价指标验证重建模型的结构完整性，表示为： 1;2; <math display="block" id="M84"><msub><mrow><mi>V</mi></mrow><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">M</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>u</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>u</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mo stretchy="false">(</mo><msubsup><mrow><mi>u</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>u</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><msubsup><mrow><mo>+</mo></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996255&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32996251&type= 64.68533325 9.48266602 . 由 表3 表3 所示，本文算法重建后模型的SSIM提升了39.06%。 为了对本文算法的鲁棒性 ［ 28 28 ］ 经行验证，将显微镜物镜以垂直载物台为原点分别倾斜0°、30°、60°，并选取不同材质和形状的物体进行稠密点云重建实验，实验结果如 图14 图14 所示。 从 图14 图14 中可以看出，在调整显微镜物镜不同的观测角度，以及采用不同材质的物体进行三维重建实验，本文算法都能够重建出结构完整性较好的稠密点云，具有很好的鲁棒性。 4 结 论 1 本文针对实体显微镜应用场景提出了一种对立体标本显微图像进行三维重建的算法。首先，将显微镜镜头固定角度，移动载物台拍摄立体标本的多视角图像，根据拍摄时间以及载物台移动坐标使得采集的图像为有序图像序列。然后，通过使用改进的Harris与SIFT相结合的特征提取与匹配算法，提升了算法对于立体标本显微图像在弱纹理区域特征信息的提取，提升了增量SfM算法性能，得到结构完整性更好的稀疏点云。最后，通过使用与深度残差网络相结合的全卷积神经网络对输入的图像进行深度估计和预测，将预测得到的深度信息通过阈值法与MVS深度图相融合，对MVS深度图进行修正，重建出物体的稠密点云，提升了重建结构完整性和点云数量。实验结果表明，本算法在显微镜应用场景下无需事先对显微镜镜头进行标定，只需固定显微镜镜头移动载物台采集立体标本的多视角图像进行重建。有效地解决了在显微镜观测场景下对立体标本局部放大观测时，存在的弱纹理区域三维重建效果不佳的问题。相比一些文献的方法，本文方法可以在实体显微镜应用场景下重建出物体结构完整性更好、更加稠密的三维点云，且具有很好的鲁棒性。 参考文献 CAO M W ， CAO L ， JIA W ， et al . Evaluation of local features for structure from motion ［J］. Multimedia Tools and Applications ， 2018 ， 77 （ 9 ）： 10979 - 10993 . doi: 10.1007/s11042-018-5864-1 http://dx.doi.org/10.1007/s11042-018-5864-1 Evaluation of local features for structure from motion WU C . VisualSfM： A visual structure from motion system ［J］. http：//www.cs.washington.edu/homes/ccwu/vsfm ， 2011 . VisualSfM： A visual structure from motion system MOULON P ， MONASSE P ， PERROT R ， et al . OpenMVG： open multiple view geometry ［C］. Reproducible Research in Pattern Recognition ， 2017 . doi: 10.1007/978-3-319-56414-2_5 http://dx.doi.org/10.1007/978-3-319-56414-2_5 OpenMVG： open multiple view geometry SCHÖNBERGER J L ， FRAHM J M . Structure-from-motion revisited ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 4104 - 4113 . doi: 10.1109/cvpr.2016.445 http://dx.doi.org/10.1109/cvpr.2016.445 Structure-from-motion revisited FURUKAWA Y ， AccuratePONCE J. ， dense ， and robust multiview stereopsis ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2010 ， 32 （ 8 ）： 1362 - 1376 . doi: 10.1109/tpami.2009.161 http://dx.doi.org/10.1109/tpami.2009.161 IEEE Transactions on Pattern Analysis and Machine Intelligence 蒋华强 ， 蔡勇 ， 张建生 ， 等 . 基于改进SFM的三维重建算法研究 ［J］. 电子技术应用 ， 2019 ， 45 （ 2 ）： 88 - 92 . 基于改进SFM的三维重建算法研究 JIANG H Q ， CAI Y ， ZHANG J S ， et al . Research on 3D reconstruction algorithm based on improved SFM ［J］. Application of Electronic Technique ， 2019 ， 45 （ 2 ）： 88 - 92 . （in Chinese） Research on 3D reconstruction algorithm based on improved SFM 李敏 . 基于非朗伯光度立体的三维重建研究 ［D］. 杭州 ： 浙江大学 ， 2020 . 基于非朗伯光度立体的三维重建研究 LI M . Non-lambertian photometric stereo for 3 D reconstruction ［D］. Hangzhou ： Zhejiang University ， 2020 . （in Chinese） Non-lambertian photometric stereo for 3D reconstruction YAO Y ， LUO Z X ， LI S W ， et al . MVSNet： depth inference for unstructured multi-view stereo ［C］. Computer Vision-ECCV 2018 ， 2018 . doi: 10.1007/978-3-030-01237-3_47 http://dx.doi.org/10.1007/978-3-030-01237-3_47 MVSNet： depth inference for unstructured multi-view stereo SCHÖNBERGER J L ， ZHENG E L ， FRAHM J M ， et al . Pixelwise view selection for unstructured multi-view stereo ［C］. Computer Vision-ECCV 2016 ， 2016 . doi: 10.1007/978-3-319-46487-9_31 http://dx.doi.org/10.1007/978-3-319-46487-9_31 Pixelwise view selection for unstructured multi-view stereo CHEN R ， HAN S F ， XU J ， et al . Point-based multi-view stereo network ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 272，2019 ， Seoul， Korea （South）. IEEE ， 2019 ： 1538 - 1547 . doi: 10.1109/iccv.2019.00162 http://dx.doi.org/10.1109/iccv.2019.00162 Point-based multi-view stereo network YAO Y ， LUO Z X ， LI S W ， et al . Recurrent MVSNet for high-resolution multi-view stereo depth inference ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 5520 - 5529 . doi: 10.1109/cvpr.2019.00567 http://dx.doi.org/10.1109/cvpr.2019.00567 Recurrent MVSNet for high-resolution multi-view stereo depth inference GU X D ， FAN Z W ， ZHU S Y ， et al . Cascade cost volume for high-resolution multi-view stereo and stereo matching ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 2492 - 2501 . doi: 10.1109/cvpr42600.2020.00257 http://dx.doi.org/10.1109/cvpr42600.2020.00257 Cascade cost volume for high-resolution multi-view stereo and stereo matching 张庆鹏 ， 曹宇 . 室内场景下弱纹理物体三维重建算法的研究 ［J］. 激光与光电子学进展 ， 2021 ， 58 （ 8 ）： 0810017 . doi: 10.3788/lop202158.0810017 http://dx.doi.org/10.3788/lop202158.0810017 室内场景下弱纹理物体三维重建算法的研究 ZHANG Q P ， CAO Y . Research on three-dimensional reconstruction algorithm of weak textured objects in indoor scenes ［J］. Laser & Optoelectronics Progress ， 2021 ， 58 （ 8 ）： 0810017 . （in Chinese） . doi: 10.3788/lop202158.0810017 http://dx.doi.org/10.3788/lop202158.0810017 Research on three-dimensional reconstruction algorithm of weak textured objects in indoor scenes 阳兰 ， 胡立坤 ， 吴浩楠 . 融合彩色和光照信息的尺度不变特征变换图像匹配算法 ［J］. 广西大学学报（自然科学版） ， 2018 ， 43 （ 6 ）： 2197 - 2205 . 融合彩色和光照信息的尺度不变特征变换图像匹配算法 YANG L ， HU L K ， WU H N . Scale invariant feature transform image matching algorithm combining color and exposure information ［J］. Journal of Guangxi University （Natural Science Edition） ， 2018 ， 43 （ 6 ）： 2197 - 2205 . （in Chinese） Scale invariant feature transform image matching algorithm combining color and exposure information HARRIS C ， STEPHENS M . A combined corner and edge detector ［C］. Proceedings ofthe Alvey Vision Conference 1988. Manchester. Alvey Vision Club ， 1988 . doi: 10.5244/c.2.23 http://dx.doi.org/10.5244/c.2.23 A combined corner and edge detector LOWE D G . Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision ， 2004 ， 60 （ 2 ）： 91 - 110 . doi: 10.1023/b:visi.0000029664.99615.94 http://dx.doi.org/10.1023/b:visi.0000029664.99615.94 Distinctive image features from scale-invariant keypoints 尚明姝 ， 王克朝 . 一种改进的Harris与SIFT算子结合的图像配准算法 ［J］. 微电子学与计算机 ， 2018 ， 35 （ 6 ）： 132 - 134， 140 . 一种改进的Harris与SIFT算子结合的图像配准算法 SHANG M S ， WANG K C . Advanced image registration method based on Harris and SIFT algorithm ［J］. Microelectronics & Computer ， 2018 ， 35 （ 6 ）： 132 - 134， 140 . （in Chinese） Advanced image registration method based on Harris and SIFT algorithm 卢鹏 ， 刘楷贇 ， 邹国良 ， 等 . 基于多特征融合和卷积神经网络的无参考图像质量评价 ［J］. 液晶与显示 ， 2022 ， 37 （ 1 ）： 66 - 76 . doi: 10.37188/CJLCD.2021-0175 http://dx.doi.org/10.37188/CJLCD.2021-0175 基于多特征融合和卷积神经网络的无参考图像质量评价 LU P ， LIU K Y ， ZOU G L ， et al . No reference image quality assessment based on fusion of multiple features and convolutional neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 1 ）： 66 - 76 . （in Chinese） . doi: 10.37188/CJLCD.2021-0175 http://dx.doi.org/10.37188/CJLCD.2021-0175 No reference image quality assessment based on fusion of multiple features and convolutional neural network 鲍文霞 ， 余国芬 ， 胡根生 ， 等 . 基于马氏距离谱特征的图像匹配算法 ［J］. 华南理工大学学报（自然科学版） ， 2017 ， 45 （ 10 ）： 114 - 120， 128 . doi: 10.1109/cisp-bmei.2017.8302019 http://dx.doi.org/10.1109/cisp-bmei.2017.8302019 基于马氏距离谱特征的图像匹配算法 BAO W X ， YU G F ， HU G S ， et al . Image matching algorithm based on mahalanobis-distance spectral features ［J］. Journal of South China University of Technology （Natural Science Edition） ， 2017 ， 45 （ 10 ）： 114 - 120， 128 . （in Chinese） . doi: 10.1109/cisp-bmei.2017.8302019 http://dx.doi.org/10.1109/cisp-bmei.2017.8302019 Image matching algorithm based on mahalanobis-distance spectral features 彭杰 ， 李磊民 ， 石繁荣 . 无阈值改进随机抽样一致性点云配准算法 ［J］. 制造业自动化 ， 2020 ， 42 （ 10 ）： 72 - 76 . doi: 10.3969/j.issn.1009-0134.2020.10.016 http://dx.doi.org/10.3969/j.issn.1009-0134.2020.10.016 无阈值改进随机抽样一致性点云配准算法 PENG J ， LI L M ， SHI F R . No-threshold improved random sample consensus point cloud registration algorithm ［J］. Manufacturing Automation ， 2020 ， 42 （ 10 ）： 72 - 76 . （in Chinese） . doi: 10.3969/j.issn.1009-0134.2020.10.016 http://dx.doi.org/10.3969/j.issn.1009-0134.2020.10.016 No-threshold improved random sample consensus point cloud registration algorithm 陶易之 . 基于增量式运动恢复结构的弱纹理目标三维重建 ［D］. 武汉 ： 武汉大学 ， 2018 ： 31 - 45 . 基于增量式运动恢复结构的弱纹理目标三维重建 TAO Y Z . 3 D reconstruction of Texture-less Object Using Incremental Structure from Motion ［D］. Wuhan ： Wuhan University ， 2018 ： 31 - 45 . （in Chinese） 3D reconstruction of Texture-less Object Using Incremental Structure from Motion HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90 Deep residual learning for image recognition HE K M ， ZHANG X Y ， REN S Q ， et al . Identity mappings in deep residual networks ［C］. Computer Vision-ECCV 2016 ， 2016 . doi: 10.1007/978-3-319-46493-0_38 http://dx.doi.org/10.1007/978-3-319-46493-0_38 Identity mappings in deep residual networks 魏丙财 ， 张立晔 ， 孟晓亮 ， 等 . 基于深度残差生成对抗网络的运动图像去模糊 ［J］. 液晶与显示 ， 2021 ， 36 （ 12 ）： 1693 - 1701 . 基于深度残差生成对抗网络的运动图像去模糊 WEI B C ， ZHANG L Y ， MENG X L ， et al . Motion image deblurring based on depth residual generative adversarial network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 12 ）： 1693 - 1701 . （in Chinese） Motion image deblurring based on depth residual generative adversarial network DENG J ， DONG W ， SOCHER R ， et al . ImageNet： a large-scale hierarchical image database ［C］. 2009 IEEE Conference on Computer Vision and Pattern Recognition . 2025，2009 ， Miami ， FL， USA . IEEE ， 2009 ： 248 - 255 . doi: 10.1109/cvpr.2009.5206848 http://dx.doi.org/10.1109/cvpr.2009.5206848 ImageNet： a large-scale hierarchical image database ZEILER M D . ADADELTA： an adaptive learning rate method ［J］. arXiv prepront arXiv： 1212.5701 ， 2012 . ADADELTA： an adaptive learning rate method WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1109/tip.2003.819861 http://dx.doi.org/10.1109/tip.2003.819861 Image quality assessment： from error visibility to structural similarity 刘杰 ， 游品鸿 ， 占建斌 ， 等 . 改进SIFT快速图像拼接和重影优化 ［J］. 光学 精密工程 ， 2020 ， 28 （ 9 ）： 2076 - 2084 . doi: 10.37188/OPE.20202809.2076 http://dx.doi.org/10.37188/OPE.20202809.2076 改进SIFT快速图像拼接和重影优化 LIU J ， YOU P H ， ZHAN J B ， et al . Improved SIFT fast image stitching and ghosting optimization algorithm ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 9 ）： 2076 - 2084 . （in Chinese） . doi: 10.37188/OPE.20202809.2076 http://dx.doi.org/10.37188/OPE.20202809.2076 Improved SIFT fast image stitching and ghosting optimization algorithm 10.37188/OPE.20223014.1669 TP391.4 A 1004-924X（2022）14-1669-13 张宝祥,玉振明,杨秋慧.基于Harris-SIFT算法和全卷积深度预测的显微镜成像的三维重建研究[J].光学精密工程,2022,30(14):1669-1681. 张宝祥,玉振明,杨秋慧.基于Harris-SIFT算法和全卷积深度预测的显微镜成像的三维重建研究[J].光学精密工程,2022,30(14):1669-1681. ZHANG Baoxiang,YU Zhenming,YANG Qiuhui.Research on 3D reconstruction of microscope imaging based on Harris-SIFT algorithm and full convolution depth prediction[J].Optics and Precision Engineering,2022,30(14):1669-1681. ZHANG Baoxiang,YU Zhenming,YANG Qiuhui.Research on 3D reconstruction of microscope imaging based on Harris-SIFT algorithm and full convolution depth prediction[J].Optics and Precision Engineering,2022,30(14):1669-1681. 广西科技重大专项创新驱动重大专项项目（No.桂科AA18118036）；国家自然科学基金青年基金项目（No.62002268） 2022-03-04 2022-03-28 2022-07-25 2022-08-08 光学精密工程 14 30