宝石、鉱物、金属サンプルなどの立体標本を顕微鏡の局所拡大観察時における弱いテクスチャや反射光といった問題に対して、本論文では顕微鏡応用場面に適した特徴抽出に基づく多視点立体3次元再構築アルゴリズムを提案する。顕微鏡レンズの角度を固定し、ステージを移動させて立体標本を多角度撮影し画像シーケンスを取得する。HarrisとSIFTアルゴリズムの利点を組み合わせ、もともとのSFM手法でのSIFTアルゴリズムをHarris-SIFTアルゴリズムに改良して特徴抽出とマッチングを行い、弱テクスチャ領域における顕微鏡画像の特徴情報抽出性能を向上させた。深層残差ネットワークと組み合わせた全畳み込みニューラルネットワークを用いて入力画像の深度推定と予測を行い、予測深度情報をしきい値法によりMVS深度図と融合してMVS深度図を補正し、物体の密な点群を再構築することで再構築構造の完全性を高め、より多くの点群数を抽出した。Keyence VHX-6000デジタル顕微鏡システムでの実験により、本アルゴリズムは従来のMVS再構築アルゴリズムに比べて31.25%多い点群数を実現し、全体の再構築時間を21.16%短縮したことを示した。

顕微鏡;3次元再構築;特徴検出;深度推定;MVS深度図