光度ステレオデプス学習におけるオブジェクト表面ノーマル再構築時の表面テクスチャの高周波情報の損失により再構築精度に大きなバイアスが生じる問題を解決するために、多層多元特徴重み自動融合3D再構築ネットワーク（MMF-Net）を提案します。ネットワークは主にPS-FCNをベースモデルとし、対称的なエンコード・デコード構造を導入し、ネットワークの学習と特徴表現能力を向上させ、さまざまな階層間の特徴融合能力を高めました。独立した層間重み自動調整の多元畳み込み層を設計し、追加のトレーニング可能な重みを増やすことで形状情報とテクスチャ情報を兼ね備えつつ、表面テクスチャの細部の変化情報をより良く捉えます。その結果、ネットワークは高周波情報が密集したシーンでより安定した精度を発揮します。また、ジャンプ接続構造を補助し、中間層の特徴を後続層に接続し、オブジェクトの高周波情報を保存し、低周波情報を強化し、オブジェクトの高周波および低周波の特徴情報の融合的な適用を実現します。 DiLiGenT基準データセットを使用して関連テストを行った結果、MMF-Netは平均MAEが6.94°で、PS-FCN（Norm）の7.39°に比べて6％向上し、高周波情報を含む2つのオブジェクトの平均再構築誤差は11.03°で、先行方法FUPS-Netの12.52°に比べて12％向上しました。MMF-Netは光度ステレオオブジェクト表面低周波情報と高周波情報の効率的な取得を実現し、オブジェクト表面法線を基盤とする3D高精度再構築に参考情報を提供します。

ディープラーニング;光度ステレオビジョン;多元畳み込み;特徴融合;自動重み