フォトメトリックステレオの深層学習において、物体表面の法線ベクトル再構成過程で表面テクスチャの高周波情報が失われることにより再構成精度の大きな偏差が生じる問題を解決するために、多層多元特徴重み自適応融合三次元再構成ネットワーク（MMF-Net）を提案した。本ネットワークは主にPS-FCNを基準モデルとして用い、対称型エンコーダ・デコーダ構造を導入することで、ネットワークの学習および特徴表現能力を強化し、異なる階層間の特徴統合能力を向上させた。独立した層間の重みを自適応調整する多元畳み込み層を設計し、追加の学習可能な重みを加えることで形状情報とテクスチャ情報を兼ね備え、表面テクスチャの細部変化情報をより良く捉えることができ、高周波情報が密集するシーンでのネットワークの性能をより安定かつ正確にした。中間層特徴を後続階層に跨るスキップ接続構造を補助的に追加し、物体の高周波情報を保持し、低周波情報を強化することで、高低周波特徴情報の融合的応用を実現している。DiLiGenTベンチマークデータセットを用いて関連した評価を実施した結果、MMF-Netは平均MAE6.94°を達成し、PS-FCN（Norm）の7.39°と比べて6％の改善を示し、高周波情報を含む2つの物体の平均再構成誤差が11.03°であり、従来手法FUPS-Netの12.52°と比べて12％の向上を示した。MMF-Netはフォトメトリックステレオにおける物体表面の低周波および高周波情報の効果的な取得を実現し、物体表面法線に基づく高精度三次元再構成の指針を提供する。

深層学習;フォトメトリックステレオ;多元畳み込み;特徴融合;適応重み