Um das Problem des Informationsverlustes hochfrequenter Oberflächenstrukturen bei der Wiederherstellung der Oberflächennormalenvektoren von Objekten durch die tiefen photometrischen Stereo-Lernalgorithmen zu lösen, schlagen wir ein Netzwerk für die dreidimensionale adaptive Fusion von mehrschichtigen Merkmalen (MMF-Net) vor. Das Netzwerk verwendet hauptsächlich das Basismodell PS-FCN und führt eine symmetrische Codierungs-Entzerrungsstruktur ein, um das Lernen des Netzwerks und die Merkmalsrepräsentationsfähigkeiten zu stärken, wodurch die Fähigkeit zur Integration von Merkmalen zwischen verschiedenen Ebenen verbessert wird; Design einer Mehrschichtigen Konvolutionschicht mit unabhängiger Anpassung der Gewichte zwischen den Schichten, durch Erhöhung zusätzlicher trainierbarer Gewichte, Berücksichtigung von Form- und Texturinformationen und der Fähigkeit, Details von Oberflächenstrukturen besser zu erfassen, was dazu führt, dass das Netzwerk in Szenen mit dichter hochfrequenter Information stabiler und genauer ist; Verstärkung der Verbindungen mit Sprüngen, durch übersprungene Verbindungen zwischen Zwischenmerkmalen und nachfolgenden Ebenen, Erhaltung hochfrequenter Informationen von Objekten und Verstärkung niederfrequenter Informationen zur Realisierung von Anwendungen zur Integration von hoch- und niederfrequenten Informationen von Objekten. Tests wurden mit dem Referenzdatensatz DiLiGenT durchgeführt, und die experimentellen Ergebnisse zeigten, dass MMF-Net einen durchschnittlichen MAE von 6,94° erreichen kann, was eine Verbesserung um 6% gegenüber PS-FCN (Norm) mit 7,39° bedeutet. Der durchschnittliche Rekonstruktionsfehler für zwei Objekte mit hochfrequenter Information beträgt 11,03°, was eine Verbesserung um 12% gegenüber der früheren Methode FUPS-Net mit 12,52° darstellt. MMF-Net ermöglicht ein effektives Erfassen von Informationen über Hoch- und Niederfrequenzflächen von Objekten durch die tiefen lernalgorithmen für die fotometrische Stereo-Lernanwendung und dient als Referenz für die hochpräzise dreidimensionale Wiederherstellung von Objekten auf der Grundlage von Oberflächennormalvektoren von Objekten.

deep learning;photometric stereo vision;multivariate convolution;feature fusion;adaptive weighting