Pour résoudre le problème de la perte d'informations de haute fréquence des textures de surface dans le processus de reconstruction des vecteurs normaux de la surface des objets par l'apprentissage profond stéréo-photométrique, nous proposons un réseau de reconstruction tridimensionnelle à fusion adaptative de caractéristiques multi-niveaux (MMF-Net). Le réseau utilise principalement le modèle de base PS-FCN, en introduisant une structure d'encodage-décodage symétrique pour renforcer l'apprentissage du réseau et la capacité de représentation des caractéristiques, améliorant la capacité d'intégration des caractéristiques entre différents niveaux ; conception d'une couche de convolution multi-niveaux à ajustement automatique des poids indépendants entre les couches, en augmentant des poids d'entraînement supplémentaires, tenant compte des informations de forme et de texture et la capacité à mieux capturer les détails des changements de texture de surface, rendant le réseau plus stable et plus précis dans des scènes à informations haute fréquence denses ; renforcement des connexions avec sauts, par des connexions sautées entre des caractéristiques intermédiaires et des niveaux suivants, préservation des informations haute fréquence des objets et renforcement des informations basse fréquence pour réaliser des applications d'intégration d'informations hautes et basses fréquences des objets. Des tests ont été réalisés avec l'ensemble de données de référence DiLiGenT, et les résultats expérimentaux ont montré que MMF-Net peut atteindre une MAE moyenne de 6,94°, soit une amélioration de 6% par rapport à PS-FCN (Norm) à 7,39°. L'erreur de reconstruction moyenne pour deux objets contenant des informations haute fréquence est de 11,03°, une amélioration de 12% par rapport à la méthode précédente FUPS-Net à 12,52°. MMF-Net permet d'obtenir efficacement des informations sur les surfaces haut et basse fréquence des objets par stéréo-photométrie d'apprentissage profond, servant de référence à la reconstruction tridimensionnelle de haute précision des objets sur la base des vecteurs normaux de surface des objets.

deep learning;photometric stereo vision;multivariate convolution;feature fusion;adaptive weighting