Para resolver el problema de la pérdida de información de alta frecuencia de las texturas superficiales en el proceso de reconstrucción de los vectores normales de la superficie de los objetos mediante el aprendizaje profundo estereofotométrico, se propone una red de reconstrucción tridimensional con fusión adaptativa de características multinivel (MMF-Net). La red utiliza principalmente el modelo base PS-FCN, introduciendo una estructura de codificación-decodificación simétrica para fortalecer el aprendizaje de la red y la capacidad de representación de características, mejorando la capacidad de integración de características entre diferentes niveles; diseño de una capa de convolución multinivel con ajuste automático de pesos independientes entre capas, aumentando pesos de entrenamiento adicionales, teniendo en cuenta la información de forma y textura y la capacidad de capturar mejor los detalles de los cambios de textura de la superficie, lo que hace que la red sea más estable y precisa en escenas con información de alta frecuencia densa; refuerzo de las conexiones con saltos, mediante conexiones saltadas entre características intermedias y niveles posteriores, preservando la información de alta frecuencia de los objetos y reforzando la información de baja frecuencia para realizar aplicaciones de integración de información de alta y baja frecuencia de los objetos. Se realizaron pruebas con el conjunto de datos de referencia DiLiGenT, y los resultados experimentales mostraron que MMF-Net puede lograr un MAE promedio de 6,94°, un avance del 6% en comparación con PS-FCN (Norm) en 7,39°. El error promedio de reconstrucción para dos objetos que contienen información de alta frecuencia es de 11,03°, un avance del 12% en comparación con el método anterior FUPS-Net en 12,52°. MMF-Net permite obtener información eficaz sobre las superficies de alta y baja frecuencia de los objetos mediante el aprendizaje profundo estereofotométrico, lo que sirve de referencia para la reconstrucción tridimensional de alta precisión de los objetos sobre la base de los vectores normales de la superficie de los objetos.

deep learning;photometric stereo vision;multivariate convolution;feature fusion;adaptive weighting