Для решения проблемы больших отклонений точности восстановления поверхности объектов в процессе восстановления векторов нормали поверхности объекта методами глубокого обучения стереофотометрии была предложена сеть многослойного многомерного адаптивного слияния признаков трехмерного восстановления. Основная задача сети-это использование PS-FCN в качестве базовой модели, внедрение симметричной структуры кодирования-декодирования для укрепления обучения сети и представление возможностей признаков, повышение способности объединения признаков между различными уровнями; проектирование адаптивного многомерного сверточного слоя с независимой настройкой весов между слоями, путем увеличения дополнительных обучаемых весов, учитывающих формовую и текстурную информацию и способность лучше улавливать детальные изменения текстуры поверхности, что делает сеть более стабильной и точной в сценах с плотной высокочастотной информацией; помощь в укреплении связей с пропускными звеньями, путем пропущенных связей между промежуточными признаками и последующими уровнями, сохранение высокочастотной информации объектов и укрепление низкочастотной информации для реализации приложений объединения высокочастотной и низкочастотной информации объектов. Проведены соответствующие тесты с использованием стандартного набора данных DiLiGenT, и результаты эксперимента показали, что MMF-Net может достичь средней ошибки MAE в 6.94°, что является улучшением на 6% по сравнению с PS-FCN (Norm) в 7.39°. Средняя ошибка восстановления для двух объектов, содержащих информацию высокой частоты, составляет 11.03°, что улучшение на 12% по сравнению с предыдущим методом FUPS-Net в 12.52°. MMF-Net обеспечивает эффективное получение информации о низкочастотной и высокочастотной поверхностей объектов методами глубокого обучения по стереофотометрии, что служит ссылкой для высокоточного трехмерного восстановления объектов на основе векторов нормали поверхности объекта.

deep learning;photometric stereo vision;multivariate convolution;feature fusion;adaptive weighting