Для решения проблемы потери высокочастотной информации текстуры поверхности, что приводит к значительным отклонениям в точности реконструкции нормалей поверхности объектов в глубоком обучении фотометрического стерео, была предложена многослойная многокомпонентная сеть адаптивного взвешивания признаков для 3D-реконструкции (MMF-Net). Сеть в основном использует PS-FCN в качестве базовой модели, внедряет симметричную структуру кодировщика-декодировщика для усиления возможностей обучения и выражения признаков сети, улучшая интеграцию признаков между различными уровнями; разработан многокомпонентный сверточный слой с адаптивной регулировкой весов между независимыми слоями, добавляющий дополнительные обучаемые веса, учитывающие как форму, так и текстуру, и лучше захватывающий изменения деталей текстуры поверхности, что делает работу сети более стабильной и точной в сценах с плотной высокочастотной информацией; добавлены вспомогательные сквозные соединения, соединяющие признаки промежуточных слоев с последующими уровнями для сохранения высокочастотной информации объектов и усиления низкочастотной, что позволяет эффективно сочетать характеристики высокого и низкого частот. Проведены тесты на эталонном наборе данных DiLiGenT, результаты показывают, что MMF-Net достигает среднеквадратичной ошибки MAE 6.94°, что на 6% лучше по сравнению с 7.39° у PS-FCN (Norm), а средняя ошибка реконструкции для двух объектов с высокочастотной информацией составила 11.03°, что на 12% лучше по сравнению с предыдущим методом FUPS-Net с 12.52°. MMF-Net эффективно извлекает низкочастотную и высокочастотную информацию поверхности объекта для фотометрического стерео, что служит справочным решением для высокоточной 3D-реконструкции на основе нормалей поверхности объекта.

глубокое обучение;фотометрическое стерео;многокомпонентная свёртка;слияние признаков;адаптивный вес