광도 입체 딥러닝에서 물체 표면 법선 벡터 재구성 과정 중 표면 텍스처의 고주파 정보 손실로 인해 재구성 정확도가 크게 편차 나는 문제를 해결하기 위해 다층 다변수 특성 가중치 적응 융합 3차원 재구성 네트워크(MMF-Net)를 제안하였다. 네트워크는 주로 PS-FCN을 기준 모델로 사용하며, 대칭 인코더-디코더 구조를 도입하여 네트워크의 학습 및 특성 표현 능력을 강화하고, 서로 다른 계층 간 특성 통합 능력을 향상시켰다; 독립 계층 간 가중치 적응 조절이 가능한 다변수 합성곱 층을 설계하여 추가 학습 가능한 가중치를 더해 형태 정보와 텍스처 정보를 모두 고려하고, 표면 텍스처의 세부 변화 정보를 더 잘 포착하도록 하여 고주파 정보가 밀집한 환경에서 네트워크의 성능을 더욱 안정적이고 정확하게 만들었다; 중간 계층 특성을 후속 계층과 연결하는 보조 스킵 연결 구조를 추가하여 물체의 고주파 정보를 보존하고 저주파 정보를 강화하여 고주파 및 저주파 특성 정보를 융합 적용할 수 있게 하였다. DiLiGenT 벤치마크 데이터셋을 활용한 관련 테스트를 실시하였으며, 실험 결과 MMF-Net은 평균 MAE 6.94°를 달성하여 PS-FCN(Norm)의 7.39° 대비 6% 향상되었고, 고주파 정보를 포함한 두 개 물체의 평균 재구성 오차는 11.03°로 기존 FUPS-Net의 12.52° 대비 12% 개선되었다. MMF-Net은 광도 입체 물체 표면의 저주파 및 고주파 정보 효과적 획득을 구현하여 물체 표면 법선을 기반으로 한 3D 고정밀 재구성에 참고가 된다.

딥러닝;광도 입체 비전;다변수 합성곱;특성 융합;적응 가중치