빛 감도 기반의 입체 깊이 학습에서 표면 텍스처의 고주파 정보 손실로 인해 재구 정확도가 크게 차이 나는 문제를 해결하기 위해 다층 다원 특징 가중치 자동 통합 3D 재구 네트워크 (MMF-Net)를 제안합니다. 네트워크는 주로 PS-FCN을 기준 모델로 사용하며 대칭 코딩-디코딩 구조를 도입하여 네트워크의 학습 및 특징 표현 능력을 향상시켰으며 다른 계층 간의 특징 통합 능력을 향상시켰습니다. 독립층 간 가중치 자동 조절이 가능한 다원 합성곱층을 설계하였고 추가 훈련 가능한 가중치를 늘림으로써 형상 정보와 텍스처 정보를 고려하고 표면 텍스처의 세부 변화 정보를 더 잘 포착하도록 하였습니다. 그 결과 네트워크는 고주파 정보가 밀집된 장면에서 보다 안정적이고 정확한 성능을 보입니다. 또한 점프 연결 구조를 보조하여 중간층 특징을 후속 계층에 연결하여 물체의 고주파 정보를 보존하고 저주파 정보를 강화하며 물체의 고주파 및 저주파 특징 정보의 통합 적용을 실현합니다. DiLiGenT 기준 데이터 세트를 사용하여 관련 테스트를 진행한 결과 MMF-Net은 평균 MAE가 6.94°로 PS-FCN (Norm)의 7.39° 대비 6% 향상되었으며 고주파 정보를 포함한 두 장의 물체의 평균 재구 오차는 11.03°로 이전 방법인 FUPS-Net의 12.52° 대비 12% 향상되었습니다. MMF-Net은 빛 감도 기반 객체 표면 저주파 정보와 고주파 정보의 효과적 획득을 실현하여 물체의 표면 법선을 기반으로 한 3D 고정밀 재구에 참고 자료 제공합니다.

딥 러닝;빛 감도 입체 시각;다원 합성곱;특징 통합;자동 가중치