분산 반사광과 정반사광을 분리하는 편집 가능한 신경 텍스처 매핑

ZENG Sheng ,  

WU Xiangjuan ,  

GENG Guohua ,  

摘要

3D 객체의 기하학과 텍스처를 분리하는 데이터 기반 딥러닝 방법은 외관 편집이 가능하지만, 국부적인 텍스처 편집 후 네트워크를 통한 렌더링 뷰의 충실도는 여전히 부족하며, 암묵적 신경망이 엔드투엔드로 뷰 렌더링을 수행하기 때문에 제어 가능성이 약합니다. 전통적인 방법처럼 객체의 외관을 유연하게 편집하기 위해 분산 반사광과 정반사광을 분리하는 편집 가능한 신경 텍스처 매핑 방법을 제안합니다. 먼저, 물리 기반 조명 모델에 근거하여 분산 반사, 정반사 및 텍스처 매핑의 세 가지 독립 단계 학습 프레임워크를 구축합니다. 다음으로, 구면 공간 샘플링을 기반으로 신경 복사장이 구성되고, 분산 요소 손실 함수를 설정하여 실제 데이터 감독 학습과 함께 분산 조명 에너지 분포를 학습합니다. 그 후, 3D 가우스 스플래시 기반 신경 껍질 네트워크 방법은 다중 해상도 해시 인코딩 가능한 색상 정보를 사용하며, 분산 성분을 추가한 후 실제 이미지 감독 학습으로 시점 관련 정반사 모델링을 수행합니다. 마지막으로, 순환 일관성 텍스처 매핑 네트워크를 사용하여 색상 공간과 독립적인 위치에서 명시적인 2D 텍스처를 얻고, 시점과 독립적인 분산 색상 성분을 텍스처 맵에 일대일 대응시켜 편집된 텍스처 이미지의 역연산 신경 텍스처를 실현합니다. 실험 결과, DTU 공용 데이터셋에서 최첨단 편집 가능한 텍스처 NeuTex 및 Texture-GS 방법과 비교하여 새로운 시점 합성 테스트셋에서 정량 지표인 피크 신호 대 잡음비가 평균 5.6% 향상되었으며, 지각적 이미지 손실은 평균 18% 감소했고, NeRFSyn 데이터셋에서 구조적 유사성도 우수하며, 명시적 텍스처 편집 후 신경망을 통한 다중 시점 뷰 렌더링 시 더욱 선명해졌습니다. 본 방법은 신경 텍스처의 구축과 제어 가능한 편집을 구현하여 2D 텍스처 상에서 신경 암시적 표현 3D 모델의 외관을 유연하게 명시적으로 수정할 수 있으며, 다중 시점 외관 일관성도 보장합니다.

关键词

물리 기반 렌더링;신경 복사장;3D 가우스 스플래시;텍스처 매핑

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website