Mapeamento de textura neural editável que desacopla reflexão difusa e especular

ZENG Sheng ,  

WU Xiangjuan ,  

GENG Guohua ,  

摘要

Métodos de aprendizado profundo impulsionados por dados que desacoplam a geometria e a textura de objetos tridimensionais podem realizar edição de aparência, mas a fidelidade das visualizações renderizadas pela rede após a edição local da textura ainda é insuficiente, e devido às redes neurais implícitas que realizam renderização de visualizações de ponta a ponta, o controle sobre a renderização ainda é fraco. Para permitir a edição flexível da aparência do objeto, como nos métodos tradicionais, propõe-se um método de mapeamento de textura neural editável que desacopla a reflexão difusa e especular. Primeiramente, um framework de aprendizado de três estágios independentes é construído com base em um modelo de iluminação física para reflexão difusa, reflexão especular e mapeamento de textura. Em seguida, um campo de radiação neural é construído por amostragem espacial esférica, estabelecendo uma função de perda para o componente difuso, aprendendo a distribuição de energia da iluminação difusa sob supervisão de dados reais. Depois, baseado no método de rede de concha neural com respingos gaussianos 3D, e usando codificação hash multiresolução para aprender informações de cor, após adicionar o componente difuso, é realizado aprendizado supervisionado com imagens reais para modelar a reflexão especular dependente do ângulo de visão. Por fim, um rede de mapeamento de textura com consistência cíclica é usada para obter textura 2D explícita independente do espaço de cor, e o componente de cor difusa independente do ângulo de visão é correspondido um a um ao mapa de textura, realizando a operação inversa de edição de textura neural. Os resultados experimentais mostram que no conjunto de dados público DTU, em comparação com métodos avançados editáveis de textura NeuTex e Texture-GS, os indicadores quantitativos de pico de razão sinal-ruído (PSNR) no conjunto de testes de síntese de novos pontos de vista aumentaram em média 5,6%, a perda perceptual de imagem diminuiu em média 18%, a similaridade estrutural no conjunto de dados NeRFSyn também apresenta vantagens, e após a edição explícita da textura seguida de renderização multivista via rede neural, as vistas estão visivelmente mais nítidas. Este método realiza a construção da textura neural e edição controlada, permitindo modificar explicitamente e de forma flexível a aparência dos modelos 3D implicitamente expressos na textura 2D, garantindo a consistência da aparência multivisão.

关键词

Renderização baseada em física;campo de radiação neural;respingo gaussiano 3D;mapeamento de textura

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website