Reconstrução angular do campo de luz combinando convolução de Fourier e atenção por canal

ZHOU Tao ,  

YU Mei ,  

CHEN Yeyao ,  

JIANG Zhidi ,  

JIANG Gangyi ,  

摘要

A câmera de campo de luz pode capturar simultaneamente a intensidade e a direção da luz, mas devido à limitação do tamanho do sensor de imagem, não é possível obter imagens de campo de luz com alta resolução espacial e angular ao mesmo tempo. Foi proposta uma método de reconstrução angular do campo de luz combinando convolução de Fourier e atenção por canal, que pode reconstruir indiretamente imagens densas do campo de luz utilizando vistas de referência posicionadas nos quatro cantos de imagens de campo de luz esparsas. Considerando a estrutura intrínseca 4D dos dados do campo de luz, são utilizados blocos convolucionais residuais rápidos e densos de Fourier no nível do canal para modelar a correlação espacial e angular das imagens do campo de luz nos domínios espacial e de frequência, seguidos por blocos de atenção baseados na normalização global de resposta para realizar a fusão adaptativa entre canais. Além disso, foi proposto um método aprimorado de síntese indireta ponderada por pontos de vista, atribuindo um mapa de confiança para cada vista de referência para estabelecer conexões entre as vistas de referência e sintetizar novas vistas mais realistas. Os resultados experimentais mostram que, em comparação com o algoritmo avançado existente de reconstrução angular do campo de luz IRVAE, a qualidade de reconstrução das imagens do campo de luz pelo método proposto aumenta em média 0,08, 0,13 e 0,13 dB de PSNR nos conjuntos de dados naturais do campo de luz 30Scenes, Occlusion e Reflective. O método proposto alcança resultados de reconstrução nítidos assegurando a consistência angular do campo de luz.

关键词

reconstrução angular do campo de luz; convolução de Fourier; normalização global de resposta; síntese indireta ponderada por pontos de vista

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website