푸리에 컨볼루션과 채널 어텐션을 결합한 라이트필드 각도 복원

ZHOU Tao ,  

YU Mei ,  

CHEN Yeyao ,  

JIANG Zhidi ,  

JIANG Gangyi ,  

摘要

라이트필드 카메라는 빛의 세기와 방향 정보를 동시에 캡처할 수 있지만, 이미지 센서 크기의 제한으로 인해 고공간 및 고각도 해상도의 라이트필드 이미지를 동시에 얻을 수 없습니다. 본 논문에서는 푸리에 컨볼루션과 채널 어텐션을 결합한 라이트필드 각도 복원 방법을 제안합니다. 이는 희소 라이트필드 이미지의 네 모서리에 위치한 참조 뷰를 사용하여 밀집 라이트필드 이미지를 간접적으로 복원할 수 있습니다. 라이트필드 데이터의 내재적 4D 구조를 고려하여, 채널 수준의 밀집 빠른 푸리에 잔차 컨볼루션 블록을 사용하여 공간 영역과 주파수 영역에서 라이트필드 이미지의 공간 및 각도 상관성을 모델링하였으며, 이후 전역 응답 정규화 기반의 채널 어텐션 블록을 채택하여 채널 간 적응적 융합을 구현하였습니다. 또한, 각 참조 뷰에 신뢰도 맵을 할당하여 참조 뷰 간의 관계를 구축함으로써 보다 사실적인 새로운 뷰를 합성하는 개선된 시점 가중 간접 합성 방법을 제안합니다. 실험 결과는 기존의 최신 라이트필드 각도 복원 알고리즘 IRVAE와 비교하여 자연 라이트필드 데이터셋인 30Scenes, Occlusion, Reflective에서 제안 방법이 평균 PSNR이 각각 0.08, 0.13 및 0.13 dB 향상된 고품질의 복원 라이트필드 이미지를 얻었음을 보여줍니다. 제안 방법은 라이트필드 각도 일관성을 보장하면서 선명한 복원 결과를 달성하였습니다.

关键词

라이트필드 각도 복원; 푸리에 컨볼루션; 전역 응답 정규화; 시점 가중 간접 합성

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website