Efficient mamba-driven end-to-end light field image compression

FENG Zheyu ,  

JIANG Zhidi ,  

WAN Lifei ,  

XU Haiyong ,  

JIANG Gangyi ,  

摘要

광장 이미지는 빛의 공간 및 각도 정보를 기록하여 전통적인 2D 이미지보다 더 풍부한 시각 정보를 제공하지만 고차원 특성으로 인해 기존의 압축 방법은 전체적인 특징 활용, 장거리 관련성 탐색 및 계산 복잡성 측면에서 한계가 있어 압축 성능과 효율성이 제한되었습니다. 따라서 본 논문에서는 효율적인 Mamba 드라이브 엔드 투 엔드 광장 이미지 압축 방법을 제안합니다. 먼저 4D 광장 이미지에서 공간 및 극평면 정보를 포함하는 2D 슬라이스를 추출하고 Mamba를 활용하여 전역 컨텍스트 정보를 충분히 포착하였습니다. 다음으로 광장 이미지를 여러 방향으로 스캔하고 계산 복잡성이 크게 증가하지 않도록 하기 위해 효율적인 채널 선택적 스캔 전략을 도입하여 광장 특징을 정확하고 효율적으로 추출하였습니다. 마지막으로 디코더에 잔차 재구성 모듈을 설계하여 매개 변수 양을 줄이고 인코딩 및 디코딩 시간을 줄이는 한편 재구성 이미지의 품질을 현저히 향상시켰습니다. 실험 결과는 기존의 SADN 대표 방법과 비교하여 7×7 각도 해상도의 광장 이미지에서 평균적으로 7.4%의 비트율 감소와 0.37 dB의 PSNR 향상을 달성했으며, 주관적 시각적 품질 측면에서도 더 나은 성과를 보였습니다. 인코딩 및 디코딩 시간 측면에서 제안 방법은 10~20배의 현저한 향상을 이룩하였습니다. 또한, 현재 최신 방법인 LFIC-DRASC와 비교하여 13×13 각도 해상도의 광장 이미지에서 평균적으로 19.5%의 비트율 감소와 0.58 dB의 PSNR 향상을 달성했습니다.

关键词

light field;image compression;end-to-end;Mamba

阅读全文