Efficient mamba-driven end-to-end light field image compression

FENG Zheyu ,  

JIANG Zhidi ,  

WAN Lifei ,  

XU Haiyong ,  

JIANG Gangyi ,  

摘要

A imagem de campo de luz registra as informações de espaço e ângulo da luz, fornecendo informações visuais mais ricas do que as imagens 2D tradicionais, mas suas características de alta dimensão levam a limitações nos métodos de compressão existentes em termos de uso de recursos globais, exploração de correlações de longa distância e complexidade computacional, o que limita o desempenho e a eficiência da compressão. Para isso, propomos um método eficiente de compressão de imagem de campo de luz ponta a ponta impulsionado por Mamba. Primeiro, extraímos fatias 2D que contêm informações de espaço e plano polar de imagens de campo de luz 4D e usamos o Mamba para capturar completamente suas informações de contexto global. Em seguida, para digitalizar a imagem de campo de luz em várias direções e evitar um aumento significativo na complexidade computacional, introduzimos uma estratégia de digitalização seletiva 2D eficiente em canais para extrair com precisão e eficiência as características de campo de luz. Por fim, projetamos um módulo de reconstrução de resíduos no lado do decodificador, que reduz a quantidade de parâmetros e aprimora significativamente a qualidade da imagem reconstruída, ao mesmo tempo em que reduz o tempo de codificação e decodificação. Os resultados experimentais mostram que, em comparação com o método de referência SADN existente, o método proposto obteve uma redução média de 7,4% na taxa de bits e um aumento de 0,37 dB na qualidade da relação sinal-ruído na resolução angular de 7×7 da imagem de campo de luz, enquanto também apresentou um melhor desempenho na qualidade visual subjetiva. Em termos de tempo de codificação e decodificação, o método proposto obteve uma melhoria significativa de 10 a 20 vezes. Além disso, comparado ao método mais recente LFIC-DRASC, o método proposto obteve uma redução média de 19,5% na taxa de bits e um aumento de 0,58 dB na qualidade da relação sinal-ruído na resolução angular de 13×13 da imagem de campo de luz.

关键词

light field;image compression;end-to-end;Mamba

阅读全文