Efficient mamba-driven end-to-end light field image compression

FENG Zheyu ,  

JIANG Zhidi ,  

WAN Lifei ,  

XU Haiyong ,  

JIANG Gangyi ,  

摘要

光場イメージは光の空間と角度情報を記録しており、従来の2Dイメージよりも豊かなビジュアル情報を提供しますが、その高次元特性により、全体的な特徴の利用、長距離関連性の探索、および計算複雑性の面で既存の圧縮方法には制限があり、圧縮性能と効率が制限されています。そのため、本文では効率的なMambaドライブエンドツーエンド光場イメージ圧縮方法を提案します。まず、4D光場イメージから空間と極面情報を含む2Dスライスを抽出し、Mambaを活用してグローバルコンテキスト情報を十分に捉えます。次に、光場イメージを複数の方向でスキャンし、計算複雑性の大幅な増加を回避するために、効率的なチャネル選択的スキャン戦略を導入して光場特徴を正確かつ効率的に抽出します。最後に、デコーダに残差再構築モジュールを設計し、パラメータ量を減らし、エンコードおよびデコード時間を短縮し、再構築画像の品質を著しく向上させました。実験結果は、既存の代表方法SADNと比較して、7×7角度解像度の光場イメージで平均して7.4%のビットレート低減と0.37 dBのPSNR向上を実現しました。また、主観的視覚的品質においてもより優れた成績を上げました。エンコードおよびデコード時間の面では、提案手法は10〜20倍の著しい向上を達成しました。さらに、現在の最新手法LFIC-DRASCと比較して、提案手法は13×13角度解像度の光場イメージで平均して19.5%のビットレート低減と0.58 dBのPSNR向上を実現しました。

关键词

light field;image compression;end-to-end;Mamba

阅读全文