Effiziente Mamba-gesteuerte End-to-End-Kompressionsmethode für Lichtfeldbilder

FENG Zheyu ,  

JIANG Zhidi ,  

WAN Lifei ,  

XU Haiyong ,  

JIANG Gangyi ,  

摘要

Lichtfeldbilder, die die räumlichen und winkelmäßigen Informationen von Lichtstrahlen erfassen, können mehr visuelle Informationen bieten als herkömmliche 2D-Bilder, aber ihre hochdimensionalen Eigenschaften führen zu Beschränkungen bei der Nutzung globaler Merkmale, der Exploration von Langstreckenkorrelationen und der Berechnungskomplexität, was die Kompressionsleistung und -effizienz begrenzt. Zu diesem Zweck schlägt dieser Artikel eine effiziente Mamba-gesteuerte End-to-End-Kompressionsmethode für Lichtfeldbilder vor. Zunächst werden 2D-Schnitte extrahiert, die räumliche und winkelmäßige Informationen der Lichtfeldbilder 4D enthalten, und Mamba wird verwendet, um seine globale Kontextinformation vollständig zu erfassen. Zweitens, um die Lichtfeldbilder in mehreren Richtungen zu scannen und einen signifikanten Anstieg der Berechnungskomplexität zu vermeiden, wird eine effiziente 2D-selektive Scanstrategie eingeführt, um die Merkmale des Lichtfelds präzise und effizient zu extrahieren. Schließlich wurde auf der Decodierungsseite ein Residualrekonstruktionsmodul entworfen, das auf der Basis der Reduzierung der Parameteranzahl und der Verringerung der Codierungs- und Decodierungszeit die Qualität des rekonstruierten Bildes signifikant verbessert. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode im Durchschnitt eine Bitrate-Reduzierung von 7,4 % und eine PSNR-Verbesserung von 0,37 dB im Vergleich zu bestehenden repräsentativen Methoden wie SADN auf Lichtfeldbildern mit einer Auflösung von 7 × 7 Grad erzielt hat, was auch eine bessere subjektive visuelle Qualität zeigt. In Bezug auf die Kodierungs- und Decodierungszeit hat die vorgeschlagene Methode eine signifikante Verbesserung von 10 bis 20 Mal erreicht. Darüber hinaus hat die vorgeschlagene Methode im Vergleich zu den neuesten vorhandenen Methoden LFIC-DRASC im Durchschnitt eine Bitrate-Reduzierung von 19,5 % und eine PSNR-Verbesserung von 0,58 dB für Lichtfeldbilder mit einer Auflösung von 13 × 13 Grad erreicht.

关键词

Lichtfeld; Bildkompression; End-to-End; Mamba

阅读全文