Эффективное сжатие изображений светового поля от конца до конца, возглавляемое Mamba

FENG Zheyu ,  

JIANG Zhidi ,  

WAN Lifei ,  

XU Haiyong ,  

JIANG Gangyi ,  

摘要

Поскольку изображения светового поля записывают информацию о световых лучах в пространстве и углах, они могут предоставлять более богатую визуальную информацию, чем традиционные 2D изображения, но их высокомерные особенности ограничивают использование глобальных признаков, изучение дальних корреляций и вычислительной сложности, что ограничивает сжимаемость и эффективность. Для этого мы предлагаем эффективный метод сжатия изображений светового поля от конца до конца, поддерживаемый эффективным Mamba. Во-первых, мы извлекаем 2D срезы, содержащие информацию о пространстве и уровне поля освещения, из 4D изображений светового поля с помощью Mamba, чтобы полностью захватить его глобальный контекст. Затем, чтобы сканировать изображения светового поля в нескольких направлениях и избежать значительного увеличения вычислительной сложности, мы представляем эффективную двумерную стратегию селективного сканирования канала для точного и эффективного извлечения особенностей светового поля. Наконец, на стороне декодирования мы разработали модуль восстановления остатков, который существенно улучшает качество восстановления изображений на основе сокращения количества параметров и уменьшения времени кодирования и декодирования. Экспериментальные результаты показывают, что по сравнению с существующими методами представительной модели SADN предложенный метод в среднем обеспечивает уменьшение битовой скорости на 7,4% и повышение PSNR на 0,37 дБ на изображениях светового поля разрешением 7×7 углов, и также проявляет лучшее качество субъективного зрения. В отношении времени кодирования и декодирования предложенный метод обеспечивает значительное улучшение в 10–20 раз. Кроме того, по сравнению с существующими последними методами LFIC-DRASC предложенный метод в среднем обеспечивает уменьшение битовой скорости на 19,5% и повышение PSNR на 0,58 дБ на изображениях светового поля разрешением 13×13 углов.

关键词

Световое поле; сжатие изображений; от конца до конца; Мамба

阅读全文