Blind light field image quality assessment combining disparity compensation with 3D data processing

CHENG Jun; YU Mei; JIANG Gangyi

doi:10.37188/OPE.20233108.1202

您当前的位置：

首页 >

文章列表页 >

Blind light field image quality assessment combining disparity compensation with 3D data processing

Information Sciences | 更新时间：2023-05-04

- Blind light field image quality assessment combining disparity compensation with 3D data processing
- Optics and Precision Engineering Vol. 31, Issue 8, Pages: 1202-1216(2023)
- 作者机构：
  
  宁波大学信息科学与工程学院，浙江宁波 315211
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233108.1202
  CLC： TP391.41
- Received：19 July 2022，
  
  Revised：15 August 2022，
  
  Published：25 April 2023
- 稿件说明：
移动端阅览
程俊,郁梅,蒋刚毅.结合视差补偿与3D数据处理的盲光场图像质量评价[J].光学精密工程,2023,31(08):1202-1216.

CHENG Jun,YU Mei,JIANG Gangyi.Blind light field image quality assessment combining disparity compensation with 3D data processing[J].Optics and Precision Engineering,2023,31(08):1202-1216.
程俊,郁梅,蒋刚毅.结合视差补偿与3D数据处理的盲光场图像质量评价[J].光学精密工程,2023,31(08):1202-1216. DOI： 10.37188/OPE.20233108.1202.

CHENG Jun,YU Mei,JIANG Gangyi.Blind light field image quality assessment combining disparity compensation with 3D data processing[J].Optics and Precision Engineering,2023,31(08):1202-1216. DOI： 10.37188/OPE.20233108.1202.

摘要

与传统的2D图像相比，光场图像记录了场景中光线的强度和方向信息，在多媒体技术应用领域中占据着重要的地位。但在光场图像的产生、传输等处理过程中会不可避免地引入失真，影响用户视觉体验，因而需构建有效、准确的光场图像质量评价方法对其进行评估。本文基于光场图像的伪视频和极平面图像提出了结合视差补偿与3D数据处理的盲光场图像质量评价方法。首先，采用视差补偿模块处理光场图像伪视频序列，然后对经过视差补偿后的伪视频序列进行三维离散小波变换以及三维去均值对比度归一化处理，并提取频域和空域特征。同时，在极平面图像上提取方向梯度直方图特征表征其角度信息的失真。最后，运用支持向量机建立图像质量评价指标到主观质量得分的回归模型。所提算法在公开数据库NBU-LF1.0，Win5-LID和SHU上的PLCC分别达到0.886 1，0.928 7和0.976 9，实验结果表明，与经典的二维图像质量评价方法以及先进的光场图像质量评价方法相比，本文方法与主观质量评价结果的一致性更高。

Abstract

Compared with traditional 2D images， light field images （LFIs） can record the intensity and directional information of light in scenes. Accordingly， LFIs occupy an important position in multimedia technology applications. However， during the generation and transmission of LFIs， distortions are inevitably introduced that affect the user’s visual experience. Therefore， building an effective and accurate LFI quality assessment method to evaluate LFIs is necessary. Based on the two representations of LFIs， namely， pseudo-videos （PVs） and e-bipolar plane images （EPIs）， a blind LFI quality assessment method that combines disparity compensation and 3D data processing is proposed. First， a disparity compensation module is used to process the PV sequences of an LFI， and then the PV sequences following disparity compensation are processed using 3D-discrete wavelet transform and 3D-mean subtracted contrast normalized. The frequency and spatial features are then extracted. In addition， the features of a histogram of oriented gradients are extracted from the EPIs to represent the distortion of the angle information of the LFI. Finally， support vector regression is used to establish a regression model from an image quality assessment index to obtain a subjective quality score. Experimental results showed that the PLCC on the public databases of NBU-LF1.0， Win5-LID， and SHU reached 0.8861， 0.9287， and 0.9769， respectively. Compared with the classical 2D and advanced LFI image quality assessment methods， the proposed method has a higher consistency in terms of subjective quality assessment results.

关键词

Keywords

references

HUANG X P ， AN P ， CHEN Y L ， et al . Low bitrate light field compression with geometry and content consistency ［J］. IEEE Transactions on Multimedia ， 2022 ， 24 ： 152 - 165 . doi: 10.1109/tmm.2020.3046860 http://dx.doi.org/10.1109/tmm.2020.3046860

ZHAO P ， CHEN X M ， CHUNG V ， et al . DeLFIQE-a low-complexity deep learning-based light field image quality evaluator ［J］. IEEE Transactions on Instrumentation and Measurement ， 2021 ， 70 ： 1 - 11 . doi: 10.1109/tim.2021.3106113 http://dx.doi.org/10.1109/tim.2021.3106113

LE PENDU M ， GUILLEMOT C ， SMOLIC A . A Fourier disparity layer representation for light fields ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 11 ）： 5740 - 5753 . doi: 10.1109/tip.2019.2922099 http://dx.doi.org/10.1109/tip.2019.2922099

WANG Y Q ， YANG J G ， GUO Y L ， et al . Selective light field refocusing for camera arrays using bokeh rendering and superresolution ［J］. IEEE Signal Processing Letters ， 2019 ， 26 （ 1 ）： 204 - 208 . doi: 10.1109/lsp.2018.2885213 http://dx.doi.org/10.1109/lsp.2018.2885213

YUN S ， JANG J ， PAIK J . Geometry-aware light field angular super resolution using multiple receptive field network ［C］. 2022 International Conference on Electronics， Information， and Communication （ICEIC）. 69，2022 ， Jeju， Korea， Republic of. IEEE ， 2022 ： 1 - 3 . doi: 10.1109/iceic54506.2022.9748458 http://dx.doi.org/10.1109/iceic54506.2022.9748458

PAUDYAL P ， BATTISTI F ， SJÖSTRÖM M ， et al . Towards the perceptual quality evaluation of compressed light field images ［J］. IEEE Transactions on Broadcasting ， 2017 ， 63 （ 3 ）： 507 - 522 . doi: 10.1109/tbc.2017.2704430 http://dx.doi.org/10.1109/tbc.2017.2704430

MITTAL A ， MOORTHY A K ， BOVIK A C . No-reference image quality assessment in the spatial domain ［J］. IEEE Transactions on Image Processing ， 2012 ， 21 （ 12 ）： 4695 - 4708 . doi: 10.1109/tip.2012.2214050 http://dx.doi.org/10.1109/tip.2012.2214050

LI Q H ， LIN W S ， FANG Y M . No-reference quality assessment for multiply-distorted images in gradient domain ［J］. IEEE Signal Processing Letters ， 2016 ， 23 （ 4 ）： 541 - 545 . doi: 10.1109/lsp.2016.2537321 http://dx.doi.org/10.1109/lsp.2016.2537321

XUE W F ， MOU X Q ， ZHANG L ， et al . Blind image quality assessment using joint statistics of gradient magnitude and Laplacian features ［J］. IEEE Transactions on Image Processing ， 2014 ， 23 （ 11 ）： 4850 - 4862 . doi: 10.1109/tip.2014.2355716 http://dx.doi.org/10.1109/tip.2014.2355716

TIAN Y ， ZENG H Q ， XING L ， et al . A multi-order derivative feature-based quality assessment model for light field image ［J］. Journal of Visual Communication and Image Representation ， 2018 ， 57 ： 212 - 217 . doi: 10.1016/j.jvcir.2018.11.005 http://dx.doi.org/10.1016/j.jvcir.2018.11.005

MIN X K ， ZHOU J T ， ZHAI G T ， et al . A metric for light field reconstruction， compression， and display quality evaluation ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 3790 - 3804 . doi: 10.1109/tip.2020.2966081 http://dx.doi.org/10.1109/tip.2020.2966081

HUANG H L ， ZENG H Q ， HOU J H ， et al . A spatial and geometry feature-based quality assessment model for the light field images ［J］. IEEE Transactions on Image Processing ， 2022 ， 31 ： 3765 - 3779 . doi: 10.1109/tip.2022.3175619 http://dx.doi.org/10.1109/tip.2022.3175619

SHI L K ， ZHAO S Y ， CHEN Z B . BELIF： blind quality evaluator of light field image with tensor structure variation index ［C］. 2019 IEEE International Conference on Image Processing （ICIP）. 2225，2019 ， Taipei， China. IEEE ， 2019 ： 3781 - 3785 . doi: 10.1109/icip.2019.8803559 http://dx.doi.org/10.1109/icip.2019.8803559

SHI L K ， ZHOU W ， CHEN Z B ， et al . No-reference light field image quality assessment based on spatial-angular measurement ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2020 ， 30 （ 11 ）： 4114 - 4128 . doi: 10.1109/tcsvt.2019.2955011 http://dx.doi.org/10.1109/tcsvt.2019.2955011

ZHOU W ， SHI L K ， CHEN Z B ， et al . Tensor oriented no-reference light field image quality assessment ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 4070 - 4084 . doi: 10.1109/tip.2020.2969777 http://dx.doi.org/10.1109/tip.2020.2969777

PAN Z Y ， YU M ， JIANG G Y ， et al . Combining tensor slice and singular value for blind light field image quality assessment ［J］. IEEE Journal of Selected Topics in Signal Processing ， 2021 ， 15 （ 3 ）： 672 - 687 . doi: 10.1109/jstsp.2021.3056959 http://dx.doi.org/10.1109/jstsp.2021.3056959

XIANG J J ， JIANG G ， YU M ， et al . No-reference light field image quality assessment using four-dimensional sparse transform ［J］. IEEE Transactions on Multimedia ， 2023 ， 25 ： 457 - 472 . doi: 10.1109/tmm.2021.3127398 http://dx.doi.org/10.1109/tmm.2021.3127398

TIAN Y ， ZENG H Q ， HOU J H ， et al . Light field image quality assessment via the light field coherence ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 7945 - 7956 . doi: 10.1109/tip.2020.3008856 http://dx.doi.org/10.1109/tip.2020.3008856

YOUSEFI S ， MANZURI SHALMANI M T ， LIN J ， et al . A novel motion detection method using 3D discrete wavelet transform ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ， 29 （ 12 ）： 3487 - 3500 . doi: 10.1109/tcsvt.2018.2885211 http://dx.doi.org/10.1109/tcsvt.2018.2885211

HOSAM O . Motion compensation for video codec based on disparity estimation ［C］. 2012 IEEE Symposium on Computers and Communications （ISCC）. 14，2012 ， Cappadocia， Turkey. IEEE ， 2012 ： 559 - 565 . doi: 10.1109/iscc.2012.6249355 http://dx.doi.org/10.1109/iscc.2012.6249355

VISHWAKARMA A K ， BHURCHANDI K M . 3D-DWT cross-band statistics and features for No-Reference Video Quality Assessment （NR-VQA）［J］. Optik ， 2021 ， 246 ： 167774 . doi: 10.1016/j.ijleo.2021.167774 http://dx.doi.org/10.1016/j.ijleo.2021.167774

范赐恩，冉杰文，颜佳，等 . 颜色空间统计联合纹理特征的无参考图像质量评价［J］. 光学精密工程， 2018 ， 26 （ 4 ）： 916 - 926 . doi: 10.3788/ope.20182604.0916 http://dx.doi.org/10.3788/ope.20182604.0916

FAN C E ， RAN J W ， YAN J ， et al . No-reference image quality assessment using joint color space statistical and texture feature ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 4 ）： 916 - 926 . （in Chinese） . doi: 10.3788/ope.20182604.0916 http://dx.doi.org/10.3788/ope.20182604.0916

马畅，张选德 . 基于颜色名称的彩色图像质量评价［J］. 液晶与显示， 2022 ， 37 （ 1 ）： 56 - 65 . doi: 10.37188/CJLCD.2021-0189 http://dx.doi.org/10.37188/CJLCD.2021-0189

MA CH ， ZHANG X D . Color image quality assessment based on colornames ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 1 ）： 56 - 65 . （in Chinese） . doi: 10.37188/CJLCD.2021-0189 http://dx.doi.org/10.37188/CJLCD.2021-0189

SHI L K ， ZHAO S Y ， ZHOU W ， et al . Perceptual Evaluation of Light Field Image ［C］. 2018 25th IEEE International Conference on Image Processing （ICIP）. 710，2018 ， Athens， Greece. IEEE ， 2018 ： 41 - 45 . doi: 10.1109/icip.2018.8451077 http://dx.doi.org/10.1109/icip.2018.8451077

HUANG Z J ， YU M ， JIANG G Y ， et al . Reconstruction Distortion Oriented Light Field Image Dataset for Visual Communication ［C］. 2019 International Symposium on Networks， Computers and Communications （ISNCC）. 1820，2019 ， Istanbul， Turkey. IEEE ， 2019 ： 1 - 5 . doi: 10.1109/isncc.2019.8909170 http://dx.doi.org/10.1109/isncc.2019.8909170

SHAN L ， AN P ， MENG C L ， et al . A no-reference image quality assessment metric by multiple characteristics of light field images ［J］. IEEE Access ， 2019 ， 7 ： 127217 - 127229 . doi: 10.1109/access.2019.2940093 http://dx.doi.org/10.1109/access.2019.2940093

WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1109/tip.2003.819861 http://dx.doi.org/10.1109/tip.2003.819861

ZHANG L ， ZHANG L ， MOU X Q ， et al . FSIM： a feature similarity index for image quality assessment ［J］. IEEE Transactions on Image Processing ， 2011 ， 20 （ 8 ）： 2378 - 2386 . doi: 10.1109/tip.2011.2109730 http://dx.doi.org/10.1109/tip.2011.2109730

SHEIKH H R ， BOVIK A C . Image information and visual quality ［J］. IEEE Transactions on Image Processing ， 2006 ， 15 （ 2 ）： 430 - 444 . doi: 10.1109/tip.2005.859378 http://dx.doi.org/10.1109/tip.2005.859378

Views

647

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

No data

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰