结合视差补偿与3D数据处理的盲光场图像质量评价

结合视差补偿与3D数据处理的盲光场图像质量评价 Blind light field image quality assessment combining disparity compensation with 3D data processing first-author 程 俊（1996-），女，安徽阜阳人，硕士研究生，2020年于阜阳师范大学获得学士学位，现为宁波大学信息科学与工程学院研究生，主要从事光场图像质量评价等方面的研究。E-mail：2693293915@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010821&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010828&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010824&type= 22.01333618 32.00399780 程 俊 （1996-），女，安徽阜阳人，硕士研究生，2020年于阜阳师范大学获得学士学位，现为宁波大学信息科学与工程学院研究生，主要从事光场图像质量评价等方面的研究。E-mail： 2693293915@qq.com 2693293915@qq.com corresp E-mail： jianggangyi@126.com E-mail： jianggangyi@126.com 蒋刚毅（1964-），男，浙江绍兴人，博士，教授，博士生导师，2000年于韩国Ajou大学获得博士学位，主要从事多媒体信号处理与通信、计算成像、视觉感知与编码、图像与视频质量评价等方面的研究工作。E-mail：jianggangyi@126.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010830&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010837&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010834&type= 22.01333618 32.00399780 蒋刚毅 （1964-），男，浙江绍兴人，博士，教授，博士生导师，2000年于韩国Ajou大学获得博士学位，主要从事多媒体信号处理与通信、计算成像、视觉感知与编码、图像与视频质量评价等方面的研究工作。E-mail： jianggangyi@126.com jianggangyi@126.com 宁波大学 信息科学与工程学院，浙江 宁波 315211 宁波大学 信息科学与工程学院，浙江 宁波 315211 Faculty of Information Science and Engineering， Ningbo University， Ningbo 315211， China Faculty of Information Science and Engineering， Ningbo University， Ningbo 315211， China 与传统的2D图像相比，光场图像记录了场景中光线的强度和方向信息，在多媒体技术应用领域中占据着重要的地位。但在光场图像的产生、传输等处理过程中会不可避免地引入失真，影响用户视觉体验，因而需构建有效、准确的光场图像质量评价方法对其进行评估。本文基于光场图像的伪视频和极平面图像提出了结合视差补偿与3D数据处理的盲光场图像质量评价方法。首先，采用视差补偿模块处理光场图像伪视频序列，然后对经过视差补偿后的伪视频序列进行三维离散小波变换以及三维去均值对比度归一化处理，并提取频域和空域特征。同时，在极平面图像上提取方向梯度直方图特征表征其角度信息的失真。最后，运用支持向量机建立图像质量评价指标到主观质量得分的回归模型。所提算法在公开数据库NBU-LF1.0，Win5-LID和SHU上的PLCC分别达到0.886 1，0.928 7和0.976 9，实验结果表明，与经典的二维图像质量评价方法以及先进的光场图像质量评价方法相比，本文方法与主观质量评价结果的一致性更高。 Compared with traditional 2D images， light field images （LFIs） can record the intensity and directional information of light in scenes. Accordingly， LFIs occupy an important position in multimedia technology applications. However， during the generation and transmission of LFIs， distortions are inevitably introduced that affect the user’s visual experience. Therefore， building an effective and accurate LFI quality assessment method to evaluate LFIs is necessary. Based on the two representations of LFIs， namely， pseudo-videos （PVs） and e-bipolar plane images （EPIs）， a blind LFI quality assessment method that combines disparity compensation and 3D data processing is proposed. First， a disparity compensation module is used to process the PV sequences of an LFI， and then the PV sequences following disparity compensation are processed using 3D-discrete wavelet transform and 3D-mean subtracted contrast normalized. The frequency and spatial features are then extracted. In addition， the features of a histogram of oriented gradients are extracted from the EPIs to represent the distortion of the angle information of the LFI. Finally， support vector regression is used to establish a regression model from an image quality assessment index to obtain a subjective quality score. Experimental results showed that the PLCC on the public databases of NBU-LF1.0， Win5-LID， and SHU reached 0.8861， 0.9287， and 0.9769， respectively. Compared with the classical 2D and advanced LFI image quality assessment methods， the proposed method has a higher consistency in terms of subjective quality assessment results. 光场图像质量评价 伪视频序列 视差补偿 角度一致性 light field image quality assessment pseudo-video sequence disparity compensation angular consistency 1 引 言 1 光线作为人们感知世界的重要媒介，携带着3D环境中丰富的信息。光场图像（Light Field Image， LFI）不仅记录了场景的空间信息，更记录了场景中光线的强度信息和方向信息 ［ 1 1 ］ ，可为终端用户提供沉浸式的观看体验 ［ 2 2 ］ ，因而在渲染 ［ 3 3 ］ 、重聚焦 ［ 4 4 ］ 、3D重建 ［ 5 5 ］ 等方面都有广泛的应用。 光场图像作为一种重要数字媒体显示方式，在其采集、传输、显示等各个处理环节都会引入不同程度的失真 ［ 6 6 ］ ，从而影响系统性能和用户的主观感知体验。根据原始图像信息的使用情况，客观图像质量评价方法（Image Quality Assessment， IQA）通常被分为全参考（Full Reference， FR）、半参考（Reduced Reference， RR）以及盲/无参考（Blind/No Reference， NR）三类。全参考和半参考质量评价方法需要全部或部分原始图像的信息，因而其应用受到一定的限制；而无参考质量评价方法不需要原始参考信息，有更为广泛的应用。传统的盲/无参考图像空间质量评估器 ［ 7 7 ］ 、基于局部二进制模式梯度加权直方图的多失真盲评估模型 ［ 8 8 ］ 、梯度幅度和高斯拉普拉斯的联合统计模型 ［ 9 9 ］ 等方法对于传统二维图像有较好的评价效果。但光场图像不仅是更高维的数据，还有角度一致性约束，因此针对传统二维图像所设计的图像质量评价方法并不适合于评价光场图像质量。 针对于光场图像设计的全参考质量评价算法不断被提出，并取得了不错的效果。例如，Tian等人 ［ 10 10 ］ 提出了多阶导数特征模型，该模型测量原始和失真光场图像中各子孔径图像（Sub-Aperture Image， SAI）的导数特征的相似度，并将各失真SAI分数的平均值作为失真光场图像的分数。Min等人 ［ 11 11 ］ 从全局空间质量、局部空间质量以及角度质量三个方面量化失真光场图像质量，利用SAIs的结构匹配度和计算近边缘区域的均方误差评估光场图像的全局和局部空间质量，结合视图密度和视图质量变化信息来估计光场图像的角度质量。Huang等人 ［ 12 12 ］ 基于LFI的空间和几何特征提出算法模型，采用轮廓波变换对SAIs处理提取空间特征，结合3D-Gabor滤波器处理SAIs序列作为几何特征，联合空间特征和几何特征进行光场图像质量的评估。 光场图像的无参考质量评价方法也得到快速发展。Shi等人提出了一种光场图像盲质量评估器 ［ 13 13 ］ ，将失真SAIs生成中央眼图，然后提取张量第一成分空间特征来度量光场图像的空间失真，并分析第一成分与光场图像中央眼图的结构相似性来度量光场图像的角度一致性退化。考虑到人类视觉感知特性，Shi等又提出了基于中央眼图阵列和光场极平面图像（E-bipolar Plane Image， EPI）提取全局和局部特征的无参考方法 ［ 14 14 ］ ，采用自然度分布衡量SAIs质量，并在极平面图像中提取方向梯度分布特征和加权局部二值模式特征来度量光场图像的角度一致性。Zhou等提出基于张量分解的无参考质量评价方法 ［ 15 15 ］ ，利用Tucker分解得到水平、垂直、主副对角四个方向上SAIs阵列的主成分，提取主成分的自然度和频率特征来表征光场图像的空间信息。然后，利用第一主成分与各SAI之间的结构相似度分布来度量光场图像的角度一致性。Pan等提出了将张量切片与奇异值相结合的盲光场图像质量评价方法 ［ 16 16 ］ ，在第一成分提取了清晰度特征，在张量其他成分提取了信息分布和角度奇异值特征来衡量光场图像失真。Xiang等采用四维离散余弦变换（4D Discrete Cosine Transform， 4D-DCT）对高维光场数据进行频域处理，并在4D-DCT域进行特征提取以进行光场图像失真质量评价 ［ 17 17 ］ 。 上述方法虽然从不同角度进行光场图像质量评估，但对于光场图像的独特显示方式及其特点并未完全利用。考虑到SAIs可以反映特定角度下的场景纹理信息，EPIs反映场景的深度信息并且对角度一致性有很好的表述作用 ［ 18 18 ］ ，不同程度和不同类型的失真引入都会影响这两种表示方式，本文提出了结合视差补偿与3D数据处理的盲光场图像质量评价算法。对由SAIs按照特定顺序组成的光场图像伪视频序列（Pseudo Video， PV）进行频域分解和空域数据处理以提取能表征光场图像质量的特征，并在EPIs上提取角度域特征作为补充。特别地，考虑到光场图像伪视频序列中伪运动的存在，增加了视差补偿模块对伪视频帧间的像素偏移进行补偿，以更好地消除伪视频序列的冗余，提高特征提取的有效性。 2 提出方法 1 光场图像可表示为4D函数 <math id="M1"><mi mathvariant="bold-italic">L</mi><mo>=</mo><mo stretchy="false">{</mo><mi>L</mi><mfenced separators="|"><mrow><mi>u</mi><mo>,</mo><mi>v</mi><mo>,</mo><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010843&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010850&type= 30.47999954 4.82600021 ，其中，（ u ， v ）和（ x ， y ）分别描述视点的角度位置和空间位置， U × V 为其角度分辨率， X × Y 为其空间分辨率。光场图像可视为一组2D的图像阵列，每个视图称为SAI，如 图1 图1 （a）所示。角度坐标上的SAI可表示为 <math id="M2"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>u</mi><mo>,</mo><mi>v</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><mi>L</mi><mfenced separators="|"><mrow><mi>u</mi><mi mathvariant="normal">*</mi><mo>,</mo><mi>v</mi><mi mathvariant="normal">*</mi><mo>,</mo><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010863&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010854&type= 36.23733139 4.82600021 ，即固定某一角度下的视图信息。EPI是光场图像的另一种表示形式，如 图1 图1 （b）所示，EPI通过截取SAIs的某行或某列得到，包含光场图像的角度信息。令 <math id="M3"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>u</mi><mo>,</mo><mi>x</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><mi>L</mi><mfenced separators="|"><mrow><mi>u</mi><mi mathvariant="normal">*</mi><mo>,</mo><mi>v</mi><mo>,</mo><mi>x</mi><mi mathvariant="normal">*</mi><mo>,</mo><mi>y</mi></mrow></mfenced><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010878&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010861&type= 37.50733566 4.82600021 表示水平EPI，可简化为 <math id="M4"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>u</mi><mo>,</mo><mi>x</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><mi>E</mi><mfenced separators="|"><mrow><mi>u</mi><mi mathvariant="normal">*</mi><mo>,</mo><mi>x</mi><mi mathvariant="normal">*</mi></mrow></mfenced><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010871&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010868&type= 30.05666542 3.97933316 ，类似地，垂直EPI表示为 <math id="M5"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>v</mi><mo>,</mo><mi>y</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><mi>L</mi><mfenced separators="|"><mrow><mi>u</mi><mo>,</mo><mi>v</mi><mi mathvariant="normal">*</mi><mo>,</mo><mi>x</mi><mo>,</mo><mi>y</mi><mi mathvariant="normal">*</mi></mrow></mfenced><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010875&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010886&type= 37.16867065 4.82600021 。 伪视频序列PV是光场图像的一种可视化形式。如 图1 图1 （c）所示，将单幅SAI视为一帧可构建光场图像PV，表示为 <math id="M8"><mi mathvariant="bold-italic">P</mi><mo>=</mo><mo stretchy="false">{</mo><mi>P</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010941&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010926&type= 26.75466537 3.97933316 ，其中 v 为PV的伪时间轴。PV反映了每个特定角度对应的SAI的场景信息，充分体现了光场图像的角度和空间信息。 考虑到PV可以反映光场图像的角度和空间信息，EPIs反映场景的深度信息并且对角度一致性有很好的体现，本文从光场图像的PV和EPIs两种表示形式出发，提出结合视差补偿与3D数据处理的盲光场图像质量评价方法。 图2 图2 为所提方法的框架，主要包括三个部分：（1）对视差补偿后的光场图像伪视频序列进行三维离散小波变换（3D-Discrete Wavelet Transform， 3D-DWT）并提取频域特征；（2）对视差补偿后的光场图像伪视频序列进行三维去均值对比度归一化（3D-Mean Subtracted Contrast Normalized， 3D-MSCN）处理并提取空域特征；（3）对EPIs进行方向梯度直方图特征的提取。具体来说，首先将 u 相同的子孔径图像 <math id="M9"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>u</mi><mo>,</mo><mi>v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011005&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010990&type= 4.74133301 3.72533321 组成伪视频，构建 U 个伪视频序列 P ，然后对每个伪视频序列进行视差补偿处理得到 P DC ，再对其进行3D-DWT分解以提取频域特征，同时进行空域的3D-MSCN处理以提取自然统计特征。另一方面，在EPIs的方向梯度直方图上提取描述光场图像角度一致性的特征。最后，运用支持向量机（Support Vector Regression， SVR）对所有特征进行回归预测得到光场图像主观质量得分。 2.1　基于3D-DWT的PV频域特征提取 2 PV中SAI之间的视差信息可视为其伪时间维度上的运动信息。3D-DWT能够考虑连续视频帧中随时间变化的运动，可同时表示空间和时间运动信息 ［ 19 19 ］ 。但是，PV相邻SAIs之间不仅包含大量的冗余信息，而且SAIs之间存在视差，导致沿伪时间轴进行3D-DWT并不能彻底完成光场图像伪视频序列的时域分解。视差补偿计算参考帧与当前帧之间的关系映射，可减少视频帧间冗余并提高频域分解的有效性 ［ 20 20 ］ ，因此本文采用视差补偿模块对光场图像PV进行预处理。 令 <math id="M10"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>u</mi><mo>,</mo><mtext> </mtext><mi>v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010977&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010959&type= 5.16466665 3.72533321 为光场图像第 u 行第 v 列的SAI， u =1，2，…， U ， v =1，2，…， V 。这里， u 为光场图像PV的组别， V 为每组PV包含的帧数。对于每组伪视频序列，以 <math id="M11"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>u</mi><mo>,</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010964&type= 4.74133301 3.72533321 为参考帧，采用光流法估计出待补偿帧 <math id="M12"><msub><mrow><mi>I</mi></mrow><mrow><mi>u</mi><mo>,</mo><mi>v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010967&type= 4.40266657 3.72533321 的伪运动矢量（即视差矢量），将 <math id="M13"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>u</mi><mo>,</mo><mi>v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011005&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010990&type= 4.74133301 3.72533321 向 <math id="M14"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>u</mi><mo>,</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010994&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011010&type= 4.74133301 3.72533321 反向绘制以得到 <math id="M15"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>u</mi><mo>,</mo><mi>v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011019&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010997&type= 4.74133301 3.72533321 在伪时间轴 v 上的运动补偿，进而得到经过视差补偿后的 U 组光场图像伪视频序列，记为 <math id="M16"><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><msubsup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo stretchy="false">|</mo><mi>u</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>U</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011024&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011022&type= 57.15000153 5.16466665 。对 P DC 中的每组经过视差补偿后的伪视频序列进行3D-DWT变换 ［ 21 21 ］ ，得到可以表征光场图像PV信息内容的八个频率子带，记为 Ψ =｛ ξ （ i ）| i =1，2，…，8｝。 i =1时代表反映低频近似信息的LLL子带，可表示为 ξ L ，｛ ξ （ i ）| i =2，…，8｝代表反映高频信息的HLL，LHL，HHL，LLH，HLH，LHH，HHH子带，可表示为 ξ H 。 图3 图3 给出了Win5-LID数据库中“Flowers”的原始光场图像和HEVC压缩失真以及角度域最邻近插值（Nearest Neighbor interpolation， NN）失真光场图像经视差补偿后的第5组伪视频序列对应的频域子带系数直方图。相较于失真光场图像，原始光场图像的 P DC 的HLL和HHH子带频率分布区间相对较为分散，峰值较低。由于HEVC失真影响视差估计的准确性，使得视差补偿效果欠佳，导致HEVC失真光场图像 P DC 的HLL和HHH子带频率分布区间较为集中。对于引入NN失真的光场图像，其频率分布区间相较于原始光场图像也存在差异变化，其原因是NN失真破坏了光场图像的角度一致性，可能引入新的高频成分，导致其高频子带HHH相较于原始光场图像的差异尤为明显。而对于一幅光场图像其不同子带的频率分布情况也存在明显差异，由 图3 图3 可见HHH子带相较于HLL子带频率分布更为集中。上述分析说明不同的失真会导致频域子带呈现差异性分布，因此采取统计频域子带特征的方式以对光场图像质量进行评价。 考虑到 P DC 在伪时间轴上不同子带表示不同的图像信息内容，在伪时间轴维度上将 P DC 分解为时域低频子序列 Ψ L =｛ ξ （ i ）| i =1，2，3，4｝和时域高频子序列 Ψ H =｛ ξ （ i ）| i =5，6，7，8｝，分别对应LLL，HLL，LHL，HHL子带和LLH，HLH，LHH，HHH子带。 失真的引入会改变图像的原始自然信息结构，进而导致频域内的子带系数发生变化，使得 Ψ L 和 Ψ H 的子带关联程度会因此改变。分别求取时域高、低频子序列的关联信息作为失真对于高、低频序列内子带系数影响的视觉特征。采用 Ф Li 和 Ф Hi 表示关联信息特征（Associated Information Features， AIF），表示为 F AIF =｛ Ф Li ， Ф Hi ｝， <math display="block" id="M19"><msub><mrow><mi>Φ</mi></mrow><mrow><mi>L</mi><mi>i</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi>H</mi><mo stretchy="false">(</mo><mi>ξ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>-</mo><mi>H</mi><mo stretchy="false">(</mo><mi>ξ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mi>H</mi><mo stretchy="false">(</mo><mi>ξ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo>,</mo><mi>ξ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow></mfrac><mtable><mtr><mtd/><mtd><mi>i</mi><mo>=</mo><mn mathvariant="normal">2,3</mn><mo>,</mo><mn mathvariant="normal">4</mn></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011079&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011063&type= 63.41533279 9.39799976 ， <math display="block" id="M20"><msub><mrow><mi>Φ</mi></mrow><mrow><mi>H</mi><mi>i</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi>H</mi><mo stretchy="false">(</mo><mi>ξ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">8</mn><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>-</mo><mi>H</mi><mo stretchy="false">(</mo><mi>ξ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mi>H</mi><mo stretchy="false">(</mo><mi>ξ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">8</mn><mo stretchy="false">)</mo><mo>,</mo><mi>ξ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow></mfrac><mtable><mtr><mtd/><mtd><mi>i</mi><mo>=</mo><mn mathvariant="normal">5,6</mn><mo>,</mo><mn mathvariant="normal">7</mn></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011070&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011082&type= 63.92333221 9.39799976 ， 其中： H （·）表示无条件熵， H （ Z ｛ x ｝， Z ｛ y ｝）表示联合熵， ξ （ i ）表示第 i 子带。 失真对图像的不自然影响会改变图像的像素幅值分布，并且对图像高频信息影响尤为明显。因此采用变异特征（Variation Features， VF）作为对频域高频子带受到失真影响的表示，记为 F VF =｛ F VFi ｝。另一方面，采用高频子带与低频子带的比例特征（Proportional Features， PF）衡量失真对图像中高频成分和低频成分分布的影响，记为 F PF =｛ F PFi ｝。 F VF 和 F PF 的计算公式如下： <math display="block" id="M21"><msub><mrow><mi>F</mi></mrow><mrow><mi>V</mi><mi>F</mi><mi>i</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi>V</mi><mo stretchy="false">(</mo><mi>ξ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mi>M</mi><mo stretchy="false">(</mo><mi>ξ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>τ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfrac><mo>,</mo><mo> </mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">2,3</mn><mo>,</mo><mo>…</mo><mo>,</mo><mn mathvariant="normal">8</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011104&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011086&type= 60.02866364 9.39799976 ， <math display="block" id="M22"><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">|</mo><mi>ξ</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><msup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">)</mo><mtable><mtr><mtd><mo>,</mo></mtd><mtd><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mn mathvariant="normal">3</mn><mo>,</mo><mo>…</mo><mo>,</mo><mn mathvariant="normal">8</mn></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011095&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011093&type= 58.33533096 3.97933316 ， <math display="block" id="M23"><msub><mrow><mi>F</mi></mrow><mrow><mi>P</mi><mi>F</mi><mi>i</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfrac><mtable><mtr><mtd><mo>,</mo></mtd><mtd><mi>i</mi><mo>=</mo><mn mathvariant="normal">2,3</mn><mo>,</mo><mo>…</mo><mo>,</mo><mn mathvariant="normal">8</mn></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011100&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011112&type= 42.33333206 8.38199997 ， 其中： V （·）和 M （·）为方差和均值运算， τ 1 取值为1×10 - 8 以保证分母不为0。 图4 图4 为“Flowers”场景下 U 组伪视频序列提取的 F AIF （第一行）、 F VF （第二行）和 F PF （第三行）的平均值。横坐标为子带编号，纵坐标表示特征对应的幅值。 图4 图4 （a）为原始光场图像以及HEVC和NN失真光场图像的平均 F AIF ， F VF 和 F PF ， 图4 图4 （b）和 图4 图4 （c）分别为不同失真程度下的HEVC和NN失真光场图像的平均 F AIF ， F VF 和 F PF ，图中也给出了相关失真光场图像的MOS值。对于 F AIF 特征，子带编号2-4和5-7分别对应 Ф Li 和 Ф Hi 。由 图4 图4 （b）和 图4 图4 （c）可见，对于失真程度不同的相同失真类型的光场图像，其 F AIF 和 F PF 值的变化总体上随MOS值的变化呈现单调性： F AIF 随着失真程度的增加呈单调上升的趋势，而 F PF 则为单调下降的趋势； F VF 的分布存在突变，如HEVC失真的光场图像其 F VF 特征在HHH子带存在明显突变。此外，由 图4 图4 （a）可见，不同失真类型的光场图像即使MOS值接近其三个特征的幅值分布也存在明显差异。这说明提取的特征可以表征不同类型失真、不同失真等级对光场图像的影响。本文方法中，取 U 组伪视频序列特征的均值作为最终特征描述失真对光场图像的破坏。 为探究视差补偿处理对算法设计的影响， 图4 图4 （d）也展示了不同NN失真等级光场图像伪视频序列未进行视差补偿时获取的特征折线图。从 图4 图4 （d）可见，未进行视差补偿时所得到的频域特征对不同失真程度的区分度低于 图4 图4 （c）所示的采用视差补偿的情况。这说明进行视差补偿处理所捕获的特征具有更好的失真辨别能力。 2.2　基于3D-MSCN的PV空域特征提取 2 去均值对比度归一化（Mean Subtracted Contrast Normalized， MSCN）是二维图像常用的特征统计方法，失真的引入对MSCN系数分布影响显著 ［ 22 22 ］ ，因而其在以往的图像质量评价中已得到成熟的应用。3D-MSCN在MSCN的基础上不仅可以处理二维图像的空间信息，还可以对视频时间维度上的信息进行处理。由于光场图像伪视频序列在空间和伪时间维度上具有极高的相关性，因此考虑采用3D-MSCN去除伪视频序列的空间和时间上的相关性。采用3D-MSCN对 P DC 进行处理获取3D-MSCN系数图 <math id="M24"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><msubsup><mrow><mi>M</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011137&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011125&type= 34.79800034 5.16466665 ，其计算如下： <math display="block" id="M25"><msubsup><mrow><mi>M</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><msubsup><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">D</mi><mi mathvariant="normal">C</mi></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo>-</mo><mi>μ</mi></mrow><mrow><mi>σ</mi><mo>+</mo><msub><mrow><mi>τ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011141&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011139&type= 50.54600143 8.72066593 ， 其中： <math id="M26"><msubsup><mrow><mi>P</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011144&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011151&type= 18.96533203 5.16466665 为第 u 组伪视频序列中第 v 帧中（ x ， y ）处的像素值， μ 和 σ 分别为该组伪视频序列中所有 V 帧的均值和方差， τ 1 取值为1×10 - 8 以保证分母不为0。 μ 和 σ 可用如下公式计算： <math display="block" id="M27"><mi>μ</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mo>-</mo><mi>J</mi></mrow><mrow><mi>J</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mo>-</mo><mi>K</mi></mrow><mrow><mi>K</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>l</mi><mo>=</mo><mo>-</mo><mi>L</mi></mrow><mrow><mi>L</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>j</mi><mo>,</mo><mi>k</mi><mo>,</mo><mi>l</mi></mrow></msub></mrow></mrow></mrow><msubsup><mrow><mi>P</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>+</mo><mi>j</mi><mo>,</mo><mi>y</mi><mo>+</mo><mi>k</mi><mo>,</mo><mi>v</mi><mo>+</mo><mi>l</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011155&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011147&type= 85.59799957 8.97466660 ， <math display="block" id="M28"><mi>σ</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo>=</mo><mroot><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mo>-</mo><mi>J</mi></mrow><mrow><mi>J</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mo>-</mo><mi>K</mi></mrow><mrow><mi>K</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>l</mi><mo>=</mo><mo>-</mo><mi>L</mi></mrow><mrow><mi>L</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>j</mi><mo>,</mo><mi>k</mi><mo>,</mo><mi>l</mi></mrow></msub></mrow></mrow></mrow><msup><mrow><mfenced open="[" close="]" separators="|"><mrow><msubsup><mrow><mi>P</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>x</mi><mo>+</mo><mi>j</mi><mo>,</mo><mi>y</mi><mo>+</mo><mi>k</mi><mo>,</mo><mi>v</mi><mo>+</mo><mi>l</mi><mo stretchy="false">)</mo><mo>-</mo><mi>μ</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011168&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011166&type= 112.86066437 10.24466610 ， 其中， <math id="M29"><mi>w</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>j</mi><mo>,</mo><mi>k</mi><mo>,</mo><mi>l</mi></mrow></msub><mo stretchy="false">|</mo><mi>j</mi><mo>=</mo><mo>-</mo><mi>J</mi><mo>,</mo><mo>…</mo><mo>,</mo><mi>J</mi><mo>,</mo><mi>k</mi><mo>=</mo><mo>-</mo><mi>K</mi><mo>,</mo><mo>…</mo><mo>,</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011179&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011170&type= 59.60533142 4.82600021 <math id="M30"><mi>K</mi><mo>,</mo><mi mathvariant="normal">l</mi><mo>=</mo><mo>-</mo><mi>L</mi><mo>,</mo><mo>…</mo><mo>,</mo><mi>L</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011176&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011182&type= 28.27866554 3.55599999 是均值为零对称归一化三维高斯滤波器。 图5 图5 展示了“Flowers”原始光场图像在 u =5时对应的 M DC 和具有不同失真等级、不同类型失真的光场图像的 M DC 对应的3D-MSCN系数分布图。 图5 图5 表明3D-MSCN系数可以较好地表征不同失真对光场图像的 P DC 的影响。尤其是对于HEVC失真的光场图像的 P DC 来说，其分布曲线的峰顶随着失真程度的加大而逐渐尖锐且拖尾减短。采取非对称广义高斯分布（Asymmetric Generalized Gaussian Distribution ,AGGD）对 M DC 系数进行拟合，将拟合得到的形状参数、左右方差参数作为对光场图像的质量评价特征，表示如下： <math display="block" id="M31"><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi>M</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo>;</mo><mi>α</mi><mo>,</mo><msub><mrow><mi>σ</mi></mrow><mrow><mi>l</mi></mrow></msub><mo>,</mo><msub><mrow><mi>σ</mi></mrow><mrow><mi>r</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mfrac><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">2</mn><mo stretchy="false">(</mo><msub><mrow><mi>β</mi></mrow><mrow><mi>l</mi></mrow></msub><mo>+</mo><msub><mrow><mi>β</mi></mrow><mrow><mi>r</mi></mrow></msub><mo stretchy="false">)</mo><mi mathvariant="normal">Γ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>/</mo><mi>α</mi><mo stretchy="false">)</mo></mrow></mfrac><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><msup><mrow><mfenced separators="|"><mrow><mfrac><mrow><mo>-</mo><msub><mrow><mi>M</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo></mrow><mrow><msub><mrow><mi>β</mi></mrow><mrow><mi>l</mi></mrow></msub></mrow></mfrac></mrow></mfenced></mrow><mrow><mi>α</mi></mrow></msup></mrow></mfenced><mtable><mtr><mtd><mo>,</mo></mtd><mtd><mi>i</mi><mi>f</mi></mtd></mtr></mtable><msub><mrow><mi>M</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo><</mo><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mfrac><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">2</mn><mo stretchy="false">(</mo><msub><mrow><mi>β</mi></mrow><mrow><mi>l</mi></mrow></msub><mo>+</mo><msub><mrow><mi>β</mi></mrow><mrow><mi>r</mi></mrow></msub><mo stretchy="false">)</mo><mi mathvariant="normal">Γ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>/</mo><mi>α</mi><mo stretchy="false">)</mo></mrow></mfrac><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><msup><mrow><mfenced separators="|"><mrow><mfrac><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi>D</mi><mi>C</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo></mrow><mrow><msub><mrow><mi>β</mi></mrow><mrow><mi>r</mi></mrow></msub></mrow></mfrac></mrow></mfenced></mrow><mrow><mi>α</mi></mrow></msup></mrow></mfenced><mtable><mtr><mtd><mo>,</mo></mtd><mtd><mi>o</mi><mi>t</mi><mi>h</mi><mi>e</mi><mi>r</mi><mi>w</mi><mi>i</mi><mi>s</mi><mi>e</mi></mtd></mtr></mtable></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011189&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011193&type= 152.06134033 27.00866890 ， 其中： <math id="M32"><msub><mrow><mi>β</mi></mrow><mrow><mi>l</mi></mrow></msub><mo>=</mo><msub><mrow><mi>σ</mi></mrow><mrow><mi>l</mi></mrow></msub><mroot><mrow><mi mathvariant="normal">Γ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>/</mo><mi>α</mi><mo stretchy="false">)</mo><mo>/</mo><mi mathvariant="normal">Γ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">3</mn><mo>/</mo><mi>α</mi><mo stretchy="false">)</mo></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011201&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011199&type= 38.77733231 5.07999992 ， <math id="M33"><msub><mrow><mi>β</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>=</mo><msub><mrow><mi>σ</mi></mrow><mrow><mi>r</mi></mrow></msub><mroot><mrow><mi mathvariant="normal">Γ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>/</mo><mi>α</mi><mo stretchy="false">)</mo><mo>/</mo><mi mathvariant="normal">Γ</mi><mo stretchy="false">(</mo><mn mathvariant="normal">3</mn><mo>/</mo><mi>α</mi><mo stretchy="false">)</mo></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011202&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011211&type= 39.11600113 5.07999992 ， <math id="M34"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011204&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011215&type= 1.94733346 2.79399991 ， <math id="M35"><msub><mrow><mi>σ</mi></mrow><mrow><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011223&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011206&type= 2.53999996 3.72533321 ， <math id="M36"><msub><mrow><mi>σ</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011229&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011220&type= 2.70933342 3.72533321 分别是形状参数、左方差和右方差参数。为了更好地描述 M DC 的分布曲线，采用 λ = α /（ β l + β r ）作为一项特征对曲线进行描述。本文中将 U 组特征的平均值作为最终特征，共计得到4维空域自然统计特征 F N =｛ <math id="M37"><mi>α</mi><mo>,</mo><msub><mrow><mi>β</mi></mrow><mrow><mi>l</mi></mrow></msub><mo>,</mo><msub><mrow><mi>β</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>,</mo><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011231&type= 14.98600006 4.57200003 ｝。 2.3　基于EPI的特征提取 2 光场图像的EPI表示可以反映出光线在不同视点的分布关联，而图像梯度可以反映图像的对比度和结构信息，且它对失真极为敏感 ［ 23 23 ］ ，因此采用EPI梯度图反映失真对光场图像角度一致性的破坏。 图6 图6 为“Flowers”的原始光场图像和不同程度HEVC，NN失真的光场图像的EPI及其对应的梯度图。如 图6 图6 所示，随着HEVC失真程度的增加（主观分数MOS值减小），其对应的EPI斜率发生改变且EPI图像整体偏向于模糊。而对于NN失真的EPI，随着失真程度的增加，对应的EPI斜率呈现锯齿状断裂加剧的现象。由于EPI中直线斜率表征了场景的深度信息，因而EPI中的直线斜率遭到破坏的现象可用来描述光场图像的失真情况。 对于水平极平面图像 <math id="M38"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>u</mi><mo>,</mo><mi>x</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><mi>E</mi><mfenced separators="|"><mrow><mi>u</mi><mi mathvariant="normal">*</mi><mo>,</mo><mi>x</mi><mi mathvariant="normal">*</mi></mrow></mfenced><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011257&type= 30.05666542 3.97933316 ，采用Sobel算子计算其梯度幅值图 G f 和梯度方向图 G θ 。将梯度方向 θ ∈［0°，330°］均匀量化为 O 个方向， o =1，2，…， O ，本文中 O =11。然后循环累加相应梯度方向的梯度幅值，得到极平面图像的方向梯度直方图 h 。再对 h 进行归一化得到一个多维的特征向量 H 。 <math display="block" id="M39"><mi>h</mi><mo stretchy="false">(</mo><mi>o</mi><mo stretchy="false">)</mo><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></munder><mrow><msub><mrow><mi>G</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>×</mo><mi>f</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>o</mi><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011262&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011260&type= 49.44533539 7.28133297 ， <math display="block" id="M40"><mi>f</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>o</mi><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo></mtd><mtd><mi>i</mi><mi>f</mi><mtext> </mtext><msub><mrow><mi>G</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mi>o</mi></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo></mtd><mtd><mi>o</mi><mi>t</mi><mi>h</mi><mi>e</mi><mi>r</mi><mi>w</mi><mi>i</mi><mi>s</mi><mi>e</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011264&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011272&type= 52.57799911 10.15999985 . 图7 图7 为光场图像“Flowers”固定 u =5， x =300时 <math id="M41"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>u</mi><mo>,</mo><mi>x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011283&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011275&type= 6.01133299 3.72533321 对应的归一化方向梯度直方图。 图7 图7 显示，对于EPI梯度图像，其梯度方向主要集中在3，4，5，6，10，11方向上，即所对应的 θ 在60°~180°，270°~330°。原始光场图像和失真光场图像在方向5，6，10，即梯度方向为120°~150°，150°~180°以及270°~300°的区间内梯度叠加幅值存在明显的差异。 图7 图7 中方向5的直方图幅值随着失真的引入减小，而方向6的幅值则出现增大的趋势，并且不同的失真类型其分布差异程度也不同。这说明失真的引入会影响方向梯度直方图的分布，因此考虑将方向梯度直方图作为特征对光场图像角度一致性进行衡量，在本文中取一幅光场图像对应的全部水平EPI方向梯度直方图向量的均值作为特征，最终得到11维的方向梯度特征向量。 综上，所提方法考虑了光场图像的PV和EPI两种表示形式，基于PV和EPIs提取了针对光场图像空间信息和角度信息的不同种类特征。在经过视差补偿后的光场图像伪视频序列中提取了频域特征 F AIF ， F VF ， F PF 共计20维，记为 F TD ，并另有4维空域自然统计特征 F N ；对于EPIs，提取了11维的方向梯度特征，记为 F EPI ；最终组成35维特征。 3 实验结果与分析 1 为了验证所提方法的有效性，在3个光场图像数据库Win5-LID ［ 24 24 ］ ，NBU-LF1.0 ［ 25 25 ］ 和SHU ［ 26 26 ］ 上，将所提方法与14种方法进行了实验对比，包括3种FR 2DIQA方法（SSIM ［ 27 27 ］ ，FSIM ［ 28 28 ］ ，VIF ［ 29 29 ］ ）、3种NR 2DIQA方法（BRISQUE ［ 7 7 ］ ，GWH-GLBP ［ 8 8 ］ （简称GLBP）和GMLOG ［ 9 9 ］ ）、3种FR LFIQA方法（MDFM ［ 10 10 ］ ，Min ［ 11 11 ］ 和SGFM ［ 12 12 ］ ）和5种NR LFIQA方法（BELIF ［ 13 13 ］ ，NR-LFQA ［ 14 14 ］ ，Tensor-NLFQ ［ 15 15 ］ ，TSSV-LFIQA ［ 16 16 ］ ，4D_DCT-LFIQA ［ 17 17 ］ ）。 3.1　光场图像数据库 2 Win5-LID数据库：共有220张失真图像，包括6个真实场景和4个合成场景。失真类型包含HEVC、JPEG压缩失真，基于学习的重建失真（EPICNN）和空间超分辨率重建失真（USCD）以及基于最邻近插值（Nearest Neighbor interpolation， NN）和线性插值（Li Near interpolation， LN）的角度重建失真。 NBU-LF1.0数据库：共有210张失真图像，包含8个真实场景和6个失真场景。该数据库专为研究重建插值失真对光场图像质量的影响而建立，5种失真类型分别是NN、双三次插值失真（Bicubic Interpolation， BI）、基于学习的EPICNN、基于深度图的重建插值（Zhang）以及基于空间超分辨率重建插值（VDSR）。 SHU数据库：共有240张失真光场图像，包含8个真实场景。数据库引入了JPEG2K、JPEG压缩失真、高斯模糊失真（GAUSS）、运动模糊、白噪声失真。 3.2　总体性能比较 2 所有实验均在相同的测试条件下进行，用作对比的其他算法，源代码均从其作者或网站上获得，只有对比方法SGFM ［ 12 12 ］ 的数据结果由于其源代码尚未公开故而摘录自参考文献［ 12 12 ］。 性能比较实验过程包括两部分：用于确定模型的训练阶段和用于验证性能的测试阶段。为了避免特定训练-测试划分的偏差，均按照其他基于训练的方法 ［ 13 13 - 16 16 13-16 ］ 将数据库随机划分为80％训练子集和20%测试子集，并为了公平起见统一采用回归拟合方法进行感知映射，即以径向基函数（Radial Basis Function， RBF）为内核的SVR作为映射函数将提取的感知特征映射到光场图像的人眼感知分数。采用Pearson线性相关系数（Pearson Linear Correlation Coefficient， PLCC）、Spearman秩相关系数（Spearman Rank Order Correlation Coefficient， SROCC）和均方根误差（Root Mean Square Error， RMSE）三个指标比较不同客观质量评价方法的性能。为了实验数据的准确性，训练和测试将重复1 000次，选取1 000次重复中三个指标的中值作为最终指标。对于无需训练的FR 2DIQA和FR LFIQA方法，直接使用随机划分的20%的测试集计算最终质量分数，并同样重复1 000次以确保比较的公平性。 表1 表1 展示了所提方法和对比方法在不同数据库上的实验结果，粗体标记了最好的结果。 2 Types 2 Methods 3 NBU-LF1.0 3 Win5-LID 3 SHU PLCC SROCC RMSE PLCC SROCC RMSE PLCC SROCC RMSE 3 FR 2DIQA SSIM ［ 27 27 ］ 0.789 1 0.768 2 0.560 2 0.773 1 0.738 4 0.638 1 0.883 5 0.886 8 0.505 5 FSIM ［ 28 28 ］ 0.797 1 0.768 8 0.550 4 0.763 5 0.723 7 0.657 4 0.894 8 0.889 4 0.487 1 VIF ［ 29 29 ］ 0.820 5 0.785 1 0.519 2 0.795 7 0.755 2 0.609 8 0.899 9 0.886 1 0.478 0 3 NR 2DIQA BRISQUE ［ 7 7 ］ 0.486 8 0.412 8 0.796 8 0.678 5 0.604 1 0.739 9 0.962 1 0.946 8 0.296 4 GLBP ［ 8 8 ］ 0.714 7 0.653 7 0.638 0 0.788 0 0.716 5 0.618 0 0.950 2 0.937 2 0.323 3 GMLOG ［ 9 9 ］ 0.469 4 0.364 6 0.800 8 0.759 2 0.686 5 0.65 0.970 3 0.956 6 0.272 1 3 FR LFIQA MDFM ［ 10 10 ］ 0.800 5 0.758 4 0.539 0 0.768 6 0.733 7 0.630 9 0.894 1 0.889 3 0.487 5 Min ［ 11 11 ］ 0.685 3 0.638 0 0.668 3 0.720 7 0.642 9 0.691 8 0.849 6 0.846 8 0.574 4 SGFM ［ 12 12 ］ - - - 0.804 5 0.802 8 0.637 4 - - - 6 NR LFIQA BELIF ［ 13 13 ］ 0.871 3 0.825 4 0.449 0 0.895 5 0.870 1 0.446 7 0.967 1 0.953 8 0.274 6 NR-LFQA ［ 14 14 ］ 0.878 3 0.855 1 0.432 3 0.923 1 0.903 3 0.385 6 0.969 5 0.957 4 0.264 1 Tensor-NLFQ ［ 15 15 ］ 0.833 5 0.779 6 0.506 2 0.912 4 0.898 8 0.410 8 0.976 7 0.968 2 0.232 0 TSSV-LFIQA ［ 16 16 ］ 0.883 4 0.851 5 0.428 8 0.927 4 0.919 4 0.379 5 0.972 0 0.958 9 0.248 6 4D_DCT-LFIQA ［ 17 17 ］ 0.858 3 0.840 1 0.465 3 0.911 6 0.894 9 0.414 7 0.953 6 0.940 3 0.323 3 Proposed 0.886 1 0.868 6 0.423 3 0.928 7 0.904 3 0.369 2 0.976 9 0.967 7 0.230 6 如 表1 表1 所示，2DIQA方法的总体性能相对较低，因为这类方法没有考虑光场图像的角度一致性。MDFM虽然考虑了光场图像的特点，但它主要关注空间质量的退化。Min的方法具有局限性，它无法准确预测4D光场图像的质量。SGFM结合SAI以及SAI序列进行算法设计，有不错的质量评估性能，但对光场图像角度一致性的考虑有待完善，因此总体算法仍存在较大提升空间。而几种NR LFIQA方法的性能相对提高了很多，4D_DCT-LFIQA直接对四维光场数据进行高维稀疏变换，在频域提取特征，但对于光场图像的空间和角度特性并没有充分利用。BELIF，NR-LFQA，Tensor-NLFQ和TSSV-LFIQA则联合考虑了光场图像的角度和空间质量，总体性能有不同幅度的提升。其中，NR-LFQA同样结合SAIs和EPIs进行算法设计，总体性能很好。而本文从光场图像伪视频序列的角度出发，并采用视差补偿进一步减少视频帧间冗余、提高频域分解的有效性，再结合EPI进行算法设计，因此总体性能较NR-LFQA有明显的提升。所提方法联合空间和角度信息，在频域和空域对光场图像进行特征提取，达到了相对更好的性能。 表1 表1 显示，与NBU-LF1.0和Win5-LID数据库相比，几乎所有对比算法都可以在SHU数据库上获得不错的性能。分析原因是SHU数据库只包含压缩失真、高斯模糊失真、运动模糊、白噪声失真，现有的算法对这类失真已进行了深入研究，2DIQA方法对于这些类型的失真也具有良好的性能。相比之下，NBU-LF1.0和Win5-LID数据库还包含了在光场图像角度域引入的重建失真。重建失真是光场图像所特有的一类失真，会导致光场图像的角度一致性受到更严重的破坏。因此，后续实验仅在NBU-LF1.0和Win5-LID数据库上进行。 3.3　性能显著性比较 2 t-检验适合对不同算法进行性能显著性评判，因而将对比方法与本文方法经过1000次训练测试得到的SROCC值进行t-检验，实验结果如 表2 表2 所示，其中对比方法用其参考文献表示。实验设立0假设，认为行方法和列方法不存在显著差异，置信度为95%。 表2 表2 中的符号‘1’表示行方法与列方法有显著差异且优于列方法，‘0’表示两者不可区分，‘ - 1’表示的意义与‘1’相反。如 表2 表2 所示，所提算法在NBU-LF1.0数据库上的性能均优于对比算法。在Win5-LID数据库上，所提方法与Tensor-NLFQ和4D_DCT-LFIQA算法性能较为相近，而相对于其他算法，性能均较具优势。分析结果可知，本文所提方法整体上优于对比方法。 Databases Methods ［ 27 27 ］ ［ 28 28 ］ ［ 29 29 ］ ［ 7 7 ］ ［ 8 8 ］ ［ 9 9 ］ ［ 10 10 ］ ［ 11 11 ］ ［ 13 13 ］ ［ 14 14 ］ ［ 15 15 ］ ［ 16 16 ］ ［ 17 17 ］ NBU-LF1.0 Proposed 1 1 1 1 1 1 1 1 1 1 1 1 1 Win5-LID Proposed 1 1 1 1 1 1 1 1 1 1 0 1 0 箱型图可以更直观地展示每种IQA方法的稳定性， 图8 图8 展示了在Win5-LID和NBU-LF1.0数据库上的1 000次训练-测试实验中SROCC分布的箱型图。箱型图中间的红线代表SROCC的中位数，箱的顶部和底部分别代表上四分位和下四分位的值。箱型图中心红线越高，箱的上下边界越窄，说明方法的总体性能和稳定性越好。从 图8 图8 中红线和方框的高度可以看出，所提方法总体性能较佳，并且在两个数据库中都呈现稳定的趋势，表明所提方法的预测稳定性和性能较好。 3.4　消融实验 2 为了探究光场图像伪视频序列进行视差补偿的必要性， 表3 表3 展示了视差补偿模块的加入对所提方法在Win5-LID和NBU-LF1.0数据库上总体性能影响的实验结果。如 表3 表3 所示，进行视差补偿之后的算法在NBU-LF1.0数据库上性能有明显提升，在Win5-LID数据库的性能提升幅度低于NBU-LF1.0数据库，但总体性能也均为提升的状态。由此可见，对光场图像伪视频序列进行视差补偿可以提升算法性能。 Databases Index No Disparity Compensation Disparity Compensation Performance Variations 3 NBU-LF1.0 PLCC 0.872 6 0.886 1 ↑0.013 5 SROCC 0.849 9 0.868 6 ↑0.017 8 RMSE 0.442 9 0.423 3 ↓0.019 6 3 Win5-LID PLCC 0.921 9 0.928 7 ↑0.005 9 SROCC 0.895 9 0.904 3 ↑0.008 4 RMSE 0.397 1 0.369 2 ↓0.027 9 为探索所提方法中不同特征提取模块的有效性，对3D-DWT处理提取的频域特征 F TD =｛ F AIF ， F VF ， F PF ｝，3D-MSCN处理提取的空域特征 F N 以及在EPI模块提取的特征 F EPI 进行了消融实验， 表4 表4 展示了消融实验结果。由 表4 表4 可见，单个特征具有一定的评价效果。EPI可以较好地反映光场图像角度一致性。但是对于提取的空域特征 F N 在仅有重建失真的NBU-LF1.0数据库上性能相对较差，分析原因是由于数据库中角度重建失真的引入主要破坏光场图像的角度一致性，而空域特征主要是对图像纹理内容信息进行描述，因此空域特征在NBU-LF1.0数据库上没有较好的性能。但对于总体性能，空域特征 F N 与其他特征互为补充，提升了算法总体性能。表中数据显示，将PV模块与EPIs模块组合之后，性能达到最佳。 2 Databases Module 6 PV EPIs Proposed Features F AIF F VF F PF F TD F N ｛ F TD ， F N ｝ F EPI F ALL 3 Win5-LID PLCC 0.798 2 0.757 4 0.818 5 0.890 5 0.626 0 0.906 8 0.897 1 0.928 7 SROCC 0.767 4 0.708 4 0.792 9 0.872 0 0.583 3 0.889 3 0.882 8 0.904 3 RMSE 0.607 8 0.666 9 0.578 2 0.460 7 0.784 7 0.421 2 0.445 8 0.369 2 3 NBU-LF1.0 PLCC 0.757 8 0.609 6 0.672 8 0.861 9 0.426 3 0.880 5 0.698 4 0.886 1 SROCC 0.699 8 0.545 6 0.625 1 0.836 0 0.370 0 0.859 4 0.637 8 0.868 6 RMSE 0.597 1 0.716 7 0.626 9 0.458 8 0.823 0 0.431 8 0.612 7 0.423 3 3.5　不同失真类型的评价 2 为了验证所提方法对不同类型失真的有效性，将比较不同的IQA方法对不同类型失真的性能。实验在Win5-LID和NBU-LF1.0数据库上进行，这里Win5-LID数据库中所测试类型不包括基于卷积神经网络的角度超分辨率重建失真，因为其仅含有一个失真等级。 表5 表5 列出了不同方法在各种失真类型上的SROCC结果，现有方法对于HEVC，JPEG2K失真都有不错的效果，但对于重建失真，2DIQA方法的有效性明显降低，LFIQA方法各有优劣。本文所提方法在HEVC，JPEG2K，NN失真上优于现有的方法，对于BI，LN，EPICNN和VDSR失真的性能也具有一定竞争能力。总体来看，所提方法在评估不同类型的失真时具有较强的鲁棒性。 2 Types 2 Methods 4 Win5-LID 5 NBU-LF1.0 HEVC JPEG2K LN NN NN BI EPICNN Zhang VDSR 3 FR 2DIQA SSIM ［ 27 27 ］ 0.960 5 0.863 2 0.767 6 0.551 5 0.652 7 0.838 3 0.826 4 0.619 0 0.886 2 FSIM ［ 28 28 ］ 0.960 5 0.878 8 0.769 7 0.575 8 0.661 5 0.886 2 0.809 5 0.650 5 0.918 3 VIF ［ 29 29 ］ 0.939 4 0.878 8 0.757 6 0.516 7 0.690 5 0.902 2 0.834 3 0.523 8 0.900 5 3 NR 2DIQA BRISQUE ［ 7 7 ］ 0.924 0 0.927 1 0.854 5 0.370 8 0.167 2 0.428 6 0.562 9 0.619 0 0.761 9 GLBP ［ 8 8 ］ 0.960 5 0.899 7 0.848 0 0.241 2 0.261 9 0.326 7 0.658 7 0.690 5 0.808 3 GMLOG ［ 9 9 ］ 0.939 4 0.909 3 0.781 8 0.239 4 0.190 5 0.666 7 0.760 9 0.833 3 0.844 3 2 FR LFIQA MDFM ［ 10 10 ］ 0.830 3 0.729 5 0.866 7 0.520 7 0.682 6 0.856 7 0.785 7 0.598 8 0.802 4 Min ［ 11 11 ］ 0.927 3 0.884 2 0.697 0 0.600 7 0.767 1 0.825 2 0.761 8 0.703 1 0.926 3 6 NR LFIQA BELIF ［ 13 13 ］ 0.911 9 0.890 9 0.887 5 0.866 7 0.831 9 0.809 5 0.778 5 0.826 4 0.883 7 NR-LFQA ［ 14 14 ］ 0.951 2 0.945 1 0.893 6 0.899 7 0.856 2 0.785 7 0.754 5 0.595 2 0.785 7 Tensor-NLFQA ［ 15 15 ］ 0.939 4 0.926 8 0.851 1 0.863 2 0.833 3 0.904 8 0.750 4 0.738 1 0.900 9 TSSV-LFIQA ［ 16 16 ］ 0.949 5 0.942 8 0.903 0 0.911 9 0.881 0 0.857 1 0.761 9 0.785 7 0.886 2 4D_DCT-LFIQA ［ 17 17 ］ 0.951 5 0.939 4 0.911 9 0.915 2 0.764 2 0.809 5 0.742 5 0.833 3 0.881 0 Proposed 0.961 5 0.951 5 0.890 9 0.936 2 0.904 8 0.898 2 0.730 1 0.833 3 0.881 0 3.6　跨库验证 2 为了验证所提出方法的泛化性能，通过跨库验证的方法比较了几种无参考光场图像质量评价方法。具体来说，由于Win5-LID数据库既包含压缩失真也包含重建失真，因此采用Win5-LID数据库作为训练集去测试各方法在其他数据库上的性能， 表6 表6 给出了跨库验证的SROCC结果，最好的两个结果采用粗体标注。作为训练集的Win5-LID数据库包含重建失真，但所提方法在未包含这类失真的SHU数据库上仍取得相对较好的泛化性能。Win5-LID数据库与NBU-LF1.0的共同失真类型只有NN失真，并且NN失真的失真程度也没有重叠，这些因素都会加剧使用Win5-LID作为训练集去测试NBU-LF1.0的泛化难度。因此，所提出的方法在NBU-LF1.0上的泛化性能不如在SHU上的泛化性能。但尽管如此，所提算法还是优于BELIF，Tensor-NLFQ和TSSV-LFIQA等算法，并且与4D_DCT-LFIQA的泛化性能相当。总的来说，相较于其他对比算法，所提方法在NBU-LF1.0和SHU数据库上的平均泛化性能具有一定的竞争优势。 Databases NBU-LF1.0 SHU AVERAGE BELIF ［ 13 13 ］ 0.465 1 0.395 5 0.429 2 NR-LFQA ［ 14 14 ］ 0.746 7 0.522 3 0.634 5 Tensor-NLFQ ［ 15 15 ］ 0.339 7 0.540 6 0.440 2 TSSV-LFIQA ［ 16 16 ］ 0.373 4 0.658 4 0.515 9 4D_DCT-LFIQA ［ 17 17 ］ 0.501 3 0.534 6 0.518 0 Proposed 0.480 4 0.582 9 0.531 7 4 结 论 1 本文提出了一种结合视差补偿与3D-DWT / 3D-MSCN的盲参考光场图像质量评价方法，在视差补偿后的光场图像伪视频序列上进行空域和频域特征提取，同时在EPIs上提取表征光场图像角度一致性的特征作为补充。本文方法考虑了光场图像的高维特性，结合光场图像的PV和EPIs表示形式，以更好地符合人眼感知特性。对于光场图像的PV，采用视差补偿模块进一步消除PV的帧间冗余，以实现频域彻底分解。实验结果表明，与先进的光场图像质量评价方法相比，所提方法具有更好的性能。 参考文献 HUANG X P ， AN P ， CHEN Y L ， et al . Low bitrate light field compression with geometry and content consistency ［J］. IEEE Transactions on Multimedia ， 2022 ， 24 ： 152 - 165 . doi: 10.1109/tmm.2020.3046860 http://dx.doi.org/10.1109/tmm.2020.3046860 Low bitrate light field compression with geometry and content consistency ZHAO P ， CHEN X M ， CHUNG V ， et al . DeLFIQE-a low-complexity deep learning-based light field image quality evaluator ［J］. IEEE Transactions on Instrumentation and Measurement ， 2021 ， 70 ： 1 - 11 . doi: 10.1109/tim.2021.3106113 http://dx.doi.org/10.1109/tim.2021.3106113 DeLFIQE-a low-complexity deep learning-based light field image quality evaluator LE PENDU M ， GUILLEMOT C ， SMOLIC A . A Fourier disparity layer representation for light fields ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 11 ）： 5740 - 5753 . doi: 10.1109/tip.2019.2922099 http://dx.doi.org/10.1109/tip.2019.2922099 A Fourier disparity layer representation for light fields WANG Y Q ， YANG J G ， GUO Y L ， et al . Selective light field refocusing for camera arrays using bokeh rendering and superresolution ［J］. IEEE Signal Processing Letters ， 2019 ， 26 （ 1 ）： 204 - 208 . doi: 10.1109/lsp.2018.2885213 http://dx.doi.org/10.1109/lsp.2018.2885213 Selective light field refocusing for camera arrays using bokeh rendering and superresolution YUN S ， JANG J ， PAIK J . Geometry-aware light field angular super resolution using multiple receptive field network ［C］. 2022 International Conference on Electronics， Information， and Communication （ICEIC）. 69，2022 ， Jeju， Korea， Republic of. IEEE ， 2022 ： 1 - 3 . doi: 10.1109/iceic54506.2022.9748458 http://dx.doi.org/10.1109/iceic54506.2022.9748458 Geometry-aware light field angular super resolution using multiple receptive field network PAUDYAL P ， BATTISTI F ， SJÖSTRÖM M ， et al . Towards the perceptual quality evaluation of compressed light field images ［J］. IEEE Transactions on Broadcasting ， 2017 ， 63 （ 3 ）： 507 - 522 . doi: 10.1109/tbc.2017.2704430 http://dx.doi.org/10.1109/tbc.2017.2704430 Towards the perceptual quality evaluation of compressed light field images MITTAL A ， MOORTHY A K ， BOVIK A C . No-reference image quality assessment in the spatial domain ［J］. IEEE Transactions on Image Processing ， 2012 ， 21 （ 12 ）： 4695 - 4708 . doi: 10.1109/tip.2012.2214050 http://dx.doi.org/10.1109/tip.2012.2214050 No-reference image quality assessment in the spatial domain LI Q H ， LIN W S ， FANG Y M . No-reference quality assessment for multiply-distorted images in gradient domain ［J］. IEEE Signal Processing Letters ， 2016 ， 23 （ 4 ）： 541 - 545 . doi: 10.1109/lsp.2016.2537321 http://dx.doi.org/10.1109/lsp.2016.2537321 No-reference quality assessment for multiply-distorted images in gradient domain XUE W F ， MOU X Q ， ZHANG L ， et al . Blind image quality assessment using joint statistics of gradient magnitude and Laplacian features ［J］. IEEE Transactions on Image Processing ， 2014 ， 23 （ 11 ）： 4850 - 4862 . doi: 10.1109/tip.2014.2355716 http://dx.doi.org/10.1109/tip.2014.2355716 Blind image quality assessment using joint statistics of gradient magnitude and Laplacian features TIAN Y ， ZENG H Q ， XING L ， et al . A multi-order derivative feature-based quality assessment model for light field image ［J］. Journal of Visual Communication and Image Representation ， 2018 ， 57 ： 212 - 217 . doi: 10.1016/j.jvcir.2018.11.005 http://dx.doi.org/10.1016/j.jvcir.2018.11.005 A multi-order derivative feature-based quality assessment model for light field image MIN X K ， ZHOU J T ， ZHAI G T ， et al . A metric for light field reconstruction， compression， and display quality evaluation ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 3790 - 3804 . doi: 10.1109/tip.2020.2966081 http://dx.doi.org/10.1109/tip.2020.2966081 A metric for light field reconstruction， compression， and display quality evaluation HUANG H L ， ZENG H Q ， HOU J H ， et al . A spatial and geometry feature-based quality assessment model for the light field images ［J］. IEEE Transactions on Image Processing ， 2022 ， 31 ： 3765 - 3779 . doi: 10.1109/tip.2022.3175619 http://dx.doi.org/10.1109/tip.2022.3175619 A spatial and geometry feature-based quality assessment model for the light field images SHI L K ， ZHAO S Y ， CHEN Z B . BELIF： blind quality evaluator of light field image with tensor structure variation index ［C］. 2019 IEEE International Conference on Image Processing （ICIP）. 2225，2019 ， Taipei， China. IEEE ， 2019 ： 3781 - 3785 . doi: 10.1109/icip.2019.8803559 http://dx.doi.org/10.1109/icip.2019.8803559 BELIF： blind quality evaluator of light field image with tensor structure variation index SHI L K ， ZHOU W ， CHEN Z B ， et al . No-reference light field image quality assessment based on spatial-angular measurement ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2020 ， 30 （ 11 ）： 4114 - 4128 . doi: 10.1109/tcsvt.2019.2955011 http://dx.doi.org/10.1109/tcsvt.2019.2955011 No-reference light field image quality assessment based on spatial-angular measurement ZHOU W ， SHI L K ， CHEN Z B ， et al . Tensor oriented no-reference light field image quality assessment ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 4070 - 4084 . doi: 10.1109/tip.2020.2969777 http://dx.doi.org/10.1109/tip.2020.2969777 Tensor oriented no-reference light field image quality assessment PAN Z Y ， YU M ， JIANG G Y ， et al . Combining tensor slice and singular value for blind light field image quality assessment ［J］. IEEE Journal of Selected Topics in Signal Processing ， 2021 ， 15 （ 3 ）： 672 - 687 . doi: 10.1109/jstsp.2021.3056959 http://dx.doi.org/10.1109/jstsp.2021.3056959 Combining tensor slice and singular value for blind light field image quality assessment XIANG J J ， JIANG G ， YU M ， et al . No-reference light field image quality assessment using four-dimensional sparse transform ［J］. IEEE Transactions on Multimedia ， 2023 ， 25 ： 457 - 472 . doi: 10.1109/tmm.2021.3127398 http://dx.doi.org/10.1109/tmm.2021.3127398 No-reference light field image quality assessment using four-dimensional sparse transform TIAN Y ， ZENG H Q ， HOU J H ， et al . Light field image quality assessment via the light field coherence ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 7945 - 7956 . doi: 10.1109/tip.2020.3008856 http://dx.doi.org/10.1109/tip.2020.3008856 Light field image quality assessment via the light field coherence YOUSEFI S ， MANZURI SHALMANI M T ， LIN J ， et al . A novel motion detection method using 3D discrete wavelet transform ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ， 29 （ 12 ）： 3487 - 3500 . doi: 10.1109/tcsvt.2018.2885211 http://dx.doi.org/10.1109/tcsvt.2018.2885211 A novel motion detection method using 3D discrete wavelet transform HOSAM O . Motion compensation for video codec based on disparity estimation ［C］. 2012 IEEE Symposium on Computers and Communications （ISCC）. 14，2012 ， Cappadocia， Turkey. IEEE ， 2012 ： 559 - 565 . doi: 10.1109/iscc.2012.6249355 http://dx.doi.org/10.1109/iscc.2012.6249355 Motion compensation for video codec based on disparity estimation VISHWAKARMA A K ， BHURCHANDI K M . 3D-DWT cross-band statistics and features for No-Reference Video Quality Assessment （NR-VQA） ［J］. Optik ， 2021 ， 246 ： 167774 . doi: 10.1016/j.ijleo.2021.167774 http://dx.doi.org/10.1016/j.ijleo.2021.167774 3D-DWT cross-band statistics and features for No-Reference Video Quality Assessment （NR-VQA） 范赐恩 ， 冉杰文 ， 颜佳 ， 等 . 颜色空间统计联合纹理特征的无参考图像质量评价 ［J］. 光学 精密工程 ， 2018 ， 26 （ 4 ）： 916 - 926 . doi: 10.3788/ope.20182604.0916 http://dx.doi.org/10.3788/ope.20182604.0916 颜色空间统计联合纹理特征的无参考图像质量评价 FAN C E ， RAN J W ， YAN J ， et al . No-reference image quality assessment using joint color space statistical and texture feature ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 4 ）： 916 - 926 . （in Chinese） . doi: 10.3788/ope.20182604.0916 http://dx.doi.org/10.3788/ope.20182604.0916 No-reference image quality assessment using joint color space statistical and texture feature 马畅 ， 张选德 . 基于颜色名称的彩色图像质量评价 ［J］. 液晶与显示 ， 2022 ， 37 （ 1 ）： 56 - 65 . doi: 10.37188/CJLCD.2021-0189 http://dx.doi.org/10.37188/CJLCD.2021-0189 基于颜色名称的彩色图像质量评价 MA CH ， ZHANG X D . Color image quality assessment based on colornames ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 1 ）： 56 - 65 . （in Chinese） . doi: 10.37188/CJLCD.2021-0189 http://dx.doi.org/10.37188/CJLCD.2021-0189 Color image quality assessment based on colornames SHI L K ， ZHAO S Y ， ZHOU W ， et al . Perceptual Evaluation of Light Field Image ［C］. 2018 25th IEEE International Conference on Image Processing （ICIP）. 710，2018 ， Athens， Greece. IEEE ， 2018 ： 41 - 45 . doi: 10.1109/icip.2018.8451077 http://dx.doi.org/10.1109/icip.2018.8451077 Perceptual Evaluation of Light Field Image HUANG Z J ， YU M ， JIANG G Y ， et al . Reconstruction Distortion Oriented Light Field Image Dataset for Visual Communication ［C］. 2019 International Symposium on Networks， Computers and Communications （ISNCC）. 1820，2019 ， Istanbul， Turkey. IEEE ， 2019 ： 1 - 5 . doi: 10.1109/isncc.2019.8909170 http://dx.doi.org/10.1109/isncc.2019.8909170 Reconstruction Distortion Oriented Light Field Image Dataset for Visual Communication SHAN L ， AN P ， MENG C L ， et al . A no-reference image quality assessment metric by multiple characteristics of light field images ［J］. IEEE Access ， 2019 ， 7 ： 127217 - 127229 . doi: 10.1109/access.2019.2940093 http://dx.doi.org/10.1109/access.2019.2940093 A no-reference image quality assessment metric by multiple characteristics of light field images WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 . doi: 10.1109/tip.2003.819861 http://dx.doi.org/10.1109/tip.2003.819861 Image quality assessment： from error visibility to structural similarity ZHANG L ， ZHANG L ， MOU X Q ， et al . FSIM： a feature similarity index for image quality assessment ［J］. IEEE Transactions on Image Processing ， 2011 ， 20 （ 8 ）： 2378 - 2386 . doi: 10.1109/tip.2011.2109730 http://dx.doi.org/10.1109/tip.2011.2109730 FSIM： a feature similarity index for image quality assessment SHEIKH H R ， BOVIK A C . Image information and visual quality ［J］. IEEE Transactions on Image Processing ， 2006 ， 15 （ 2 ）： 430 - 444 . doi: 10.1109/tip.2005.859378 http://dx.doi.org/10.1109/tip.2005.859378 Image information and visual quality 10.37188/OPE.20233108.1202 TP391.41 1004-924X（2023）08-1202-15 程俊,郁梅,蒋刚毅.结合视差补偿与3D数据处理的盲光场图像质量评价[J].光学精密工程,2023,31(08):1202-1216. 程俊,郁梅,蒋刚毅.结合视差补偿与3D数据处理的盲光场图像质量评价[J].光学精密工程,2023,31(08):1202-1216. CHENG Jun,YU Mei,JIANG Gangyi.Blind light field image quality assessment combining disparity compensation with 3D data processing[J].Optics and Precision Engineering,2023,31(08):1202-1216. CHENG Jun,YU Mei,JIANG Gangyi.Blind light field image quality assessment combining disparity compensation with 3D data processing[J].Optics and Precision Engineering,2023,31(08):1202-1216. 宁波市自然科学基金资助项目（No.202003N4088） 2022-07-19 2022-08-15 2023-04-25 2023-05-04 36544140 光学精密工程 8 31