No-reference video quality objective assessment method based on the content visual perception and transmission distortion

基于内容视觉感知和传输失真的无参考视频质量客观评价 No-reference video quality objective assessment method based on the content visual perception and transmission distortion 1 2 corresp first-author E-mail： yjc4782@163.com E-mail： yjc4782@163.com 姚军财（1979-），男，湖北黄冈人，博士，教授，硕士生导师，主要从事视觉光学、信息质量评价、图像和视频处理、计算机视觉及其交叉学科等方面的研究。E-mail： yjc4782@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227271&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227267&type= 22.01333237 32.00399780 姚军财 （1979-），男，湖北黄冈人，博士，教授，硕士生导师，主要从事视觉光学、信息质量评价、图像和视频处理、计算机视觉及其交叉学科等方面的研究。E-mail： yjc4782@163.com yjc4782@163.com 1 汤浩威（1996-），男，江苏宿迁人，硕士研究生，2020年于兰州工业学院获得学士学位，主要从事机器学习、电力设备的图像识别和故障检测等方面的研究。E-mail： 1925774316@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227285&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227279&type= 22.01333237 32.00399780 汤浩威 （1996-），男，江苏宿迁人，硕士研究生，2020年于兰州工业学院获得学士学位，主要从事机器学习、电力设备的图像识别和故障检测等方面的研究。E-mail： 1925774316@qq.com 1925774316@qq.com 1 申 静（1981-），女，山东济宁人，硕士，副教授，主要从事人工智能、计算机视觉、信息质量评价、图像和视频处理等方面的研究。E-mail： shenjingtg@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227289&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227302&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227294&type= 22.01333618 32.00399780 申 静 （1981-），女，山东济宁人，硕士，副教授，主要从事人工智能、计算机视觉、信息质量评价、图像和视频处理等方面的研究。E-mail： shenjingtg@163.com shenjingtg@163.com 南京工程学院 计算机工程学院 江苏 南京 211167 南京工程学院 计算机工程学院 江苏 南京 211167 School of Computer Engineering， Nanjing Institute of Technology， Nanjing 211167， China School of Computer Engineering， Nanjing Institute of Technology， Nanjing 211167， China 西安交通大学 信息与通信工程学院 陕西 西安 710049 西安交通大学 信息与通信工程学院 陕西 西安 710049 School of Information and Communication Engineering， Xi’an Jiaotong University， Xi’an 710049， China School of Information and Communication Engineering， Xi’an Jiaotong University， Xi’an 710049， China 通过分析和研究视频内容特征、编解码失真特征和传输时延特征对视频质量评价的影响，结合人眼视觉特性及其数学模型，提出了一种综合考虑传输和编解码失真的基于内容感知的无参考视频质量评价方法，并构建其数学模型。在该方法中，首先采用视频帧图像纹理复杂性特征、图像的局部对比度、时域信息及其视觉感知来描述视频内容，构建其内容感知模型，并以此探讨视频内容及其视觉感知对视频质量的影响；然后，探讨比特率与视频质量之间的关系，构建其模型，研究视频比特率对其质量的影响；接着，结合视频传输时延特征，构建了由于传输时延失真而产生的视频质量下降的质量评价模型；最后，采用凸优化方法综合3个方面的模型，提出了一种综合考虑视频内容、编解码失真、传输时延失真和视觉特性的无参考视频质量评价模型。并采用多个建立的视频数据库和开源数据库中的数据和视频进行了测试验证，并与17种现有视频质量评价模型进行了性能对比；结果表明，所提模型的精度Pearson相关系数和Spearman秩序相关系数值最小分别能够达到0.877 3和0.833 6，最大可以实现0.938 3和0.943 8，表现出了较好的泛化性能，且复杂度比较低。综合模型精度、泛化性能、复杂性3个方面的性能参数表明，所提模型是一个性能比较优异的视频质量评价模型。 This paper proposes a Video Quality Assessment （VQA） method based on video-content perception by analyzing the influence of video content， transmission delay， and encoding and decoding distortion characteristics on the VQA， combined with human visual system characteristics and its mathematical model. In this method， the video contents are described by the texture complexity， local contrast， temporal information of video frame image， and their visual perception. Thus， the video contents perception model can be built， which allows for investigating the influence of the video content and their visual perception on VQA. The relationship between the bit rate and video quality is discussed， whose relationship models are built， to study the impact of the bit rate of video-on-video quality. Subsequently， the VQA model that video quality degradation caused by transmission delay distortion is designed by combining the characteristics of video transmission delay. Finally， the convex optimization method is used to synthesize the above three aspects of models， and a no-reference VQA model considering the video contents， encoding and decoding distortion， transmission delay distortion， and human visual system characteristics， is proposed. The proposed VQA model was tested and verified using the videos from several established video databases and open-source video databases， and its performance was compared with that of 17 existing VQA models. The results showed that the precision Pearson linear and Spearman rank order correlation coefficients of the proposed VQA model reached a minimum of 0.8773 and 0.8336 and a maximum of 0.938 3 and 0.943 8， respectively. This shows that the model has good generalization performance and low complexity. Analyzing the overall efficiency of performance in terms of model accuracy， generalization performance， and complexity， the results show that the proposed model is an excellent VQA model. 视频质量评价 人类视觉特性 视频内容 亮度和色度 传输时延 V ideo Quality Assessment（VQA） human visual system characteristics video contents luminance and chrominance transmission delay 1 引 言 1 客观视频质量评价（Video Quality Assessment，VQA）在通信、网络和多媒体等技术中发挥着非常重要的作用，特别是无参考（No Reference，NR）VQA，一个性能优异的NR-VQA模型不仅可以自动准确评估视频质量，还可以对其进行实时监控，优化其传输效果，从而更好地服务于视频通信 ［ 1 1 - 2 2 1-2 ］ 。迄今为止，已经报道了较多的NR-VQA模型；然而，由于视频内容的复杂性、网络的不稳定性、不同的编解码器、传输条件的不确定性以及人类视觉系统（Human Visual System，HVS）特性的复杂性等因素 ［ 2 2 - 5 5 2-5 ］ ，目前没有一个性能优越的客观NR-VQA方法能够实时准确有效地衡量失真视频的质量。因此，亟待研究一种简单、有效、实用且尽可能符合主观感受的VQA方法和模型。 前人对NR-VQA已经做了大量的研究 ［ 6 6 - 7 7 6-7 ］ ，提出了诸如V-BLIINDS（Blind VQA Algorithm） ［ 8 8 ］ 、V-CORNIA（Video Codebook Representation for NR Image Assessment） ［ 9 9 ］ 和VQAUCA（NR VQA using Codec Analysis） ［ 10 10 ］ 等方法和模型，但其真正能应用的非常少，其主要问题仍然是在精度、复杂性和泛化性能上，具体如下。 （1）特征选择问题。在当前主流视频传输模式下，其可能会遭受许多类型的失真；在NR-VQA研究中，为了提高评估精度，往往尽可能的提取更多的视频失真特征，但它同时也增加VQA模型的复杂性 ［ 4 4 ， 10 10 - 12 12 10-12 ］ 。因此，需要提取少量但有效的失真特征来构建NR-VQA模型。 （2）视频内容感知问题。现有NR-VQA往往只关注由传输而引起的视频失真 ［ 11 11 ］ ，考虑视频内容及其视觉感知效果的较少 ［ 3 3 ， 13 13 ］ 。然而，视频内容及其视觉感知对VQA的影响往往较大，因此，所构建的VQA模型的精度相关性参数PLCC（Pearson Linear Correlation Coefficient）和SROCC（Spearman Rank Order Correlation Coefficient）值往往不高。 （3）HVS特性问题。引入适当且有效的HVS特性及其感知模型，可以极大地提高VQA精度 ［ 1 1 ， 4 4 ， 14 14 ］ ，如V-BLIINDS ［ 8 8 ］ 和RIRNet ［ 13 13 ］ 模型。然而，如果使用从比特流中提取的失真特征构建模型，则可能很难在模型中有效地引入HVS特性 ［ 5 5 ， 11 11 ， 14 14 ］ 。因此，目前的做法是将VQA-B（VQA Metric based Bit-streaming）和VQA-P（VQA Metric based Visual Perception）方法结合起来构建NR-VQA模型 ［ 11 11 ］ ，其能够较好地利用HVS特性，因此其模型的精度可能得到较大的提高；但如何结合也是目前的难点。 （4）模型复杂性问题。在视频通信中，VQA需要较强的实时性，要求模型尽可能简单但有效。然而，VQA模型经常引入许多HVS特性并依赖于更多视频失真特征 ［ 6 6 ， 15 15 ］ ，而且，还常常融入机器学习方法，因此，目前报道的VQA模型往往非常复杂 ［ 6 6 - 7 7 6-7 ］ 。所以，在构建模型时，有必要对这些特征和方法进行适当的选择，并进一步优化相应的参数。 （5）泛化性问题。现有较多VQA方法使用机器学习工具来获得视频质量结果；然而，机器学习需要训练样本，样本的选择、数量、比例等对精度和泛化性能均有较大影响 ［ 7 7 ， 16 16 ］ 。目前，在NR-VQA中，许多模型采用同一视频数据库中的样本进行训练和测试，结果表明其所提VQA精度非常高；但当采用的测试视频样本来自其他数据库时，其PLCC和SROCC显著下降。这些结果表明，基于机器学习方法的VQA模型的泛化特性通常不高 ［ 6 6 - 7 7 6-7 ， 16 16 ］ ，因此，有必要优化VQA模型并增强其泛化性能。然而，在泛化性能上，采用传统方法构建的VQA模型的效果往往好于基于机器学习方法构建的VQA模型的效果。所以，综合考虑精度、复杂性和泛化性能，传统VQA建模方法仍然值得进行大量研究。 基于以上分析，本文提出一种综合考虑视频内容、传输失真及其视觉感知的NR-VQA度量方法，其基本思路为：首先提出仅基于比特率的初始VQA模型，以探讨比特率对视频质量的影响；其次，尽管不同视频的比特率相同，但由于视频内容的不同，主观MOS（Mean Opinion Score）亦明显不同，因此，基于图像的纹理复杂性、局部对比度、时间信息及其视觉感知来设计视频内容的视觉感知模型，且结合内容感知模型探讨视频内容及其感知对VQA的影响，并构建其模型；同时结合视频传输中时延特征，构建由于传输失真而产生的视频质量下降的质量评价模型；最后，采用凸优化方法综合、加权，糅合3个模型，从而提出一种综合考虑视频内容和传输失真的NR-VQA度量方法。 2 视频质量与其影响因素之间关系 1 主观VQA实验结果表明，在低比特率条件下，视频质量受比特率的影响最为显著 ［ 5 5 ， 11 11 ， 16 16 ］ ；而且，即使它们的比特率相同，不同内容的视频，主观VQA分数也存在很大的差异 ［ 3 3 ， 13 13 ］ ；另外，视频播放过程中，视频播放卡顿延时对视频质量体验同样产生较大影响 ［ 6 6 - 7 7 6-7 ， 17 17 ］ 。因此，视频编码后的比特率、视频内容及其视觉感知、以及卡顿延时是对VQA结果的主要影响。基于此，提出一种基于内容视觉感知和传输失真的NR-VQA模型，其研究思路为：首先结合视觉特性，分别单独探讨比特率、视频内容和传输时延对VQA的影响，再综合三种情况，提出VQA模型，最后实验验证、对比分析。为此，本章探讨了VQA的影响因素及其与视频质量之间关系。 2.1　比特率对视频质量的影响 2 在视频通信中，视频编码后的比特率对视频质量的影响非常大 ［ 5 5 ， 11 11 ， 16 16 ］ ；特别是在低比特率时，由于编码而带来的大面积块状效应，其影响程度远远超过其他因素，严重影响了视频的质量。为此，在忽略其他质量影响因素前提下，通过分析不同比特率下的主观VQA实验的MOS分数及其分布规律，提出了一种仅考虑比特率影响的VQA模型，其表达如 式（1） 式（1） ： <math display="block" id="M1"><mi mathvariant="normal">S</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><msub><mrow><mi mathvariant="normal">s</mi></mrow><mrow><mi>B</mi><mi>R</mi></mrow></msub><mo>=</mo><mi>a</mi><mo>⋅</mo><mi>B</mi><msup><mrow><mi>R</mi></mrow><mrow><mi>b</mi></mrow></msup><mo>⋅</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mi>c</mi><mo>⋅</mo><mi>B</mi><msup><mrow><mi>R</mi></mrow><mrow><mi>d</mi></mrow></msup><mo stretchy="false">)</mo><mo>+</mo><mi>e</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227312&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227305&type= 53.17066193 5.07999992 ， 其中：BR是比特率； a ， b ， c ， d 和 e 为参数，其通过大量主观MOS拟合获得。其中，进行的主观实验为：针对210个H.264压缩的失真视频，选择20名具有正常或矫正视力的非专业观察者（平均年龄为21岁）进行主观测试，得到视频主观质量分数MOS。其中，在本实验中，观察条件、设施设置和数据筛选遵循参考文献 ［ 18 18 ］ 中的规定。将得到的MOS分数和对应视频的BR值作为样本进行训练，采用非线性回归方法得到 式（1） 式（1） 的参数，其结果为5.505 4，0.580 2，5.255， - 0.156 3和 - 19.78 ［ 4 4 ］ 。 式（1） 式（1） 能较好地反映BR与视频质量之间的关系，从而描述量化比特率对视频质量的影响。 2.2　视频内容及其视觉感知对视频质量的影响 2 在主观VQA中，视频内容和视觉感知在较大程度上影响着VQA结果；因此，非常有必要讨论视频内容及其视觉感知对VQA的影响 ［ 13 13 ］ 。为了更好的体现视频内容特征，采用图像的纹理特征、局部对比度、时域信息及其视觉感知来设计视频内容的视觉感知模型。其中，视频采用时域和空域分开描述方法 ［ 1 1 ， 4 4 ， 7 7 ， 9 9 ］ ，即视频的空域信息可以用所有帧的静态图像表示，并且两帧之间的所有像素的运动矢量被视为视频的时域信息。因此，在提出的NR-VQA模型设计中，采用视频帧图像的纹理特征、局部对比度和运动矢量来描述视频内容。结合HVS特性，则视频内容感知模型需从图像纹理及其视觉感知，图像局部对比度以及视频时域信息及其视觉感知3个方面来描述 ［ 4 4 ］ 。 2 . 2 . 1　图像纹理及其视觉感知 3 采用图像的梯度和灰度的统计来描述图像的纹理特征。该方法如下：首先，计算每帧图像 f 的灰度和梯度，得到归一化灰度图 gray 和梯度图 grad ，以及共生矩阵 H （ gray （ i ， j ）， grad （ i ， j ）），并对 H 做归一化处理；然后将所有梯度乘以归一化共生矩阵中的对应值；最后，基于霍夫曼编码思想，对所有值求和，求和的结果记为图像梯度期望值。其被描述为图像的纹理复杂度的大小，其表示如 式（2） 式（2） ： <math display="block" id="M2"><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>g</mi><mi>r</mi><mi>a</mi><mi>y</mi><mo>=</mo><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mi>g</mi><mi>r</mi><mi>a</mi><mi>d</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>g</mi><mi>r</mi><mi>a</mi><mi>y</mi><mo>=</mo><mi>L</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>g</mi><mi>r</mi><mi>a</mi><mi>d</mi><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>g</mi></mrow></msub><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>g</mi><mi>r</mi><mi>a</mi><mi>d</mi></mrow></mfenced><mo>⋅</mo><mfrac><mrow><mi mathvariant="bold-italic">H</mi><mo stretchy="false">(</mo><mi>g</mi><mi>r</mi><mi>a</mi><mi>y</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>,</mo><mi>g</mi><mi>r</mi><mi>a</mi><mi>d</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mi>m</mi><mo>×</mo><mi>n</mi></mrow></mfrac></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227323&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227317&type= 100.75333405 9.65200043 ， 式中： L 为灰度级，一般取256； L g 为梯度级别，文中取32个级别； m × n 为每幅图像的像素数； H 是灰度梯度共生矩阵，其定义如 式（3） 式（3） ： <math display="block" id="M3"><mtable columnalign="left"><mtr><mtd><mo stretchy="false">{</mo><mi mathvariant="bold-italic">H</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>;</mo><mi>x</mi><mo>=</mo><mn mathvariant="normal">0,1</mn><mo>,</mo><mn mathvariant="normal">2</mn><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><mi>L</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo>;</mo></mtd></mtr><mtr><mtd><mi>y</mi><mo>=</mo><mn mathvariant="normal">0,1</mn><mo>,</mo><mn mathvariant="normal">2</mn><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">}</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227333&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227328&type= 51.81600189 10.75266743 ， 其中： H （ x ， y ）定义为集合｛（ x ， y ）| gray （ i ， j ）= x ， grad （ i ， j ）= y ； i =0，1，2，…， m- 1， j =0，1，2，…， n- 1｝中的元素数目。 根据HVS特征 ［ 19 19 - 20 20 19-20 ］ ，分析主观实验结果，通过分析和拟合，HVS感知图像复杂纹理的结果随着等 式（4） 式（4） 中的分段实验规律而变化，其中， K 1 ， K 2 ， K 3 是常数。则得出的结果描述为视频内容影响VQA结果的因素之一。 <math display="block" id="M4"><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi><mo>_</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>K</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋅</mo><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub><mo>,</mo></mtd><mtd><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub><mo><</mo><mn mathvariant="normal">0.15</mn><mtext> </mtext></mtd></mtr><mtr><mtd><mn mathvariant="normal">0.15</mn><msub><mrow><mi>K</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo></mtd><mtd><mn mathvariant="normal">0.15</mn><mo>≤</mo><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub><mo>≤</mo><mn mathvariant="normal">0.25</mn></mtd></mtr><mtr><mtd><msub><mrow><mi>K</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>⋅</mo><mo stretchy="false">(</mo><mo>-</mo><mn mathvariant="normal">0.75</mn><mo>⋅</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub><mo>-</mo><mn mathvariant="normal">0.3</mn><mo stretchy="false">)</mo><mo>,</mo></mtd><mtd><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub><mo>></mo><mn mathvariant="normal">0.25</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227343&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227338&type= 140.37733459 18.71133423 . 2 . 2 . 2　图像局部对比度 3 HVS感知图像亮度和颜色的对比敏感度对VQA有很大影响，且图像的局部对比度可以更好地描述图像内容的特征，如图像的更多区域具有相似的亮度和颜色，或者图像中的目标是否丰富等等 ［ 21 21 - 22 22 21-22 ］ 。因此，需要计算每帧图像的局部亮度和颜色的对比度。同时，为了说明局部亮度和颜色的人眼刺激，采用韦伯对比度定义，即C=Δ I / I 的形式；且将所有局部对比度值乘以相应局部区域中心的亮度或颜色的强度值（其值归一化），然后计算它们的平均值；其被描述为图像内容的特征值之一，亦被视为视频内容影响VQA结果的另一个重要因素，其表示如 式（5） 式（5） ： <math display="block" id="M5"><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi><mo>×</mo><mi>n</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow></munderover></mstyle><mrow><mfenced open="{" close="}" separators="|"><mrow><mover><mrow><mi>C</mi></mrow><mo>¯</mo></mover><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>⋅</mo><mfrac><mrow><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">256</mn></mrow></mfrac></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227356&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227351&type= 68.74933624 9.82133293 ， 其中： <math display="block" id="M6"><mover><mrow><mi mathvariant="bold-italic">C</mi></mrow><mo>¯</mo></mover><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">8</mn></mrow></mfrac><mo>⋅</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfrac><mfenced separators="|"><mrow><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mtd><mtd><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">8</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227368&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227361&type= 132.92666626 20.74333191 . 式中： <math id="M7"><mi mathvariant="bold-italic">f</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227378&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227373&type= 2.62466669 3.64066648 （ x i ， y j ）是图像上任意点的亮度或颜色强度值（ I ）， m × n 为图像的像素数。 图像局部对比度是整个图像的所有局部对比度的平均结果，其计算方法为：先计算局部（即对应图像子块上）所有目标点与其最近邻的8个点之间的对比度的平均值，再按照子块上的像素数目求其平均值，其平均值为该子块所对应局部的对比度，再将其按照图像子块的数目求平均，其平均值即作为图像局部对比度。以其反映整个图像的所有局部对比度对VQA的平均贡献。 2 . 2 . 3　视频时域信息及其视觉感知 3 在VQA中，时域信息及其视觉感知对VQA的影响较大，如视频中的场景切换、目标的剧烈运动和位置的变换等等，这些都可能会带来VQA结果的大幅波动 ［ 2 2 ， 7 7 ， 10 10 - 11 11 10-11 ］ 。分析这些情况在视频中的特征，主要体现在运动矢量上有较大变化；则基于VQA需要，结合在视频时域和空域的描述方法，将所有像素的运动矢量作为视频的时域信息。根据此说明，结合人眼对运动目标感知特性及其数学模型MCSF st （如 式（6） 式（6） ［ 23 23 ］ ），视频时域信息及其视觉感知结果可以通过 式（7） 式（7） 来量化计算。其计算方法为：首先利用MCSF st ，计算每一运动矢量 M v （ i ， j ）所对应的人眼敏感值（记为 <math id="M8"><mi mathvariant="normal">M</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">S</mi><msub><mrow><mi mathvariant="normal">F</mi></mrow><mrow><mi>s</mi><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227395&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227391&type= 38.60800171 4.91066647 ）；然后，将 <math id="M9"><mi mathvariant="normal">M</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">S</mi><msub><mrow><mi mathvariant="normal">F</mi></mrow><mrow><mi>s</mi><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227395&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227391&type= 38.60800171 4.91066647 × M v （ i ， j ）结果作为HVS感知该运动矢量所在区域的时域信息的量化结果，并将其归一化；最后，对所有运动矢量求平均值。该平均值作为视频内容贡献视频质量的第3个影响因子或增益因子，其表示如 式（7） 式（7） ： <math display="block" id="M10"><mi>M</mi><mi>C</mi><mi>S</mi><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo>,</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">4</mn><msup><mrow><mi mathvariant="normal">π</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><msub><mrow><mi>f</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">4</mn><mi mathvariant="normal">π</mi><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>f</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo>+</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo><mo>/</mo><mn mathvariant="normal">45.9</mn></mrow></msup><mo>×</mo><mfenced separators="|"><mrow><mn mathvariant="normal">6.1</mn><mo>+</mo><mn mathvariant="normal">7.3</mn><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">g</mi><mfrac><mrow><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">3</mn><msub><mrow><mi>f</mi></mrow><mrow><mi>θ</mi></mrow></msub></mrow></mfrac></mrow></mfenced></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227407&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227400&type= 94.82666779 12.02266598 ， 式中， f θ 为角频率， f t 为时间频率。 <math display="block" id="M11"><mtable><mtr><mtd><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>w</mi><mo>×</mo><mi>v</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>w</mi><mo>,</mo><mi>v</mi></mrow></munderover></mstyle><mrow><mfrac><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">S</mi><msub><mrow><mi mathvariant="normal">F</mi></mrow><mrow><mi>s</mi><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>×</mo><msub><mrow><mi mathvariant="normal">M</mi></mrow><mrow><mi>v</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></mfrac></mrow></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227419&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227413&type= 72.98266602 14.13933277 ， 式中： M v （ i ， j ）为运动矢量大小， w × v 为任意相邻两幅帧图像中运动矢量的数目。 基于以上3个方面，视频内容感知模型（人眼感知到的视频内容）可采用 式（8） 式（8） 描述： <math display="block" id="M12"><mi>V</mi><mi>i</mi><mi>d</mi><mi>e</mi><msub><mrow><mi>o</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">s</mi><mo>_</mo><mi mathvariant="normal">p</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>=</mo><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi><mo>_</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>+</mo><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227431&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227425&type= 108.03467560 3.80999994 . 其中， k 1 ， k 2 ， k 3 都是常数。 2.3　传输缓冲时延对视频质量的影响 2 视频通信过程中，受信道条件的限制，其对终端视频质量产生较多的负面影响 ［ 2 2 ， 10 10 ， 17 17 ］ 。其中影响终端视频质量的主要因素是丢包和时延。对于丢包，由于在LTE通信系统中采用有保障的TCP协议，在此过程中，丢包产生的影响主要体现在超时重传上。所以，在LTE通信系统中，信道导致视频质量下降的主要原因是时延。通过实时分析，其时延对视频质量的影响因素主要包括初始时延（Initial Delay，ID）、中间单次（每次）中断时延时长（Middle Buffer，MB）、中断（次数）频率（Number of Buffer，NB）、多次中断平均时长（Average Buffer Delay，ABD）。则在本文中，主要探讨此4个方面对视频通信中质量的影响。 2 . 3 . 1　方法基本框架和数据库构建 3 此方面主要探讨时延与视频质量之间的关系，其基本思路为：首先建立两个视频数据库，并对数据库中的视频进行主观实验，得到主观质量评价分数；再依据其中之一数据库中的数据，对其进行分析和回归拟合，构建每一时延情况下的视频质量与该时延参量之间的关系模型；最后，对4种情况的模型进行综合，并采用另外一个数据库中的数据进行验证测试和优化，最终得出综合考虑4种时延的视频质量评价模型。其基本框架如 图1 图1 。 由于目前没有相关研究内容的开源视频数据库，为此，实验采用LIVE和VIPSL数据库中的源视频作为参考视频，并进行处理，建立两个数据库，分别记为LIVEour和VIPSLour视频数据库。结合视频的帧率分别为25 fps和30 fps，其失真视频参数相关设置和说明如 表1 表1 ~ 表3 表3 ；同时进行主观质量评价，获得了所有视频的主观质量分数。 Databases Parameters 9 Parameter values 2 LIVEour （25 fps） Initial delay 0.12 0.32 0.52 1.0 1.52 2.0 3.0 5.0 10.0 Middle buffer 0.12 0.32 0.52 1.0 1.52 2.0 3.0 5.0 10.0 2 VIPSLour （30 fps） Initial delay 0.10 0.30 0.50 1.0 1.50 2.0 3.0 5.0 10.0 Middle buffer 0.10 0.30 0.50 1.0 1.50 2.0 3.0 5.0 10.0 s Databases Number of buffer N 10 Average buffer delay/s LIVEour（25 fps） 3/6/10 0.12 0.32 0.52 1 2 3 5 10 - - VIPSLour（30 fps） 2/3/4 0.1 0.3 0.5 0.8 1 1.5 2 3 4 5 Databases Parameters 7 Parameter values 2 LIVEour（25 fps） Number of buffer N 1 2 3 5 8 10 — frequency of buffer/（ N ·min -1 ） 6 12 18 30 48 60 — Average buffer delay/s 0.1/1/5 2 VIPSLour（30 fps） Number of buffer N 1 2 3 4 5 6 8 frequency of buffer/（ N ·min -1 ） 6 12 18 24 30 24 48 Average buffer delay/s 0.3/1/2 2 . 3 . 2　每类时延因素与视频质量之间的关系 3 时延对视频质量的影响主要为4个因素，即初始时延、中间单次（每次）中断时延时长、中断（次数）频率、多次中断平均时长。通过主观实验和质量评价分数的分析表明，初始时延和中间单次中断时延对视频质量的影响效果非常相近，为了使VQA模型更加简单，在保证模型性能的前提下，将二者因素综合为一个因素来考虑。则其时延因素与质量之间的关系如下。 （1）初始时延和中间单次中断时延与视频质量之间的关系。 依据初始时延和单次中断时延失真对应的视频主观质量评价分数及其变化分布特征，分别采用逻辑函数、线性函数、最小二乘法中的多项式函数对数据库中的部分主观MOS分数进行数据回归拟合，并以模型复杂性、RMSE和相对误差值作为标准，对比3个函数的效果，选择其中最好的一种函数作为构建的模型结果。通过实验发现，采用最小二乘法的多项式回归模型综合效果最佳。其中，为了提高回归模型的泛化性能，采用LIVEour数据库中中间单次中断时延失真的视频的主观MOS分数（MOS LMB ）作为训练样本，采用LIVEour数据库中初始时延和VIPSLour库中的初始时延和单次中断时延失真视频的主观MOS分数（分别记为MOS LID ，MOS VMB 和MOS VID ）数据进行测试。其回归模型记为VQA ID （VQA Initial_Delay ）或VQA MB （VQA Middle_Buffer ），其表达如 式（9） 式（9） ： <math display="block" id="M13"><mtable><mtr><mtd><mi mathvariant="normal">V</mi><mi mathvariant="normal">Q</mi><msub><mrow><mi mathvariant="normal">A</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi></mrow></msub><mtext> </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mtext> </mtext><mi mathvariant="normal">V</mi><mi mathvariant="normal">Q</mi><msub><mrow><mi mathvariant="normal">A</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">B</mi></mrow></msub><mo>:</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi><mo>/</mo><mi mathvariant="normal">M</mi><mi mathvariant="normal">B</mi></mrow></msub><mo>=</mo></mtd></mtr><mtr><mtd><mo>-</mo><mn mathvariant="normal">0.083</mn><mtext> </mtext><mn mathvariant="normal">7</mn><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>+</mo><mn mathvariant="normal">2.050</mn><mtext> </mtext><mn mathvariant="normal">6</mn><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>-</mo><mn mathvariant="normal">17.925</mn><mtext> </mtext><mn mathvariant="normal">7</mn><mi>x</mi><mo>+</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">91.920</mn><mtext> </mtext><mn mathvariant="normal">6</mn><mo stretchy="false">(</mo><mi>x</mi><mo>=</mo><mi>I</mi><mi>D</mi><mtext> </mtext><mi>o</mi><mi>r</mi><mtext> </mtext><mi>M</mi><mi>B</mi><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227489&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227483&type= 63.33066940 13.29266548 式中： x 和 y 分别表示初始时延时长（Initial Delay Time，ID）和单次中断时延时长（Middle Buffer Time，MB）； Scores ID/MB 表示由于不同初始时延时长或单次中断时延时长而引起的视频质量下降时的质量评价分数。 （2）平均中断时长与视频质量之间的关系。 中断次数和平均中断时长均对视频质量有较大影响，则通过分析不同中断次数下不同平均中断时延时长对视频质量的影响后得出的主观质量评价分数MOS及其分布特点，对其采用3次二元多项式拟合，其关系模型VQA ABD 如 式（10） 式（10） ： <math display="block" id="M14"><mtable><mtr><mtd><mi mathvariant="normal">V</mi><mi mathvariant="normal">Q</mi><msub><mrow><mi mathvariant="normal">A</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">B</mi><mi mathvariant="normal">D</mi></mrow></msub><mo>:</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">B</mi><mi mathvariant="normal">D</mi></mrow></msub><mo>=</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">00</mn></mrow></msub><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mo>⋅</mo><mi>x</mi><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">01</mn></mrow></msub><mo>⋅</mo><mi>y</mi><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">20</mn></mrow></msub><mo>⋅</mo><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">11</mn></mrow></msub><mo>⋅</mo><mi>x</mi><mi>y</mi><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">30</mn></mrow></msub><mo>⋅</mo><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">21</mn></mrow></msub><mo>⋅</mo><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>⋅</mo><mi>y</mi><mo stretchy="false">(</mo><mi>x</mi><mo>=</mo><mi>A</mi><mi>B</mi><mi>D</mi><mo>,</mo><mi>y</mi><mo>=</mo><mi>N</mi><mi>B</mi><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227498&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227494&type= 67.56400299 16.00200081 其中： <math id="M15"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">00</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">92.59</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227508&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227503&type= 18.71133423 4.57200003 ， <math id="M16"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">27.89</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227519&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227513&type= 22.26733208 4.57200003 ， <math id="M17"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">01</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">0.958</mn><mtext> </mtext><mn mathvariant="normal">8</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227531&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227524&type= 24.89200020 4.57200003 ， <math id="M18"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">20</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">4.568</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227539&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227537&type= 18.71133423 4.57200003 ， <math id="M19"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">11</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">0.019</mn><mtext> </mtext><mn mathvariant="normal">04</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227552&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227544&type= 26.75466537 4.57200003 ， <math id="M20"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">30</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">0.245</mn><mtext> </mtext><mn mathvariant="normal">4</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227561&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227556&type= 24.89200020 4.57200003 ， <math id="M21"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">21</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">0.001</mn><mtext> </mtext><mn mathvariant="normal">898</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227564&type= 28.61733437 4.57200003 。 x 为平均中断时长（Average buffer delay，ABD）， y 为中断次数（Number of buffer，NB），参数采用LIVEour视频库中数据为训练样本获得，实验中采用VIPSLour库中的数据为样本对模型进行测试。 （3）中断频率与视频质量之间的关系。 中断频率（次数）对视频质量同样有较大的影响，但同时也需要考虑每次的中断时长。为了研究中断频率对视频质量的影响，需要将中断平均时长设为规定的数值，即在某一平均中断时长下设置不同的中断次数来研究其对视频质量的影响。通过分析两个数据库中5种平均中断时延时长下不同中断次数时失真视频主观质量评价分数MOS及其分布特点，中断（次数）频率与视频质量之间的关系模型如 式（11） 式（11） ： <math display="block" id="M22"><mtable><mtr><mtd><mi mathvariant="normal">V</mi><mi mathvariant="normal">Q</mi><msub><mrow><mi mathvariant="normal">A</mi></mrow><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">B</mi></mrow></msub><mo>:</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">B</mi></mrow></msub><mo>=</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">00</mn></mrow></msub><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mo>⋅</mo><mi>x</mi><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">01</mn></mrow></msub><mo>⋅</mo><mi>y</mi><mo stretchy="false">(</mo><mi>x</mi><mo>=</mo><mi>A</mi><mi>B</mi><mi>D</mi><mo>,</mo><mi>y</mi><mo>=</mo><mi>N</mi><mi>B</mi><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227574&type= 51.81600189 10.41399956 其中： <math id="M23"><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">00</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">98.42</mn><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">2.433</mn><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">01</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">6.175</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227593&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227585&type= 65.95532990 4.57200003 ， x 为平均中断时长（Average buffer delay，ABD）， y 为中断次数（Number of buffer，NB），模型参数采用LIVEour视频库中数据为训练样本训练获得。 2 . 3 . 3　4种时延与视频质量之间的综合关系模型 3 （1）模型构建。 在实际视频传输过程中，上述4种时延情况均有可能均出现，则需要一种考虑4种情况的综合模型，即需要拟合一种z= f （ x 1 ， x 2 ， x 3 ）的4维函数。由于在4维函数的拟合中，常常存在不稳定解的问题，需要转化为三维解。则结合视频时延失真的特征：初始时延（和单次中断时长）可以单独作为一个因子影响视频的质量，即在其引起视频失真时可能没有中断次数和平均中断时延时长对视频质量的影响，则即一个初始时延值对应一个视频质量分数 Scores ID ；而对于中断次数和平均中断时延时长，虽然可以没有初始时延，但在对视频质量影响时，是二者共同的作用的结果，即中断次数和平均中断时延时长二者共同对应于一个质量分数 Scores ABD_NB ，且综合分析二者的关系模型 式（10） 式（10） 和（11）， 式（10） 式（10） 的形式刚好可以描述中断次数和平均中断时延时长二者共同影响因子与质量之间的函数关系。基于此分析，结合降维求解的思想，以及前面的3种单独时延情况时的关系模型的特点，采用凸优化的形式，提出了一种考虑4种传输时延时的综合关系模型VQA buffer ，其表达如式（ 12 12 ）~（ 14 14 ）： <math display="block" id="M24"><mtable><mtr><mtd><mi mathvariant="normal">V</mi><mi mathvariant="normal">Q</mi><msub><mrow><mi mathvariant="normal">A</mi></mrow><mrow><mi mathvariant="normal">b</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msub><mo>:</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">b</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msub><mo>=</mo><mi>f</mi><mo stretchy="false">(</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi><mo>/</mo><mi mathvariant="normal">M</mi><mi mathvariant="normal">B</mi></mrow></msub><mo>,</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">B</mi><mi mathvariant="normal">D</mi><mo>_</mo><mi mathvariant="normal">N</mi><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi>p</mi><mo>⋅</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi><mo>/</mo><mi mathvariant="normal">M</mi><mi mathvariant="normal">B</mi></mrow></msub><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>p</mi><mo stretchy="false">)</mo><mo>⋅</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">B</mi><mi mathvariant="normal">D</mi><mo>_</mo><mi mathvariant="normal">N</mi><mi mathvariant="normal">B</mi></mrow></msub><mo>,</mo></mtd></mtr><mtr><mtd><mi>p</mi><mo>=</mo><mn mathvariant="normal">0.251</mn><mtext> </mtext><mn mathvariant="normal">4</mn><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227602&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227598&type= 138.34533691 9.39799976 <math display="block" id="M25"><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi><mo>/</mo><mi mathvariant="normal">M</mi><mi mathvariant="normal">B</mi></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">0.083</mn><mtext> </mtext><mn mathvariant="normal">7</mn><msup><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>+</mo><mn mathvariant="normal">2.050</mn><mtext> </mtext><mn mathvariant="normal">6</mn><msup><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>-</mo><mn mathvariant="normal">17.925</mn><mtext> </mtext><mn mathvariant="normal">7</mn><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><mn mathvariant="normal">91.920</mn><mtext> </mtext><mn mathvariant="normal">6</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227610&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227606&type= 103.46266174 4.06400013 ， <math display="block" id="M26"><mtable><mtr><mtd><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">B</mi><mi mathvariant="normal">D</mi><mo>_</mo><mi mathvariant="normal">N</mi><mi mathvariant="normal">B</mi></mrow></msub><mo>=</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">00</mn></mrow></msub><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mo>⋅</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">01</mn></mrow></msub><mo>⋅</mo><mi>y</mi><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">20</mn></mrow></msub><mo>⋅</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">11</mn></mrow></msub><mo>⋅</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mi>y</mi><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">30</mn></mrow></msub><mo>⋅</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">21</mn></mrow></msub><mo>⋅</mo><msup><mrow><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>⋅</mo><mi>y</mi><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">00</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">100.80</mn><mo>,</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">24.11</mn><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">01</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">3.786</mn><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">20</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">4.015</mn><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">11</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">0.255</mn><mtext> </mtext><mn mathvariant="normal">1</mn><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">30</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">0.234</mn><mtext> </mtext><mn mathvariant="normal">9</mn><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">21</mn></mrow></msub><mo>=</mo><mo>-</mo><mn mathvariant="normal">0.002</mn><mtext> </mtext><mn mathvariant="normal">516</mn><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227615&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227612&type= 142.66333008 10.32933331 式中： x 1 为初始时延时长 ID 或单次中断时长 MB （ x 1 = ID / MB ）， x 2 为平均中断时长 ABD （ x 2 =ABD）， y 为中断次数 NB （ y = NB ）； 式（12） 式（12） 中参数 p 和1 -p 的设置原因为 Scores ABD_NB 和 Scores ID 是相互独立的两个影响因子，保证其中之一可以不影响或全部影响视频质量（即p=0或1时的情形），其 p 值采用LIVEour视频库中的初始时延、中断次数、平均中断时长3者对应的MOS（以上单独拟合3者时的MOS）来拟合得到；其中断次数和平均中断时长对应的MOS分数（MOS NB 和MOS ABD ）均作为训练集来训练得到 式（14） 式（14） 中的参数 p 00 ， p 10 ， p 01 ， p 20 ， p 11 ， p 30 和 p 21 。 式（12） 式（12） 亦即是一种仅考虑传输时延时多种时延情况综合的VQA模型。 （2）实验测试和结果分析。 为了说明所提VQA模型的性能，一般采用主观和客观评估的方法对其进行性能分析。对于主观评估，一般采用主客观质量分数之间的散点图的离散程度来直观分析两分数之间的相关性，从而来说明所提模型的精度。对于客观评估，需要从两质量分数之间的单调性和一致性上分析，即分析主观VQA分数（MOS/DMOS）与所提模型计算的客观VQA分数之间的相关度，其相关度越高，则模型精度越高，模型性能越好，否则反之。相关度可以用相关性参数来度量，依据国际视频质量专家组的说明 ［ 1 1 ， 18 18 ］ ，相关性参数有：Pearson线性相关系数PLCC，Spearman秩相关系数SROCC，均方根误差RMSE（Root Mean Square Error， RMSE），背离率（Outlier Ratio， OR）。其中，PLCC和SROCC值越大，越接近于1，则模型精度越高，表明模型预测质量效果越好，反之则越差；RMSE和OR越小，表明散点图中散点的离散程度越小，模型精度越高，否则反之。 为了说明所提综合多种时延影响时的VQA模型式（12）~ 式（14） 式（14） 的性能，需要对同时遭受初始时延、不同平均中断时长和不同中断次数失真的视频进行测试。则须进行以下实验：首先，需要另外建立视频库，并进行主观实验，即：任意选取初始时延、中断次数和平均中断时长中的一组数值作为参数，对参考视频进行加时延处理，得到不同初始时延、中断次数和平均中断时长的失真视频，并对其进行主观实验，得到MOS分数；接着，采用所提综合时延影响的VQA模型，对失真视频进行计算，得出客观质量评价分数 Scores buffer ；最后，计算主客观质量评价分数之间的相关性参数值，作出散点图，分析所提模型的精度和泛化性能。 基于以上实验，采用80组参数（ ID ， ABD ， NB ）分别对LIVE和VIPSL中18个参考视频进行处理（每幅参考视频加8种或10种时延），得到160个失真视频，并采用15名观察者对其进行主观评价，得出其MOS分数，再对其求平均，其值作为此160个失真视频的主观评价分数，并采用所提模型计算其客观质量评价分数，最后计算主客观质量分数之间的相关性参数，并做散点图，其结果如 图2 图2 。 图2 图2 中的测试结果表明：①所提综合考虑多种时延影响的VQA模型在不同数据库中的评价效果均能够实现PLCC和SROCC都超过0.9，精度比较高；②对于两个数据库中的PLCC和SROCC，均比较高，其泛化性能比较好。 3 视频质量评价模型 1 3.1　基于内容视觉感知和传输失真的VQA模型 2 基于第2节的分析，影响视频质量的因素主要为：视频内容、视觉感知、比特率和传输缓冲时延。综合分析各影响因素与视频质量之间的关系模型及其MOS分数分布特征，采用凸优化方法，提出一种综合考虑视频内容及其视觉感知、比特率和传输时延的NR-VQA模型，记为MCPBD（NR-VQA Model that Comprehensively Considers Video Content and its Visual Perception， Bit Rate and Transmission Delay），其表达如 式（15） 式（15） ： <math display="block" id="M27"><mtable><mtr><mtd><mi mathvariant="normal">M</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">P</mi><mi mathvariant="normal">B</mi><mi mathvariant="normal">D</mi><mo>:</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msub><mo>=</mo><mi>α</mi><mo stretchy="false">[</mo><mi>p</mi><mo>⋅</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">D</mi></mrow></msub><mo>+</mo></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>p</mi><mo stretchy="false">)</mo><mo>⋅</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">A</mi><mi mathvariant="normal">B</mi><mi mathvariant="normal">D</mi><mo>_</mo><mi mathvariant="normal">N</mi><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">]</mo><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>α</mi><mo stretchy="false">)</mo><mo stretchy="false">[</mo><mi>S</mi><mi>c</mi><mi>o</mi><mi>r</mi><mi>e</mi><msub><mrow><mi>s</mi></mrow><mrow><mi>B</mi><mi>R</mi></mrow></msub><mo>⋅</mo></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>+</mo><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi><mo>_</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mi>V</mi><mi>a</mi><mi>l</mi><mi>u</mi><msub><mrow><mi>e</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227639&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227635&type= 65.53199768 21.33600044 式中： <math id="M28"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227647&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=37227640&type= 1.94733346 2.79399991 采用建立的数据库中的部分数据进行拟合得到； Scores ID 、 Scores ABD_NB ， Scores BR ， Value complexity-sensitivity ， Value contrast 和 Value temporal 分别采用 式（13） 式（13） 、 式（14） 式（14） 、 式（1） 式（1） 、 式（4） 式（4） 、 式（5） 式（5） 和 式（7） 式（7） 来计算获得；参数 k 1 ， k 2 ， k 3 采用 式（8） 式（8） 中的结果。为了使得模型精度更高，每一个参数都采用不同比例的样本数据反复实验、测试和优化，尽量使其达到最优。其中，［ Scores ID +（1-p）· Scores ABD_NB ］表示视频在受传输时延影响下的质量贡献， Scores BR 表示在编解码影响下对视频质量的贡献，（1+ k 1 · Value complexity_sensitivity + k 2 · Value contrast + k 3 · Value temporal ）表示受视频内容及其视觉感知效果影响下，对视频质量的贡献。 3.2　模型测试和结果分析 2 为了更好地说明所提综合VQA模型MCPBD的性能，分别采用建立的数据库和3个开源数据库（即LIVE ［ 24 24 ］ ，VQEG ［ 5 5 ］ 和IRCCyN ［ 4 4 ］ ）中的视频和数据进行仿真实验和测试验证。 3 . 2 . 1　基于建立的数据库的实验测试验证 3 视频数据库建立：分别对LIVE和VIPSL数据库中的10幅和8幅参考视频分别进行处理，其处理包括：①对每幅参考视频采用H.264压缩，其压缩后比特率分别为200，300，500，800，1 000，1 500，2 000和3 000 kbps；②对压缩后的视频分别加缓冲时延处理，时延参数采用上述的80组参数（ ID ， ABD ， NB ）；则分别得到80幅（源自LIVE库）和64幅（源自VIPSL库）失真视频。 实验测试：采用11位观察者对上述失真视频进行主观实验，得到其MOS分数，并采用所提模型MCPBD（ 式（15） 式（15） ）对其进行计算，得到客观质量评价分数。最后进行主客观质量评价分数相关性分析，计算描述性能的4个相关性参数值，即PLCC，SROCC，RMSE和OR，并做两分数之间的散点图，从而分析所提模型的性能。其结果如 图3 图3 。 从 图3 图3 中的实验结果可得，无论是从散点图上的直接主观分析，还是分析4个参数上的数据结果，均表明实验得出了较好的视频质量评价效果，其精度较高，其PLCC和SROCC值均在0.9以上。则表明，所提模型是一种较优的VQA模型。 以上涉及的主观实验，为了减小误差，所有观察者首先按照视频序号测试一遍所有待测视频，再反序测试一遍，最后随意挑选序号测试一遍，按3遍所有观察者质量评价分数求平均，其平均值即为每个视频的MOS值。如上述11位观察者，即每个视频的MOS值是33个质量评价分数的平均值。 3 . 2 . 2　基于开源数据库的实验测试验证 3 为了更有效的说明所提模型的性能，采用3个开源数据库中的视频进行测试和验证，其选择的视频分别如下。LIVE：LIVE Stall Mobile VQ DatabaseⅡ ［ 24 24 ］ ，共174个失真视频数据；VQEG：VQEG HDTV，共168个失真视频数据 ［ 5 5 ］ ；IRCCyN：SD视频，共100个失真视频数据 ［ 4 4 ］ 。实验得到视频质量客观评价分数，结合数据库中的主观视频质量评价分数MOS，作出散点图，并计算4个参数值，其结果如 图4 图4 。 实验测试中，由于在3个数据库中选用不同参数的失真视频，如LIVE和VQEG是HD视频，IRCCyN中选用的是SD视频，而所提模型构建时是采用标清视频中的相关参数，则需要通过两类视频参数之间的关系，将待评价视频中的相关参数对应到所提VQA模型中所需的特征参数，从而得出其质量分数，如BR需要按照BR=BR HD /（（1 920×1 080）/（768×432））的方法来换算；中断次数需要先转换为中断频率，再计算在10 s内的中断次数来代入所提模型中；中断平均时长需要相对于整个视频时长而言来量化大小；对于没有中断的视频，取其中断参数为零；对于transmission errors视频失真，VQEG中按照丢包率和误码率模拟，则在计算其质量时，将其丢包和误码率设置为卡顿中断占该段视频的比例。另外，在作 图4 图4 （a）的过程中，LIVE Stall Mobile Database Ⅱ数据库中提供的视频质量分数为DMOS值；为了与 图3 图3 的结果一一对应，按照数据库中给定的最大DMOS值为100，最小为0，将DMOS按照MOS=100-DMOS的形式转换为MOS值。图中的曲线经过logistic和非线性拟合回归分析，结果表明采用3次方的非线性回归时效果最佳。 图4 图4 的实验结果表明，采用所提模型MCPBD对3个视频库中的视频进行的质量评价，其精度完全可以达到PLCC值0.877 3以上，SROCC值0.833 6以上，而且从主观上，散点图的一致性同样表现较好。则表明，所提模型不仅精度较高，而且具有较好的泛化性能。 4 讨论和分析 1 在VQA研究中，VQA模型的性能分析非常重要，关系到其应用价值；要求其模型不仅具有较高的精度，而且还要求具有较好的泛化性能和较低的复杂性。为此，对所提MCPBD模型的精度、复杂性和泛化性能进行分析，并与多种现有常见VQA模型的性能进行对比。 4.1　模型精度对比分析 2 为了说明所提模型的精度及其优势，基于精度参数PLCC和SROCC值，将所提模型与常见的和最近提出的全参考（Full Reference， FR）和无参考的共17种VQA模型的评价精度进行对比分析，其结果如 表4 表4 和 表5 表5 。 2 Databases 6 2 LIVE Database 2 LIVE Stall Ⅱ 2 Our Database LIVEour VIPSLour VAQ models PSNR MS-SSIM VSNR VQM MOVIE ST-MAD MCPBD MCPBD MCPBD PLCC 0.596 2 0.700 1 0.656 7 0.723 6 0.818 1 0.826 7 0.884 6 0.926 0.914 8 SROCC 0.575 5 0.704 3 0.642 4 0.702 6 0.800 5 0.809 2 0.833 6 0.920 2 0.907 7 2 Databases 10 2 LIVE Database 2 LIVE Qualcomm 2 LIVE Stall Ⅱ 2 Our Database LIVEour VIPSLour VAQ models NVSM 3D-DCT V-CORNIA V-BLIINDS COME VQAUCA TRR-QoE C-VQA NR-DCT BRVPVC QAIWV MCPBD MCPBD MCPBD PLCC 0.732 0.891 0.768 0.759 0.852 0.88 0.839 0.7927 0.7855 0.8547 0.732 0.884 6 0.926 0.914 8 SROCC 0.703 0.782 0.74 0.881 0.821 0.90 0.8221 0.772 0.8031 0.826 0.737 0.833 6 0.920 2 0.907 7 17种模型中，PSNR，MS-SSIM ［ 25 25 ］ ，VSNR ［ 26 26 ］ ，VQM ［ 27 27 ］ ，MOVIE ［ 28 28 ］ 和ST-MAD ［ 29 29 ］ 是全参考VQA（FR-VQA）模型，V-BLIINDS ［ 8 8 ］ ，V-CORNIA ［ 9 9 ］ ，VQAUCA ［ 10 10 ］ ，NVSM ［ 30 30 ］ ，3D-DCT ［ 31 31 ］ ，C-VQA ［ 32 32 ］ ，NR-DCT ［ 33 33 ］ ，TRR-QoE ［ 34 34 ］ ，QAIWV ［ 35 35 ］ ，COME ［ 4 4 ］ 和BRVPVC ［ 4 4 ］ 为无参考VQA（NR-VQA）模型。 表4 表4 和 表5 表5 中，QAIWV ［ 35 35 ］ 是针对LIVE视频数据库中LIVE-Qualcomm子库的实验结果，其余16种现有模型的精度值均来自于LIVE数据库中的150幅开源视频评价后的结果 ［ 4 4 ， 8 8 - 10 10 8-10 ， 25 25 - 35 35 25-35 ］ 。从两个表中的结果可以得出，3D-DCT，V-BLINDS，VQAUCA及文中所提模型MCPBD的精度是该18种方法中最高的4种方法，但3D-DCT，V-BLINDS和VQAUCA是基于机器学习的VQA方法，其精度虽高，但其中间拟合过程、物理意义、模型构建方式等不详，完全是黑匣子形式，存在一定弊端。所提模型MCPBD是结合视觉特性、视频内容和传输特征所提出的方法，具有明确的意义，且精度同样较高，所以更具有参考价值。对于最近提出的QAIWV和TRR-QoE模型，QAIWV主要针对野外视频的质量评估，其目前是一个具有挑战性的问题，但其精度PLCC值能达仍到0.732；TRR-QoE主要在结合深度神经网络、视频内容和视觉感知方面做了深入探讨，其精度PLCC值达到0.839；其研究工作对VQA的研究具有较好的指导意义。 4.2　泛化性能 2 泛化性能即要求所提VQA模型针对不同数据库的视频质量评价，仍能具有较高的评价精度 ［ 1 1 ， 4 4 ， 6 6 - 7 7 6-7 ， 36 36 - 37 37 36-37 ］ 。为此通过两个方面进行说明：（1）不同数据库的VQA评价精度对比分析，（2）模型拟合和验证过程理论分析。 4 . 2 . 1　不同数据库的VQA评价精度对比分析 3 结合4个开源数据库，即LIVE ［ 24 24 ］ ，VQEG ［ 5 5 ］ ，IRCCyN ［ 4 4 ］ 和Lisbon ［ 4 4 ］ ，基于精度参数PLCC和SROCC，将所提模型MCPBD评价结果的精度与以上现有17种模型中精度较高的7种模型的精度进行对比，每个模型对比的精度至少来自于2个数据库的评价结果，其结果如 表6 表6 。 Databases VQA models VQM MOVIE ST-MAD 3D-DCT V-BLIINDS VQAUCA BRVPVC MCPBD 2 LIVE PLCC 0.723 6 0.811 6 0.829 9 0.891 0 0.759 0 0.88 0.854 7 0.884 6 SROCC 0.702 6 0.789 0 0.824 2 0.782 0 0.881 0 0.90 0.826 0 0.833 6 2 VQEG PLCC 0.746 0 0.858 0 0.857 7 0.424 0 0.567 0 — 0.895 1 0.877 3 SROCC 0.726 0 0.781 0 0.850 0 0.437 0 0.561 0 — 0.886 7 0.875 2 IRCCyN PLCC 0.753 7 0.753 7 — — — — 0.838 9 0.902 9 SROCC 0.782 5 0.782 5 — — — — 0.835 6 0.885 1 2 Lisbon PLCC 0.86 — 0.83 — — 0.75 — — SROCC 0.87 — 0.87 — — 0.79 — — 结合 表4 表4 和 表5 表5 ，分析 表6 表6 的对比结果，可得：（1）精度上，所提模型在3个开源数据库LIVE，IRCCyN，VQEG，以及自建的数据库Our Database中的精度PLCC和SROCC均在0.87和0.83以上；对于3个开源数据库中的评价，所提模型的VQA精度参数值均是8种模型中的最高或次高，且其是17种现有VQA模型中精度最高或次高。（2）评价结果稳定性上，所提VQA模型在3个开源数据库中的精度均表现出了较好的结果，3个数据库中评价精度较高，且波动不大；而VQM，MOVIE，ST-MAD，D-DCT，V-BLIINDS，VQAUCA模型在不同数据库中评价的精度参数值变化较大，表现了不稳定性，泛化性能稍差；相对于所提模型，BRVPVC模型的泛化性能和精度次之。从不同数据库中的评价精度和评价稳定性上看，所提模型表现了较好的泛化性能。 4 . 2 . 2　模型拟合和验证过程理论分析 3 通过分析第2和第3节中的模型拟合和验证测试过程可得，所提模型MCPBD的精度是在训练样本和测试样本不同数据库或同一数据库不同比例情况下得出的结果，对于所构建的两个数据库，其VQA精度PLCC和SROCC值均在0.9以上；而且在模型的拟合过程中，对其子模型（延时部分）进行了不同数据库的测试验证，其精度均能超过0.9以上。综合拟合过程和验证结果表明，所提VQA模型具有较好的泛化性能。 4 . 2 . 3　复杂性 3 模型复杂性要求所提模型尽可能简单方便、实用性强。在VQA研究中，一般采用VQA模型算法运算时间来度量其复杂性 ［ 1 1 ， 6 6 - 7 7 6-7 ， 38 38 ］ 。则对所提MCPBD模型进行评价实验，取其算法平均耗时大小描述其复杂性；同时将其结果与9种现有VQA模型的复杂性进行对比，其9种模型为：PSNR，MS-SSIM ［ 25 25 ］ ，VSNR ［ 26 26 ］ ，VQM ［ 27 27 ］ ，MOVIE ［ 28 28 ］ ，ST-MAD ［ 29 29 ］ ，V-CORNIA ［ 9 9 ］ ，V-BLIINDS ［ 8 8 ］ 和COME ［ 4 4 ］ 。为了对比的需要，采用每种VQA模型平均评价10帧时的算法运行耗时来比较。其中，实验环境为：64位操作系统的笔记本，其处理器为Intel（R） Core（TM） i7-8550U CPU @ 1.8 Ghz 1.99 GHz；为了避免分辨率的问题，采用相同数据库中的视频进行实验，其结果如 图5 图5 。 从模型复杂性对比的结果上看，所提模型的算法复杂性处于10种模型中的较好水平，其明显低于VSNR，VQM，MOVIE，ST-MAD，V-CORNIA和V-BLIINDS的算法复杂性，但比PSNR，SSIM和COME的复杂性高。 从理论上分析，所提MCPBD模型要求提取视频帧图像的纹理、对比度和运动矢量3个特征量以及3种时延信息，从总体上看，所提取的信息和特征量数目并不多；且实际应用中只需要计算提取帧图像纹理（及其视觉感知）、对比度和运动矢量3个特征值；时延值只需要依据视频传输的时间戳，就可获得时延数据，且代入模型中，其计算量非常小，所以时延特征的计算几乎不占时间。另外，对于帧图像纹理、对比度和运动矢量3个特征，在实际视频传输中，相邻几帧或更多帧的图像的纹理特征、对比度和运动矢量非常接近，特别是对于新闻类、报道类以及娱乐类等节目视频，所以，在多数情况下，可以认为相邻多帧图像具有相同或相近的内容复杂度、对比度和运动矢量，所以如此处理，不需要计算每一帧的3个特征值，从而能大大减小计算量，降低模型算法的复杂性。 5 结 论 1 本文主要研究了考虑视频内容、编解码比特率和传输时延影响时的视频质量评价方法。在该方法中，首先探讨了编解码比特率对视频质量的影响，构建了仅考虑比特率时的VQA模型；然后，采用视频帧图像纹理复杂性、图像的局部对比度、时域信息及其视觉感知来描述视频内容，构建了视频内容感知模型，并以此探讨了视频内容及其视觉感知对视频质量的影响；接着，结合视频传输中时延特征，构建由于传输时延失真而产生的视频质量下降的质量评价模型；最后，采用凸优化方法，通过一定的权重系数综合3个模型，从而提出了一种综合考虑视频内容和传输失真的NR-VQA模型MCPBD。并采用多个建立的视频数据库和开源数据库LIVE StallⅡ中的数据和视频进行了测试验证，且与17种现有VQA模型从精度、复杂性和泛化性能上进行了对比分析；结果表明，所提模型的精度PLCC值均超过0.88，SROCC值均超过0.83，表现出了较好的泛化性能，且复杂度比较低。综合模型精度、泛化性能、复杂性3个方面的性能参数表明，所提模型是一个性能比较优异的视频质量评价模型。 参考文献 ZHAI G T ， MIN X K . Perceptual image quality assessment： a survey ［J］. Science China Information Sciences ， 2020 ， 63 （ 11 ）： 1 - 52 . doi: 10.1007/s11432-019-2757-1 http://dx.doi.org/10.1007/s11432-019-2757-1 Perceptual image quality assessment： a survey 弓殷强 ， 余新 ， 邱国平 . 显示设备环境自适应色调映射算法 ［J］. 液晶与显示 ， 2021 ， 36 （ 12 ）： 1645 - 1657 . doi: 10.37188/cjlcd.2021-0100 http://dx.doi.org/10.37188/cjlcd.2021-0100 显示设备环境自适应色调映射算法 GONG Y Q ， YU X ， QIU G P . Environment adaptive tone mapping algorithm for display devices ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 12 ）： 1645 - 1657 . （in Chinese） . doi: 10.37188/cjlcd.2021-0100 http://dx.doi.org/10.37188/cjlcd.2021-0100 Environment adaptive tone mapping algorithm for display devices CHENG S ， ZENG H ， CHEN J ， et al . Screen content video quality assessment： subjective and objective study ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2020 ， PP： 2020Aug26；PP. doi: 10.1109/tip.2020.3018256 http://dx.doi.org/10.1109/tip.2020.3018256 Screen content video quality assessment： subjective and objective study YAO J Y ， LIU G Z . Bitrate-based no-reference video quality assessment combining the visual perception of video contents ［J］. IEEE Transactions on Broadcasting ， 2019 ， 65 （ 3 ）： 546 - 557 . doi: 10.1109/tbc.2018.2878360 http://dx.doi.org/10.1109/tbc.2018.2878360 Bitrate-based no-reference video quality assessment combining the visual perception of video contents MARGARET H P . The consumer digital video library ［EB/OL］. Available ： https：//www.cdvl.org/ https://www.cdvl.org/ . The consumer digital video library PEREZ-ORTIZ M ， MIKHAILIUK A ， ZERMAN E ， et al . From pairwise comparisons and rating to a unified quality scale ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2019 ： 2019 Aug28. doi: 10.1109/tip.2019.2936103 http://dx.doi.org/10.1109/tip.2019.2936103 From pairwise comparisons and rating to a unified quality scale FAN Q ， LUO W ， XIA Y ， et al . Metrics and methods of video quality assessment： a brief review ［J］. Multimedia Tools and Applications ， 2019 ， 78 （ 22 ）： 31019 - 31033 . doi: 10.1007/s11042-017-4848-x http://dx.doi.org/10.1007/s11042-017-4848-x Metrics and methods of video quality assessment： a brief review CEMILOGLU E ， YILMAZ G N . Blind video quality assessment via spatiotemporal statistical analysis of adaptive cube size 3D-DCT coefficients ［J］. IET Image Processing ， 2020 ， 14 （ 5 ）： 845 - 852 . doi: 10.1049/iet-ipr.2019.0275 http://dx.doi.org/10.1049/iet-ipr.2019.0275 Blind video quality assessment via spatiotemporal statistical analysis of adaptive cube size 3D-DCT coefficients MITRA S ， SOUNDARARAJAN R ， CHANNAPPAYYA S S . Predicting spatio-temporal entropic differences for robust no reference video quality assessment ［J］. IEEE Signal Processing Letters ， 2021 ， 28 ： 170 - 174 . doi: 10.1109/lsp.2021.3049682 http://dx.doi.org/10.1109/lsp.2021.3049682 Predicting spatio-temporal entropic differences for robust no reference video quality assessment KULUPANA G ， TALAGALA D S ， ARACHCHI H K ， et al . End user video quality prediction and coding parameters selection at the encoder for robust HEVC video transmission ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ， 29 （ 11 ）： 3367 - 3381 . doi: 10.1109/tcsvt.2018.2879956 http://dx.doi.org/10.1109/tcsvt.2018.2879956 End user video quality prediction and coding parameters selection at the encoder for robust HEVC video transmission CHEN Z B ， LIAO N ， GU X D ， et al . Hybrid distortion ranking tuned bitstream-layer video quality assessment ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2016 ， 26 （ 6 ）： 1029 - 1043 . doi: 10.1109/tcsvt.2015.2441432 http://dx.doi.org/10.1109/tcsvt.2015.2441432 Hybrid distortion ranking tuned bitstream-layer video quality assessment USMAN M A ， USMAN M R ， SHIN S Y . A novel no-reference metric for estimating the impact of frame freezing artifacts on perceptual quality of streamed videos ［J］. IEEE Transactions on Multimedia ， 2018 ， 20 （ 9 ）： 2344 - 2359 . doi: 10.1109/tmm.2018.2801722 http://dx.doi.org/10.1109/tmm.2018.2801722 A novel no-reference metric for estimating the impact of frame freezing artifacts on perceptual quality of streamed videos CHEN P F ， LI L D ， MA L ， et al . RIRNet： recurrent-in-recurrent network for video quality assessment ［C］// Proceedings of the 28th ACM International Conference on Multimedia . Seattle WA USA . New York， NY， USA ： ACM ， 2020 ： 834 - 842 . doi: 10.1145/3394171.3413717 http://dx.doi.org/10.1145/3394171.3413717 RIRNet： recurrent-in-recurrent network for video quality assessment BANITALEBI-DEHKORDI M ， EBRAHIMI-MOGHADAM A ， KHADEMI M ， et al . No-reference quality assessment of HEVC video streams based on visual memory modelling ［J］. Journal of Visual Communication and Image Representation ， 2021 ， 75 ： 103011 . doi: 10.1016/j.jvcir.2020.103011 http://dx.doi.org/10.1016/j.jvcir.2020.103011 No-reference quality assessment of HEVC video streams based on visual memory modelling ZHANG Y ， CHANDLER D M . Opinion-unaware blind quality assessment of multiply and singly distorted images via distortion parameter estimation ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 11 ）： 5433 - 5448 . doi: 10.1109/tip.2018.2857413 http://dx.doi.org/10.1109/tip.2018.2857413 Opinion-unaware blind quality assessment of multiply and singly distorted images via distortion parameter estimation FOTIO TIOTSOP L ， MIZDOS T ， UHRINA M ， et al . Modeling and estimating the subjects’ diversity of opinions in video quality assessment： a neural network based approach ［J］. Multimedia Tools and Applications ， 2021 ， 80 （ 3 ）： 3469 - 3487 . doi: 10.1007/s11042-020-09704-w http://dx.doi.org/10.1007/s11042-020-09704-w Modeling and estimating the subjects’ diversity of opinions in video quality assessment： a neural network based approach ZOU W J ， YANG F Z ， SONG J R ， et al . Event-based perceptual quality assessment for HTTP-based video streaming with playback interruption ［J］. IEEE Transactions on Multimedia ， 2018 ， 20 （ 6 ）： 1475 - 1488 . doi: 10.1109/tmm.2017.2769449 http://dx.doi.org/10.1109/tmm.2017.2769449 Event-based perceptual quality assessment for HTTP-based video streaming with playback interruption AHAR A ， BARRI A ， SCHELKENS P . From sparse coding significance to perceptual quality： a new approach for image quality assessment ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 2 ）： 879 - 893 . doi: 10.1109/tip.2017.2771412 http://dx.doi.org/10.1109/tip.2017.2771412 From sparse coding significance to perceptual quality： a new approach for image quality assessment CHOI S H ， KIM H ， SHIN K C ， et al . Perceived color impression for spatially mixed colors ［J］. Journal of Display Technology ， 2014 ， 10 （ 4 ）： 282 - 287 . doi: 10.1109/jdt.2014.2300488 http://dx.doi.org/10.1109/jdt.2014.2300488 Perceived color impression for spatially mixed colors LIU J C ， GENG Y ， WANG D Y ， et al . An objective multi-factor QoE evaluation based on content classification for H.264/AVC encoded video ［C］// 2013 IEEE Symposium on Computers and Communications . Split， Croatia. IEEE ， ： 137 - 142 . doi: 10.1109/iscc.2013.6754935 http://dx.doi.org/10.1109/iscc.2013.6754935 An objective multi-factor QoE evaluation based on content classification for H.264/AVC encoded video 范赐恩 ， 冉杰文 ， 颜佳 ， 等 . 颜色空间统计联合纹理特征的无参考图像质量评价 ［J］. 光学 精密工程 ， 2018 ， 26 （ 4 ）： 916 - 926 . doi: 10.3788/ope.20182604.0916 http://dx.doi.org/10.3788/ope.20182604.0916 颜色空间统计联合纹理特征的无参考图像质量评价 FAN C E ， RAN J W ， YAN J ， et al . No-reference image quality assessment using joint color space statistical and texture feature ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 4 ）： 916 - 926 . （in Chinese） . doi: 10.3788/ope.20182604.0916 http://dx.doi.org/10.3788/ope.20182604.0916 No-reference image quality assessment using joint color space statistical and texture feature SHANG X W ， LIANG J ， WANG G Z ， et al . Color-sensitivity-based combined PSNR for objective video quality assessment ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ， 29 （ 5 ）： 1239 - 1250 . doi: 10.1109/tcsvt.2018.2836974 http://dx.doi.org/10.1109/tcsvt.2018.2836974 Color-sensitivity-based combined PSNR for objective video quality assessment WHITE B J ， KERZEL D ， GEGENFURTNER K R . The spatio-temporal tuning of the mechanisms in the control of saccadic eye movements ［J］. Vision Research ， 2006 ， 46 （ 22 ）： 3886 - 3897 . doi: 10.1016/j.visres.2006.06.012 http://dx.doi.org/10.1016/j.visres.2006.06.012 The spatio-temporal tuning of the mechanisms in the control of saccadic eye movements SHEIKH H R ， WANG Z ， BOVIK A C . LIVE image and video quality assessment database ［EB/OL］. ［ 2019-8-13 ］. http：//live.ece.utexas.edu/ research/quality http://live.ece.utexas.edu/research/quality . LIVE image and video quality assessment database ÇALı M ， ÖZBEK N . SSIM-based adaptation for DASH with SVC in mobile networks ［J］. Signal， Image and Video Processing ， 2020 ， 14 （ 6 ）： 1107 - 1114 . doi: 10.1007/s11760-020-01646-y http://dx.doi.org/10.1007/s11760-020-01646-y SSIM-based adaptation for DASH with SVC in mobile networks FARRELL J ， OKINCHA M ， PARMAR M ， et al . Using visible SNR （vSNR） to compare the image quality of pixel binning and digital resizing ［C］. Proc SPIE 7537， Digital Photography VI ， 2010 ， 7537 ： 106 - 114 . doi: 10.1117/12.839149 http://dx.doi.org/10.1117/12.839149 Using visible SNR （vSNR） to compare the image quality of pixel binning and digital resizing KORHONEN J . Two-level approach for no-reference consumer video quality assessment ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2019 ， 28 （ 12 ）： 5923 - 5938 . doi: 10.1109/tip.2019.2923051 http://dx.doi.org/10.1109/tip.2019.2923051 Two-level approach for no-reference consumer video quality assessment DENDI S ， CHANNAPPAYYA S S . No-reference video quality assessment using natural spatiotemporal scene statistics ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2020 ： 2020 Apr7. doi: 10.1109/tip.2020.2984879 http://dx.doi.org/10.1109/tip.2020.2984879 No-reference video quality assessment using natural spatiotemporal scene statistics WU Q B ， LI H L ， MENG F M ， et al . Toward a blind quality metric for temporally distorted streaming video ［J］. IEEE Transactions on Broadcasting ， 2018 ， 64 （ 2 ）： 367 - 378 . doi: 10.1109/tbc.2017.2786023 http://dx.doi.org/10.1109/tbc.2017.2786023 Toward a blind quality metric for temporally distorted streaming video LI X L ， GUO Q ， LU X Q . Spatiotemporal statistics for video quality assessment ［J］. IEEE Transactions on Image Processing ， 2016 ， 25 （ 7 ）： 3329 - 3342 . doi: 10.1109/tip.2016.2568752 http://dx.doi.org/10.1109/tip.2016.2568752 Spatiotemporal statistics for video quality assessment DANILO DE MIRANDA REGIS C ， DE PONTES OLIVEIRA I ， VINICIUS DE MIRANDA CARDOSO J ， et al . Design of objective video quality metrics using spatial and temporal informations ［J］. IEEE Latin America Transactions ， 2015 ， 13 （ 3 ）： 790 - 795 . doi: 10.1109/tla.2015.7069106 http://dx.doi.org/10.1109/tla.2015.7069106 Design of objective video quality metrics using spatial and temporal informations GUAN Z Y ， LV H Z ， MA Y ， et al . A novel objective quality assessment method for video conferencing coding ［J］. China Communications ， 2019 ， 16 （ 4 ）： 89 - 104 . A novel objective quality assessment method for video conferencing coding KUMCU A ， BOMBEKE K ， PLATIŠA L ， et al . Performance of four subjective video quality assessment protocols and impact of different rating preprocessing and analysis methods ［J］. IEEE Journal of Selected Topics in Signal Processing ， 2017 ， 11 （ 1 ）： 48 - 63 . doi: 10.1109/jstsp.2016.2638681 http://dx.doi.org/10.1109/jstsp.2016.2638681 Performance of four subjective video quality assessment protocols and impact of different rating preprocessing and analysis methods CHEN P F ， LI L D ， WU J J ， et al . Temporal reasoning guided QoE evaluation for mobile live video broadcasting ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2021 ， 30 ： 3279 - 3292 . doi: 10.1109/tip.2021.3060255 http://dx.doi.org/10.1109/tip.2021.3060255 Temporal reasoning guided QoE evaluation for mobile live video broadcasting LI D Q ， JIANG T T ， JIANG M . Quality assessment of in-the-wild videos ［C］. Proceedings of the 27th ACM International Conference on Multimedia . Nice France . New York， NY， USA ： ACM ， 2019 ： 2351 - 2359 . doi: 10.1145/3343031.3351028 http://dx.doi.org/10.1145/3343031.3351028 Quality assessment of in-the-wild videos 马畅 ， 张选德 . 基于颜色名称的彩色图像质量评价 ［J］. 液晶与显示 ， 2022 ， 37 （ 1 ）： 56 - 65 . doi: 10.37188/CJLCD.2021-0189 http://dx.doi.org/10.37188/CJLCD.2021-0189 基于颜色名称的彩色图像质量评价 MA C ， ZHANG X D . Color image quality assessment based on colornames ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 1 ）： 56 - 65 . （in Chinese） . doi: 10.37188/CJLCD.2021-0189 http://dx.doi.org/10.37188/CJLCD.2021-0189 Color image quality assessment based on colornames 姚军财 ， 申静 ， 黄陈蓉 . 基于多层BP神经网络的无参考视频质量客观评价 ［J］. 自动化学报 ， 2022 ， 48 （ 2 ）： 594 - 607 . doi: 10.16383/j.aas.c190539 http://dx.doi.org/10.16383/j.aas.c190539 基于多层BP神经网络的无参考视频质量客观评价 YAO J C ， SHEN J ， HUANG CH R . No reference video quality objective assessment based on multilayer BP neural network ［J］. Acta Automatica Sinica ， 2022 ， 48 （ 2 ）： 594 - 607 . （in Chinese） . doi: 10.16383/j.aas.c190539 http://dx.doi.org/10.16383/j.aas.c190539 No reference video quality objective assessment based on multilayer BP neural network CHEN L H ， BAMPIS C G ， LI Z ， et al . Perceptual video quality prediction emphasizing chroma distortions ［J］. IEEE Transactions on Image Processing ， 2021 ， 30 ： 1408 - 1422 . doi: 10.1109/tip.2020.3043127 http://dx.doi.org/10.1109/tip.2020.3043127 Perceptual video quality prediction emphasizing chroma distortions 10.37188/OPE.20223022.2923 TN919.82 O438 A 1004-924X（2022）22-2923-16 姚军财,汤浩威,申静.基于内容视觉感知和传输失真的无参考视频质量客观评价[J].光学精密工程,2022,30(22):2923-2938. 姚军财,汤浩威,申静.基于内容视觉感知和传输失真的无参考视频质量客观评价[J].光学精密工程,2022,30(22):2923-2938. YAO Juncai,TANG Haowei,SHEN Jing.No-reference video quality objective assessment method based on the content visual perception and transmission distortion[J].Optics and Precision Engineering,2022,30(22):2923-2938. YAO Juncai,TANG Haowei,SHEN Jing.No-reference video quality objective assessment method based on the content visual perception and transmission distortion[J].Optics and Precision Engineering,2022,30(22):2923-2938. 国家自然科学基金资助项目（No.61301237）；江苏省自然科学基金面上项目资助（No.BK20201468）；江苏省高校“青蓝工程”中青年学术带头人资助项目（苏教师函〔2022〕29号） 2022-03-21 2022-04-21 2022-11-25 2022-11-24 光学精密工程 22 30