No-reference video quality objective assessment method based on the content visual perception and transmission distortion

YAO Juncai; TANG Haowei; SHEN Jing

doi:10.37188/OPE.20223022.2923

您当前的位置：

首页 >

文章列表页 >

No-reference video quality objective assessment method based on the content visual perception and transmission distortion

Information Sciences | 更新时间：2022-11-24

- No-reference video quality objective assessment method based on the content visual perception and transmission distortion
- Optics and Precision Engineering Vol. 30, Issue 22, Pages: 2923-2938(2022)
- 作者机构：
  
  1.南京工程学院计算机工程学院江苏南京 211167
  2.西安交通大学信息与通信工程学院陕西西安 710049
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223022.2923
  CLC： TN919.82;O438
- Received：21 March 2022，
  
  Revised：21 April 2022，
  
  Published：25 November 2022
- 稿件说明：
移动端阅览
姚军财,汤浩威,申静.基于内容视觉感知和传输失真的无参考视频质量客观评价[J].光学精密工程,2022,30(22):2923-2938.

YAO Juncai,TANG Haowei,SHEN Jing.No-reference video quality objective assessment method based on the content visual perception and transmission distortion[J].Optics and Precision Engineering,2022,30(22):2923-2938.
姚军财,汤浩威,申静.基于内容视觉感知和传输失真的无参考视频质量客观评价[J].光学精密工程,2022,30(22):2923-2938. DOI： 10.37188/OPE.20223022.2923.

YAO Juncai,TANG Haowei,SHEN Jing.No-reference video quality objective assessment method based on the content visual perception and transmission distortion[J].Optics and Precision Engineering,2022,30(22):2923-2938. DOI： 10.37188/OPE.20223022.2923.

摘要

通过分析和研究视频内容特征、编解码失真特征和传输时延特征对视频质量评价的影响，结合人眼视觉特性及其数学模型，提出了一种综合考虑传输和编解码失真的基于内容感知的无参考视频质量评价方法，并构建其数学模型。在该方法中，首先采用视频帧图像纹理复杂性特征、图像的局部对比度、时域信息及其视觉感知来描述视频内容，构建其内容感知模型，并以此探讨视频内容及其视觉感知对视频质量的影响；然后，探讨比特率与视频质量之间的关系，构建其模型，研究视频比特率对其质量的影响；接着，结合视频传输时延特征，构建了由于传输时延失真而产生的视频质量下降的质量评价模型；最后，采用凸优化方法综合3个方面的模型，提出了一种综合考虑视频内容、编解码失真、传输时延失真和视觉特性的无参考视频质量评价模型。并采用多个建立的视频数据库和开源数据库中的数据和视频进行了测试验证，并与17种现有视频质量评价模型进行了性能对比；结果表明，所提模型的精度Pearson相关系数和Spearman秩序相关系数值最小分别能够达到0.877 3和0.833 6，最大可以实现0.938 3和0.943 8，表现出了较好的泛化性能，且复杂度比较低。综合模型精度、泛化性能、复杂性3个方面的性能参数表明，所提模型是一个性能比较优异的视频质量评价模型。

Abstract

This paper proposes a Video Quality Assessment （VQA） method based on video-content perception by analyzing the influence of video content， transmission delay， and encoding and decoding distortion characteristics on the VQA， combined with human visual system characteristics and its mathematical model. In this method， the video contents are described by the texture complexity， local contrast， temporal information of video frame image， and their visual perception. Thus， the video contents perception model can be built， which allows for investigating the influence of the video content and their visual perception on VQA. The relationship between the bit rate and video quality is discussed， whose relationship models are built， to study the impact of the bit rate of video-on-video quality. Subsequently， the VQA model that video quality degradation caused by transmission delay distortion is designed by combining the characteristics of video transmission delay. Finally， the convex optimization method is used to synthesize the above three aspects of models， and a no-reference VQA model considering the video contents， encoding and decoding distortion， transmission delay distortion， and human visual system characteristics， is proposed. The proposed VQA model was tested and verified using the videos from several established video databases and open-source video databases， and its performance was compared with that of 17 existing VQA models. The results showed that the precision Pearson linear and Spearman rank order correlation coefficients of the proposed VQA model reached a minimum of 0.8773 and 0.8336 and a maximum of 0.938 3 and 0.943 8， respectively. This shows that the model has good generalization performance and low complexity. Analyzing the overall efficiency of performance in terms of model accuracy， generalization performance， and complexity， the results show that the proposed model is an excellent VQA model.

关键词

Keywords

references

ZHAI G T ， MIN X K . Perceptual image quality assessment： a survey ［J］. Science China Information Sciences ， 2020 ， 63 （ 11 ）： 1 - 52 . doi: 10.1007/s11432-019-2757-1 http://dx.doi.org/10.1007/s11432-019-2757-1

弓殷强，余新，邱国平 . 显示设备环境自适应色调映射算法［J］. 液晶与显示， 2021 ， 36 （ 12 ）： 1645 - 1657 . doi: 10.37188/cjlcd.2021-0100 http://dx.doi.org/10.37188/cjlcd.2021-0100

GONG Y Q ， YU X ， QIU G P . Environment adaptive tone mapping algorithm for display devices ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 12 ）： 1645 - 1657 . （in Chinese） . doi: 10.37188/cjlcd.2021-0100 http://dx.doi.org/10.37188/cjlcd.2021-0100

CHENG S ， ZENG H ， CHEN J ， et al . Screen content video quality assessment： subjective and objective study ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2020 ， PP： 2020Aug26；PP. doi: 10.1109/tip.2020.3018256 http://dx.doi.org/10.1109/tip.2020.3018256

YAO J Y ， LIU G Z . Bitrate-based no-reference video quality assessment combining the visual perception of video contents ［J］. IEEE Transactions on Broadcasting ， 2019 ， 65 （ 3 ）： 546 - 557 . doi: 10.1109/tbc.2018.2878360 http://dx.doi.org/10.1109/tbc.2018.2878360

MARGARET H P . The consumer digital video library ［EB/OL］. Available ： https：//www.cdvl.org/ https://www.cdvl.org/ .

PEREZ-ORTIZ M ， MIKHAILIUK A ， ZERMAN E ， et al . From pairwise comparisons and rating to a unified quality scale ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2019 ： 2019 Aug28. doi: 10.1109/tip.2019.2936103 http://dx.doi.org/10.1109/tip.2019.2936103

FAN Q ， LUO W ， XIA Y ， et al . Metrics and methods of video quality assessment： a brief review ［J］. Multimedia Tools and Applications ， 2019 ， 78 （ 22 ）： 31019 - 31033 . doi: 10.1007/s11042-017-4848-x http://dx.doi.org/10.1007/s11042-017-4848-x

CEMILOGLU E ， YILMAZ G N . Blind video quality assessment via spatiotemporal statistical analysis of adaptive cube size 3D-DCT coefficients ［J］. IET Image Processing ， 2020 ， 14 （ 5 ）： 845 - 852 . doi: 10.1049/iet-ipr.2019.0275 http://dx.doi.org/10.1049/iet-ipr.2019.0275

MITRA S ， SOUNDARARAJAN R ， CHANNAPPAYYA S S . Predicting spatio-temporal entropic differences for robust no reference video quality assessment ［J］. IEEE Signal Processing Letters ， 2021 ， 28 ： 170 - 174 . doi: 10.1109/lsp.2021.3049682 http://dx.doi.org/10.1109/lsp.2021.3049682

KULUPANA G ， TALAGALA D S ， ARACHCHI H K ， et al . End user video quality prediction and coding parameters selection at the encoder for robust HEVC video transmission ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ， 29 （ 11 ）： 3367 - 3381 . doi: 10.1109/tcsvt.2018.2879956 http://dx.doi.org/10.1109/tcsvt.2018.2879956

CHEN Z B ， LIAO N ， GU X D ， et al . Hybrid distortion ranking tuned bitstream-layer video quality assessment ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2016 ， 26 （ 6 ）： 1029 - 1043 . doi: 10.1109/tcsvt.2015.2441432 http://dx.doi.org/10.1109/tcsvt.2015.2441432

USMAN M A ， USMAN M R ， SHIN S Y . A novel no-reference metric for estimating the impact of frame freezing artifacts on perceptual quality of streamed videos ［J］. IEEE Transactions on Multimedia ， 2018 ， 20 （ 9 ）： 2344 - 2359 . doi: 10.1109/tmm.2018.2801722 http://dx.doi.org/10.1109/tmm.2018.2801722

CHEN P F ， LI L D ， MA L ， et al . RIRNet： recurrent-in-recurrent network for video quality assessment ［C］// Proceedings of the 28th ACM International Conference on Multimedia . Seattle WA USA . New York， NY， USA ： ACM ， 2020 ： 834 - 842 . doi: 10.1145/3394171.3413717 http://dx.doi.org/10.1145/3394171.3413717

BANITALEBI-DEHKORDI M ， EBRAHIMI-MOGHADAM A ， KHADEMI M ， et al . No-reference quality assessment of HEVC video streams based on visual memory modelling ［J］. Journal of Visual Communication and Image Representation ， 2021 ， 75 ： 103011 . doi: 10.1016/j.jvcir.2020.103011 http://dx.doi.org/10.1016/j.jvcir.2020.103011

ZHANG Y ， CHANDLER D M . Opinion-unaware blind quality assessment of multiply and singly distorted images via distortion parameter estimation ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 11 ）： 5433 - 5448 . doi: 10.1109/tip.2018.2857413 http://dx.doi.org/10.1109/tip.2018.2857413

FOTIO TIOTSOP L ， MIZDOS T ， UHRINA M ， et al . Modeling and estimating the subjects’ diversity of opinions in video quality assessment： a neural network based approach ［J］. Multimedia Tools and Applications ， 2021 ， 80 （ 3 ）： 3469 - 3487 . doi: 10.1007/s11042-020-09704-w http://dx.doi.org/10.1007/s11042-020-09704-w

ZOU W J ， YANG F Z ， SONG J R ， et al . Event-based perceptual quality assessment for HTTP-based video streaming with playback interruption ［J］. IEEE Transactions on Multimedia ， 2018 ， 20 （ 6 ）： 1475 - 1488 . doi: 10.1109/tmm.2017.2769449 http://dx.doi.org/10.1109/tmm.2017.2769449

AHAR A ， BARRI A ， SCHELKENS P . From sparse coding significance to perceptual quality： a new approach for image quality assessment ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 2 ）： 879 - 893 . doi: 10.1109/tip.2017.2771412 http://dx.doi.org/10.1109/tip.2017.2771412

CHOI S H ， KIM H ， SHIN K C ， et al . Perceived color impression for spatially mixed colors ［J］. Journal of Display Technology ， 2014 ， 10 （ 4 ）： 282 - 287 . doi: 10.1109/jdt.2014.2300488 http://dx.doi.org/10.1109/jdt.2014.2300488

LIU J C ， GENG Y ， WANG D Y ， et al . An objective multi-factor QoE evaluation based on content classification for H.264/AVC encoded video ［C］// 2013 IEEE Symposium on Computers and Communications . Split， Croatia. IEEE ，： 137 - 142 . doi: 10.1109/iscc.2013.6754935 http://dx.doi.org/10.1109/iscc.2013.6754935

范赐恩，冉杰文，颜佳，等 . 颜色空间统计联合纹理特征的无参考图像质量评价［J］. 光学精密工程， 2018 ， 26 （ 4 ）： 916 - 926 . doi: 10.3788/ope.20182604.0916 http://dx.doi.org/10.3788/ope.20182604.0916

FAN C E ， RAN J W ， YAN J ， et al . No-reference image quality assessment using joint color space statistical and texture feature ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 4 ）： 916 - 926 . （in Chinese） . doi: 10.3788/ope.20182604.0916 http://dx.doi.org/10.3788/ope.20182604.0916

SHANG X W ， LIANG J ， WANG G Z ， et al . Color-sensitivity-based combined PSNR for objective video quality assessment ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ， 29 （ 5 ）： 1239 - 1250 . doi: 10.1109/tcsvt.2018.2836974 http://dx.doi.org/10.1109/tcsvt.2018.2836974

WHITE B J ， KERZEL D ， GEGENFURTNER K R . The spatio-temporal tuning of the mechanisms in the control of saccadic eye movements ［J］. Vision Research ， 2006 ， 46 （ 22 ）： 3886 - 3897 . doi: 10.1016/j.visres.2006.06.012 http://dx.doi.org/10.1016/j.visres.2006.06.012

SHEIKH H R ， WANG Z ， BOVIK A C . LIVE image and video quality assessment database ［EB/OL］. ［ 2019-8-13 ］. http：//live.ece.utexas.edu/ research/quality http://live.ece.utexas.edu/research/quality .

ÇALı M ， ÖZBEK N . SSIM-based adaptation for DASH with SVC in mobile networks ［J］. Signal， Image and Video Processing ， 2020 ， 14 （ 6 ）： 1107 - 1114 . doi: 10.1007/s11760-020-01646-y http://dx.doi.org/10.1007/s11760-020-01646-y

FARRELL J ， OKINCHA M ， PARMAR M ， et al . Using visible SNR （vSNR） to compare the image quality of pixel binning and digital resizing ［C］. Proc SPIE 7537， Digital Photography VI ， 2010 ， 7537 ： 106 - 114 . doi: 10.1117/12.839149 http://dx.doi.org/10.1117/12.839149

KORHONEN J . Two-level approach for no-reference consumer video quality assessment ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2019 ， 28 （ 12 ）： 5923 - 5938 . doi: 10.1109/tip.2019.2923051 http://dx.doi.org/10.1109/tip.2019.2923051

DENDI S ， CHANNAPPAYYA S S . No-reference video quality assessment using natural spatiotemporal scene statistics ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2020 ： 2020 Apr7. doi: 10.1109/tip.2020.2984879 http://dx.doi.org/10.1109/tip.2020.2984879

WU Q B ， LI H L ， MENG F M ， et al . Toward a blind quality metric for temporally distorted streaming video ［J］. IEEE Transactions on Broadcasting ， 2018 ， 64 （ 2 ）： 367 - 378 . doi: 10.1109/tbc.2017.2786023 http://dx.doi.org/10.1109/tbc.2017.2786023

LI X L ， GUO Q ， LU X Q . Spatiotemporal statistics for video quality assessment ［J］. IEEE Transactions on Image Processing ， 2016 ， 25 （ 7 ）： 3329 - 3342 . doi: 10.1109/tip.2016.2568752 http://dx.doi.org/10.1109/tip.2016.2568752

DANILO DE MIRANDA REGIS C ， DE PONTES OLIVEIRA I ， VINICIUS DE MIRANDA CARDOSO J ， et al . Design of objective video quality metrics using spatial and temporal informations ［J］. IEEE Latin America Transactions ， 2015 ， 13 （ 3 ）： 790 - 795 . doi: 10.1109/tla.2015.7069106 http://dx.doi.org/10.1109/tla.2015.7069106

GUAN Z Y ， LV H Z ， MA Y ， et al . A novel objective quality assessment method for video conferencing coding ［J］. China Communications ， 2019 ， 16 （ 4 ）： 89 - 104 .

KUMCU A ， BOMBEKE K ， PLATIŠA L ， et al . Performance of four subjective video quality assessment protocols and impact of different rating preprocessing and analysis methods ［J］. IEEE Journal of Selected Topics in Signal Processing ， 2017 ， 11 （ 1 ）： 48 - 63 . doi: 10.1109/jstsp.2016.2638681 http://dx.doi.org/10.1109/jstsp.2016.2638681

CHEN P F ， LI L D ， WU J J ， et al . Temporal reasoning guided QoE evaluation for mobile live video broadcasting ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2021 ， 30 ： 3279 - 3292 . doi: 10.1109/tip.2021.3060255 http://dx.doi.org/10.1109/tip.2021.3060255

LI D Q ， JIANG T T ， JIANG M . Quality assessment of in-the-wild videos ［C］. Proceedings of the 27th ACM International Conference on Multimedia . Nice France . New York， NY， USA ： ACM ， 2019 ： 2351 - 2359 . doi: 10.1145/3343031.3351028 http://dx.doi.org/10.1145/3343031.3351028

马畅，张选德 . 基于颜色名称的彩色图像质量评价［J］. 液晶与显示， 2022 ， 37 （ 1 ）： 56 - 65 . doi: 10.37188/CJLCD.2021-0189 http://dx.doi.org/10.37188/CJLCD.2021-0189

MA C ， ZHANG X D . Color image quality assessment based on colornames ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 1 ）： 56 - 65 . （in Chinese） . doi: 10.37188/CJLCD.2021-0189 http://dx.doi.org/10.37188/CJLCD.2021-0189

姚军财，申静，黄陈蓉 . 基于多层BP神经网络的无参考视频质量客观评价［J］. 自动化学报， 2022 ， 48 （ 2 ）： 594 - 607 . doi: 10.16383/j.aas.c190539 http://dx.doi.org/10.16383/j.aas.c190539

YAO J C ， SHEN J ， HUANG CH R . No reference video quality objective assessment based on multilayer BP neural network ［J］. Acta Automatica Sinica ， 2022 ， 48 （ 2 ）： 594 - 607 . （in Chinese） . doi: 10.16383/j.aas.c190539 http://dx.doi.org/10.16383/j.aas.c190539

CHEN L H ， BAMPIS C G ， LI Z ， et al . Perceptual video quality prediction emphasizing chroma distortions ［J］. IEEE Transactions on Image Processing ， 2021 ， 30 ： 1408 - 1422 . doi: 10.1109/tip.2020.3043127 http://dx.doi.org/10.1109/tip.2020.3043127

Views

571

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

No data

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰