Visible light video denoising and FPGA hardware implementation

Sixian ZHAO; Minjie WAN; Weixian QIAN; Lin ZHOU; Ajun SHAO; Qian CHEN; Guohua GU

doi:10.37188/OPE.20223015.1868

您当前的位置：

首页 >

文章列表页 >

Visible light video denoising and FPGA hardware implementation

Information Sciences | 更新时间：2022-08-16

- Visible light video denoising and FPGA hardware implementation
- Optics and Precision Engineering Vol. 30, Issue 15, Pages: 1868-1879(2022)
- 作者机构：
  
  1.南京理工大学电子工程与光电技术学院，江苏南京 210094
  2.南京理工大学江苏省光谱成像与智能感知重点实验室，江苏南京 210094
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223015.1868
  CLC： TP391.4
- Received：25 March 2022，
  
  Revised：18 April 2022，
  
  Published：10 August 2022
- 稿件说明：
移动端阅览
赵思娴,万敏杰,钱惟贤等.可见光视频去噪及其FPGA硬件实现[J].光学精密工程,2022,30(15):1868-1879.

ZHAO Sixian,WAN Minjie,QIAN Weixian,et al.Visible light video denoising and FPGA hardware implementation[J].Optics and Precision Engineering,2022,30(15):1868-1879.
赵思娴,万敏杰,钱惟贤等.可见光视频去噪及其FPGA硬件实现[J].光学精密工程,2022,30(15):1868-1879. DOI： 10.37188/OPE.20223015.1868.

ZHAO Sixian,WAN Minjie,QIAN Weixian,et al.Visible light video denoising and FPGA hardware implementation[J].Optics and Precision Engineering,2022,30(15):1868-1879. DOI： 10.37188/OPE.20223015.1868.

摘要

在静止场景下普通的图像滤波算法就能够有效抑制噪声，而在运动状态下，现有的滤波算法难以保证去噪的有效性，还会产生拖尾现象；采用运动补偿的滤波算法，又无法有效地抑制噪声。针对以上问题，提出一种基于时空域滤波的视频去噪算法，并在现场可编程逻辑门阵列（Field Programmable Gate Array，FPGA）平台上实现。该算法主要运用高斯差分滤波提取图像特征，再用空域滤波抑制高频噪声，采用反馈的方式对分割出的图像区域采用不同的去噪策略。硬件实现的关键是利用高层次综合（High-level Synthesis，HLS）工具简化编程、DDR3控制模块操作视频流在各模块间输入输出。实验结果表明：该算法能有效去噪，不同场景下，相比基于非下采样轮廓波变换的去噪算法，峰值信噪比最多可提升15 dB；将算法移植到FPGA后，峰值信噪比相比于MATLAB软件仿真相差约0.3 dB，运行时间缩短71.5%以上，在兼顾实时性的同时达到了较好的可见光视频去噪效果。

Abstract

It is difficult to suppress the noise in static state of the existing filtering algorithm. Moreover， motion compensated filtering algorithm fails to effectively suppress noise. To solve these problems， a video denoising algorithm based on spatio-temporal filtering is proposed and implemented on the field programmable gate array （FPGA）. The algorithm mainly uses Gaussian difference filtering to extract image features， and then applies spatial filtering to suppress high-frequency noise. Simultaneously， different denoising strategies are adopted for the segmented image area by feedback. Implementing hardware requires high-level synthesis tools to simplify programming， and is to make DDR3 control module to operate input and output of video stream between modules. Simulation results show that the proposed algorithm can be used for denoising. For different scenes， the peak signal-to-noise ratio can be increased by up to 15 dB in comparison with the denoising algorithm based on a non-subsampled contourlet （NSCT）. After transplanting the algorithm to FPGA， the difference between PSNR and MATLAB simulation program was approximately 0.3 dB， and the running time was shortened by over 71.5%. Considering the real-time performance， PSNR achieves a better visible video denoising effect.

关键词

Keywords

references

WAN M J ， GU G H ， QIAN W X ， et al . Infrared image enhancement using adaptive histogram partition and brightness correction ［J］. Remote Sensing ， 2018 ， 10 （ 5 ）： 682 . doi: 10.3390/rs10050682 http://dx.doi.org/10.3390/rs10050682

乔付 . 一种使用离散余弦变换图像去噪算法［J］. 海南热带海洋学院学报， 2018 ， 25 （ 2 ）： 70 - 75 . doi: 10.13307/j.issn.2096-3122.2018.02.13 http://dx.doi.org/10.13307/j.issn.2096-3122.2018.02.13

QIAO F . An image de-noising algorithm by using discrete cosines transformation ［J］. Journal of Hainan Tropical Ocean University ， 2018 ， 25 （ 2 ）： 70 - 75 . （in Chinese） . doi: 10.13307/j.issn.2096-3122.2018.02.13 http://dx.doi.org/10.13307/j.issn.2096-3122.2018.02.13

KINGSBURY N . Complex wavelets for shift invariant analysis and filtering of signals ［J］. Applied and Computational Harmonic Analysis ， 2001 ， 10 （ 3 ）： 234 - 253 . doi: 10.1006/acha.2000.0343 http://dx.doi.org/10.1006/acha.2000.0343

胡然，郭成城，杨剑锋 . 基于小波阈值和主成分分析的视频去噪算法［J］. 计算机科学， 2016 ， 43 （ 4 ）： 290 - 293 . doi: 10.11896/j.issn.1002-137X.2016.4.059 http://dx.doi.org/10.11896/j.issn.1002-137X.2016.4.059

HU R ， GUO CH CH ， YANG J F . Video denoising algorithm based on wavelet threshold and PCA ［J］. Computer Science ， 2016 ， 43 （ 4 ）： 290 - 293 . （in Chinese） . doi: 10.11896/j.issn.1002-137X.2016.4.059 http://dx.doi.org/10.11896/j.issn.1002-137X.2016.4.059

黄凌霄，廖一鹏 . 浮选气泡NSCT域多尺度等效形态特征提取及识别［J］. 光学精密工程， 2020 ， 28 （ 3 ）： 704 - 716 . doi: 10.3788/ope.20202803.0704 http://dx.doi.org/10.3788/ope.20202803.0704

HUANG L X ， LIAO Y P . Recognition and multiscale equivalent morphological features extraction of flotation bubbles in NSCT domain ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 3 ）： 704 - 716 . （in Chinese） . doi: 10.3788/ope.20202803.0704 http://dx.doi.org/10.3788/ope.20202803.0704

苏恺骏 . 基于变换域的视频去噪算法研究［D］. 西安：西安理工大学， 2017 .

SU K J . Research on Video Denoising Algorithm Based on Transform Domain ［D］. Xi'an ： Xi'an University of Technology ， 2017 . （in Chinese）

ZHU S C ， WU Y ， MUMFORD D.Filters ， random fields and maximum entropy （FRAME）： towards a unified theory for texture modeling ［J］. International Journal of Computer Vision ， 1998 ， 27 ： 107 - 126 . doi: 10.1023/a:1007925832420 http://dx.doi.org/10.1023/a:1007925832420

FREEMAN W T ， PASZTOR E C . Learning low-level vision ［C］. Proceedings of the Seventh IEEE International Conference on Computer Vision . 2027，1999 ， Kerkyra ， Greece . IEEE ， 1999 ： 1182 - 1189 . doi: 10.1109/iccv.1999.790414 http://dx.doi.org/10.1109/iccv.1999.790414

张秀，周巍，段哲民，等 . 基于专家场先验模型的图像超分辨重建算法［J］. 红外与激光工程， 2019 ， 48 （ 6 ）： 471 - 478 . doi: 10.3788/irla201948.0626002 http://dx.doi.org/10.3788/irla201948.0626002

ZHANG X ， ZHOU W ， DUAN ZH M ， et al . Image super-resolution reconstruction algorithm based on fields of experts prior model ［J］. Infrared and Laser Engineering ， 2019 ， 48 （ 6 ）： 471 - 478 . （in Chinese） . doi: 10.3788/irla201948.0626002 http://dx.doi.org/10.3788/irla201948.0626002

刘亮 . 基于FoE模型的图像去噪研究［D］. 哈尔滨：黑龙江科技学院， 2011 .

LIU L . Research on Image Denoising Based on FoE Model ［D］. Harbin ： Heilongjiang Institute of Science and Technology ， 2011 . （in Chinese）

EHMANN J ， CHU L C ， TSAI S F ， et al . Real- time video denoising on mobile phones ［C］. 2018 25th IEEE International Conference on Image Processing . 710，2018 ， Athens ， Greece . IEEE ， 2018 ： 505 - 509 . doi: 10.1109/icip.2018.8451416 http://dx.doi.org/10.1109/icip.2018.8451416

DJUROVIĆ I . Combined centre-weighted Median filter and BM3D to filter digital images in mixed Gaussian and impulsive environments ［J］. IETE Journal of Research ， 2018 ， 64 （ 6 ）： 796 - 806 . doi: 10.1080/03772063.2017.1370395 http://dx.doi.org/10.1080/03772063.2017.1370395

王惠琴，吕佳芸，张伟 . 基于双边滤波-BM3D算法的GPR图像去噪［J］. 兰州理工大学学报， 2022 ， 48 （ 1 ）： 91 - 97 . doi: 10.3969/j.issn.1673-5196.2022.01.015 http://dx.doi.org/10.3969/j.issn.1673-5196.2022.01.015

WANG H Q ， LÜ J Y ， ZHANG W . GPR image denoising based on bilateral filtering BM3D algorithm ［J］. Journal of Lanzhou University of Technology ， 2022 ， 48 （ 1 ）： 91 - 97 . （in Chinese） . doi: 10.3969/j.issn.1673-5196.2022.01.015 http://dx.doi.org/10.3969/j.issn.1673-5196.2022.01.015

鲜连义，康明 . 低照度场景下的时空频域视频去噪算法［J］. 现代计算机， 2021 （ 17 ）： 128 - 134 .

XIAN L Y ， KANG M . Spatio-temporal frequency domain video denoising algorithm in low light scene ［J］. Modern Computer ， 2021 （ 17 ）： 128 - 134 . （in Chinese）

YUAN Z ， CHEN W J ， XIN J ， et al . A motion-texture aware denoising for economic hardware design ［C］. 2015 IEEE International Conference on Image Processing . 2730，2015 ， Quebec City ， QC， Canada . IEEE ， 2015 ： 437 - 441 . doi: 10.1109/icip.2015.7350836 http://dx.doi.org/10.1109/icip.2015.7350836

刘凯，汪侃，杨晓梅，等 . 基于DoG检测图像特征点的快速二进制描述子［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 485 - 496 .

LIU K ， WANG K ， YANG X M ， et al . DoG keypoint detection based fast binary descriptor ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 485 - 496 . （in Chinese）

代少升，袁祥辉 . 提高DSP图像处理系统实时性的一种有效方法［J］. 光学精密工程， 2003 ， 11 （ 6 ）： 617 - 620 . doi: 10.3321/j.issn:1004-924X.2003.06.015 http://dx.doi.org/10.3321/j.issn:1004-924X.2003.06.015

DAI SH SH ， YUAN X H . Improvement of DSP image processing real-timeness ［J］. Optics and Precision Engineering ， 2003 ， 11 （ 6 ）： 617 - 620 . （in Chinese） . doi: 10.3321/j.issn:1004-924X.2003.06.015 http://dx.doi.org/10.3321/j.issn:1004-924X.2003.06.015

郑成旭，范学超，刘金龙 . 基于NSCT的自适应阈值图像去噪算法［J］. 科技创新导报， 2015 ， 12 （ 2 ）： 57 ， 59 . doi: 10.3969/j.issn.1674-098X.2015.02.036 http://dx.doi.org/10.3969/j.issn.1674-098X.2015.02.036

ZHENG CH X ， FAN X CH ， LIU J L . Adaptive threshold image denoising algorithm based on NSCT ［J］. Science and Technology Innovation Herald ， 2015 ， 12 （ 2 ）： 57 ， 59 . （in Chinese） . doi: 10.3969/j.issn.1674-098X.2015.02.036 http://dx.doi.org/10.3969/j.issn.1674-098X.2015.02.036

Views

1079

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Design of partial overlap point cloud registration network driven by overlap score and matching matrix

Visible-polarized image fusion for nighttime dispersal of mines

A method for underwater vehicle attitude measurement based on Snell’s window and its polarization mode

Infrared and visible images fusion based on improved multi-scale structural fusion

Thin-layer control error analysis and performance optimization of visible light anti-reflection film

Related Author

YI Jianbing

CHEN Xin

CAO Feng

YANG Shuxin

WANG Jingyong

SHEN Kangyu

CUI Bolun

LYU Qifeng

Related Institution

School of Information Engineering， Jiangxi University of Science and Technology

Jiangxi Province Key Laboratory of Multidimensional Intelligent Perception and Control

Longnan Dingtai electronic Technology Co.， Ltd.

School of Mechanical Engineering and Automation， Shanghai University

Beijing Institute of Space Mechanics & Electricity

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰