可见光视频去噪及其FPGA硬件实现

赵思娴; 万敏杰; 钱惟贤; 周琳; 韶阿俊; 陈钱; 顾国华

doi:10.37188/OPE.20223015.1868

您当前的位置：

首页 >

文章列表页 >

可见光视频去噪及其FPGA硬件实现

信息科学 | 更新时间：2022-08-16

- 可见光视频去噪及其FPGA硬件实现
- Visible light video denoising and FPGA hardware implementation
- 光学精密工程 2022年30卷第15期页码：1868-1879
- 作者机构：
  
  1.南京理工大学电子工程与光电技术学院，江苏南京 210094
  2.南京理工大学江苏省光谱成像与智能感知重点实验室，江苏南京 210094
- 作者简介：
  
  [ "赵思娴（1997-），女，江苏无锡人，博士研究生，2020年于南京理工大学获得学士学位，主要从事图像处理及目标识别方面的研究。E-mail：919951077@qq.com" ]
  [ "万敏杰（1992-），男，江苏无锡人，博士，副教授，2014 年、2020 年于南京理工大学分别获得学士、博士学位，主要从事图像处理、计算机视觉方面的研究。E-mail：minjiewan1992@njust.edu.cn" ]
  [ "顾国华（1966-），男，江苏无锡人，博士，研究员，博士生导师，1989 年、1996年、2001 年于南京理工大学分别获得学士、硕士和博士学位，主要研究方向为光电成像理论与技术、图像识别处理及应用技术。E-mail：gghnjust@mail.njust.edu.cn" ]
- 基金信息：
  
  国家自然科学基金青年项目(62001234);江苏省自然科学基金青年项目(BK20200487);上海航天科技创新基金(SAST2020-071);中央高校基本科研业务费专项资金资助(JSGP202102)
- DOI：10.37188/OPE.20223015.1868
  中图分类号： TP391.4
- 收稿日期：2022-03-25，
  
  修回日期：2022-04-18，
  
  纸质出版日期：2022-08-10
- 稿件说明：
移动端阅览
赵思娴,万敏杰,钱惟贤等.可见光视频去噪及其FPGA硬件实现[J].光学精密工程,2022,30(15):1868-1879.

ZHAO Sixian,WAN Minjie,QIAN Weixian,et al.Visible light video denoising and FPGA hardware implementation[J].Optics and Precision Engineering,2022,30(15):1868-1879.
赵思娴,万敏杰,钱惟贤等.可见光视频去噪及其FPGA硬件实现[J].光学精密工程,2022,30(15):1868-1879. DOI： 10.37188/OPE.20223015.1868.

ZHAO Sixian,WAN Minjie,QIAN Weixian,et al.Visible light video denoising and FPGA hardware implementation[J].Optics and Precision Engineering,2022,30(15):1868-1879. DOI： 10.37188/OPE.20223015.1868.

摘要

在静止场景下普通的图像滤波算法就能够有效抑制噪声，而在运动状态下，现有的滤波算法难以保证去噪的有效性，还会产生拖尾现象；采用运动补偿的滤波算法，又无法有效地抑制噪声。针对以上问题，提出一种基于时空域滤波的视频去噪算法，并在现场可编程逻辑门阵列（Field Programmable Gate Array，FPGA）平台上实现。该算法主要运用高斯差分滤波提取图像特征，再用空域滤波抑制高频噪声，采用反馈的方式对分割出的图像区域采用不同的去噪策略。硬件实现的关键是利用高层次综合（High-level Synthesis，HLS）工具简化编程、DDR3控制模块操作视频流在各模块间输入输出。实验结果表明：该算法能有效去噪，不同场景下，相比基于非下采样轮廓波变换的去噪算法，峰值信噪比最多可提升15 dB；将算法移植到FPGA后，峰值信噪比相比于MATLAB软件仿真相差约0.3 dB，运行时间缩短71.5%以上，在兼顾实时性的同时达到了较好的可见光视频去噪效果。

Abstract

It is difficult to suppress the noise in static state of the existing filtering algorithm. Moreover， motion compensated filtering algorithm fails to effectively suppress noise. To solve these problems， a video denoising algorithm based on spatio-temporal filtering is proposed and implemented on the field programmable gate array （FPGA）. The algorithm mainly uses Gaussian difference filtering to extract image features， and then applies spatial filtering to suppress high-frequency noise. Simultaneously， different denoising strategies are adopted for the segmented image area by feedback. Implementing hardware requires high-level synthesis tools to simplify programming， and is to make DDR3 control module to operate input and output of video stream between modules. Simulation results show that the proposed algorithm can be used for denoising. For different scenes， the peak signal-to-noise ratio can be increased by up to 15 dB in comparison with the denoising algorithm based on a non-subsampled contourlet （NSCT）. After transplanting the algorithm to FPGA， the difference between PSNR and MATLAB simulation program was approximately 0.3 dB， and the running time was shortened by over 71.5%. Considering the real-time performance， PSNR achieves a better visible video denoising effect.

关键词

Keywords

references

WAN M J ， GU G H ， QIAN W X ， et al . Infrared image enhancement using adaptive histogram partition and brightness correction ［J］. Remote Sensing ， 2018 ， 10 （ 5 ）： 682 . doi: 10.3390/rs10050682 http://dx.doi.org/10.3390/rs10050682

乔付 . 一种使用离散余弦变换图像去噪算法［J］. 海南热带海洋学院学报， 2018 ， 25 （ 2 ）： 70 - 75 . doi: 10.13307/j.issn.2096-3122.2018.02.13 http://dx.doi.org/10.13307/j.issn.2096-3122.2018.02.13

QIAO F . An image de-noising algorithm by using discrete cosines transformation ［J］. Journal of Hainan Tropical Ocean University ， 2018 ， 25 （ 2 ）： 70 - 75 . （in Chinese） . doi: 10.13307/j.issn.2096-3122.2018.02.13 http://dx.doi.org/10.13307/j.issn.2096-3122.2018.02.13

KINGSBURY N . Complex wavelets for shift invariant analysis and filtering of signals ［J］. Applied and Computational Harmonic Analysis ， 2001 ， 10 （ 3 ）： 234 - 253 . doi: 10.1006/acha.2000.0343 http://dx.doi.org/10.1006/acha.2000.0343

胡然，郭成城，杨剑锋 . 基于小波阈值和主成分分析的视频去噪算法［J］. 计算机科学， 2016 ， 43 （ 4 ）： 290 - 293 . doi: 10.11896/j.issn.1002-137X.2016.4.059 http://dx.doi.org/10.11896/j.issn.1002-137X.2016.4.059

HU R ， GUO CH CH ， YANG J F . Video denoising algorithm based on wavelet threshold and PCA ［J］. Computer Science ， 2016 ， 43 （ 4 ）： 290 - 293 . （in Chinese） . doi: 10.11896/j.issn.1002-137X.2016.4.059 http://dx.doi.org/10.11896/j.issn.1002-137X.2016.4.059

黄凌霄，廖一鹏 . 浮选气泡NSCT域多尺度等效形态特征提取及识别［J］. 光学精密工程， 2020 ， 28 （ 3 ）： 704 - 716 . doi: 10.3788/ope.20202803.0704 http://dx.doi.org/10.3788/ope.20202803.0704

HUANG L X ， LIAO Y P . Recognition and multiscale equivalent morphological features extraction of flotation bubbles in NSCT domain ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 3 ）： 704 - 716 . （in Chinese） . doi: 10.3788/ope.20202803.0704 http://dx.doi.org/10.3788/ope.20202803.0704

苏恺骏 . 基于变换域的视频去噪算法研究［D］. 西安：西安理工大学， 2017 .

SU K J . Research on Video Denoising Algorithm Based on Transform Domain ［D］. Xi'an ： Xi'an University of Technology ， 2017 . （in Chinese）

ZHU S C ， WU Y ， MUMFORD D.Filters ， random fields and maximum entropy （FRAME）： towards a unified theory for texture modeling ［J］. International Journal of Computer Vision ， 1998 ， 27 ： 107 - 126 . doi: 10.1023/a:1007925832420 http://dx.doi.org/10.1023/a:1007925832420

FREEMAN W T ， PASZTOR E C . Learning low-level vision ［C］. Proceedings of the Seventh IEEE International Conference on Computer Vision . 2027，1999 ， Kerkyra ， Greece . IEEE ， 1999 ： 1182 - 1189 . doi: 10.1109/iccv.1999.790414 http://dx.doi.org/10.1109/iccv.1999.790414

张秀，周巍，段哲民，等 . 基于专家场先验模型的图像超分辨重建算法［J］. 红外与激光工程， 2019 ， 48 （ 6 ）： 471 - 478 . doi: 10.3788/irla201948.0626002 http://dx.doi.org/10.3788/irla201948.0626002

ZHANG X ， ZHOU W ， DUAN ZH M ， et al . Image super-resolution reconstruction algorithm based on fields of experts prior model ［J］. Infrared and Laser Engineering ， 2019 ， 48 （ 6 ）： 471 - 478 . （in Chinese） . doi: 10.3788/irla201948.0626002 http://dx.doi.org/10.3788/irla201948.0626002

刘亮 . 基于FoE模型的图像去噪研究［D］. 哈尔滨：黑龙江科技学院， 2011 .

LIU L . Research on Image Denoising Based on FoE Model ［D］. Harbin ： Heilongjiang Institute of Science and Technology ， 2011 . （in Chinese）

EHMANN J ， CHU L C ， TSAI S F ， et al . Real- time video denoising on mobile phones ［C］. 2018 25th IEEE International Conference on Image Processing . 710，2018 ， Athens ， Greece . IEEE ， 2018 ： 505 - 509 . doi: 10.1109/icip.2018.8451416 http://dx.doi.org/10.1109/icip.2018.8451416

DJUROVIĆ I . Combined centre-weighted Median filter and BM3D to filter digital images in mixed Gaussian and impulsive environments ［J］. IETE Journal of Research ， 2018 ， 64 （ 6 ）： 796 - 806 . doi: 10.1080/03772063.2017.1370395 http://dx.doi.org/10.1080/03772063.2017.1370395

王惠琴，吕佳芸，张伟 . 基于双边滤波-BM3D算法的GPR图像去噪［J］. 兰州理工大学学报， 2022 ， 48 （ 1 ）： 91 - 97 . doi: 10.3969/j.issn.1673-5196.2022.01.015 http://dx.doi.org/10.3969/j.issn.1673-5196.2022.01.015

WANG H Q ， LÜ J Y ， ZHANG W . GPR image denoising based on bilateral filtering BM3D algorithm ［J］. Journal of Lanzhou University of Technology ， 2022 ， 48 （ 1 ）： 91 - 97 . （in Chinese） . doi: 10.3969/j.issn.1673-5196.2022.01.015 http://dx.doi.org/10.3969/j.issn.1673-5196.2022.01.015

鲜连义，康明 . 低照度场景下的时空频域视频去噪算法［J］. 现代计算机， 2021 （ 17 ）： 128 - 134 .

XIAN L Y ， KANG M . Spatio-temporal frequency domain video denoising algorithm in low light scene ［J］. Modern Computer ， 2021 （ 17 ）： 128 - 134 . （in Chinese）

YUAN Z ， CHEN W J ， XIN J ， et al . A motion-texture aware denoising for economic hardware design ［C］. 2015 IEEE International Conference on Image Processing . 2730，2015 ， Quebec City ， QC， Canada . IEEE ， 2015 ： 437 - 441 . doi: 10.1109/icip.2015.7350836 http://dx.doi.org/10.1109/icip.2015.7350836

刘凯，汪侃，杨晓梅，等 . 基于DoG检测图像特征点的快速二进制描述子［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 485 - 496 .

LIU K ， WANG K ， YANG X M ， et al . DoG keypoint detection based fast binary descriptor ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 485 - 496 . （in Chinese）

代少升，袁祥辉 . 提高DSP图像处理系统实时性的一种有效方法［J］. 光学精密工程， 2003 ， 11 （ 6 ）： 617 - 620 . doi: 10.3321/j.issn:1004-924X.2003.06.015 http://dx.doi.org/10.3321/j.issn:1004-924X.2003.06.015

DAI SH SH ， YUAN X H . Improvement of DSP image processing real-timeness ［J］. Optics and Precision Engineering ， 2003 ， 11 （ 6 ）： 617 - 620 . （in Chinese） . doi: 10.3321/j.issn:1004-924X.2003.06.015 http://dx.doi.org/10.3321/j.issn:1004-924X.2003.06.015

郑成旭，范学超，刘金龙 . 基于NSCT的自适应阈值图像去噪算法［J］. 科技创新导报， 2015 ， 12 （ 2 ）： 57 ， 59 . doi: 10.3969/j.issn.1674-098X.2015.02.036 http://dx.doi.org/10.3969/j.issn.1674-098X.2015.02.036

ZHENG CH X ， FAN X CH ， LIU J L . Adaptive threshold image denoising algorithm based on NSCT ［J］. Science and Technology Innovation Herald ， 2015 ， 12 （ 2 ）： 57 ， 59 . （in Chinese） . doi: 10.3969/j.issn.1674-098X.2015.02.036 http://dx.doi.org/10.3969/j.issn.1674-098X.2015.02.036

浏览量

1963

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于双目结构光周视扫描的3D件三维重构与位姿估计研究

重叠分数与匹配矩阵驱动的部分重叠点云配准网络设计

用于夜间撒布地雷探测的可见光偏振图像融合

基于Snell窗及偏振模式的水下载体航姿测量

改进多尺度结构化融合的红外与可见光图像融合