可见光视频去噪及其FPGA硬件实现

可见光视频去噪及其FPGA硬件实现 Visible light video denoising and FPGA hardware implementation 1 2 first-author 赵思娴（1997-），女，江苏无锡人，博士研究生，2020年于南京理工大学获得学士学位，主要从事图像处理及目标识别方面的研究。E-mail：919951077@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315034&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315041&type= 22.01332855 32.00399780 赵思娴 （1997-），女，江苏无锡人，博士研究生，2020年于南京理工大学获得学士学位，主要从事图像处理及目标识别方面的研究。E-mail： 919951077@qq.com 919951077@qq.com 1 2 corresp E-mail： minjiewan1992@njust.edu.cn E-mail： minjiewan1992@njust.edu.cn 万敏杰（1992-），男，江苏无锡人，博士，副教授，2014 年、2020 年于南京理工大学分别获得学士、博士学位，主要从事图像处理、计算机视觉方面的研究。E-mail：minjiewan1992@njust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315054&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315065&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315059&type= 22.01333618 32.00399780 万敏杰 （1992-），男，江苏无锡人，博士，副教授，2014 年、2020 年于南京理工大学分别获得学士、博士学位，主要从事图像处理、计算机视觉方面的研究。E-mail： minjiewan1992@njust.edu.cn minjiewan1992@njust.edu.cn 1 2 1 2 1 2 1 2 1 2 corresp gghnjust@mail.njust.edu.cn gghnjust@mail.njust.edu.cn 顾国华（1966-），男，江苏无锡人，博士，研究员，博士生导师，1989 年、1996年、2001 年于南京理工大学分别获得学士、硕士和博士学位，主要研究方向为光电成像理论与技术、图像识别处理及应用技术。E-mail：gghnjust@mail.njust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315071&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315082&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315076&type= 22.01332855 32.00399780 顾国华 （1966-），男，江苏无锡人，博士，研究员，博士生导师，1989 年、1996年、2001 年于南京理工大学分别获得学士、硕士和博士学位，主要研究方向为光电成像理论与技术、图像识别处理及应用技术。E-mail： gghnjust@mail.njust.edu.cn gghnjust@mail.njust.edu.cn 南京理工大学 电子工程与光电技术学院，江苏 南京 210094 南京理工大学 电子工程与光电技术学院，江苏 南京 210094 School of Electronic and Optical Engineering， Nanjing University of Science and Technology， Nanjing 210094， China School of Electronic and Optical Engineering， Nanjing University of Science and Technology， Nanjing 210094， China 南京理工大学 江苏省光谱成像与智能感知重点实验室，江苏 南京 210094 南京理工大学 江苏省光谱成像与智能感知重点实验室，江苏 南京 210094 Jiangsu Key Laboratory of Spectral Imaging & Intelligent Sense， Nanjing University of Science and Technology， Nanjing 210094， China Jiangsu Key Laboratory of Spectral Imaging & Intelligent Sense， Nanjing University of Science and Technology， Nanjing 210094， China 在静止场景下普通的图像滤波算法就能够有效抑制噪声，而在运动状态下，现有的滤波算法难以保证去噪的有效性，还会产生拖尾现象；采用运动补偿的滤波算法，又无法有效地抑制噪声。针对以上问题，提出一种基于时空域滤波的视频去噪算法，并在现场可编程逻辑门阵列（Field Programmable Gate Array，FPGA）平台上实现。该算法主要运用高斯差分滤波提取图像特征，再用空域滤波抑制高频噪声，采用反馈的方式对分割出的图像区域采用不同的去噪策略。硬件实现的关键是利用高层次综合（High-level Synthesis，HLS）工具简化编程、DDR3控制模块操作视频流在各模块间输入输出。实验结果表明：该算法能有效去噪，不同场景下，相比基于非下采样轮廓波变换的去噪算法，峰值信噪比最多可提升15 dB；将算法移植到FPGA后，峰值信噪比相比于MATLAB软件仿真相差约0.3 dB，运行时间缩短71.5%以上，在兼顾实时性的同时达到了较好的可见光视频去噪效果。 It is difficult to suppress the noise in static state of the existing filtering algorithm. Moreover， motion compensated filtering algorithm fails to effectively suppress noise. To solve these problems， a video denoising algorithm based on spatio-temporal filtering is proposed and implemented on the field programmable gate array （FPGA）. The algorithm mainly uses Gaussian difference filtering to extract image features， and then applies spatial filtering to suppress high-frequency noise. Simultaneously， different denoising strategies are adopted for the segmented image area by feedback. Implementing hardware requires high-level synthesis tools to simplify programming， and is to make DDR3 control module to operate input and output of video stream between modules. Simulation results show that the proposed algorithm can be used for denoising. For different scenes， the peak signal-to-noise ratio can be increased by up to 15 dB in comparison with the denoising algorithm based on a non-subsampled contourlet （NSCT）. After transplanting the algorithm to FPGA， the difference between PSNR and MATLAB simulation program was approximately 0.3 dB， and the running time was shortened by over 71.5%. Considering the real-time performance， PSNR achieves a better visible video denoising effect. 图像处理 视频去噪 可见光 现场可编程逻辑门阵列 运动补偿 高斯差分滤波 image processing video denoising visible light FPGA motion compensation Gaussian difference filtering 1 引 言 1 视频信号产生噪声的主要原因是在采集、压缩、传输等过程中受到周围环境、温度等方面的影响，以及设备、传输信道等因素的干扰。一方面，由于相机自身成像时图像会产生非均匀性或者在传输过程中产生动态噪声；另一方面，外在的环境因素，如雾霾、沙尘暴等极端恶劣天气、或光照不足的情况下，成像对比度较低，从而存在图像污染、模糊或轮廓丢失等问题，导致接收到的视频信号质量严重下降，影响视频的视觉效果，也为后续的分析及视频图像的增强 ［ 1 1 ］ 带来不便。因此，视频实时去噪算法研究有着广泛的应用价值与实际意义。 目前，较为普遍的视频去噪算法大致可以分为三类：变换域去噪、空间域去噪和时间域去噪。变换域去噪又称为频域去噪，先对图像进行特定的变换，如傅里叶变换、离散余弦变换 ［ 2 2 ］ 和小波变换 ［ 3 3 ］ 等，把图像信号转换到变换域中，针对图像真值和噪声在频域上的区别进行处理，再把处理完的数据反变换后得到去噪后的图像，这就导致该去噪方式的运算时间较长。近年来，虽然小波变换在视频去噪领域中有了较大的发展，但固定小波基的分解模式不能完全表示自然图像，去噪结果会有一定的偏差 ［ 4 4 ］ 。非下采样轮廓波（Nonsubsampled Contourlet， NSCT）算法 ［ 5 5 ］ 利用非下采样轮廓波变换，弥补轮廓波有下采样的缺点，增加视频帧中的结构信息特征，算法复杂度也相应提升。空间域去噪算法主要去除的噪声以加性噪声为主，因为视频图像中邻域像素相关性较强，一般可根据邻域像素的局部特征对视频去噪 ［ 6 6 ］ 。一些经典的空间域去噪算法主要为中值滤波、均值滤波及自适应滤波等。经典的空域滤波虽然复杂度低、运算时间短，但会模糊视频细节；为改善空域滤波的效果，基于马尔可夫随机场理论的模型，如FRAME模型 ［ 7 7 ］ 、VISTA模型 ［ 8 8 ］ 、FOE模型 ［ 9 9 ］ 等，通过学习的方式获得参数，能够避免人为设置参数所造成的误差，因此有很大的优势 ［ 10 10 ］ 。时间域滤波利用视频前后几帧的相关性来设计算法达到去噪的效果，如基于金字塔结构的去噪算法 ［ 11 11 ］ ，满足实时性要求，但去噪效果还有上升空间。近年来，多种域结合的算法，如空间域与频率域结合的三维块匹配（Block Matching 3D，BM3D）算法 ［ 12 12 ］ 被提出，此算法在转换域中加强稀疏表达，在处理图像细节及高斯白噪声时效果较好，但在处理具有高对比度图像的边缘时，由于匹配块不能完整表示图像细节，图像边缘会产生振铃效应 ［ 13 13 ］ 。除此之外还有时空频域结合的算法 ［ 14 14 ］ ，该算法结合了时空域的降噪方法，同时在频域上采用了高斯和拉普拉斯金字塔，达到了很优秀的去噪效果，然而算法复杂度高，且未实现实时处理。在考虑到硬件并行设计方面，也出现了结合时空域的运动纹理感知去噪算法 ［ 15 15 ］ 。 为了提高视频去噪算法的去噪能力与实时运行时间，本文提出了一种针对可见光波段的时空域去噪算法，并成功移植到FPGA硬件平台。 2 去噪原理 1 本文的视频去噪算法的完整流程如 图1 图1 所示。该算法先用高斯差分（Difference of Guassian， DOG）滤波得到4层DOG来提取当前帧图像的特征信息；再对最高层DOG1用卷积模板做空间域滤波，抑制高频噪声；剩下3层DOG在时间域上采用区域分割滤波，对不同的区域采取不同的滤波策略；最后把处理后的各层图像相加，得到最终的去噪结果。 2.1　高斯差分滤波 2 为了使算法具有运动补偿的效果，需要对每帧图像的特征区域进行提取。现有的DOG滤波 ［ 16 16 ］ 具有较好的边缘检测能力，广泛地应用于数字信号图像处理中。其函数表达式为： <math display="block" id="M1"><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">D</mi></mrow></msub><mo>=</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>σ</mi><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>σ</mi><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mroot><mrow><mn mathvariant="normal">2</mn><mi mathvariant="normal">π</mi></mrow><mrow/></mroot></mrow></mfrac><mfenced separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msubsup><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mfrac><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><mfrac><mrow><mo>-</mo><mo stretchy="false">(</mo><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn><msubsup><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mfrac></mrow></msup><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msubsup><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mfrac><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><mfrac><mrow><mo>-</mo><mo stretchy="false">(</mo><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn><msubsup><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mfrac></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315112&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315106&type= 74.08333588 10.83733368 ， 其中： <math id="M2"><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315210&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315205&type= 2.87866688 3.72533321 与 <math id="M3"><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315136&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315130&type= 2.87866688 3.72533321 为高斯滤波的标准差，并且 <math id="M4"><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo><</mo><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315146&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315141&type= 10.58333302 3.72533321 ， <math id="M5"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315158&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315153&type= 2.03200006 2.79399991 ， <math id="M6"><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315168&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315163&type= 1.86266661 3.72533321 表示二维平面的横纵坐标。由于高斯滤波函数对图像的平滑程度是通过 <math id="M7"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315190&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315185&type= 1.69333339 2.79399991 实现的， <math id="M8"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315190&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315185&type= 1.69333339 2.79399991 越大，平滑程度越高，高频成分越少。当DOG滤波器中心区域通过点线特征较为明显的区域时，因为点线特征周围的背景灰度值较小，高斯滤波后特征处的结果数值较大；当滤波器中心通过灰度值起伏变化不大的平缓区域时，高斯滤波结果则趋于零。如此，便达到了抑制平缓背景的效果。 本算法使用了4个高斯滤波参数，4个参数的大小为 <math id="M9"><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo><</mo><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo><</mo><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo><</mo><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315201&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315196&type= 25.99266624 3.72533321 ，具体取值为1.5，2.5，5.5，10.5，对应得出4层DOG结果：DOG1，DOG2，DOG3，DOG4。以实验视频其中一帧为例，4层DOG如 图2 图2 所示。由于 <math id="M10"><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315210&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315205&type= 2.87866688 3.72533321 最小，DOG1中包含的高频噪声最多，需要单独对DOG1做进一步的高频噪声抑制处理。 2.2　空间域滤波 2 为了滤除DOG1中的高频噪声，单独对该层进行空间域滤波。由于噪声大部分都服从高斯分布，该层内的高频噪声即为邻域范围内的极大值点，在图像二维平面内可转换成求离散函数的偏导，公式如下： <math display="block" id="M11"><mfrac><mrow><mo>∂</mo><mi>f</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced></mrow><mrow><mo>∂</mo><mi>x</mi></mrow></mfrac><mo>=</mo><mi>f</mi><mfenced separators="|"><mrow><mi>x</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>y</mi></mrow></mfenced><mo>-</mo><mi>f</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315234&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315228&type= 53.50933075 9.14400005 ， <math display="block" id="M12"><mfrac><mrow><mo>∂</mo><mi>f</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced></mrow><mrow><mo>∂</mo><mi>y</mi></mrow></mfrac><mo>=</mo><mi>f</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfenced><mo>-</mo><mi>f</mi><mfenced separators="|"><mrow><mi>x</mi><mo>,</mo><mi>y</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315244&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315239&type= 53.25533295 9.99066734 . 由此可知，高频噪声只有邻域极大值的特征而不含有表征方向的信息，因此可用基于梯度的卷积模板来剔除高频噪声，提取含有方向信息的图像特征边缘轮廓信息。 用来抑制极大值的空域滤波卷积模板如下： <math display="block" id="M13"><msub><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315256&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315250&type= 42.67200089 29.37933159 ， <math display="block" id="M14"><msub><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mn mathvariant="normal">45</mn></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315266&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315261&type= 50.46133423 29.37933159 ， <math display="block" id="M15"><msub><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mn mathvariant="normal">90</mn></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315277&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315272&type= 53.93266296 29.20999908 ， <math display="block" id="M16"><msub><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mn mathvariant="normal">135</mn></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">1</mn></mtd><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd><mtd><mo>-</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315288&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315282&type= 51.47733307 29.37933159 ， 其中： G 0 ， G 45 ， G 90 ， G 135 分别是0°，45°，90°和135°方向上的滤波模板。 2.3　时域区域分割滤波 2 在运动场景中，前后两帧的线面特征会产生位移，静止背景部分的平坦区和特征区域部分的突变区可以通过前后两帧之差进行区分。为了进一步滤除噪声，需要对4层DOG进行时间域上的滤波，即在时间域上对4层图像数据进行区域分割，具体分割方式如 图3 图3 所示。 计算当前帧DOG与上一帧去噪结果的差值，当这个差值小于阈值时，判定当前像素在平坦区域，像素值不变；当差值大于阈值时，判定当前像素在突变区域，取上一帧去噪结果与当前帧DOG的加权平均作为当前帧的去噪结果，其中，权值 a 通常取0.8，表明前一帧的滤波结果对当前帧的滤波结果影响较大。最后把4层DOG的滤波结果和 <math id="M17"><msub><mrow><mi>σ</mi></mrow><mrow><mn mathvariant="normal">4</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315311&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315307&type= 2.87866688 3.72533321 对应的高斯滤波结果相加得到去噪后的图像，如 图4 图4 所示。 3 算法的FPGA实现 1 该算法使用VIVADO 2019进行硬件编程，在ZYNQ7045，型号为xc7z045ffg900-2的硬件开发平台上实现，cameralink接口连接开发板与黑白可见光相机成像，HDMI接口连接开发板视频输出端口与显示屏，最终显示去噪后的视频图像，总体硬件架构如 图5 图5 所示。 首先，相机输入的视频数据流通过cameralink接口进入数据解码模块，该模块将数据流转换成标准的VGA时序信号后输出；在进入下一个模块之前，需要利用Video In to AXI4-stream 这个IP核把VGA时序信号转换成AXIstream格式的数据流，因为分层模块需要的输入输出数据都是AXIstream格式的数据；数据格式转换完成后，通过分层模块把原始视频帧信号分成4层，输入数据格式转换模块，该模块由5个Video In to AXI4-stream IP核组成，把4层数据信号加上原始图像数据转换成标准VGA时序信号，方便时空域滤波模块对数据的处理；FDMA（AXI4 FULL MASTER DIRECT MEMORY ACCESS）能通过控制模块、MIG控制器和DDR交互，对滤波模块输出结果通过三缓存的方式存入DDR，然后输出上一帧的滤波结果给滤波模块；VDMA（VIDEO DIRECT MEMORY ACCESS）是VIVADO中专门用来传输图像数据的IP核，通过该IP核将最终结果送入HDMI实现结果在显示器的显示；HLS图像分层模块和VDMA都需要通过PS（Processing System）部分的ARM核来配置参数。 3.1　Cameralink数据解码模块 2 本文算法实现所选用的可见光相机输出单通道8 bit视频帧数据，采用的Cameralink标准的视频传输模式是Base模式。FPGA开发板收到的图像相关信号有28 bit，包括1 bit场有效信号、1 bit行有效信号、1 bit数据有效信号和24 bit数据信号。24 bit的数据信号分成A，B，C三个端口，根据相机每时钟周期输出的像素个数使用的端口数不同，根据端口定义就能够解码得出正确的图像数据。最后，把该解码模块封装成IP核添加在本设计中，解码出来的数据如 图6 图6 所示。其中，v_sync与h_sync分别是场有效信号与行有效信号。检测到场有效信号上升沿时为一帧视频的开始，下降沿为一帧视频的结束；行有效信号为1时，表示正在进行一行数据的传输；数据有效信号与行有效信号相同。D16_o是最后解码出来的视频数据信号。 3.2　HLS数据分层模块 2 该模块用来实现4个不同参数的高斯滤波，为后续产生4层DOG做准备。如果高斯滤波使用HDL编程，不仅代码复杂度高，而且会占用大量资源，所以使用赛灵思自带的VIVADO HLS工具来实现。HLS支持C语言编程，并且支持包含Opencv在内的视频图像处理库函数，完成编程后，能直接把C语言综合成HDL代码组成的IP核，同时自带优化指令，方便IP优化，大大降低了开发时间。 为了进一步简化代码，便于硬件实现，把高斯滤波简化为先用4次降采样，得到4个降采样数据，然后分别还原成原始图像的分辨率，降采样和还原分辨率用到的HLS库函数分别是hls：：Prydown和hls：：Resize。最后封装完成的IP核如 图7 图7 所示。其中，输入端s_axi_AXILiteS是控制信号，src_axi是数据信号，ap_clk是时钟信号，ap_rst_n是复位信号；输出端dst_axi，dst_axi2-5分别是4个降采样并还原原始分辨率后的数据信号和一个原始数据信号。 3.3　空间域滤波模块 2 FPGA实现图像的空域滤波算法基于滤波模板与图像数据做滑动窗口卷积，需要在FPGA内开辟一个缓存区形成图像窗口。选择shiftram IP核作为缓存图像数据的寄存器，在与 N × N 的卷积模板做卷积时，一共需要 N 个shiftram IP核。本算法选取5×5的卷积模板，共需要5个shiftram IP核。以3×3卷积窗口为例，实现原理如 图8 图8 所示。 3.4　时间域滤波模块 2 时间域滤波移植到FPGA硬件平台上要主要解决的问题是滤波结果的多帧缓存以及当前帧DOG与上一帧滤波结果的像素匹配处理。DDR3因其内存大、有赛灵思提供的MIG控制器来控制其读写，是用于多帧缓存的最佳选择；同时，为实现像素匹配，需要有一个高速接口访问DDR3，因此加入FDMA IP核。 FDMA是DMA（DIRECT MEMORY ACCESS）的变形。DMA包含一条数据总线和一条地址总线，一般具有能一次传输多个字节数据的突发传输的功能，能大大增强系统的整体吞吐能力 ［ 17 17 ］ 。FDMA就是在DMA的基础上把两条总线换成AXI4-FULL（Advanced eXtensible Interface）总线协议，以便与MIG控制器进行数据交互。FDMA IP核如 图9 图9 所示。通过上述自定义IP模块就能快速进行数据交互，实现像素配准。 为了生成FDMA输入端的数据打包格式，需要有一个FDMA控制模块，需要给FDMA输出读写请求和读写地址信号，并通过输入视频帧的行场信号控制异步FIFO把8位数据组包成32位数据送入FDMA，同时把对应地址的FDMA输出的32位DDR读出数据拆包成8位上一帧滤波结果数据，送入计算模块，异步FIFO组包数据流如 图10 图10 所示。 FIFO写入时钟为25 MHz，读出时钟约为150.7 MHz，以写入时钟约6倍的速度读写DDR，可使视频当前帧数据与从DDR中读出的上一帧视频数据同时输入下一个模块，完成时域区域分割滤波。 由于需要对4层DOG进行滤波处理，利用FPGA的并行处理能力，采用4路FDMA IP核通过AXI4总线连接到MIG控制器，使得四路DOG能够同时输入输出。 4 实验与结果分析 1 硬件平台的搭建及去噪结果如 图11 图11 所示。硬件平台由结果显示器、编程及操作显示器、ZYNQ7045开发板、可见光黑白相机（通过Cameralink接口与开发板相连）及拍摄目标组成。为了能直观地显示去噪效果，显示器可同时输出相机原图和去噪后图像，上半部分为原始视频图像，下半部分为去噪后的视频图像。可以看出，该算法有一定的去噪效果，但由于选用的相机噪声较小，视觉效果不太明显。 4.1　定性实验 2 对15个含噪可见光视频场景，用本文算法（包括MATLAB软件平台与FPGA硬件平台）、NSCT去噪算法 ［ 18 18 ］ 、FOE算法 ［ 9 9 ］ 、基于金字塔结构的去噪算法 ［ 11 11 ］ 和BM3D算法 ［ 12 12 ］ 进行处理，截取其中一帧，去噪结果如 图12 图12 所示。 图中，原始图像是用低噪相机拍摄的视频场景，含噪原图采用原图加上幅度为20 dB的噪声合成。从视觉效果上看，BM3D算法对噪声有一定的抑制，且图像细节保留也较为完好，但是图像的明暗程度有所改变；NSCT算法对噪声的抑制最为明显，但细节模糊较为严重；FOE算法和基于金字塔结构的去噪算法都有一定的去噪效果，也都保留了图像细节；本文算法在不改变图像明暗的同时，对噪声有明显的抑制，且细节部分保留完好。 算法的硬件移植方面，在视觉效果上MATLAB处理后对比原图去噪效果明显，且无拖尾现象产生；移植到FPGA上后，处理结果与MATLAB相比无明显差别。 4.2　定量实验 2 将本文算法包括MATLAB软件平台与FPGA硬件平台的实现与NSCT去噪算法 ［ 18 18 ］ 、FOE去噪算法 ［ 9 9 ］ 、基于金字塔结构的去噪算法 ［ 11 11 ］ 和BM3D去噪算法 ［ 12 12 ］ 的结果用峰值信噪比（Peak Signal to Noise Ratio， PSNR）、结构相似性（Structural Similarity Index Measure， SSIM）和一帧视频处理时间进行评价。其中，PSNR是信号峰值与噪声均值之比，数值越大，失真越小；SSIM从亮度、对比度、结构三个方面分析处理前后图像的相似性，取值区间为［0，1］，值越大，失真越小。PSNR与SSIM的计算公式分别为： <math display="block" id="M18"><mi>P</mi><mi>S</mi><mi>N</mi><mi>R</mi><mo>=</mo><mn mathvariant="normal">10</mn><mo>×</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mfenced separators="|"><mrow><mfrac><mrow><mo stretchy="false">(</mo><msup><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>n</mi></mrow></msup><msup><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mi>M</mi><mi>S</mi><mi>E</mi></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315422&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315418&type= 48.17533112 9.73666668 ， <math display="block" id="M19"><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mo stretchy="false">(</mo><msup><mrow><msub><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><msub><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315429&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315424&type= 73.91400146 9.48266602 ， 其中： n 表示采样值的比特数，MSE是原图与处理后图像间的均方误差， x ， y 为两幅图像， <math id="M20"><msub><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315436&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315432&type= 3.21733332 4.57200003 ， <math id="M21"><msub><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315444&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315440&type= 3.13266683 4.57200003 分别是 x ， y 的均值， <math id="M22"><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315452&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315448&type= 4.48733330 3.97933316 ， <math id="M23"><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315460&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315456&type= 4.40266657 3.97933316 分别是 x ， y 的方差， <math id="M24"><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315468&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315465&type= 3.89466691 3.72533321 是 x 和 y 的协方差， <math id="M25"><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315475&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315471&type= 2.70933342 3.72533321 和 <math id="M26"><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315482&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33315479&type= 2.70933342 3.72533321 是用来维持稳定的常数。计算结果如 表1 表1 ~ 表5 表5 所示，其中金字塔表示基于金字塔结构的去噪算法，MATLAB实现和FPGA实现分别表示本文算法在MATLAB和FPGA上的实现。由表可知，本文算法在大部分场景中的定量指标都优于NSCT算法、基于金字塔结构的算法和BM3D算法。在场景5中，本文算法的PSNR相比NSCT算法的PSNR提升一倍左右；本文算法的PSNR虽然在场景11这种明亮且背景单一的地方稍低于FOE算法的PSNR，但总体而言相差不大且SSIM有一定的提升；在SSIM指标上，4种算法比较接近，在场景13中NSCT算法的结果虽然比本文算法更加模糊，且PSNR指标明显低于本文算法，但SSIM数值却略高于本文算法。其原因可能为：在场景13这种线条特征明显、整体灰度值变化平稳的场景，SSIM指标更倾向于去噪后图像的平滑性，而对图像的模糊程度考量较少。总体而言，本文算法相较于其他算法在整体稳定性方面比较突出。在处理时间上，NSCT算法所用时间最长，大约50 s才能处理一帧视频，FOE算法大约需要3 s，基于金字塔结构的算法、BM3D算法和本文算法都只需要0.4 s左右的时间，但在绝大多数场景下，本文算法的处理时间仍优于基于金字塔结构的算法和BM3D算法。综合上述3个客观指标，由于本文算法结合了时间域和空间域滤波并分区域采用不同的去噪手段，去噪能力有了可观的提升。 2 算 法 3 场景1 3 场景2 3 场景3 PSNR SSIM t /s PSNR SSIM t /s PSNR SSIM t /s NSCT 33.592 8 0.921 7 50.208 8 20.204 2 0.801 2 49.547 6 28.458 2 0.655 3 49.615 6 FOE 34.598 1 0.869 1 2.591 5 27.449 3 0.535 7 2.690 4 28.414 0 0.532 2 2.699 3 金字塔 33.548 7 0.834 7 0.325 4 21.534 8 0.514 3 0.402 4 28.376 9 0.616 6 0.396 5 BM3D 33.022 7 0.822 0 0.399 4 20.204 2 0.487 2 0.409 4 27.827 8 0.602 4 0.425 5 MATLAB实现 34.878 3 0.940 6 0.392 3 27.956 3 0.581 6 0.390 6 28.845 3 0.694 0 0.357 8 FPGA实现 34.610 8 0.921 0 0.159 3 26.734 8 0.573 2 0.153 4 28.276 4 0.657 6 0.126 5 2 算 法 3 场景4 3 场景5 3 场景6 PSNR SSIM t /s PSNR SSIM t /s PSNR SSIM t /s NSCT 24.772 2 0.699 6 49.323 5 15.452 0 0.664 1 49.378 8 25.343 1 0.662 2 49.409 0 FOE 23.586 9 0.582 4 3.062 0 29.345 5 0.673 1 2.882 2 25.523 4 0.480 7 2.674 7 金字塔 23.312 3 0.585 6 0.366 1 29.421 6 0.731 2 0.391 4 24.746 5 0.653 4 0.342 1 BM3D 23.311 0 0.536 8 0.366 5 30.257 3 0.715 6 0.394 2 21.266 3 0.441 4 0．3 594 MATLAB实现 23.636 2 0.790 1 0.366 0 30.329 6 0.797 2 0.384 7 25.585 6 0.681 7 0.320 8 FPGA实现 23.354 2 0.784 5 0.131 2 29.965 7 0.742 3 0.135 4 25.514 3 0.669 8 0.131 1 2 算 法 3 场景7 3 场景8 3 场景9 PSNR SSIM t /s PSNR SSIM t /s PSNR SSIM t /s NSCT 14.625 7 0.580 7 49.329 1 24.371 8 0.494 9 48.627 6 20.233 4 0.643 8 47.169 1 FOE 19.639 5 0.505 7 3.060 2 27.140 9 0.445 8 2.659 6 20.630 4 0.667 4 2.985 6 金字塔 19.027 6 0.565 5 0.369 9 27.106 4 0.493 4 0.391 6 20.385 5 0.650 2 0.341 1 BM3D 19.011 1 0.485 6 0.377 9 26.386 6 0.493 5 0.407 4 20.588 5 0.636 9 0.345 0 MATLAB实现 19.643 8 0.660 9 0.352 9 27.612 8 0.498 0 0.350 8 20.689 8 0.690 3 0.329 0 FPGA实现 19.519 7 0.646 7 0.134 4 27.287 4 0.489 9 0.139 8 20.601 2 0.982 6 0.128 7 2 算 法 3 场景10 3 场景11 3 场景12 PSNR SSIM t /s PSNR SSIM t /s PSNR SSIM t /s NSCT 6.548 0 0.303 6 47.888 6 20.863 3 0.743 9 46.866 8 20.806 6 0.618 2 50.100 1 FOE 26.215 4 0.352 9 2.578 2 22.858 2 0.750 5 2.941 9 26.528 2 0.530 7 2.343 6 金字塔 23.453 4 0.296 3 0.401 6 21.933 4 0.769 2 0.401 7 26.470 3 0.593 7 0.406 8 BM3D 20.694 3 0.270 5 0.414 4 21.596 5 0.727 8 0.414 4 26.295 3 0.554 2 0.421 3 MATLAB实现 26.435 6 0.353 3 0.361 0 22.127 0 0.779 6 0.359 6 26.528 8 0.661 6 0.361 9 FPGA实现 26.388 9 0.340 8 0.141 9 22.012 1 0.771 3 0.137 5 26.493 3 0.650 0 0.140 8 2 算 法 3 场景13 3 场景14 3 场景15 PSNR SSIM t /s PSNR SSIM t /s PSNR SSIM t /s NSCT 17.650 1 0.696 2 47.123 1 21.099 4 0.724 0 46.866 8 21.929 7 0.697 4 49.619 9 FOE 21.465 8 0.417 0 2.987 1 29.164 3 0.821 2 2.961 9 23.515 5 0.600 2 2.688 2 金字塔 21.748 6 0.417 6 0.416 5 27.748 7 0.727 6 0.389 7 23.211 1 0.647 8 0.402 7 BM3D 21.928 8 0.325 5 0.438 3 26.118 6 0.760 6 0.414 4 22.471 4 0.367 4 0.415 3 MATLAB实现 21.937 6 0.453 2 0.394 7 29.438 8 0.826 8 0.343 1 23.827 8 0.706 6 0.361 2 FPGA实现 21.905 6 0.421 6 0.112 3 29.170 8 0.821 8 0.189 3 23.387 0 0.696 7 0．1 369 本文算法移植到FPGA硬件平台后，FPGA处理后的结果在PSNR方面比MATLAB平均降低约0.4 dB，在SSIM方面平均降低了约0.02 dB，均可视为在误差允许范围内；而在运行时间方面，FPGA比MATLAB减少了0.2 s多，约减少了71.5%，大大提升了算法的实时性。本文算法移植到FPGA平台上的资源占用情况如 图13 图13 所示，占用的FPGA开发板的资源不到50%，也可说明本文算法移植到硬件平台的有效性。 5 结 论 1 为了克服可见光视频去噪算法细节模糊、处理时间长、实时性差等缺点，本文提出了一种结合时间域与空间域滤波的去噪算法，先利用高斯差分滤波使原图分层，对含高频噪声最多的图像层进行空域滤波，抑制信号极大值；然后把当前帧各尺度滤波后的图像当作下一帧滤波的输入，在时间域上形成反馈，区分每帧图像对上一帧而言的平坦区域与突变区域，并采用不同的去噪策略；最后把算法分为多个模块，利用卷积模板进行空域滤波，控制DDR形成4路视频数据流在ZYNQ7045 FPGA硬件平台上实时实现。实验结果表明，本算法在主观上实现了视频去噪的功能；在客观评价指标方面，相比于现有的单域去噪算法，PSNR至多可提升15 dB；移植到硬件平台后，在PSNR和SSIM指标相差不大的情况下运行时间可节省约71.5%，兼顾了可见光视频去噪的精度与实时性要求。 参考文献 WAN M J ， GU G H ， QIAN W X ， et al . Infrared image enhancement using adaptive histogram partition and brightness correction ［J］. Remote Sensing ， 2018 ， 10 （ 5 ）： 682 . doi: 10.3390/rs10050682 http://dx.doi.org/10.3390/rs10050682 Infrared image enhancement using adaptive histogram partition and brightness correction 乔付 . 一种使用离散余弦变换图像去噪算法 ［J］. 海南热带海洋学院学报 ， 2018 ， 25 （ 2 ）： 70 - 75 . doi: 10.13307/j.issn.2096-3122.2018.02.13 http://dx.doi.org/10.13307/j.issn.2096-3122.2018.02.13 一种使用离散余弦变换图像去噪算法 QIAO F . An image de-noising algorithm by using discrete cosines transformation ［J］. Journal of Hainan Tropical Ocean University ， 2018 ， 25 （ 2 ）： 70 - 75 . （in Chinese） . doi: 10.13307/j.issn.2096-3122.2018.02.13 http://dx.doi.org/10.13307/j.issn.2096-3122.2018.02.13 An image de-noising algorithm by using discrete cosines transformation KINGSBURY N . Complex wavelets for shift invariant analysis and filtering of signals ［J］. Applied and Computational Harmonic Analysis ， 2001 ， 10 （ 3 ）： 234 - 253 . doi: 10.1006/acha.2000.0343 http://dx.doi.org/10.1006/acha.2000.0343 Complex wavelets for shift invariant analysis and filtering of signals 胡然 ， 郭成城 ， 杨剑锋 . 基于小波阈值和主成分分析的视频去噪算法 ［J］. 计算机科学 ， 2016 ， 43 （ 4 ）： 290 - 293 . doi: 10.11896/j.issn.1002-137X.2016.4.059 http://dx.doi.org/10.11896/j.issn.1002-137X.2016.4.059 基于小波阈值和主成分分析的视频去噪算法 HU R ， GUO CH CH ， YANG J F . Video denoising algorithm based on wavelet threshold and PCA ［J］. Computer Science ， 2016 ， 43 （ 4 ）： 290 - 293 . （in Chinese） . doi: 10.11896/j.issn.1002-137X.2016.4.059 http://dx.doi.org/10.11896/j.issn.1002-137X.2016.4.059 Video denoising algorithm based on wavelet threshold and PCA 黄凌霄 ， 廖一鹏 . 浮选气泡NSCT域多尺度等效形态特征提取及识别 ［J］. 光学 精密工程 ， 2020 ， 28 （ 3 ）： 704 - 716 . doi: 10.3788/ope.20202803.0704 http://dx.doi.org/10.3788/ope.20202803.0704 浮选气泡NSCT域多尺度等效形态特征提取及识别 HUANG L X ， LIAO Y P . Recognition and multiscale equivalent morphological features extraction of flotation bubbles in NSCT domain ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 3 ）： 704 - 716 . （in Chinese） . doi: 10.3788/ope.20202803.0704 http://dx.doi.org/10.3788/ope.20202803.0704 Recognition and multiscale equivalent morphological features extraction of flotation bubbles in NSCT domain 苏恺骏 . 基于变换域的视频去噪算法研究 ［D］. 西安 ： 西安理工大学 ， 2017 . 基于变换域的视频去噪算法研究 SU K J . Research on Video Denoising Algorithm Based on Transform Domain ［D］. Xi'an ： Xi'an University of Technology ， 2017 . （in Chinese） Research on Video Denoising Algorithm Based on Transform Domain ZHU S C ， WU Y ， MUMFORD D.Filters ， random fields and maximum entropy （FRAME） ： towards a unified theory for texture modeling ［J］. International Journal of Computer Vision ， 1998 ， 27 ： 107 - 126 . doi: 10.1023/a:1007925832420 http://dx.doi.org/10.1023/a:1007925832420 towards a unified theory for texture modeling FREEMAN W T ， PASZTOR E C . Learning low-level vision ［C］. Proceedings of the Seventh IEEE International Conference on Computer Vision . 2027，1999 ， Kerkyra ， Greece . IEEE ， 1999 ： 1182 - 1189 . doi: 10.1109/iccv.1999.790414 http://dx.doi.org/10.1109/iccv.1999.790414 Learning low-level vision 张秀 ， 周巍 ， 段哲民 ， 等 . 基于专家场先验模型的图像超分辨重建算法 ［J］. 红外与激光工程 ， 2019 ， 48 （ 6 ）： 471 - 478 . doi: 10.3788/irla201948.0626002 http://dx.doi.org/10.3788/irla201948.0626002 基于专家场先验模型的图像超分辨重建算法 ZHANG X ， ZHOU W ， DUAN ZH M ， et al . Image super-resolution reconstruction algorithm based on fields of experts prior model ［J］. Infrared and Laser Engineering ， 2019 ， 48 （ 6 ）： 471 - 478 . （in Chinese） . doi: 10.3788/irla201948.0626002 http://dx.doi.org/10.3788/irla201948.0626002 Image super-resolution reconstruction algorithm based on fields of experts prior model 刘亮 . 基于FoE模型的图像去噪研究 ［D］. 哈尔滨 ： 黑龙江科技学院 ， 2011 . 基于FoE模型的图像去噪研究 LIU L . Research on Image Denoising Based on FoE Model ［D］. Harbin ： Heilongjiang Institute of Science and Technology ， 2011 . （in Chinese） Research on Image Denoising Based on FoE Model EHMANN J ， CHU L C ， TSAI S F ， et al . Real- time video denoising on mobile phones ［C］. 2018 25th IEEE International Conference on Image Processing . 710，2018 ， Athens ， Greece . IEEE ， 2018 ： 505 - 509 . doi: 10.1109/icip.2018.8451416 http://dx.doi.org/10.1109/icip.2018.8451416 Real- time video denoising on mobile phones DJUROVIĆ I . Combined centre-weighted Median filter and BM3D to filter digital images in mixed Gaussian and impulsive environments ［J］. IETE Journal of Research ， 2018 ， 64 （ 6 ）： 796 - 806 . doi: 10.1080/03772063.2017.1370395 http://dx.doi.org/10.1080/03772063.2017.1370395 Combined centre-weighted Median filter and BM3D to filter digital images in mixed Gaussian and impulsive environments 王惠琴 ， 吕佳芸 ， 张伟 . 基于双边滤波-BM3D算法的GPR图像去噪 ［J］. 兰州理工大学学报 ， 2022 ， 48 （ 1 ）： 91 - 97 . doi: 10.3969/j.issn.1673-5196.2022.01.015 http://dx.doi.org/10.3969/j.issn.1673-5196.2022.01.015 基于双边滤波-BM3D算法的GPR图像去噪 WANG H Q ， LÜ J Y ， ZHANG W . GPR image denoising based on bilateral filtering BM3D algorithm ［J］. Journal of Lanzhou University of Technology ， 2022 ， 48 （ 1 ）： 91 - 97 . （in Chinese） . doi: 10.3969/j.issn.1673-5196.2022.01.015 http://dx.doi.org/10.3969/j.issn.1673-5196.2022.01.015 GPR image denoising based on bilateral filtering BM3D algorithm 鲜连义 ， 康明 . 低照度场景下的时空频域视频去噪算法 ［J］. 现代计算机 ， 2021 （ 17 ）： 128 - 134 . 低照度场景下的时空频域视频去噪算法 XIAN L Y ， KANG M . Spatio-temporal frequency domain video denoising algorithm in low light scene ［J］. Modern Computer ， 2021 （ 17 ）： 128 - 134 . （in Chinese） Spatio-temporal frequency domain video denoising algorithm in low light scene YUAN Z ， CHEN W J ， XIN J ， et al . A motion-texture aware denoising for economic hardware design ［C］. 2015 IEEE International Conference on Image Processing . 2730，2015 ， Quebec City ， QC， Canada . IEEE ， 2015 ： 437 - 441 . doi: 10.1109/icip.2015.7350836 http://dx.doi.org/10.1109/icip.2015.7350836 A motion-texture aware denoising for economic hardware design 刘凯 ， 汪侃 ， 杨晓梅 ， 等 . 基于DoG检测图像特征点的快速二进制描述子 ［J］. 光学精密工程 ， 2020 ， 28 （ 2 ）： 485 - 496 . 基于DoG检测图像特征点的快速二进制描述子 LIU K ， WANG K ， YANG X M ， et al . DoG keypoint detection based fast binary descriptor ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 485 - 496 . （in Chinese） DoG keypoint detection based fast binary descriptor 代少升 ， 袁祥辉 . 提高DSP图像处理系统实时性的一种有效方法 ［J］. 光学 精密工程 ， 2003 ， 11 （ 6 ）： 617 - 620 . doi: 10.3321/j.issn:1004-924X.2003.06.015 http://dx.doi.org/10.3321/j.issn:1004-924X.2003.06.015 提高DSP图像处理系统实时性的一种有效方法 DAI SH SH ， YUAN X H . Improvement of DSP image processing real-timeness ［J］. Optics and Precision Engineering ， 2003 ， 11 （ 6 ）： 617 - 620 . （in Chinese） . doi: 10.3321/j.issn:1004-924X.2003.06.015 http://dx.doi.org/10.3321/j.issn:1004-924X.2003.06.015 Improvement of DSP image processing real-timeness 郑成旭 ， 范学超 ， 刘金龙 . 基于NSCT的自适应阈值图像去噪算法 ［J］. 科技创新导报 ， 2015 ， 12 （ 2 ）： 57 ， 59 . doi: 10.3969/j.issn.1674-098X.2015.02.036 http://dx.doi.org/10.3969/j.issn.1674-098X.2015.02.036 基于NSCT的自适应阈值图像去噪算法 ZHENG CH X ， FAN X CH ， LIU J L . Adaptive threshold image denoising algorithm based on NSCT ［J］. Science and Technology Innovation Herald ， 2015 ， 12 （ 2 ）： 57 ， 59 . （in Chinese） . doi: 10.3969/j.issn.1674-098X.2015.02.036 http://dx.doi.org/10.3969/j.issn.1674-098X.2015.02.036 Adaptive threshold image denoising algorithm based on NSCT 10.37188/OPE.20223015.1868 TP391.4 A 1004-924X（2022）15-1868-12 赵思娴,万敏杰,钱惟贤等.可见光视频去噪及其FPGA硬件实现[J].光学精密工程,2022,30(15):1868-1879. 赵思娴,万敏杰,钱惟贤等.可见光视频去噪及其FPGA硬件实现[J].光学精密工程,2022,30(15):1868-1879. ZHAO Sixian,WAN Minjie,QIAN Weixian,et al.Visible light video denoising and FPGA hardware implementation[J].Optics and Precision Engineering,2022,30(15):1868-1879. ZHAO Sixian,WAN Minjie,QIAN Weixian,et al.Visible light video denoising and FPGA hardware implementation[J].Optics and Precision Engineering,2022,30(15):1868-1879. 国家自然科学基金青年项目（No. 62001234）；江苏省自然科学基金青年项目（No. BK20200487）；上海航天科技创新基金资助项目（No. SAST2020-071）；中央高校基本科研业务费专项资金资助项目（No. JSGP202102） 2022-03-25 2022-04-18 2022-08-10 2022-08-16 光学精密工程 15 30