Combined exposure computational imaging system and image restoration method

组合曝光的计算成像系统及其复原 Combined exposure computational imaging system and image restoration method 1 2 corresp first-author E-mail：wuzeping1893@163.com E-mail：wuzeping1893@163.com 吴笑天（1986-），男，吉林长春人，博士研究生，助理研究员，博士研究生，2012年于厦门大学获得硕士学位，主要从事计算成像，机器视觉等方面的研究工作。E-mail： wuzeping1893@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478458&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478467&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478464&type= 22.01333427 27.98234177 吴笑天（1986-），男，吉林长春人，博士研究生，助理研究员，博士研究生，2012年于厦门大学获得硕士学位，主要从事计算成像，机器视觉等方面的研究工作。E-mail： wuzeping1893@163.com wuzeping1893@163.com 2 2 2 长春理工大学 光电工程学院，吉林 长春 130022 长春理工大学 光电工程学院，吉林 长春 130022 College of Opto-Electronic Engineering， Changchun University of Science and Technology，Changchun 130022， China College of Opto-Electronic Engineering， Changchun University of Science and Technology，Changchun 130022， China 中国科学院 长春光学精密机械及物理研究所，吉林 长春 130022 中国科学院 长春光学精密机械及物理研究所，吉林 长春 130022 Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences，Changchun 130022， China Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences，Changchun 130022， China 传统光学成像方式在低照度条件下拍摄高速运动物体时，通过积分时间的配置难以平衡能量获取和高速运动模糊之间的矛盾。为了解决低照度条件下高速运动物体的清晰成像问题，本文提出一种基于组合曝光图像的计算成像方式，通过高帧频相机采集邻近两帧形成组合曝光图像对，基于两帧图像信息的互补，合理估算运动模糊点扩散函数，最终获取高信噪比的复原图像。试验结果表明，本文所述的计算成像方法能够良好地解决低照度条件下高速运动目标的成像模糊问题。通过本方法获得的复原图像相比原降质图像在细节纹理上有明显的改善，客观评价指标峰值信噪比（PSNR），结构相似指数（SSIM）相比原降质图像提升10%左右，整体性能效果优于现有非深度学习复原方法，图像清晰可靠，具有良好的主观视觉效果。 In traditional optical imaging， when high-speed moving objects are photographed under low-light conditions， balancing the contrasting differences between energy acquisition and high-speed motion blur by configuring the integration time is difficult. To solve this problem， a computational imaging method based on combined exposure was proposed. A high-frame-rate camera was used to acquire two adjacent frames to form a combined exposure image pair. Based on the complementary information between the two frames， the motion blur point spread function was estimated， and the restored image with a high signal-to-noise ratio （SNR） was then recovered. Experimental results show that the proposed computational imaging method can solve the blur problem of high-speed object imaging under low-light conditions. Compared with the original degraded image， the restored image obtained by the restoration algorithm is significantly improved in terms of detailed texture. The objective evaluation indices of peak SNR and structural similarity index measure are also improved by greater than 10% over those of the degraded image. Overall， the performance of the proposed computational imaging method is better than that of the existing non-depth learning restoration method， and the image proved to be clear and reliable， exhibiting a good subjective visual effect. 计算成像 图像复原 组合曝光 非均匀点扩散函数 computational imaging image restoration combined exposure non-uniform point spread function estimation 1 引 言 1 传统的光学成像系统往往采用成像链路各个环节分离化的设计思路，其光学设计、传感器驱动及面向任务的图像处理都在局部范围内优化。这种设计方式能够满足消费类及部分低成像分辨率应用场合的要求，但是无法满足高端工业及军工领域对于高分辨率、高灵敏度、多维信息融合等特种应用需求，传统的成像设计方式不再适用。因此，一种面向任务需求的全成像链路环节定向定制、全局优化的成像方式应运而生，即计算成像。计算成像是几何光学、波动光学、电子学和信息科学等学科的交叉融合，近年来备受学术界和产业界的关注。 计算成像系统在设计理念上强调面向任务背景需求的全局定制化设计。由于任务的多样性，计算成像主要包括孔径编码、全息成像、光场成像、压缩感知、计算鬼成像和散射介质成像等方法 ［ 1 1 - 2 2 1-2 ］ 。其中，单光子成像和计算鬼成像主要应用于远红外成像、深紫外成像和极弱光成像背景下的高空间采样率成像 ［ 1 1 ］ 。其主要机理在于光的二阶相干性。最早的单像素成像利用纠缠光子对的空间信息实现目标空间信息的探测 ［ 3 3 ］ ，而后发展的计算鬼成像则利用空间光调制器模拟光子的随机性，采用单一像素探测器实现“单像素级”成像 ［ 4 4 ］ 。但是，无论单像素成像、计算鬼成像，还是后期进一步发展的对偶摄影 ［ 5 5 ］ ，都需要对场景进行多次投影采集（需要上万次甚至更多）。虽然它们可以在极其微弱的成像条件下使用，却难以实现动态目标的成像 ［ 1 1 ］ 。张玉叶等 ［ 6 6 ］ 提出了一种基于多设备多曝光图像融合的计算成像方式，但是该方式除了增加系统成本之外，成像效果也易受多采集源配准精度的影响。弱光环境下的常规成像可以通过构建深度学习网络模型实现细节的显著增强，Chen等 ［ 7 7 ］ 通过对大量场景采集长短曝光图像形成数据库用于神经网络的训练，训练后的神经网络可以将弱光条件下拍摄的低对比图像恢复为细节纹理清晰的正常图像。该方法仅在训练段使用了长短曝光的信息融合以形成训练数据集，而在实施阶段没有用到长积分图像的信息，因此可以理解为低照度条件下的图像去噪及增强问题。 模糊图像复原是计算成像方法的核心问题之一，直接决定并影响着系统最终的成像效果 ［ 8 8 ］ 。在传统图像处理领域，图像复原算法虽然与成像链路的其他环节分离化设计 ［ 9 9 - 10 10 9-10 ］ ，但是许多方法依然对计算成像系统的实施具有借鉴和指导意义。近年来，围绕图像复原问题的研究主要包括两类理论实现方式：基于优化框架的复原方法和基于深度学习的复原方法。基于优化框架的复原方法属于一种物理模型驱动的理论方法。由于图像复原问题是一个典型的病态问题，基于优化框架的复原方法通常需要添加先验约束并整合进优化理论框架中，以使病态问题具有可解性。这些优化先验方法主要包括L0梯度 ［ 11 11 ］ 、梯度稀疏性 ［ 12 12 - 13 13 12-13 ］ 、暗通道 ［ 14 14 ］ 等。所采取的优化框架主要包括边缘化法（Marginalization Approach，MA）和最大后验概率法（Maximum A Posteriori， MAP）。Pan等 ［ 14 14 ］ 利用暗通道的稀疏性提出一种求取暗通道的线性化方法以代替原有暗通道的求取，从而规避了原有暗通道非凸非线性对于优化框架的影响，取得了较好的复原效果，并且适用于非均匀一致的盲复原效果。Whyte等 ［ 15 15 ］ 建立了相机拍摄随机抖动的数学模型，并利用高速运动去模糊 ［ 16 16 ］ 的方法实现了非均匀一致的图像复原。基于深度学习的图像复原方式属于一种数据驱动型的理论方法，不同的数据驱动推断的切入点及实现方式各有不同。Chakrabarti ［ 17 17 ］ 等利用一种深度学习网络实现模糊核傅里叶系数的估算；Li等 ［ 18 18 ］ 将神经网络训练用于MAP模型框架下的先验信息，取得了良好的效果；Nah等 ［ 19 19 ］ 提出了一种多尺度卷积神经网络，以端到端的方式实现模糊图像的清晰化复原；Zhang等将循环神经网络（Recurrent Neural Network, RNN）的特征提取优势与卷积神经网络（Convolutional Neural Network, CNN）的权重学习特性相结合，实现了一种可用于非均匀运动模糊复原的神经网络 ［ 20 20 ］ 。近年来，随着生成对抗网络（GAN）的不断发展，忽略物理模型过程直接端到端生成复原图像的实现方式也被应用在图像去模糊领域 ［ 21 21 ］ 。然而，上述论文均为基于单帧图像的去模糊复原方法。Yuan和Lee ［ 22 22 - 23 23 22-23 ］ 等研究了基于多帧图像的模糊复原方法，利用边缘清晰帧的梯度信息实现了模糊帧的图像复原。 针对低照度环境下高速运动物体的清晰成像问题，传统成像方式难以通过积分时间的配置达到预期的效果，其原因在于低照度环境下，在孔径光阑达到极限设计时，依然需要长积分时间获取足够的光通量以达到高信噪比成像的要求。但是长积分时间会导致高速运动物体模糊，进而影响后续的成像效果。 本文提出一种基于组合曝光的计算成像方式，在成像链路环节上将传感器驱动设计与面向任务的图像处理环节合并优化。为了实现组合曝光图像对的信息互补应用，采用一种基于EFF（Efficient Filter Flow）框架下由粗至精的全局非一致运动模糊核点扩散函数 （Point Spread Function，PSF）求解方法，在求解过程中利用短积分时间的梯度信息和长积分时间的像素信息共同辅助模糊核的求解，最后利用全变分（Total Variation，TV）框架下的快速算法复原出高质量的清晰图像。该方法能够满足低照度环境下高速运动物体的清晰成像需求，计算成像结果清晰，具有良好的主观视觉效果。 2 成像原理及图像复原模型 1 面向低照度微光条件下的高速目标运动成像问题，本文提出的计算成像方式需要将传感器设计和图像处理结合，形成面向任务需求的联合优化。因此，其成像方式的实现主要包括传感器及硬件平台和匹配的图像复原算法两部分的设计。 2.1　传感器及硬件平台的设计 2 传感器及硬件平台作为组合曝光计算成像的重要组成部分，需要定向定制，以实现特殊的组合曝光时序设计。 为了满足低照度高灵敏成像及后续计算合成的需求，需要在高灵敏度（像元尺寸及量子转化效率）和高帧频（上限帧频范围）之间权衡。经过调研，本文选择长光辰芯公司生产的GSENSE2020作为本系统的主传感器，其主要性能指标如 表1 表1 所示。相机的后端处理电路主芯片为Xilinx公司的K7系列芯片XC7K325T，输出接口为标准Camlink-Full，相机系统样机如 图1 图1 所示。 性能指标 值 像元尺寸/μm 2 <math id="M1"><mn>6.5</mn><mo>×</mo><mn>6.5</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478475&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478471&type= 12.27666664 2.37066674 动态范围/dB 70 配置帧频/Hz 500 配置分辨率 1 024×768 数据位宽/bit 10 该芯片在使用时具有正常高帧频模式和长短组合曝光模式两种工作模式，如 图2 图2 所示。 正常高帧频模式下，相机处于标定状态，如 图2 图2 所示，此模式用于测量摄影高速物体所需的最短积分时间；在低照度环境下，积分时间与信噪比成反比。这里利用一种无参考图像量化函数评价图像的信噪比数值，以确定最低的积分时间配置，如 式（1） 式（1） 所示： <math display="block" id="M2"><mi>S</mi><mi>N</mi><mi>R</mi><mo>=</mo><mn mathvariant="normal">10</mn><mi mathvariant="normal">l</mi><mi mathvariant="normal">g</mi><mo stretchy="false">[</mo><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>x</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi><mi>x</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>y</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi><mi>y</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><mi>O</mi><msup><mrow><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow></mrow><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>x</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi><mi>x</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>y</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi><mi>y</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><mi>O</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>-</mo><mover><mrow><mi>O</mi></mrow><mo>¯</mo></mover><msup><mrow><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow></mrow></mfrac><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478514&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478510&type= 69.25733185 19.81199837 . 经过试验，下限信噪比数值设置为6 dB，以此确定系统的最低积分时间，上限不可超过高帧频相机可接受的最大积分时间，在500 frame/s的模式下，积分时间最大可设置为2 ms。 长短组合曝光模式是系统正常的工作模式，长积分时间的设置需要综合考虑高速运动物体在物方的空间分辨率、最大运行速度及成像系统焦距等信息，如 图3 图3 所示。 2.2　图像复原模型 2 本文的核心目的在于实现长积分时间观测图像的复原，其成像模型表述如下： <math display="block" id="M3"><mi mathvariant="bold-italic">O</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mo stretchy="false">(</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo></mrow></munder><mrow><mi mathvariant="bold-italic">I</mi><mo stretchy="false">(</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo><mi mathvariant="bold-italic">K</mi><mo stretchy="false">(</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo>,</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow><mo>+</mo><mi mathvariant="bold-italic">N</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478533&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478529&type= 68.83399963 6.94266701 ， 式中： O （i，j） 为成像系统采集的长积分时间观测图像， （i，j） 为观测图像空间的像素位置； I （m，n） 为真值图像， （m，n） 为真值图像空间的像素位置； K （m，n，i，j） 为运动模糊SPF； N （i，j） 为成像噪声。由于高速运动物体的运动速度与背景明显不一致，因此运动模糊SPF既与观测图像的像素空间位置有关，又与真值图像的像素空间位置有关， K （m，n，i，j） 表征了该全局非一致性。 虽然长短曝光的图像对存在双输入源，即长积分时间图像 O （i，j） 和短积分时间图像 <math id="M4"><mover><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mo>⌢</mo></mrow></mover><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478537&type= 11.68400002 5.33399963 ，但是图像复原的直接目标仅在于实现长积分时间图像 O （i，j） 的复原，而短积分时间图像 <math id="M5"><mover><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mo>⌢</mo></mrow></mover><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478548&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478545&type= 11.68400002 5.33399963 由于信噪比的原因仅在模糊核估算阶段提供额外的边缘信息，不作为复原目标图像呈现在 式（2） 式（2） 中。因此在 式（2） 式（2） 中，已知观测的模糊 O （i，j） ，未知真值图像 I （m，n） ，运动模糊SPF K （m，n，i，j） 及成像噪声 N （i，j） 。上述问题在数学上为典型的病态问题，本文采用基于优化框架的复原方法，需要添加先验约束并整合进优化理论框架中，以使病态问题有解。 3 图像复原算法 1 图像复原是计算成像系统的核心部分，计算复原的输出直接决定并影响着系统成像的最终成像效果。为了适配组合曝光成像采集模式，克服高速运动物体在成像背景中形成的非均匀一致运动模糊，合理利用长短积分时间图像。本文提出了一种改进式EFF框架的全局非一致运动模糊核的估计算法及全变分框架下的快速复原算法。其中，EFF框架的全局非一致运动模糊核的估计算法主体借鉴了Whyte等 ［ 15 15 ］ 所使用的方法及文献［ 16 16 ］的部分思路。模糊核迭代方法是在EFF框架下实施的，该框架由Hirsch等 ［ 24 24 ］ 提出，用于非一致去模糊的各种场合 ［ 15 15 ， 26 26 ］ 。在EFF框架下实施迭代及复原的过程，能够切合本系统非均匀一致运动模糊的特点。同时，本文对模糊迭代方法进行了一定的改进，使用短积分时间图像和长积分时间图像联合实施模糊求解，以期获得更为精确的模糊核估计。 3.1　模糊核的迭代估计 2 如 图4 图4 所示，图像复原过程从整体上划分为两个部分：模糊核的迭代估计和已知估计模糊核的非盲图像复原。模糊核迭代估计的具体实施步骤主要包括由低至高的迭代实施预处理、模糊核和真值图像之间的交替估算。预处理及模糊核估计分别使用了短积分时间图像和长积分时间图像。 在EFF框架下，尺度由粗至精的实施，对于本文1 280×720分辨率的图像，尺度为9级，每一级尺度的PSF的初始估计由上一次尺度的上采样获取。每一个尺度内的迭代实施实质相当于低精度的完整图像复原过程，区别仅在于复原解卷积不需要高质量的图像输出。尺度由低至高的实施意义在于提升运算效率。每一个尺度内的迭代复原不需要较高的精度，本文设置为5次，最高尺度的最后一次为最终的非均匀一致的模糊核估计，非盲图像复原的输入。 3 . 1 . 1　预处理 3 预处理的意义在于获取强边缘图像，而短积分图像包含清晰的强边缘纹理信息，使用该图像作为预处理的输入更为合理。同时，由于短积分时间的信噪比比较低，需要双边滤波、冲击滤波和梯度提取3个子过程串联实施，以便求解保留强边缘的梯度图像 <math id="M6"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">G</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478564&type= 4.40266657 4.57200003 ； <math display="block" id="M7"><mtable><mtr><mtd><msubsup><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow><mrow><mi>b</mi><mi>p</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msup><mrow><mi>W</mi></mrow><mrow><mi>b</mi><mi>p</mi></mrow></msup></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi>q</mi><mo>∈</mo><mi>S</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mrow></munder><mrow><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><mi>q</mi><mo stretchy="false">)</mo><msub><mrow><mi>G</mi></mrow><mrow><mi>σ</mi><mi>s</mi></mrow></msub><mo stretchy="false">(</mo><mfenced open="‖" close="‖" separators="|"><mrow><mi>p</mi><mo>-</mo><mi>q</mi></mrow></mfenced><mo stretchy="false">)</mo></mrow><msub><mrow><mi>G</mi></mrow><mrow><mi>σ</mi><mi>r</mi></mrow></msub><mo stretchy="false">(</mo><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><mi>q</mi><mo stretchy="false">)</mo></mrow></mfenced><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mtable><mtr><mtd/><mtd><msup><mrow><mi>W</mi></mrow><mrow><mi>b</mi><mi>p</mi></mrow></msup><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>q</mi><mo>∈</mo><mi>S</mi></mrow></munder><mrow><msub><mrow><mi>G</mi></mrow><mrow><mi>σ</mi><mi>s</mi></mrow></msub><mo stretchy="false">(</mo><mfenced open="‖" close="‖" separators="|"><mrow><mi>p</mi><mo>-</mo><mi>q</mi></mrow></mfenced><mo stretchy="false">)</mo></mrow><msub><mrow><mi>G</mi></mrow><mrow><mi>σ</mi><mi>r</mi></mrow></msub><mo stretchy="false">(</mo><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><mi>q</mi><mo stretchy="false">)</mo></mrow></mfenced><mo stretchy="false">)</mo></mtd></mtr></mtable></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478570&type= 101.26133728 18.79599953 ， 式中： <math id="M8"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478582&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478578&type= 10.75266743 5.41866684 为当前尺度短积分图像 <math id="M9"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478591&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478587&type= 4.57200003 4.57200003 的像素， <math id="M10"><msub><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mi>σ</mi><mi>s</mi></mrow></msub><mo stretchy="false">(</mo><mfenced open="‖" close="‖" separators="|"><mrow><mi>p</mi><mo>-</mo><mi>q</mi></mrow></mfenced><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478595&type= 21.16666603 4.82599974 为位置空间的权重， <math id="M11"><msub><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mi>σ</mi><mi>r</mi></mrow></msub><mo stretchy="false">(</mo><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><mi>q</mi><mo stretchy="false">)</mo></mrow></mfenced><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478607&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478602&type= 36.91466904 5.67266655 代表像素相似性的权重。双边滤波具有在滤除噪声的同时保持图像信息边缘的特性。 冲击滤波 ［ 25 25 ］ 和边缘阈值提取操作用于提炼强梯度图像 <math id="M12"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">G</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478613&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478610&type= 4.40266657 4.57200003 。用 <math id="M13"><mi>F</mi><mi>u</mi><mi>n</mi><msub><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">G</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478618&type= 18.11866570 3.72533321 来代表这一过程，即有： <math display="block" id="M14"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">G</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo>=</mo><mi>F</mi><mi>u</mi><mi>n</mi><msub><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">G</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">O</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow><mrow><mi>b</mi><mi>p</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478631&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478627&type= 36.06800079 5.41866684 . 3 . 1 . 2　模糊核的交替估算 3 在已知3.1.1节强梯度图像 <math id="M15"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">G</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478639&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478635&type= 4.40266657 4.57200003 的基础上，依靠 式（5） 式（5） 所示的优化目标函数实现模糊核的迭代估计： <math display="block" id="M16"><msub><mrow><mi>E</mi></mrow><mrow><mi>w</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">K</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mo stretchy="false">(</mo><msub><mrow><mi>O</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msub><mo>,</mo><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msub><mo stretchy="false">)</mo></mrow></munder><mrow><msup><mrow><mi>α</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">K</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo>,</mo><msubsup><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">G</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>-</mo><msubsup><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow><mo>+</mo><mi>β</mi><munder><mo movablelimits="false">∑</mo><mrow><mi>t</mi></mrow></munder><mrow><msub><mrow><mi>k</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow><mo>;</mo><mtext> </mtext><mtable><mtr><mtd><mi>s</mi><mo>.</mo><mi>t</mi><mo>.</mo></mtd><mtd><mo>∀</mo><mi>t</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>K</mi><mo>;</mo><msub><mrow><mi>k</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>≥</mo><mn mathvariant="normal">0</mn></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478647&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478643&type= 128.52400208 8.80533314 式中 Conv eff 代表着解卷积操作在EFF框架下实施的， <math id="M17"><mi>β</mi><msub><mo>∑</mo><mrow><mi>k</mi></mrow></msub><mrow/><msub><mrow><mi>w</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478655&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478651&type= 14.73199940 4.74133348 为L1范数正则化项， <math id="M18"><mo stretchy="false">(</mo><msubsup><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">G</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478661&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478657&type= 13.54666710 5.41866684 代表了不同方向的偏微分操作， <math id="M19"><msup><mrow><mi>α</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478669&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478666&type= 2.96333337 3.04799986 为权系数， <math id="M20"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">K</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478676&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478673&type= 4.48733330 4.23333359 为当前迭代次数的模糊核估计。该目标函数的意义在于让强梯度图像 <math id="M21"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">G</mi></mrow><mo>̂</mo></mover></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478685&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478682&type= 4.40266657 4.57200003 与模糊核估计 <math id="M22"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">K</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478692&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478689&type= 4.48733330 4.23333359 卷积 后更接近于长积分图像 <math id="M23"><msubsup><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478701&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478697&type= 4.57200003 3.97933340 。 3 . 1 . 3　真值图像的交替估算 3 在迭代运算中，真值图像的估算主要用于监测反馈模糊核的估计效果。在已知模糊核估计 <math id="M24"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">K</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478710&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478704&type= 4.48733330 4.23333359 基础上，优化目标函数如下： <math display="block" id="M25"><msub><mrow><mi>E</mi></mrow><mrow><mi>I</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi mathvariant="bold-italic">Ι</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><msub><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msub></mrow></munder><mrow><msub><mrow><mi>α</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msub><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">K</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><mo>,</mo><mo stretchy="false">(</mo><msub><mrow><mover><mrow><mi mathvariant="bold-italic">Ι</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>m</mi></mrow></msub><msub><mrow><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msub><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mo>∂</mo></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msub><msub><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><mi>β</mi><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mo>∇</mo><msub><mrow><mover><mrow><mi mathvariant="bold-italic">Ι</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478721&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478715&type= 90.67800140 8.55133343 ， 式中 <math id="M26"><msub><mrow><mo>∂</mo></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msub><mo>∈</mo><mo stretchy="false">{</mo><msub><mrow><mo>∂</mo></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mo>∂</mo></mrow><mrow><mi>x</mi></mrow></msub><mo>,</mo><msub><mrow><mo>∂</mo></mrow><mrow><mi>y</mi></mrow></msub><mo>,</mo><msub><mrow><mo>∂</mo></mrow><mrow><mi>x</mi><mi>x</mi><mi>'</mi></mrow></msub><mo>,</mo><msub><mrow><mo>∂</mo></mrow><mrow><mi>x</mi><mi>y</mi><mi>'</mi></mrow></msub><mo>,</mo><msub><mrow><mo>∂</mo></mrow><mrow><mi>y</mi><mi>y</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478731&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478726&type= 40.72466660 4.48733330 代表不同方向不同阶次的偏导算子， <math id="M27"><msub><mrow><mi>α</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478737&type= 3.04799986 3.72533321 为其系数， <math id="M28"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478750&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478746&type= 1.94733334 3.81000018 为正则化项的权系数。 上述迭代实施过程的中间结果如 图5 图5 所示。 1,2;3,4;5,6; 3.2　非盲图像的最终复原 2 在经过迭代并最终获得非均匀一致的模糊核估计 <math id="M29"><msub><mrow><mover accent="true"><mrow><mi mathvariant="bold-italic">K</mi></mrow><mo>¯</mo></mover></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478824&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478821&type= 6.43466663 4.23333359 的基础上，选择常规的非盲图像复原算法来实现这一过程。本文选用全变分框架下的快速算法 ［ 27 27 ］ 来完成复原工作，该方法能较好地复原图像的边缘轮廓。 全变差复原模型为： <math display="block" id="M30"><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>I</mi></mrow></munder><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></munderover></mstyle><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>i</mi></mrow></msub><mi>I</mi></mrow></mfenced></mrow><mo>+</mo><mfrac><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>K</mi><mi mathvariant="normal">*</mi><mi>I</mi><mo>-</mo><mi>O</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478832&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478827&type= 48.34466553 8.46666718 ， 其中 D 1 和 D 2 分别表示对 x 和 y 方向的偏导算子。在已知SPF K 的情况下，论文［24］采用分离变量法，引入中间变量 <math id="M31"><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478838&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478836&type= 3.72533321 3.72533321 （ i= 1，2）求解上述最小化问题，如 式（8） 式（8） 所示： <math display="block" id="M32"><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>I</mi></mrow></munder><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></munderover></mstyle><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mo>+</mo><mfrac><mrow><mi>β</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></munderover></mstyle><mrow><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>i</mi></mrow></msub><mi>I</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow><mo>+</mo><mfrac><mrow><mi>μ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>K</mi><mi mathvariant="normal">*</mi><mi>I</mi><mo>-</mo><mi>O</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478848&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478843&type= 79.41733551 8.46666718 ， 其中 <math id="M33"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478855&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7478852&type= 1.94733334 3.81000018 是一个充分大的正数。这一优化问题的优点是，当两个变量 I 和 w 中的任何一个是固定值时，相对于另一个变量最优化问题具有低计算复杂度和高数值稳定性的闭式公式。 4 试 验 1 4.1　系统实现及实测图像复原效果 2 使用2.1所述的计算成像样机硬件系统，本文方法的复原效果如 图6 图6 所示。系统测试在10 Lux的光照环境下进行，短积分时间设置为100 us，拍摄效果如 图6（a） 图6（a） 所示；长积分时间为4 ms，可见运动模糊，如 图6（b） 图6（b） 所示；使用本文方法获得的复原图像为 图6（c） 图6（c） 所示；模糊及复原图像细节对比如 图6（d） 图6（d） 和6（e）所示。 1,2,3;4,5; 4.2　仿真试验结果 2 Nah等 ［ 19 19 ］ 发布了一个开源数据集，该数据集使用GOPRO4相机以240 frame/s的帧率在自然场景中随机拍摄高速的连续图片序列，并从图片序列中构建配对的真值图像序列和模糊图像序列。其中，模糊图像序列的构建基于真值图像临近7~13帧随机产生。该数据集为非均匀一致运动模糊提供了可供真值参考的依据，后续相关方法 ［ 20 20 - 21 21 20-21 ］ 均基于该数据集实现算法的评估与验证。 本文基于该开源数据库进行算法仿真。模糊图像直接采用该数据集发布的图片，然后将真值图像灰度降低5倍并叠加均值灰度为20的高斯噪声模拟低照度短积分图像。本文方法的试验效果如 图7 图7 所示。 1,2;3,4;5,6;7,8; 由 图7 图7 可知，虽然短积分图像的信噪比较低，但是短积分图像仅在PSF的迭代阶段提供边缘信息，且边缘信息使用前采用了 式（3） 式（3） 所示的双边滤波和 式（4） 式（4） 所示的冲击滤波及梯度提取手段执行预处理，很大程度上抑制了噪声对图像边缘获取的影响。因此，经过该短积分图像的辅助所获取的全局非一致的运动模糊PSF较为精确，主要表现在复原结果清晰可靠，无明显图像振铃现象，具有良好的主观视觉效果。 其他图像的复原效果如 图8 图8 所示。从图中可以看出，本文所述的图像复原算法能够利用长短积分时间图像的信息获得较好的全局非一致运动模糊PSF估计，进而实现清晰的图像复原效果。 1,2,3,4;5,6,7,8;9,10,11,12;13,14,15,16; 4.3　与其他图像复原方法的对比 2 同样基于该GOPRO数据库，本文对比了基于优化方法的L0 Sparse ［ 11 11 ］ 方法，Dark Channel ［ 14 14 ］ 方法和基于深度学习的Deep Multi-scale ［ 19 19 ］ 和RNN+CNN ［ 20 20 ］ 方法，客观评价指标选取了图像复原领域常用的峰值信噪比 （Peak Signal to Noise Ratio，PSNR）和结构相似指数（Structural Similarity Index Measure，SSIM），指标评价结果如 表2 表2 所示。图像复原效果对比试验结果如 图8 图8 所示，截取若干细节图块进行对比，如 图9 图9 所示。 复原方法 PSNR SSIM Blurred image 30.653 5 29.798 7 29.804 9 0.637 0 0.572 3 0.589 7 L0 sparse 33.793 3 32.874 0 32.333 7 0.874 0 0.904 6 0.872 7 Dark channel 35.897 1 34.433 4 33.876 2 0.920 0 0.899 7 0.887 8 Deep multi⁃scale 35.733 1 34.228 8 34.285 2 0.920 1 0.946 6 0.937 7 RNN+CNN 37.385 4 35.747 4 35.489 2 0.955 4 0.967 3 0.961 1 本文方法 35.472 1 35.590 8 33.934 0 0.923 4 0.925 9 0.934 2 1,2,3,4,5,6,7,8;9,10,11,12,13,14,15,16;17,18,19,20,21,22,23,24;25,26,27,28,29,30,31,32; 上述数据及试验结果表明，本文方法能够有效抑制运动模糊，图像纹理细节得到了明显的改善且无明显振铃效果，客观评价指标PSNR、SSIM较比原始降质图像提升10%左右，整体性能指标优于现有的非深度学习方法。对比 表2 表2 中列举的几种图像复原理论方法，本文方法在客观指标评价及视觉细节的恢复上明显优于L0 Sparse方法；Dark Channel在客观评价指标PSNR上与本文方法接近，但在SSIM指标上本文方法更优。此外，该文所述方法在细节恢复上产生较多的振铃效果，这是由于Dark Channel先验在模糊复原优化框架中，尤其在全局非一致的模糊图像复原使用中并不十分理想，PSF估计并不准确，而这种振铃的复原效果在PSNR评价指标中往往不能体现，而在SSIM指标中能够有所体现；Deep Multi-scale法 ［ 19 19 ］ 在客观评价指标及主观复原效果与本文所述方法接近，但也丢失了一些细节信息。RNN+CNN法 ［ 20 20 ］ 在客观评价指标及主观视觉效果略优于本文方法，但仔细观察会发现，在局部区域没有完全去除模糊效果。 这里需要指出的是：Deep Multi-scale法和RNN+CNN法属于深度学习理论方法，即基于数据驱动型的图像复原方法，在实际使用中往往需要执行先期的数据预训练才能够部署使用，同时受到深度学习方法泛化能力的限制，往往不能在光照及其他场景环境发生变化时稳定地实现各类场景的清晰化复原。 5 结 论 1 本文针对低照度条件下高速运动物体的摄影成像，提出一种基于计算成像的设计思路，在成像链路环节上将传感器设计和图像处理设计两个环节联合设计，提出一种基于长短组合曝光的计算成像方式及图像复原算法。试验结果表明，该计算成像方法能够有效解决传统成像方式下能量获取和高速运动模糊之间的矛盾，所采集的图像复原算法能够有效抑制运动模糊，在图像纹理细节上有明显的改善且无明显振铃，客观评价指标PSNR、SSIM较比原始降质图像提升10%左右，整体性能指标优于现有的非深度学习方法。该方法复原的图像纹理清晰，具有良好的主观视觉效果。 计算成像强调成像链路环节的全局优化，本文在成像链路环节上选取了传感器设计和图像处理两个环节展开联合设计，并获得了较好的复原结果。在光学设计中，孔径光阑和轴外像差是一对矛盾体，但轴外像差校正同样可以结合图像复原处理 ［ 26 26 ， 28 28 ］ 形成另一个思路的优化设计。因此，后续工作是将光学设计环节的优化融合进本计算成像链路框架中，以期进一步扩展低照度条件下高速摄影成像设备的动态范围，实现光学设计、传感器设计和图像处理三者联合的全局优化。 参考文献 左超 ， 冯世杰 ， 张翔宇 ， 等 . 深度学习下的计算成像： 现状、挑战与未来 ［J］. 光学学报 ， 2020 ， 40 （ 1 ）： 0111003 . 深度学习下的计算成像： 现状、挑战与未来 ZUO CH ， FENG SH J ， ZHANG X Y ， et al . . Deep learning based computational imaging： status， challenges， and future ［J］. Acta Optica Sinica ， 2020 ， 40 （ 1 ）： 0111003 . （in Chinese） . Deep learning based computational imaging： status， challenges， and future 王飞 ， 王昊 ， 卞耀明 ， 等 . 深度学习在计算成像中的应用 ［J］. 光学学报 ， 2020 ， 40 （ 1 ）： 0111002 . 深度学习在计算成像中的应用 WANG F ， WANG H ， BIAN Y M ， et al . . Applications of deep learning in computational imaging ［J］. Acta Optica Sinica ， 2020 ， 40 （ 1 ）： 0111002 . （in Chinese） . Applications of deep learning in computational imaging PITTMAN ， SHIH ， STREKALOV ， et al . . Optical imaging by means of two-photon quantum entanglement ［J］. Physical Review A ， Atomic ， Molecular ， and Optical Physics ， 1995 ， 52 （ 5 ）： R3429 - R3432 . . Optical imaging by means of two-photon quantum entanglement SUN B ， EDGAR M P ， BOWMAN R ， et al . . 3D computational imaging with single-pixel detectors ［J］. Science ， 2013 ， 340 （ 6134 ）： 844 - 847 . . 3D computational imaging with single-pixel detectors SEN P ， CHEN B ， GARG G ， et al . . Dual photography ［J］. ACM Transactions on Graphics ， 2005 ， 24 （ 3 ）： 745 - 755 . . Dual photography 张玉叶 ， 周胜明 ， 赵育良 ， 等 . 高速运动目标的运动模糊图像复原研究 ［J］. 红外与激光工程 ， 2017 ， 46 （ 4 ）： 0428001 . 高速运动目标的运动模糊图像复原研究 ZHANG Y Y ， ZHOU SH M ， ZHAO Y L ， et al . . Motion-blurred image deblurring of fast moving target ［J］. Infrared and Laser Engineering ， 2017 ， 46 （ 4 ）： 0428001 . （in Chinese） . Motion-blurred image deblurring of fast moving target CHEN C ， CHEN Q F ， XU J ， et al .. Learning to see in the dark ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City ： IEEE ， 2018 ： 3291 - 3300 . Learning to see in the dark 郭永彩 ， 王婀娜 ， 高潮 . 空间自适应和正则化技术的盲图像复原 ［J］. 光学精密工程 ， 2008 ， 16 （ 11 ）： 2263 - 2267 . 空间自适应和正则化技术的盲图像复原 GUO Y J ， WANG E N ， GAO CH . Blind image restoration algorithm based on space-adaptive and regularization ［J］. Optics and Precision Engineering ， 2008 ， 16 （ 11 ）： 2263 - 2267 . （in Chinese） Blind image restoration algorithm based on space-adaptive and regularization 娄帅 ， 丁振良 ， 袁峰 ， 等 . 应用Hopfield神经网络和小波域隐Markov树模型的图像复原 ［J］. 光学 精密工程 ， 2009 ， 17 （ 11 ）： 2828 - 2834 . 应用Hopfield神经网络和小波域隐Markov树模型的图像复原 LOU SH ， DING ZH L ， YUAN F ， et al . . Image restoration based on Hopfield neural network and wavelet domain HMT model ［J］. Optics and Precision Engineering ， 2009 ， 17 （ 11 ）： 2828 - 2834 . （in Chinese） . Image restoration based on Hopfield neural network and wavelet domain HMT model 许元男 ， 赵远 ， 刘丽萍 ， 等 . 含噪声模糊图像的点扩展函数参数辨识 ［J］. 光学 精密工程 ， 2009 ， 17 （ 11 ）： 2849 - 2856 . 含噪声模糊图像的点扩展函数参数辨识 XU Y N ， ZHAO Y ， LIU L P ， et al . . Parameter identification of point spread function in noisy and blur images ［J］. Optics and Precision Engineering ， 2009 ， 17 （ 11 ）： 2849 - 2856 . （in Chinese） . Parameter identification of point spread function in noisy and blur images XU L ， ZHENG S C ， JIA J Y . Unnatural L0 sparse representation for natural image deblurring ［C］. 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland ： IEEE ， 2013 ： 1107 - 1114 . Unnatural L0 sparse representation for natural image deblurring LEVIN A ， WEISS Y ， DURAND F ， et al .. Understanding and evaluating blind deconvolution algorithms ［C］. 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami ： IEEE ， 2009 ： 1964 - 1971 . Understanding and evaluating blind deconvolution algorithms XU L ， JIA J Y . Two-phase kernel estimation for robust motion deblurring ［C］. Computer Vision - ECCV 2010 ， 2010 ： DOI：10.1007/978-3-642-15549-9_12. Two-phase kernel estimation for robust motion deblurring PAN J S ， SUN D Q ， PFISTER H ， et al . . Deblurring images via dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 10 ）： 2315 - 2328 . . Deblurring images via dark channel prior WHYTE O ， SIVIC J ， ZISSERMAN A ， et al .. Non-uniform deblurring for Shaken images ［C］. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco ： IEEE ， 2010 ： 491 - 498 . Non-uniform deblurring for Shaken images CHO S ， LEE S . Fast motion deblurring ［J］. ACM Transactions on Graphics ， 2009 ， 28 （ 5 ）： 1 - 8 . Fast motion deblurring CHAKRABARTI A . A Neural Approach to Blind Motion Deblurring ［M］. Cham ： Springer International Publishing ， 2016 ： 221 - 235 . A Neural Approach to Blind Motion Deblurring LI L ， PAN J S ， LAI W S ， et al .. Learning a discriminative prior for blind image deblurring ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City ： IEEE ， 2018 ： 6616 - 6625 . Learning a discriminative prior for blind image deblurring NAH S ， KIM T H ， LEE K M . Deep multi-scale convolutional neural network for dynamic scene deblurring ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu ： IEEE ， 2017 ： 257 - 265 . Deep multi-scale convolutional neural network for dynamic scene deblurring ZHANG J W ， PAN J S ， REN J ， et al .. Dynamic scene deblurring using spatially variant recurrent neural networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City ： IEEE ， 2018 ： 2521 - 2529 . Dynamic scene deblurring using spatially variant recurrent neural networks KUPYN O ， MARTYNIUK T ， WU J R ， et al .. DeblurGAN-v2： deblurring （orders-of-magnitude） faster and better ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ： IEEE ， 2019 ： 8877 - 8886 . DeblurGAN-v2： deblurring （orders-of-magnitude） faster and better YUAN L ， SUN J ， QUAN L ， et al . . Image deblurring with blurred/noisy image pairs ［J］. Acm Siggraph ， 2007 （ 26 ）： 654 - 661 . . Image deblurring with blurred/noisy image pairs LEE S H ， PARK H M ， HWANG S Y . Motion deblurring using edge map with blurred/noisy image pairs ［J］. Optics Communications ， 2012 ， 285 （ 7 ）： 1777 - 1786 . Motion deblurring using edge map with blurred/noisy image pairs HIRSCH M ， SRA S ， SCHÖLKOPF B ， et al .. Efficient filter flow for space-variant multiframe blind deconvolution ［C］. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco ： IEEE ， 2010 ： 607 - 614 . Efficient filter flow for space-variant multiframe blind deconvolution OSHER S ， RUDIN L I . Feature-oriented image enhancement using shock filters ［J］. SIAM Journal on Numerical Analysis ， 1990 ， 27 （ 4 ）： 919 - 940 . Feature-oriented image enhancement using shock filters SCHULER C J ， HIRSCH M ， HARMELING S ， et al .. Non-stationary correction of optical aberrations ［C］. 2011 International Conference on Computer Vision. Barcelona ： IEEE ， 2011 ： 659 - 666 . Non-stationary correction of optical aberrations WANG Y L ， YANG J F ， YIN W T ， et al . . A new alternating minimization algorithm for total variation image reconstruction ［J］. SIAM Journal on Imaging Sciences ， 2008 ， 1 （ 3 ）： 248 - 272 . . A new alternating minimization algorithm for total variation image reconstruction HEIDE F ， ROUF M ， HULLIN M B ， et al . . High-quality computational imaging through simple lenses ［J］. ACM Transactions on Graphics ， 2013 ， 32 （ 5 ）： 1 - 14 . . High-quality computational imaging through simple lenses 10.37188/OPE.20212902.0452 TP391.4 A 1004-924X（2021）02-0452-11 吴笑天,吕博,刘博等.组合曝光的计算成像系统及其复原[J].光学精密工程,2021,29(02):452-462. 吴笑天,吕博,刘博等.组合曝光的计算成像系统及其复原[J].光学精密工程,2021,29(02):452-462. WU Xiao-tian,LÜ Bo,LIU Bo,et al.Combined exposure computational imaging system and image restoration method[J].Optics and Precision Engineering,2021,29(02):452-462. WU Xiao-tian,LÜ Bo,LIU Bo,et al.Combined exposure computational imaging system and image restoration method[J].Optics and Precision Engineering,2021,29(02):452-462. 中国科学院青年创新促进会项目（No.2020220） 2020-06-17 2020-08-17 2021-02-15 2021-03-05 光学精密工程 2 29