Real-time pixel merging for weak light detection

面向弱光探测的实时像元合并 Real-time pixel merging for weak light detection first-author 张　刘（1978-），男，安徽蚌埠人，教授，博士生导师，2001年、2003年、2007于哈尔滨工业大学分别获得学士、硕士和博士学位，主要从事新型航天光学遥感技术及文星控制技术，光电成像，星敏感器等技术的研究。E-mail：zhangliu@jlu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007037&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007043&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007040&type= 22.01330566 32.00402832 张　刘 （1978-），男，安徽蚌埠人，教授，博士生导师，2001年、2003年、2007于哈尔滨工业大学分别获得学士、硕士和博士学位，主要从事新型航天光学遥感技术及文星控制技术，光电成像，星敏感器等技术的研究。E-mail： zhangliu@jlu.edu.cn zhangliu@jlu.edu.cn corresp E-mail： wangwh900@jlu.edu.cn E-mail： wangwh900@jlu.edu.cn 王文华（1982-），男，山东泰安人，副教授，2005年于东北师范大学获得学士学位，2010年于中国科学院长春光学精密机械与物理研究所获得博士学位，主要从事航天相机成像电子学、光电成像与图像处理、空间目标对接位姿测量等技术的研究。E-mail：wangwh900@jlu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007051&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007049&type= 22.01330566 32.00379944 王文华 （1982-），男，山东泰安人，副教授，2005年于东北师范大学获得学士学位，2010年于中国科学院长春光学精密机械与物理研究所获得博士学位，主要从事航天相机成像电子学、光电成像与图像处理、空间目标对接位姿测量等技术的研究。E-mail： wangwh900@jlu.edu.cn wangwh900@jlu.edu.cn 吉林大学 仪器科学与电气工程学院，吉林 长春 130021 吉林大学 仪器科学与电气工程学院，吉林 长春 130021 College of Instrument Science and Electrical Engineering， Jilin University， Changchun 130021， China College of Instrument Science and Electrical Engineering， Jilin University， Changchun 130021， China 为解决弱光环境下月球着陆粗避障环节成像不清晰的问题，提出了“区域”像元合并和去除相机本底值两种图像预处理方法，来提高探测器的成像灵敏度和图像信噪比与对比度。在分析传统像元合并实现原理的基础上，提出了一种针对 n _taps成像数据格式的“区域”像元合并方法。根据月球着陆粗避障环节中大尺度障碍识别的特点，通过去除相机本底值来提高图像的对比度。最后，利用宽、窄视场两款相机分别对像元合并、去除相机本底值以及两者结合的方法进行了重复性实验。实验结果表明，在弱光环境下，结合像元合并与去除相机本底值的方法可有效提高图像的信噪比与对比度，2_Binning模式下宽视场相机的信噪比可提高5.901 4 dB、对比度可提高0.254 7，窄视场相机的信噪比可提高5.764 4 dB、对比度可提高0.265 4；4_Binning模式下宽视场相机的信噪比可提高11.689 9 dB、对比度可提高0.210 2，窄视场相机的信噪比可提高11.401 5 dB、对比度可提高0.284 0。 In order to solve the problem of unclear images in the rough obstacle avoidance link of lunar landing in weak light environments， this study proposes two image preprocessing methods， namely "region" pixel binning and camera background value removal， to improve the imaging sensitivity， image signal-to-noise ratio （SNR）， and contrast ratio of lunar landing. First， based on the analysis of the principle of traditional pixel binning， a region pixel binning method based on the n _taps imaging data format is proposed. Then， according to the characteristics of large-scale obstacle recognition in lunar landing rough obstacle avoidance， the image contrast is improved by removing the background value of the camera. Finally， the methods of pixel binning， camera background removal， and the combination of the two methods are repeated using two cameras that have wide and narrow fields of view. The experimental results show that the SNR and contrast of images can be improved effectively by combining pixel merging and camera background value removal under weak light environments. In 2_Binning mode， the SNR and contrast of the camera with a wide field of view can be improved by 5.901 4 dB and 0.254 7， respectively， and the SNR and contrast of the camera with a narrow field of view can be improved by 5.764 4 dB and 0.265 4， respectively. In 4_Binning mode， the SNR and contrast of the camera with a wide field of view can be improved by 11.689 9 dB and 0.210 2， respectively， and the corresponding values for a camera with a narrow field of view can be improved by 11.401 5 dB and 0.284 0， respectively. 弱光探测 像元合并 相机本底值 多项式拟合 weak light detection p ixel binning camera background value polynomial fitting 1 引　言 1 基于光学图像的粗避障作为探测器月球着陆中自主避障软着陆系统的重要环节，其避障精度影响整个着陆过程，同时，月球着陆要在极短的时间内完成，提高粗避障环节的实现速度也十分重要。不充分的光照不仅会使探测器成像灵敏度下降，还会使目标信号因辐射亮度过低而被噪声淹没 ［ 2 2 ］ 。因此，在保障粗避障环节实现速度的基础上，提高探测器成像的灵敏度和图像质量是弱光下高精度深空探测成像的必要前提。 像元合并可以有效提高弱光下成像灵敏度和图像信噪比，且易于硬件实现，满足星上图像实时处理的需求。文献［ 2 2 ］为提高探测器的成像灵敏度提出了一种适用于互补金属氧化物半导体（Complementary Metal Oxide Semiconductor， CMOS）传感器的移位数字像元合并，由仿真结果可知，该方法对椒盐噪声具有较好的“去噪”能力，但会加剧黑白边缘混叠的现象。文献［ 3 3 ］为提高星载差分吸收光谱仪弱光下的探测能力，提出了一种基于光电耦合器件（Charge Coupled Device， CCD）传感器的4-Binning像元合并方法，但存在时序控制复杂和像元满阱容量限制的问题，且上述方法均未考虑图像数据量，无法提高粗避障选取安全区的处理速度。 粗避障的具体任务是在拥有较大着陆范围的光学图像中剔除陨石坑和岩石等大尺度障碍，选取安全着陆区。陨石坑和岩石在光学灰度图像中的主要特点为：岩石亮度大于背景亮度，坑位阴影暗于背景，形成明暗对比明显的类圆形。因此，图像的对比度也是影响目标识别的关键。文献［ 7 7 ］指出弱光环境下，采用去除相机本底值的方式可在一定程度上去除暗电流等固定噪声，但未考虑去除相机本底值对图像对比度的影响，因此，难以定量化地分析去除相机本底值对成像质量的提升效果。 综合上述问题，本文在不增加系统数传负担的基础上，针对 n _taps成像数据格式，提出了一种适用于弱光下月球着陆粗避障的“区域”数字像元合并设计。该设计在提高成像灵敏度和信噪比的基础上减少了图像数据量，提高了后续目标识别的数据处理速度，同时，结合去除相机本底值的图像预处理方法，提高了图像对比度。整体设计由现场可编程门阵列（Field Programmable Gate Array， FPGA）实现，从工程角度出发，通过图像预处理的方式改善成像性能，具有低成本、高效率等优势。 2 数字像元合并设计 1 2.1　像元合并实现原理分析 2 像元合并主要分为CCD的模拟像元合并和CMOS数字像元合并两大类 ［ 2 2 ］ 。两类像元的合并方式是通过间接增大像元面积来提高探测器成像灵敏度的。典型的模拟像元合并过程如 图1 图1 所示，在电荷域中，将进行合并的电荷转移到水平或垂直读出寄存器中，做一次读出操作，来提高单位像元信号的电荷量，进而提高成像灵敏度 ［ 12 12 ］ 。 CMOS传感器直接输出数字图像信号，利用FPGA外围电路实现类似于电荷域中的模拟像元合并过程，不同之处在于CMOS是在数字域以码值的形式进行信号的叠加，不受像元满阱容量的限制，可有效避免最后一行出现的电荷溢出；同时驱动时序简单，易于硬件实现，可对局部图像的像元随机访问编程，这是数字像元合并可实现“区域”像元合并的前提。 在传统像元合并的基础上，依据粗避障环节的具体任务是剔除陨石等大尺度障碍，对空间分辨要求不高的任务特点，通过改变传统合并后像元的尺寸实现“区域”像元合并。具体实现过程如 图2 图2 所示， 图2 图2 左侧图为传统数字像元合并原理，其中，小方格代表原始像元，圆圈代表进行合并的像元矩阵，圆圈中2×2的像元矩阵以矩阵大小为步长进行合并，合并后的像元占原始四个像元大小并且光谱信息相同，在此基础上，“区域”像元合并的实现原理如 图2 图2 右侧图所示，依据传统像元合并后，4个像元的光谱信息相同的原理，“区域”像元合并合理调整像元尺寸，将合并后的像元调整为一个原始像元的尺寸，在不改变传统像元合并功能的基础上，使合并后的图像数据量减少到原图像的1/4，最大限度地提高了行间隔，为提高粗避障安全区的快速选取奠定了基础。 2.2　基于多种数据格式的像元矩阵构建 2 像元矩阵的构建是像元合并的关键。传统像元合并通常是1_tap成像数据格式下进行，为提高数据传输带宽，成像数据格式可调整为 n _taps， n _taps的成像数据格式可提高 n 倍左右的带宽。综合考虑FPGA的内部资源、读出速率以及传输带宽，本文选择2_taps/10 bits成像数据结构，带宽相对1_tap数据结构提高约两倍。为提高“区域”像元合并的普适性，本文在基于2_taps/10 bits成像数据格式构建像元矩阵的基础上，提出了一种针对 n _taps成像数据格式的像元矩阵构建方法。首先，确定像元矩阵构建的一般方法，具体方法如 图3 图3 所示，针对 m × m 的像元合并，行方向上利用 m- 1个FIFO按行缓存图像数据控制像元矩阵行数，列方向上利用计数器控制像元矩阵列数。对得到的不同时刻的像元矩阵，利用累加器完成矩阵内像元值的“合并”，存储器对“合并”后图像数据的时序与数据进行重构。 然后，根据图像数据不同的排列方式，将 n _taps成像数据格式大致分为“区排列”和“相邻排列”两大类。如 图4 图4 所示，“区排列”可分区按照上述方法构建像元矩阵，而“相邻排列”数据格式的像元矩阵构建受到数据排列格式的限制，需先根据像元矩阵的大小，将同一时刻成像数据中矩阵内的像元值先进行相应“合并”，再利用FIFO、计数器进行缓存、计数，完成矩阵内其余像元值的“合并”。如 图4 图4 左图所示，2 taps/10 bits的数据结构在进行2×2像元矩阵合并时，先将同一时刻相邻的像元值“合并”写入FIFO，再利用计数器对矩阵内的其他像元值进行后续的合并。以此类推，针对 n _taps的成像数据结构，像元合并设计均可以分类构建合并矩阵。 2.3　去除相机本底值 2 CMOS传感器中各个像素之间放大器阈值偏差和暗电流偏差对成像的影响较大。由于暗电流的不均匀性，以及像素放大器偏差的存在，在没有入射光的情况下图像也会含有暗电流等固定模式噪声，因此，本文通过去除相机本底的方式来提高图像质量。 暗电流等固定噪声主要与积分时间和温度等相关因素相关。粗避障环节需要在短时间内实现，相对于积分时间等其他因素，引起温度变化的不确定因素更为复杂，难以模拟和推测。为保证去除相机本底值的精确度和实时性，利用重复性实验，在积分时间一定的情况下，获取宽、窄视场相机工作在 - 5~60 ℃的相机本底值，通过多项式拟合法得到宽、窄视场两款相机随温度变化的相机本底值的函数关系。 表1 表1 和 表2 表2 分别为宽、窄视场相机不同次数多项式拟合的单数据平均残差（ v i ）对比。综合考虑拟合精度和FPGA内部资源的占用情况，三次多项式拟合满足平均残差小于1个码值的精度要求，相对于四次多项式拟合占用更少的FPGA内部资源，选择三次多项式完成实验数据的拟合。 图5 图5 所示为两款相机的三次多项式拟合曲线，宽、窄视场的函数关系式分别为： <math display="block" id="M1"><mtable columnalign="left"><mtr><mtd><mi>y</mi><mo>=</mo><mn mathvariant="normal">28.985</mn><mtext> </mtext><mn mathvariant="normal">11</mn><mo>-</mo><mn mathvariant="normal">0.049</mn><mtext> </mtext><mn mathvariant="normal">25</mn><mi>x</mi><mo>-</mo><mn mathvariant="normal">0.008</mn><mtext> </mtext><mn mathvariant="normal">05</mn><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">2.821</mn><mtext> </mtext><mn mathvariant="normal">72</mn><mo>×</mo><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">4</mn></mrow></msup><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007083&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007080&type= 66.20932770 9.05933285 <math display="block" id="M2"><mtable columnalign="left"><mtr><mtd><mi>y</mi><mo>=</mo><mn mathvariant="normal">30.849</mn><mtext> </mtext><mn mathvariant="normal">06</mn><mo>+</mo><mn mathvariant="normal">0.021</mn><mtext> </mtext><mn mathvariant="normal">65</mn><mi>x</mi><mo>-</mo><mn mathvariant="normal">0.012</mn><mtext> </mtext><mn mathvariant="normal">43</mn><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">3.862</mn><mtext> </mtext><mn mathvariant="normal">29</mn><mo>×</mo><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">4</mn></mrow></msup><msup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007086&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007085&type= 66.20932770 8.72066593 Parameter Quadratic polynomial Cubic polynomial Quaternary polynomial RSS 96.747 4 17.437 9 7.282 5 V i 1.795 8 0.762 4 0.492 7 Parameter Quadratic polynomial Cubic polynomial Quaternary polynomial RSS 168.859 6 20.270 5 7.514 5 V i 2.372 5 0.822 0 0.500 4 采用硬件描述语言，将温度与相机本底值的函数关系写入成像系统，使成像系统实时读取相机的工作温度，去除相机本底值。为避免去除相机本底值对于图像有效信号的损失，对去除的本底值做归一化处理，如下： <math display="block" id="M3"><mo stretchy="false">(</mo><mi>x</mi><mo>-</mo><mi>a</mi><mo stretchy="false">)</mo><mo>×</mo><mfrac><mrow><mn mathvariant="normal">1</mn><mtext> </mtext><mn mathvariant="normal">023</mn></mrow><mrow><mn mathvariant="normal">1</mn><mtext> </mtext><mn mathvariant="normal">023</mn><mo>-</mo><mi>a</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007105&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007103&type= 31.91933441 7.95866632 . 其中 a 为某一温度下相机的本底值。 2.4　整体设计 2 整体设计框图如 图6 图6 所示。首先，FPGA主控单元利用SPI接口配置CMOS传感器，完成CMOS传感器的初始化工作。然后，对传感器采集的串行高速LVDS图像数据进行串行解串，并在成像模块中通过SPI接口读取相机的工作温度，根据相应温度区间去除相机本底值，最后综合考虑带宽限制和FPGA的内部资源，根据Cameralink接口标准完成图像数据时序的控制与数据格式调整，像元合并作为图像预处理模块置于上位机显示之前，实时对采集到的图像数据进行数字像元合并，上位机亦可通过通信接口控制像元合并的级数。 3 实　验 1 3.1　“区域”像元合并对图像信噪比和数据量的影响 2 CMOS传感器的多级数字像元合并是在数字域内进行像元信号的“累加”。像元信号 F （ i ）可近似表示为随机噪声 N （ i ）与像元信号有效值 A （ i ）的线性相加，即： <math display="block" id="M4"><mi>F</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo>=</mo><mi>A</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo>+</mo><mi>N</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007115&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007113&type= 31.66533470 3.55599999 . 假设有 m 个像元进行像元合并，合并后信号的有效值近似增强了 m 倍，随机噪声按照矢量叠加，叠加后的强度和可近似为 <math id="M5"><mroot><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></munderover></mstyle><mrow><mi>N</mi><mmultiscripts><mrow><mo stretchy="false">(</mo></mrow><mprescripts/><mrow/><mrow><mn mathvariant="normal">2</mn></mrow></mmultiscripts><mi>i</mi><mo stretchy="false">)</mo></mrow></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007118&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007117&type= 18.03400040 9.82133293 ，所以，合并后的像元信号为： <math display="block" id="M6"><mtable columnalign="left"><mtr><mtd><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi mathvariant="normal">i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></munderover></mstyle><mrow><mi>F</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">[</mo><mi>A</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo>+</mo><mi>N</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo></mrow></mrow><mo>=</mo></mtd></mtr><mtr><mtd><mi>m</mi><mi>A</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mo>+</mo><mroot><mrow><mi>m</mi></mrow><mrow/></mroot><mi>N</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo><mtext>  </mtext><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007123&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007121&type= 48.68333054 14.73200035 信噪比作为图像质量评价的重要指标，其数学表达为信号与噪声的比值，如 式（6） 式（6） 所示： <math display="block" id="M7"><mfrac><mrow><mi>m</mi><mi>A</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow><mrow><mroot><mrow><mi>m</mi></mrow><mrow/></mroot><mi>N</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></mfrac><mo>=</mo><mroot><mrow><mi>m</mi></mrow><mrow/></mroot><mfrac><mrow><mi>A</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow><mrow><mi>N</mi><mo stretchy="false">(</mo><mi>i</mi><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007127&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007126&type= 35.98332977 9.82133293 . 从 式（6） 式（6） 可以得出，合并后信噪比相对合并前提高了 <math id="M8"><mroot><mrow><mi>m</mi></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007132&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007129&type= 6.18066692 4.14866638 倍。“区域”像元合并没有改变传统像元合并的实际意义，信噪比的提升效果应与上述分析一致。由“区域”像元合并的实现原理可知， m × m 的“区域”像元合并，合并后图像数量减少为原图像的1/ m 2 。如 图7 图7 所示，4×4“区域”像元合并后图像数据量减少为原始图像数据的1/16，与上述理论分析一致。 3.2　去除相机本底对图像对比度的影响 2 本文采用去除本底噪声的方式提升图像对比度，具体效果可由去除相机本底值前后图像调制度的变化说明。调制度通常用来表示图像的对比度，定义为： <math display="block" id="M9"><mi>M</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>+</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007146&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007143&type= 23.02933502 8.89000034 ， 式中： I max 为图像最大光强， I min 为图像最小光强。假设某一温度环境下，相机的本底值为 a ，去除相机本底后调制度变为： <math display="block" id="M10"><mtable><mtr><mtd><mi>M</mi><mo>=</mo><mfrac><mrow><mo stretchy="false">[</mo><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>-</mo><mi>a</mi><mo stretchy="false">)</mo><mo>-</mo><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>-</mo><mi>a</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>×</mo><mfrac><mrow><mn mathvariant="normal">1</mn><mtext> </mtext><mn mathvariant="normal">023</mn></mrow><mrow><mn mathvariant="normal">1</mn><mtext> </mtext><mn mathvariant="normal">023</mn><mo>-</mo><mi>a</mi></mrow></mfrac></mrow><mrow><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>-</mo><mi>a</mi><mo>+</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>-</mo><mi>a</mi><mo stretchy="false">)</mo><mo>×</mo><mfrac><mrow><mn mathvariant="normal">1</mn><mtext> </mtext><mn mathvariant="normal">023</mn></mrow><mrow><mn mathvariant="normal">1</mn><mtext> </mtext><mn mathvariant="normal">023</mn><mo>-</mo><mi>a</mi></mrow></mfrac></mrow></mfrac><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>+</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>-</mo><mn mathvariant="normal">2</mn><mi>a</mi></mrow></mfrac><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007153&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24007150&type= 69.34200287 28.10933495 由 式（8） 式（8） 可以得出，去除相机本底值后图像最大光强和最小光强之间的差值不变，整体灰度值变小，两者比值所代表的图像对比度随之提高。 3.3　实验平台的搭建 2 为验证数字像元合并和去除相机本底值两种图像预处理方法对光学图像质量提升的实际效果，进行了多次重复性实验。实验装置如 图8 图8 所示，为更好地模拟弱光条件，选择在室内无灯光环境，时间为17：00至18：30，温度为17 ℃，实验相机为窄视场相机（NOIP1SN012KA）和宽视场相机（CMV4000）。其中，窄视场相机的像元尺寸为4.5 μm，成像分辨率为4 096×2 896，实验成像距离为30 m；宽视场相机的像元尺寸为5.5 μm，成像分辨率为2 048×2 048，实验成像距离为10 m。 首先，分析去除相机本底值前后，成像信噪比和对比度的变化情况，实验共进行5次。 表3 表3 为室内温度为17 ℃，宽、窄视场相机本底值分别为27.3与29.3时，去除相机本底值的5次实验数据统计。由 表3 表3 可知，宽视场相机的信噪比平均提高0.703 8 dB，对比度平均提高0.229 0；窄视场相机的信噪比平均提高0.533 9 dB，对比度平均提高0.160 3，与上述理论分析结果基本一致。 Camera SNR/dB Contrast 2 CMV4000 18.028 6 0.484 3 18.732 4 0.713 3 2 N12K 17.471 8 0.404 3 18.005 7 0.564 6 然后，在不去除相机本底的情况下，宽、窄视场相机分别在原图模式、2_Binning模式和4-Binning模式下进行5次实验，统计观察成像的信噪比变化。 图9 图9 为实验测试样图，从视觉上可以看出像元合并达到了光信号“增强”的效果。合并前后信噪比的变化如 图10 图10 所示，宽、窄视场相机2合并前后的信噪比均提高近似2倍，4合并前后信噪比均提高近似4倍，与上述理论分析结果一致。同时，由 表4 表4 ~ 表5 表5 可知，在微弱光照下可通过像元合并达到SNR≥20 dB的成像要求。 1;2; 1,2; Parameter Picture 2_Binning 4_Binning Contrast 3.325 0 6.207 4 11.828 0 SNR/dB 10.435 8 15.858 2 21.458 2 Parameter Picture 2_Binning 4_Binning Contrast 4.421 2 8.266 7 15.573 8 SNR/dB 12.910 8 18.346 6 23.847 9 最后，结合“区域”像元合并和去除相机本底值两种方法进行5次实验，5次实验结果的平均值如 表6 表6 所示。宽视场相机2_Binning结合去除相机本底值的模式下图像信噪比可提高5.901 4 dB，图像对比度提高了0.257 4，4_Binning结合去除相机本底值的模式下图像信噪比可提高11.698 8 dB，图像对比度可提高0.210 2；窄视场2_Binning结合去除相机本底值的模式下图像信噪比可提高5.764 4 dB，图像对比度可提高0.265 4，4_Binning结合去除本底值的模式下图像信噪比可提高11.450 1 dB，图像对比度可提高0.284 0。实验结果表明，弱光环境下，“区域”像元合并和去除相机本底值两种图像预处理方法可有效提高探测器成像的信噪比和对比度。 2 Camera 3 SNR/dB 3 Contrast Picture 2-BIN 4_BIN Picture 2-BIN 4_BIN CMV4000 11.480 2 17.381 6 23.179 0 0.532 9 0.787 6 0.743 1 N12K 14.591 9 20.356 3 25.993 4 0.517 2 0.782 6 0.801 2 4 结　论 1 本文为提高弱光下月球着陆粗避障环节中探测器的成像灵敏度及图像的信噪比与对比度，采用“区域”数字像元合并和去除相机本底两种图像预处理方法，实现了探测器弱光下的清晰成像。在“区域”像元合并的基础上，提出了一种针对 n _taps成像数据格式的像元矩阵构建方法。通过实验拟合了相机本底值随温度的变化曲线，去除了相机本底，但此温度实验是针对后端相机的温度实验，后续会进行整机的热真空实验，完善实验数据。实验结果表明：2×2“区域”像元合并可有效提高图像信噪比2倍左右；4×4“区域”像元合并可有效提高图像信噪比4倍左右；环境温度为17 ℃时，宽视场相机的对比度近似提高了0.23，窄视场相机的对比度近似提高了0.16，满足弱光成像的基本工程要求。 参考文献 张洪华 ， 梁俊 ， 黄翔宇 ， 等 . 嫦娥三号自主避障软着陆控制技术 ［J］. 中国科学（技术科学） ， 2014 ， 44 （ 6 ）： 559 - 568 . doi: 10.1360/092014-51 http://dx.doi.org/10.1360/092014-51 嫦娥三号自主避障软着陆控制技术 ZHANG H H ， LIANG J ， HUANG X Y ， et al . Autonomous hazard avoidance control for Chang'E-3 soft landing ［J］. Scientia Sinica （Technologica） ， 2014 ， 44 （ 6 ）： 559 - 568 . （in Chinese） . doi: 10.1360/092014-51 http://dx.doi.org/10.1360/092014-51 Autonomous hazard avoidance control for Chang'E-3 soft landing 兰太吉 . 数字域TDI CMOS遥感相机高动态高灵敏成像技术研究 ［D］. 长春 ： 中国科学院长春光学精密机械与物理研究所 ， 2018 . doi: 10.3390/app7101089 http://dx.doi.org/10.3390/app7101089 数字域TDI CMOS遥感相机高动态高灵敏成像技术研究 LAN T J . Research on High-Dynamic-Range and High Sensitivity Optical Remote Sensing Imaging Method for Digital TDI CMOS ［D］. Changchun ： Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences ， 2018 . （in Chinese） . doi: 10.3390/app7101089 http://dx.doi.org/10.3390/app7101089 Research on High-Dynamic-Range and High Sensitivity Optical Remote Sensing Imaging Method for Digital TDI CMOS 常振 ， 王煜 ， 司福祺 ， 等 . CCD数字像元的合并方法及其应用 ［J］. 光学 精密工程 ， 2017 ， 25 （ 8 ）： 2204 - 2211 . doi: 10.3788/OPE.20172508.2204 http://dx.doi.org/10.3788/OPE.20172508.2204 CCD数字像元的合并方法及其应用 CHANG ZH ， WANG Y ， SI F Q ， et al . Digital binning method for CCD pixels and its applications ［J］. Opt. Precision Eng. ， 2017 ， 25 （ 8 ）： 2204 - 2211 . （in Chinese） . doi: 10.3788/OPE.20172508.2204 http://dx.doi.org/10.3788/OPE.20172508.2204 Digital binning method for CCD pixels and its applications 胡潭高 ， 张锦水 ， 贾斌 ， 等 . 不同分辨率遥感图像混合像元线性分解方法研究 ［J］. 地理与地理信息科学 ， 2008 ， 24 （ 3 ）： 20 - 23， 40 . 不同分辨率遥感图像混合像元线性分解方法研究 HU T G ， ZHANG J SH ， JIA B ， et al . Research on LSMM of remote sensing images based on different resolution ［J］. Geography and Geo-Information Science ， 2008 ， 24 （ 3 ）： 20 - 23， 40 . （in Chinese） Research on LSMM of remote sensing images based on different resolution BAO T W ， WANG SH ， MA T Y ， et al . Design and implementation of a flexible interline CCD pixel binning method ［J］. Applied Mechanics and Materials ， 2011 ， 48/49 ： 373 - 377 . doi: 10.4028/www.scientific.net/amm.48-49.373 http://dx.doi.org/10.4028/www.scientific.net/amm.48-49.373 Design and implementation of a flexible interline CCD pixel binning method YOO Y ， IM J ， PAIK J . Low-light image enhancement using adaptive digital pixel binning ［J］. Sensors （Basel） ， 2015 ， 15 （ 7 ）： 14917 - 14931 . doi: 10.3390/s150714917 http://dx.doi.org/10.3390/s150714917 Low-light image enhancement using adaptive digital pixel binning 隋延林 ， 何斌 ， 张立国 ， 等 . 基于FPGA的超高速CameraLink图像传输 ［J］. 吉林大学学报（工学版） ， 2017 ， 47 （ 5 ）： 1634 - 1643 . doi: 10.13229/j.cnki.jdxbgxb201705041 http://dx.doi.org/10.13229/j.cnki.jdxbgxb201705041 基于FPGA的超高速CameraLink图像传输 SUI Y L ， HE B ， ZHANG L G ， et al . Ultra-high speed CameraLink image transmission based on FPGA ［J］. Journal of Jilin University（Engineering and Technology Edition） ， 2017 ， 47 （ 5 ）： 1634 - 1643 . （in Chinese） . doi: 10.13229/j.cnki.jdxbgxb201705041 http://dx.doi.org/10.13229/j.cnki.jdxbgxb201705041 Ultra-high speed CameraLink image transmission based on FPGA 董建婷 ， 杨小乐 ， 董杰 . 面阵CMOS图像传感器性能测试及图像处理 ［J］. 红外与激光工程 ， 2013 ， 42 （ 12 ）： 3396 - 3401 . doi: 10.3969/j.issn.1007-2276.2013.12.043 http://dx.doi.org/10.3969/j.issn.1007-2276.2013.12.043 面阵CMOS图像传感器性能测试及图像处理 DONG J T ， YANG X L ， DONG J . Performance test and image processing of area CMOS image sensor ［J］. Infrared and Laser Engineering ， 2013 ， 42 （ 12 ）： 3396 - 3401 . （in Chinese） . doi: 10.3969/j.issn.1007-2276.2013.12.043 http://dx.doi.org/10.3969/j.issn.1007-2276.2013.12.043 Performance test and image processing of area CMOS image sensor 周博 ， 李春来 ， 李飞飞 ， 等 . 面向深空探测的CCD多像元合并设计与验证 ［J］. 红外 ， 2018 ， 39 （ 4 ）： 27 - 32， 42 . doi: 10.3969/j.issn.1672-8785.2018.04.006 http://dx.doi.org/10.3969/j.issn.1672-8785.2018.04.006 面向深空探测的CCD多像元合并设计与验证 ZHOU B ， LI CH L ， LI F F ， et al . Design and verification of CCD multi-pixel binning for space exploration ［J］. Infrared ， 2018 ， 39 （ 4 ）： 27 - 32， 42 . （in Chinese） . doi: 10.3969/j.issn.1672-8785.2018.04.006 http://dx.doi.org/10.3969/j.issn.1672-8785.2018.04.006 Design and verification of CCD multi-pixel binning for space exploration 张恒伟 ， 李晓龙 ， 樊仁杰 ， 等 . 激光对CCD相机Binning模式下饱和干扰效果仿真研究 ［J］. 激光与红外 ， 2016 ， 46 （ 9 ）： 1045 - 1048 . doi: 10.3969/j.issn.1001-5078.2016.09.003 http://dx.doi.org/10.3969/j.issn.1001-5078.2016.09.003 激光对CCD相机Binning模式下饱和干扰效果仿真研究 ZHANG H W ， LI X L ， FAN R J ， et al . Simulation study on laser saturation disturbing to CCD camera in the Binning mode ［J］. Laser & Infrared ， 2016 ， 46 （ 9 ）： 1045 - 1048 . （in Chinese） . doi: 10.3969/j.issn.1001-5078.2016.09.003 http://dx.doi.org/10.3969/j.issn.1001-5078.2016.09.003 Simulation study on laser saturation disturbing to CCD camera in the Binning mode LI H ， ZHANG H ， GUO X L ， et al . Image restoration after pixel binning in image sensors ［J］. Tsinghua Science & Technology ， 2009 ， 14 （ 4 ）： 541 - 545 . doi: 10.1016/s1007-0214(09)70114-2 http://dx.doi.org/10.1016/s1007-0214(09)70114-2 Image restoration after pixel binning in image sensors 刘玲钰 ， 王明富 ， 刘恩海 . 多抽头EMCCD相机时序控制及像元合并技术 ［J］. 半导体光电 ， 2020 ， 41 （ 3 ）： 420 - 425 . doi: 10.1117/12.2603243 http://dx.doi.org/10.1117/12.2603243 多抽头EMCCD相机时序控制及像元合并技术 LIU L Y ， WANG M F ， LIU E H . Timing control and pixel merger technology of multi-tap EMCCD camera ［J］. Semiconductor Optoelectronics ， 2020 ， 41 （ 3 ）： 420 - 425 . （in Chinese） . doi: 10.1117/12.2603243 http://dx.doi.org/10.1117/12.2603243 Timing control and pixel merger technology of multi-tap EMCCD camera 王健 ， 陈启美 ， 章德 . CMOS图像实时增强预处理研究及实现 ［J］. 仪器仪表学报 ， 2007 ， 28 （ 1 ）： 48 - 52 . doi: 10.3321/j.issn:0254-3087.2007.01.010 http://dx.doi.org/10.3321/j.issn:0254-3087.2007.01.010 CMOS图像实时增强预处理研究及实现 WANG J ， CHEN Q M ， ZHANG D . Study on real-time image enhancement pre-processing for CMOS sensor ［J］. Chinese Journal of Scientific Instrument ， 2007 ， 28 （ 1 ）： 48 - 52 . （in Chinese） . doi: 10.3321/j.issn:0254-3087.2007.01.010 http://dx.doi.org/10.3321/j.issn:0254-3087.2007.01.010 Study on real-time image enhancement pre-processing for CMOS sensor 夏候耀涛 . 高速CMOS相机驱动设计及光学图像预处理 ［D］. 成都 ： 中国科学院光电技术研究所 ， 2018 . 高速CMOS相机驱动设计及光学图像预处理 XIAHOU H Y T . High-speed CMOS Camera Driver Design and Optical Image Preprocessing ［D］. Chengdu ： The Institute of Optics and Electronics， Chinese Academy of Sciences ， 2018 . （in Chinese） High-speed CMOS Camera Driver Design and Optical Image Preprocessing ZHAO J , CHEN X , ZHOU W , et al . Frame transfer CCD driving platform using flexible integral time and pixel binning [C]. Optical Systems and Optoelectronic Instruments——Proceedings of SPIE 2008 International Conference on Optical Instruments and Technology （ 2 ）, 2008: 412 - 421 . Frame transfer CCD driving platform using flexible integral time and pixel binning JIN X D ， HIRAKAWA K . Analysis and processing of pixel binning for color image sensor ［J］. EURASIP Journal on Advances in Signal Processing ， 2012 ， 2012（ 1 ）： 1 - 15 . doi: 10.1186/1687-6180-2012-125 http://dx.doi.org/10.1186/1687-6180-2012-125 Analysis and processing of pixel binning for color image sensor 杨宇光 . 月球软着陆：比你想象的更有难度 ［N］. 中国航天报 ， 2019-09-14 （1）. 月球软着陆：比你想象的更有难度 YANG Y G . A soft landing on the moon： harder than you think ［N］. China Space News ， 2019-09-14 （1）. （in Chinese） A soft landing on the moon： harder than you think 10.37188/OPE.2021.0297 TH74 TH75 A 1004-924X（2021）11-2539-09 张刘,王亚明,张文等.面向弱光探测的实时像元合并[J].光学精密工程,2021,29(11):2539-2547. 张刘,王亚明,张文等.面向弱光探测的实时像元合并[J].光学精密工程,2021,29(11):2539-2547. ZHANG Liu,WANG Ya-ming,ZHANG Wen,et al.Real-time pixel merging for weak light detection[J].Optics and Precision Engineering,2021,29(11):2539-2547. ZHANG Liu,WANG Ya-ming,ZHANG Wen,et al.Real-time pixel merging for weak light detection[J].Optics and Precision Engineering,2021,29(11):2539-2547. 科技部重点研发计划资助项目（No.2016YFB0501000， No.2016YFB0501002）；科工局国防基础科研重点突破项目；装备预研领域基金资助项目（No.JZX7Y20190254047001）；上海航天科技创新基金资助项目（No.SAST2018046）；国防基础科研计划资助项目（No.JCKY2019110） 2021-05-12 2021-06-17 2021-11-15 2022-01-25 光学精密工程 11 29