基于GM-APD激光雷达数据融合的小目标检测

基于GM-APD激光雷达数据融合的小目标检测 Small object detection based on GM-APD lidar data fusion 1 first-author 杜达宽（1999-），男，山西运城人，硕士研究生，2016年于哈尔滨工业大学获得学士学位，主要从事成像激光雷达目标检测识别方向的研究。E-mail： 18846453586@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927961&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927965&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927963&type= 22.01333237 32.00400543 杜达宽 （1999-），男，山西运城人，硕士研究生，2016年于哈尔滨工业大学获得学士学位，主要从事成像激光雷达目标检测识别方向的研究。E-mail： 18846453586@163.com 18846453586@163.com 1 1 2 corresp E-mail： jphit2000@126.com E-mail： jphit2000@126.com 姜 鹏（1982-），男，黑龙江富锦人，博士，高级工程师，2004年、2006年、2010年于哈尔滨工业大学分别获得学士、硕士和博士学位，主要研究方向为激光技术和光电制导技术。E-mail：jphit2000@126.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927968&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927970&type= 22.01332855 32.00401306 姜 鹏 （1982-），男，黑龙江富锦人，博士，高级工程师，2004年、2006年、2010年于哈尔滨工业大学分别获得学士、硕士和博士学位，主要研究方向为激光技术和光电制导技术。E-mail： jphit2000@126.com jphit2000@126.com 1 哈尔滨工业大学 光电子技术研究所可调谐（气体）激光技术重点实验室， 黑龙江 哈尔滨150001 哈尔滨工业大学 光电子技术研究所可调谐（气体）激光技术重点实验室， 黑龙江 哈尔滨150001 National Key Laboratory of Science and Technology on Tunable Laser， Institute of Opto-Electronic， Harbin Institute of Technology， Harbin 150001， China National Key Laboratory of Science and Technology on Tunable Laser， Institute of Opto-Electronic， Harbin Institute of Technology， Harbin 150001， China 复杂系统控制与智能协同技术重点实验室，北京 100074 复杂系统控制与智能协同技术重点实验室，北京 100074 Science and Technology on Complex System Control and Intelligent Agent Cooperation Laboratory， Beijing 100074， China Science and Technology on Complex System Control and Intelligent Agent Cooperation Laboratory， Beijing 100074， China GM-APD激光雷达具有单光子探测灵敏度，大幅降低了系统体积和功耗，但受像元数限制，难以获得远距离小目标清晰轮廓，目标检测率不高。针对该问题，提出了基于强度像和距离像多级处理的小目标深度学习检测算法，充分挖掘强度图像和点云特征信息及相互关联性，提高小目标检测概率。通过改进特征金字塔网络，将感受野模块和注意力机制模块与特征提取网络相结合，增强强度像初筛目标准确性，在候选区域内将强度像与距离像融合成带有强度信息的四维点云。然后，使用动态图卷积网络对候选区内目标进行二次检测，利用点云信息进一步筛选候选框内的目标。经GM-APD激光雷达远距离车辆数据集测试，网络的检测准确率达到98.8%，对于车辆结构不完整，车辆回波弱，背景存在强反射光斑等复杂场景有很好的鲁棒性。相较于SSD，YOLOv5等较为先进的目标检测网络，检测准确率分别提升了3.1%与2.5%，该算法为激光雷达弱小目标检测识别提供了一种可行性解决方案。 Geiger mode avanlanche photon diode （GM-APD） lidar has single photon detection sensitivity， which greatly reduces the system volume and power consumption. It makes the system feasible for practical application， and has become a hot topic in recent studies. However， owing to the limitation of the pixel number， the spatial resolution is low， which makes it difficult to obtain the clear contour of the remote target， and the object detection rate is not high. To solve this problem， a detection algorithm based on multi-level processing of the intensity and range images was proposed to find the correlation between the intensity images and point clouds’ features to improve the probability of small object detection. First， the improved feature pyramid network （FPN） combines the receptive field block （RFB） and convolutional block attention module （CBAM） with the feature extraction network to enhance the selection accuracy of intensity images. Second， the intensity and range images are combined into point clouds with intensity information in the candidate regions. Finally， a dynamic graph convolution network （DGCNN） is used to perform secondary detection on the target in the candidate regions. Moreover， point cloud information is used to further select the object in the candidate regions. In the GM-APD lidar long-range vehicle dataset， the AP of the network achieves 98.8%， and it has good robustness for complex scenes， such as incomplete vehicle structure， weak echo， and strongly reflected light spot. Compared with the SSD and YOLOv5， the detection accuracy of the network improved by 3.1% and 2.5%， respectively， which is feasible for lidar dim object detection. 激光雷达 目标检测 感受野 注意力机制 动态图卷积神经网络 lidar object detection receptive field block convolutional block attention module dynamic graph convolution neural network 1 引 言 1 激光成像雷达波束窄、方向性好，与二维成像传感器相比，能够获得目标丰富的三维结构信息、位置信息及反射率信息。由于激光雷达可以获取多维数据，快速准确检测远距离弱小目标，在军用与民用领域都有着重要的应用。但受限于像元数与空间分辨率，常用的检测算法对于激光成像雷达图像检测准确率低，且鲁棒性较差。 目前，针对激光雷达数据的弱小目标检测成为研究热点。传统目标检测方法通常采用手工特征。文献［ 1 1 ］使用基于DPM+SVM的多尺度检测方法，在采集的激光雷达行人数据集上得到了61%的检测准确率。文献［ 2 2 ］使用轮廓相似性度量与尺寸相似性度量对仿真生成的点云场景图投影降维后进行目标检测，准确率达到90%。文献［ 3 3 ］使用激光雷达对行车周围的道路标记成像，并利用特征标记和模板匹配对道路标记进行分类，分类准确率达到90%。但手工特征提取到的特征鲁棒性较差，当目标出现光照平移等变化时，提取到的特征会发生改变。 在弱小目标检测中，利用深度学习的方法相对于传统的目标检测方法具有明显的优势 ［ 4 4 - 7 7 4-7 ］ 。相对于两阶段检测算法，单阶段检测算法速度快但准确率低，尤其对于分辨率不高的弱小目标准确率更低，所以不适合对远距离弱小目标进行检测。文献［ 8 8 ］将ModelNet数据集中的点云降维生成灰度图，使用二维卷积进行处理，相对于体素的方法识别准确率从78.5%提升至85.8%。参考文献［ 9 9 ］用激光雷达对附近车辆进行成像，并对得到的距离像使用卷积神经网络进行分类识别，准确率达到了86.3%。 在经过图像重构后 ［ 10 10 ］ ，激光雷达会生成一一对应的强度像和距离像。这两种数据可以融合为带有强度信息的四维点云，相较于图像可以更全面地描述物体的特征。PointNet网络 ［ 11 11 ］ 开创了对原始点云直接处理的先河，但是该网络只考虑了点云的全局特征，忽略了局部点之间的关系。DGCNN网络 ［ 12 12 - 13 13 12-13 ］ 利用动态图卷积的方式提取点云局部特征，占用内存小，鲁棒性好。目前，主要采用三维点云检测 ［ 14 14 - 15 15 14-15 ］ ，需要在空间上搜索目标，计算复杂度高，同时标注困难。在二维图像上初筛出候选框后，再对框内目标点云使用点云分类网络进行二次检测。这样既避免直接在三维空间层面对目标进行搜索，降低了算法的复杂度；同时，在二次检测时又利用了目标的三维坐标信息与强度信息，充分合理地使用多维度信息，从而提高整体网络的检测准确率。 强度像描述的是目标的几何信息和纹理信息，距离像描述的是目标的三维坐标信息和结构信息，这些信息可以很好地表达目标特征，具有很强的互补性。本文针对重构后生成的强度像和距离像，提出一种融合两种图像信息的目标检测网络。该网络首先通过融合注意力机制（Convolutional Block Attention Module， CBAM） ［ 16 16 ］ 与感受野模块（Receptive Field Block， RFB） ［ 17 17 ］ 的改进特征金字塔网络（Field Pyramid Network， FPN）在强度像上对目标进行初筛，然后将基于强度像提议的候选框内的目标转化为点云，最后利用点云分类网络进行二次验证。实验表明，对于复杂背景下的道路车辆，该算法的准确率达到98.8%。 2 基于强度像与距离像信息融合的网络模型 1 基于激光雷达的强度像与距离像信息融合目标检测网络模型如 图1 图1 所示。整个模型可分为两个阶段，由FPN，RFB，CBAM和DGCNN 4部分组成。Stage1阶段，在FPN网络最顶层的输出（F4）插入CBAM模块，同时对不同尺度的输出插入RFB模块，使其对小目标做初次检测时更多地考虑背景与目标的关系，同时融合通道间的高级语义信息，从而提高目标初筛的准确率。Stage2阶段，使用DGCNN网络对筛选出的目标进一步验证。 2.1　特征提取网络 2 特征提取网络使用以ResNet50为骨干的FPN网络，其结构如 图2 图2 所示，其中每一个Bottleneck代表一个残差块。FPN采用先自下而上，后自上而下的连接方式，使得深层信息与浅层信息相融合。整个网络结构在多尺度下进行检测，对于小目标优势明显。 一张维度为（3，600，600）的输入图像，经过Mod_1后变为（256， 300， 300）维度的特征图，之后每经过一个module，特征图大小变为一半，通道深度变为两倍，从Mod_4输出后，特征图的维度变为（2 048，38，38）。从Input到Mod_4完成了特征金字塔自下而上的部分。之后，从金字塔的最顶端开始进行上采样，通过1×1的卷积核使得上采样后每个尺度下特征图的维度都与原始该尺度下维度相同。这两个特征图融合后同时包含网络的浅层信息与深层信息，有利于后续的目标检测。 图2 图2 中M 1 ，M 2 ，M 3 ，M 4 分别为在4个尺度下融合后的特征图，可以基于此在4个尺度下分别对目标进行预测。 2.2　融合注意力机制模块 2 CBAM可以使FPN在目标检测任务下更加关注有效特征。相比于其他注意力模块，CBAM采用通道注意力模块与空间注意力模块的串联结构，有效地提高了CNN的特征提取能力，具有参数量少，可移植性好的优势。该模块通过联系局部特征的通道与空间的关系，创建具有局部通道与空间响应的特征图，从而使网络更加专注于有用的目标特征。在本文网络结构中，CBAM只插入到FPN的最顶层输出，以突出特征之间的高级语义信息。CBAM网络的具体实现过程如 图3 图3 所示，对于作为输入的特征 <math id="M1"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927988&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927986&type= 2.62466669 2.79399991 ，整个过程可以描述为： <math display="block" id="M2"><mtable columnalign="left"><mtr><mtd><mi>F</mi><mi>'</mi><mo>=</mo><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo>⊗</mo><mi>F</mi></mtd></mtr><mtr><mtd><mi>F</mi><mi>'</mi><mi>'</mi><mo>=</mo><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mi>'</mi><mo stretchy="false">)</mo><mo>⊗</mo><mi>F</mi><mi>'</mi></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927992&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927990&type= 28.70199966 10.15999985 ， 其中： <math id="M3"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927996&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927994&type= 3.55599999 3.55599999 表示矩阵元素按位相乘的运算， <math id="M4"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39927998&type= 2.62466669 2.79399991 为输入的特征， <math id="M5"><mi>F</mi><mi>'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928004&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928002&type= 3.30200005 3.30200005 为经过通道注意力模块后的特征， <math id="M6"><mi>F</mi><mi>'</mi><mi>'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928006&type= 4.06400013 3.30200005 为最终输出的总特征， <math id="M7"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928011&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928009&type= 5.16466665 3.72533321 与 <math id="M8"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928013&type= 4.99533367 3.72533321 分别为通道注意力模块与空间注意力模块。 2.3　感受野模块 2 RFB模块受到人眼观看物体的注意力的启发，将感受野分为3个不同的等级，分别使用1×1，3×3，5×5三个卷积来模拟不同的感受野，同时通过空洞卷积的方式扩大感受野。空洞卷积是将一个固定尺寸的卷积核与图像更大范围内的像素进行卷积操作，具有扩大感受野的作用。相较于RFB模块结构 ［ 16 16 ］ ，RFB-s结构首先使用3×3的卷积核来代替原始5×5的卷积核，以增强小目标的检测能力，其次使用1×3和3×1的卷积相结合的方式来代替3×3的卷积，以减少计算量。其结构如 图4 图4 所示。 RFB插入到FPN可以扩大感受野，有效帮助特征图联系目标与背景间的关系，但插入时要考虑插入的数量与位置。越靠近浅层的特征图经历的降采样次数越少，其感受野本身就会越小，RFB模块的加入可以扩大感受野；靠近深层特征图本身的感受野较大，加入RFB模块后作用不仅没有提升，反而会加大计算量。因此，RFB模块应该插入在网络深度较浅的F1层与F2层。 2.4　动态图卷积神经网络 2 DGCNN点云分类网络可以较好地利用点云的局部空间关系。其核心为EdgeConv模块，该模块可以描述特征点与其临近点的空间关系。具体实现方法为：对第 i 个顶点使用 k 近邻算法找到该顶点周围的 k 个点，每个点命名为 x j ， <math id="M9"><mi>j</mi><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mi>k</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928033&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928031&type= 24.04533195 3.97933316 ，之后这 k 个点之间的边缘关系组成点云第 i 个顶点的局部特征。此局部特征可以表示为： <math display="block" id="M10"><mi>x</mi><msub><mrow><mi>'</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><munder><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>j</mi><mo>:</mo><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>∈</mo><mi mathvariant="bold-italic">E</mi></mrow></munder><msub><mrow><mi>h</mi></mrow><mrow><mi>Θ</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928037&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928035&type= 32.85066605 6.18066692 ， 其中： x′ i 是第 x i 点的点云局部特征， <math id="M11"><mi mathvariant="bold-italic">M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928041&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928039&type= 3.97933316 2.96333337 是对第 x i 点与周围的 k 个点之间的边缘特征的总结， h ө 是 x i 与 x j 两点之间的边的特征，一般利用非线性激活函数组来表示。 本文将点云分类网络应用到目标的二次检测中，对于Stage1阶段生成的候选框中的点云，为了使输入到分类网络的点云大小相同，本文采用随机采样法从每个目标点云中选取512个点作为DGCNN的输入，输入网络中点云维度为512×4。取四维点云的原因在于相较于三维点云，四维点云可以同时包含目标的三维坐标信息与强度信息，不仅包含位置信息更能反映目标点云的反射率特征，从而提高分类的准确率。而且，四维点云与三维点云使用相同的网络结构，不会增加模型的复杂度。在特征提取阶段，将该点云生成两个1 024维度的向量，之后将这两个向量拼接成2 048维的向量，并通过此向量完成目标的分类。 DGCNN结构如 图5 图5 所示，其中特征提取模块用来负责点云的特征提取，分类模块负责对提取到的特征进行分类。 2.5　损失函数 2 在Stage1，使用分类损失函数和边框回归损失函数进行训练，其公式为： <math display="block" id="M12"><mi>L</mi><mo stretchy="false">(</mo><mi>p</mi><mo>,</mo><msup><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo>,</mo><mi>t</mi><mo>,</mo><msup><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo>,</mo><msup><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo stretchy="false">)</mo><mo>+</mo><mi>λ</mi><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo>,</mo><msup><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928051&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928050&type= 60.45199966 5.07999992 ， 其中： <math id="M13"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928059&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928056&type= 2.28600001 3.64066648 ， <math id="M14"><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928065&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928062&type= 1.26999998 2.79399991 分别为预测的类别与边框， <math id="M15"><msup><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928070&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928068&type= 3.30200005 3.89466691 ， <math id="M16"><msup><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928075&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928072&type= 2.37066650 3.04800010 分别为真实的类别与边框； <math id="M17"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo>,</mo><msup><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928081&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928079&type= 15.66333294 5.07999992 是分类的损失函数，采用交叉熵损失函数增加训练稳定性； <math id="M18"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo>,</mo><msup><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928084&type= 14.05466747 4.65666676 是边框回归损失函数，采用 <math id="M19"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928093&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928090&type= 6.09600019 2.79399991 损失函数可以使边框更加准确。 在Stage2，采用交叉熵损失函数作为点云分类的损失函数，其公式为： <math display="block" id="M20"><mi>L</mi><mo stretchy="false">(</mo><mi>p</mi><mo>,</mo><msup><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><mo>-</mo><msup><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo>⋅</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msup><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo stretchy="false">)</mo><mo>⋅</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>p</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928098&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928097&type= 72.64399719 4.23333359 ， 其中： <math id="M21"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928103&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928101&type= 2.28600001 3.64066648 为预测类别， <math id="M22"><msup><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928107&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=39928105&type= 3.30200005 3.89466691 为真实类别。 3 实验和结果分析 1 实验使用GM-APD激光雷达对远距离车辆弱小目标采集数据并重构生成图像，在GM-APD激光雷达远距离小目标数据集上，验证了本文提出网络的检测效果，并与其他网络进行比较。 3.1　数据集和实验平台搭建 2 使用64×64面阵GM-APD激光成像雷达对室外道路上远距离车辆目标进行成像。实验采集激光雷达图像的速度为14 frame/s。采集到的原始数据经过图像重构后可以同时生成相同分辨率的强度像和距离像，如 图6 图6 所示。根据SPIE对于小目标的定义 ［ 18 18 ］ ，小目标是指所占像素尺寸不超过9×9（即小于80个像素）的目标区域。数据集的统计细节如 表1 表1 所示。在采集的1 600对强度像和距离像中，随机挑选1 200张图片用于训练，400张用于测试，加入随机噪声，随机裁剪，旋转缩放等数据增强过程。实验配置如 表2 表2 所示。 Number of images Image size Average number ofobjects per image Proportion of small objects Minimum number of pixels occupied by object 1 600 64×64 11 99.1% 6 Configuration item Value System Ubuntu18.04 GPU GeForce RTX 2080Ti CPU Intel Core i7-8700 CPU @3.20 GHz 3.2　不同方法的实验对比 2 3 . 2 . 1　实验参数设置 3 本文提出的目标检测网络的训练采用两阶段端到端的训练方式，如 图1 图1 的Stage1与Stage2所示。首先对改进的FPN网络采用端到端的训练方式，学习率设置为0.005，batchsize设置为4，优化器采用随机梯度下降法（SGD），权重衰减（weight_decay）设为0.000 5。 DGCNN点云分类网络的输入为由强度像与距离像转化成的四维点云，学习率设置为0.001，优化器采用Adam算法，权重衰减（weight_decay）设为0.000 1。 为了验证本文目标检测网络的有效性，实验分别在只使用强度信息与同时使用强度和距离信息的条件下进行。对于只使用强度信息的情况，网络为在强度像上进行检测，不包含后续的点云二次检测，如 图1 图1 的Stage1所示。对于同时使用强度和距离信息的情况，网络结构即为 图1 图1 的Stage1和Stage2。 3 . 2 . 2　强度像上不同方法的实验对比 3 使用激光雷达数据集的强度像，将本文网络与Faster RCNN，YOLO系列网络和SSD网络进行对比，实验结果如 表3 表3 所示。其中，Parms代表每个模型参数量的大小，AP 50∶95 代表从0.5开始，每隔0.05作为IoU的阈值计算一次AP，最终将所有结果取平均。AP 50 与AP 75 分别代表在IoU取得0.5与0.75时计算出的AP，FPS为该算法每秒钟可以检测的图像张数。 Method Parms AP 50：95 AP 50 AP 75 FPS Faster RCNN 108M 47.5 92.4 46.2 26 YOLO 102M 39.8 84.1 31.9 45 YOLOv3 235M 46.3 94.9 45.7 53 YOLOv5 21.2M 54.1 96.0 55.3 55 SSD 100M 53.0 95.5 53.3 41 Our method 163M 54.7 96.5 56.4 20 由 表3 表3 可以看出，所有网络的检测速度均大于14 frame/s，可以满足实际场景的实时性需要，且相比已有网络，本文网络在3个AP指标下均获得最佳精度。将本文网络与目前先进的YOLOv5网络和SSD网络等可视化后进行比较，进一步突出这些检测结果的具体差异。可视化结果如 图7 图7 所示。 从 图7 图7 可以看到，在场景一（第一行）中，相比于SSD网络和YOLOv5网络检测中目标轮廓不完整、远距离目标弱回波的漏检情况，本文提出的网络可以准确地检测此类目标。在场景二（第二行）中，SSD网络检测将道路误检为车辆，而本文提出的网络可以准确地分类目标和车道。在场景三（第三行）中，相比较于YOLOv5网络，本文提出的网络对于强反射的光斑有较好的鲁棒性，YOLOv5将光斑的一部分错检为车辆，而本文网络并没有发生错检。综上所述，本文网络的初筛阶段使用CBAM与RFB，在多尺度特征图中可以同时考虑目标本身与周围的背景信息，面对复杂环境，相对于SSD与YOLOv5网络表现出更好的鲁棒性。 3 . 2 . 3　结合强度像与距离像的不同方法实验对比 3 为了使其余网络也能够利用目标的强度信息与距离信息，比较网络也同时加入目标强度信息与距离信息。分别将强度像与距离像输入到图像不同通道，在输入三通道图像的第一层与第三层输入强度像，第二层输入距离像。实验结果如 表4 表4 所示。 Method Parms AP 50：95 AP 50 AP 75 FPS Faster RCNN 108M 47.6 92.7 47.3 26 YOLO 102M 39.9 84.7 32.5 45 YOLOv3 235M 46.7 95.2 45.9 53 YOLOv5 21.2M 54.5 96.3 55.3 55 SSD 100M 53.1 95.7 53.3 41 Our method （Stage1） 163M 54.8 96.7 56.2 20 Our method （Stage1，2） 181M 56.7 98.8 57.3 17 由 表4 表4 可以看出，所有网络的检测速度均大于14 frame/s，可以满足实际场景的实时性需要。相较于其他网络，本文提出的结合强度像与距离像的网络精度最佳。与 表3 表3 相比，若强度像与距离像的信息只是输入到图像的不同通道，检测准确率不会有很大提升，目标的距离信息并没有被很好地利用。而本文模型先在强度像上对车辆小目标进行检测，再对检测出的候选框内的目标通过点云进行二次检测，可以将原本错检的与目标相似的背景从结果中剔除，从而提高检测准确率。一些场景二次检测前后的可视化结果如 图8 图8 所示。 由 图8 图8 可以看出，对于只基于强度像的目标检测网络表现不佳的场景，基于点云的二次检测结果有较好的提升。其中，对于目标在强度像下回波较弱从而基于强度像生成两个检测框的情况（如 图8 图8 的左上角所示），可以利用点云将这两个检测框内的目标进行判断，从而保留准确率较高的检测框。对于基于强度像的检测网络中将强反射的光斑局部认为是车辆的情况（如 图8 图8 左下角所示），通过点云的二次检测可以剔除，原因在于这些光斑的局部在强度像上与一些目标车辆有一定程度的相似性，但是在距离像上具有较为明显的差别。利用强度像初筛与点云二次检测组合的网络结构形式，对车辆结构不完整，弱回波目标，强反射光斑干扰等复杂场景具有更强的鲁棒性。 总的来说，相比较于YOLO系列网络与SSD网络，本文网络的检测准确率高，且在复杂场景下不容易发生错检。由于本文使用激光雷达图像的采集速度为14 frame/s，对于算法的实时性要求不高，所以权衡精度与速度，本文网络在实际应用场景中的检测性能更优。 3.3　消融实验 2 3 . 3 . 1　不同模块对于检测准确率的影响 3 为了验证FPN中RFB与CBAM的有效性，在激光雷达目标强度像数据集上进行了消融实验。共设计7组实验，第一组为不加入任何模块的FPN网络，作为对照组。Im_FPN 1-6分别为在FPN网络的不同Mod输出特征图中添加感受野RFB模块和注意力CBAM模块。这里认为Mod_1与Mod_2输出的是较为浅层的特征图，Mod_3与Mod_4输出的是较为深层的特征图。在不同模块的输出上分别插入RFB模块与CBAM模块来比较目标检测结果。实验结果如 表5 表5 所示，其中√代表该Mod插入了RFB模块或者使用了CBAM模块。 2 Method 4 RFB CBAM 2 AP 50∶95 2 AP 50 2 AP 75 Mod_1 Mod_2 Mod_3 Mod_4 Mod_4 FPN 53.0 95.5 52.2 Im_FPN1 √ √ 54.3 96.3 55.4 Im_FPN2 √ √ √ 54.7 96.5 56.4 Im_FPN3 √ √ 53.8 96.1 54.9 Im_FPN4 √ √ √ 54.7 96.2 54.8 Im_FPN5 √ √ √ √ 53.8 95.8 54.3 Im_FPN6 √ √ √ √ √ 53.9 96.0 53.2 由 表5 表5 可以看出，在浅层的特征图中加入RFB模型的效果优于在深层特征图中加入RFB。因为浅层特征图尺度较大，每个特征点的感受野有限，加入RFB模块后可以有效地扩大感受野，而深层的特征图经过多次卷积与下采样后，每个特征点的感受野已经较大，足以包含目标与背景，所以加入RFB模块后准确率提升有限。同时，比较了在4个尺度的特征图都加入RFB模块的情况，发现效果并没有进一步提升。原因在于4个尺度都加入RFB模块导致网络参数增多，收敛困难，检测准确率下降。在最顶层加入CBAM的检测准确率均获得了一定程度的提升。AP在这3种方案下分别提升了0.4%，0.9%，0.1%，验证了CBAM的有效性。 3 . 3 . 2　三维点云和四维点云对检测准确率的影响 3 为了验证四维点云分类的有效性，对Stage1阶段在强度像上生成的候选框分别使用三维点云（ x ， y ， z ）与四维点云（ x ， y ， z ， i ）作为DGCNN网络的输入进行二次检测，实验结果如 表6 表6 所示。其中，Parms代表DGCNN模型的参数量，Epochs代表该模型开始训练到收敛所需要的迭代次数。 Input Parms Epochs AP 50∶95 AP 50 AP 75 3D point clouds 13.7M ~80 54.3 96.7 54.2 4D point clouds 13.8M ~30 56.7 98.8 57.3 由 表6 表6 可知，三维点云和四维点云分别输入网络时，模型的参数量并没有较大变化，四维点云输入模型从开始训练到收敛所需要的迭代次数约为三维点云的1/3。四维点云同时包含了目标点的三维坐标信息与强度信息，丰富了点云特征，能够更好地区分目标与背景，最终目标检测网络的准确率相较于三维点云提高了2.4%。因此，使用四维点云作为输入具有更好的检测性能。 4 结 论 1 本文提出了一种基于GM-APD激光雷达数据融合的小目标检测算法。该算法分为强度像初筛与点云二次检测两部分。在对于强度像初筛的FPN结构中，将CBAM，RFB引入目标检测网络，可以关注到目标与背景间的关系。在二次检测的DGCNN上，将候选框内的目标转化为点云进行分类。在所采集到的GM-APD激光成像雷达远距离车辆小目标数据集上验证了本文网络的有效性。实验结果表明，该网络可以有效解决车辆结构不完整，远距离车辆回波弱，背景中出现强反射光斑等复杂场景中检测率低下的问题，在激光成像雷达远距离小目标数据集的检测准确率达到98.8%，与现有网络相比精度更高。 参考文献 BUI M ， FRÉMONT V ， BOUKERROUI D ， et al . Multi-sensors people detection system for heavy machines ［C］. 17th International IEEE Conference on Intelligent Transportation Systems （ITSC）. 811，2014 ， Qingdao， China. IEEE ， 2014 ： 867 - 872 . doi: 10.1109/itsc.2014.6957798 http://dx.doi.org/10.1109/itsc.2014.6957798 Multi-sensors people detection system for heavy machines 杨文秀 ， 付文兴 ， 周志伟 ， 等 . 基于投影降维的激光雷达快速目标识别 ［J］. 红外与激光工程 ， 2014 ， 43 （ S1 ）： 1 - 7 . doi: 10.3969/j.issn.1007-2276.2014.z1.001 http://dx.doi.org/10.3969/j.issn.1007-2276.2014.z1.001 基于投影降维的激光雷达快速目标识别 YANG W X ， FU W X ， ZHOU ZH W ， et al . Fast three dimensional lidar target recognition based on projection dimension reduction ［J］. Infrared and Laser Engineering ， 2014 ， 43 （ S1 ）： 1 - 7 . （in Chinese） . doi: 10.3969/j.issn.1007-2276.2014.z1.001 http://dx.doi.org/10.3969/j.issn.1007-2276.2014.z1.001 Fast three dimensional lidar target recognition based on projection dimension reduction YAO L ， CHEN Q ， QIN C ， et al . Automatic extraction of road markings from mobile laser-point cloud using intensity data ［J］. The International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences ， 2018 ， XLII-3： 2113- 2119 . doi: 10.5194/isprs-archives-xlii-3-2113-2018 http://dx.doi.org/10.5194/isprs-archives-xlii-3-2113-2018 Automatic extraction of road markings from mobile laser-point cloud using intensity data 陈欣 ， 万敏杰 ， 马超 ， 等 . 采用多尺度特征融合SSD的遥感图像小目标检测 ［J］. 光学 精密工程 ， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672 采用多尺度特征融合SSD的遥感图像小目标检测 CHEN X ， WAN M J ， MA CH ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672 Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector 李经宇 ， 杨静 ， 孔斌 ， 等 . 基于注意力机制的多尺度车辆行人检测算法 ［J］. 光学 精密工程 ， 2021 ， 29 （ 6 ）： 1448 - 1458 . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448 基于注意力机制的多尺度车辆行人检测算法 LI J Y ， YANG J ， KONG B ， et al . Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1448 - 1458 . （in Chinese） . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448 Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism 刘杨帆 ， 曹立华 ， 李宁 ， 等 . 基于YOLOv4的空间红外弱目标检测 ［J］. 液晶与显示 ， 2021 ， 36 （ 4 ）： 615 - 623 . doi: 10.37188/CJLCD.2020-0227 http://dx.doi.org/10.37188/CJLCD.2020-0227 基于YOLOv4的空间红外弱目标检测 LIU Y F ， CAO L H ， LI N ， et al . Detection of space infrared weak target based on YOLOv4 ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 4 ）： 615 - 623 . （in Chinese） . doi: 10.37188/CJLCD.2020-0227 http://dx.doi.org/10.37188/CJLCD.2020-0227 Detection of space infrared weak target based on YOLOv4 白创 ， 王英杰 ， 闫昱 ， 等 . 基于多向特征金字塔的轻量级目标检测算法 ［J］. 液晶与显示 ， 2021 ， 36 （ 11 ）： 1516 - 1524 . doi: 10.37188/CJLCD.2021-0018 http://dx.doi.org/10.37188/CJLCD.2021-0018 基于多向特征金字塔的轻量级目标检测算法 BAI CH ， WANG Y J ， YAN Y ， et al . Lightweight object detection algorithm based on multi-directional feature pyramid ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 11 ）： 1516 - 1524 . （in Chinese） . doi: 10.37188/CJLCD.2021-0018 http://dx.doi.org/10.37188/CJLCD.2021-0018 Lightweight object detection algorithm based on multi-directional feature pyramid YANG W H ， YU F . Lidar image classification based on convolutional neural networks ［C］. 2017 International Conference on Computer Network， Electronic and Automation （ICCNEA）. 2325，2017 ， Xi'an， China. IEEE ， 2017 ： 221 - 225 . doi: 10.1109/iccnea.2017.37 http://dx.doi.org/10.1109/iccnea.2017.37 Lidar image classification based on convolutional neural networks NASH G ， DEVRELIS V . Flash LiDAR imaging and classification of vehicles ［C］. 2020 IEEE SENSORS . 2528，2020 ， Rotterdam ， Netherlands . IEEE ， 2020 ： 1 - 4 . doi: 10.1109/sensors47125.2020.9278655 http://dx.doi.org/10.1109/sensors47125.2020.9278655 Flash LiDAR imaging and classification of vehicles MA L ， SUN J F ， JIANG P ， et al . Signal extraction algorithm of Gm-APD lidar with low SNR return ［J］. Optik ， 2020 ， 206 ： 164340 . doi: 10.1016/j.ijleo.2020.164340 http://dx.doi.org/10.1016/j.ijleo.2020.164340 Signal extraction algorithm of Gm-APD lidar with low SNR return CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 77 - 85 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16 PointNet： deep learning on point sets for 3D classification and segmentation WANG Y ， SUN Y B ， LIU Z W ， et al . Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 5 ）： 1 - 12 . doi: 10.1145/3326362 http://dx.doi.org/10.1145/3326362 Dynamic graph CNN for learning on point clouds ZHANG K G ， HAO M ， WANG J ， et al . Linked Dynamic Graph CNN ： Learning on Point Cloud via Linking Hierarchical Features ［EB/OL］. 2019 ： arXiv ： 1904 . 10014 . https：//arxiv.org/abs/1904.10014 https://arxiv.org/abs/1904.10014 Linked Dynamic Graph CNN： Learning on Point Cloud via Linking Hierarchical Features 伍锡如 ， 薛其威 . 基于激光雷达的无人驾驶系统三维车辆检测 ［J］. 光学 精密工程 ， 2022 ， 30 （ 4 ）： 489 - 497 . doi: 10.37188/OPE.20223004.0489 http://dx.doi.org/10.37188/OPE.20223004.0489 基于激光雷达的无人驾驶系统三维车辆检测 WU X R ， XUE Q W . 3D vehicle detection for unmanned driving systerm based on lidar ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 4 ）： 489 - 497 . （in Chinese） . doi: 10.37188/OPE.20223004.0489 http://dx.doi.org/10.37188/OPE.20223004.0489 3D vehicle detection for unmanned driving systerm based on lidar 郭保青 ， 谢光非 . 基于N3D＿DIOU的图像与点云融合目标检测算法 ［J］. 光学 精密工程 ， 2021 ， 29 （ 11 ）： 2703 - 2713 . doi: 10.37188/OPE.20212911.2703 http://dx.doi.org/10.37188/OPE.20212911.2703 基于N3D＿DIOU的图像与点云融合目标检测算法 GUO B Q ， XIE G F . Object detection algorithm based on image and point cloud fusion with N3D_DIOU ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2703 - 2713 . （in Chinese） . doi: 10.37188/OPE.20212911.2703 http://dx.doi.org/10.37188/OPE.20212911.2703 Object detection algorithm based on image and point cloud fusion with N3D_DIOU WOO S ， PARK J ， LEE J Y ， et al . CBAM ： Convolutional Block Attention Module ［M］. Computer Vision-ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1 CBAM： Convolutional Block Attention Module LIU S T ， HUANG D ， WANG Y H . Receptive field block net for accurate and fast object detection ［C］. Computer Vision - ECCV 2018 ： 15th European Conference， Munich， Germany ， 814，2018 ， Proceedings ， Part XI. New York： ACM， 2018 ： 404 - 419 . doi: 10.1007/978-3-030-01252-6_24 http://dx.doi.org/10.1007/978-3-030-01252-6_24 Receptive field block net for accurate and fast object detection ZHANG W ， CONG M Y ， WANG L P . Algorithms for optical weak small targets detection and tracking： review ［C］. International Conference on Neural Networks and Signal Processing ， 2003 . Proceedings of the. 1417，2003 ， Nanjing. IEEE ， 2004： 643 - 647 . doi: 10.1109/icnnsp.2003.1279357 http://dx.doi.org/10.1109/icnnsp.2003.1279357 Algorithms for optical weak small targets detection and tracking： review 10.37188/OPE.20233103.0393 TN958.98 A 1004-924X（2023）03-0393-11 杜达宽,孙剑峰,丁源雪等.基于GM-APD激光雷达数据融合的小目标检测[J].光学精密工程,2023,31(03):393-403. 杜达宽,孙剑峰,丁源雪等.基于GM-APD激光雷达数据融合的小目标检测[J].光学精密工程,2023,31(03):393-403. DU Dakuan,SUN Jianfeng,DING Yuanxue,et al.Small object detection based on GM-APD lidar data fusion[J].Optics and Precision Engineering,2023,31(03):393-403. DU Dakuan,SUN Jianfeng,DING Yuanxue,et al.Small object detection based on GM-APD lidar data fusion[J].Optics and Precision Engineering,2023,31(03):393-403. 国防重点实验室基金资助项目 2022-06-02 2022-08-03 2023-02-10 2023-02-15 光学精密工程 3 31