Lightweight small object detection network with attention mechanism

引入注意力机制的轻量级小目标检测网络 Lightweight small object detection network with attention mechanism corresp first-author E-mail： weizhu@zjut.edu.cn E-mail： weizhu@zjut.edu.cn 朱　威（1982-），男，浙江丽水人，博士，副教授，2004年、2010年于浙江大学分别获得学士、博士学位，主要从事模式识别与智能系统研究，E-mail： weizhu@zjut.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050353&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050334&type= 22.01333237 32.00399780 朱　威 （1982-），男，浙江丽水人，博士，副教授，2004年、2010年于浙江大学分别获得学士、博士学位，主要从事模式识别与智能系统研究，E-mail： weizhu@zjut.edu.cn weizhu@zjut.edu.cn 浙江工业大学 信息工程学院，浙江 杭州 310023 浙江工业大学 信息工程学院，浙江 杭州 310023 College of Information Engineering， Zhejiang University of Technology， Hangzhou 310023， China College of Information Engineering， Zhejiang University of Technology， Hangzhou 310023， China 为了提高在如无人机航拍图像等背景复杂情况下的小目标检测能力，本文在YOLOv4网络的基础上，提出了一种引入注意力机制的轻量级小目标检测网络。首先，在通道注意力机制中加入多尺度融合模块并构造多方法特征提取器，再将所设计的通道注意力模块嵌入到YOLOv4特征提取网络，增强网络对于图像感兴趣区域的关注能力；接着，改进YOLOv4网络结构，增加浅层特征层与深层特征信息融合机制，以获取丰富的分辨率信息；最后，采用通道剪枝和知识蒸馏策略对改进后的网络进行模型优化，在微小精度损失的前提下大幅度减少了模型参数数量。实验结果表明，在无人机航拍数据中，本文提出的轻量级小目标检测网络较原网络的模型大小减少93.6%，推理速度提高52.6%，mAP提升了2.9%；在布匹疵点数据集中，模型大小减少92.1%，推理速度提高49.5%，mAP提升了2.2%，有效改善了复杂背景下的小目标检测效果，同时实现了网络的轻量化。 In order to improve the detection ability of small objects in complex backgrounds， such as drone aerial images， this paper proposes a lightweight small object detection network that introduces an attention mechanism based on the YOLOv4 network. First， a multi-scale fusion module is added to the channel attention mechanism and construct a multi-method feature extractor， and then embed the designed channel attention module into the YOLOv4 feature extraction network to enhance the network's ability to focus on the region of interest in the image； then improve YOLOv4 network structure， increase the fusion of shallow feature layer and deep feature information to obtain rich resolution information； finally adopt channel pruning and knowledge distillation strategy to optimize the model of the improved network， and greatly reduce it under the premise of small accuracy loss the number of model parameters. The experimental results show that in the drone aerial photography data， the lightweight small object detection network proposed in this paper reduces the model size of the original network by 93.6%， the reasoning speed increases by 52.6%， and the mAP increases by 2.9%； in the cloth defect dataset， the model size is reduced by 92.1%， the reasoning speed is increased by 49.5%， and the mAP is increased by 2.2%， effectively improveing the detection of small objects in complex backgrounds and realizeing a lightweight network. 目标检测 YOLOv4网络 注意力机制 特征融合 网络压缩 object detection YOLOv4 network attention mechanism feature fusion network compression 1 引　言 1 近年来，随着互联网数据和物联网数据的爆发式增长以及计算机算力的大幅提高，基于深度学习的计算机视觉技术在目标检测领域 ［ 1 1 ］ 获得了重大进展。其中快速实时的小目标检测是目标检测领域重要研究内容，在无人机航拍目标识别、遥感影像目标识别、农业病虫害识别等场景中都有着重要的应用 ［ 2 2 ］ 。因此提高小目标检测的精度和检测速度具有重要的理论意义和良好的工程应用价值。 在目标检测任务中，国际光学工程学会（SPIE）定义小目标为像素面积占整个图像0.12%以下目标物体 ［ 3 3 ］ ，微软COCO数据集定义小目标为像素面积小于32×32的目标物体 ［ 4 4 ］ 。与图像中的大目标相比，尤其是在低分辨率、背景复杂的场景下，小目标往往只含有少量的语义特征，这给小目标检测带来了一定的困难 ［ 5 5 ］ 。目前已有不少工作致力于改善小目标检测的精度和速度。Chen等 ［ 6 6 ］ 提出了一种改进的R-CNN的小目标检测模型，通过上下文模型和区域提议生成器增强了R-CNN算法，以提高小目标检测性能。Li等 ［ 7 7 ］ 针对小目标分辨率低和噪声大的问题，提出了用于小目标检测的感知生成对抗网络，通过生成小目标的超分辨率图像，缩小与大目标之间的表示差异来改善小目标检测。Zhou等 ［ 8 8 ］ 提出了一种可缩放尺度的目标检测网络，通过在网络中嵌入超分辨率层，以明确探索尺度间关系，实现跨多个检测尺度的一致性，较好地检测了图像中的多尺度对象。谷雨等 ［ 9 9 ］ 为了改善红外图像弱小目标检测的效果，提出了基于改进多尺度分形特征的检测算法，同时进行了图像增强和感兴趣区域自适应阈值分割，可以较好地检测到具有较高局部对比度的红外图像小目标。 尽管上述工作在一定程度上改善了小目标检测的效果，但仍然存在引入了较多的计算量、易受复杂背景干扰、网络结构复杂影响实时性等问题。为了改善小目标的检测精度以及抑制背景信息的干扰，同时实现网络的轻量化，本文在一阶段检测网络YOLOv4的基础上，提出了一种引入注意力机制的轻量级小目标检测网络。本文网络设计的注意力机制模块，可以使网络更好地关注图像中的感兴趣区域，增强网络在复杂背景下的小目标检测性能；同时改进了模型预测结构，融合更浅层的特征；并结合通道剪枝和知识蒸馏对模型进行压缩，以获得轻量级的小目标检测模型。 2 相关原理 1 2.1　YOLOv4网络 2 YOLOv4目标检测网络 ［ 10 10 ］ 是在原有的YOLO目标检测框架上融合近年来计算机视觉方向上最新的技术，在数据输入增强、网络骨干架构、激活函数、损失函数等方面都做了相关的改进，这些改进并没有为网络增加太多的计算量，从而达到了速度与精度的平衡。 YOLOv4网络在YOLOv3的Darknet53特征提取网络的基础上通过引入CSP ［ 11 11 ］ 模块构建CSPDarknet53主干网络。Darknet53借鉴了ResNet ［ 12 12 ］ 残差连接的思想，在确保网络深度的同时，有效地避免了梯度消失的问题。CSPDarknet53中引入的5个CSP模块，包含了多个残差结构，可以解决因网络优化时梯度信息重复造成的计算量冗余，在减少计算量的同时不会造成特征信息的损失。 YOLOv4网络除了采用YOLOv3的FPN ［ 13 13 ］ 结构之外，还引入了PAN ［ 14 14 ］ 结构进行特征融合。在FPN结构中，存在底层特征和顶层特征信息距离过远的问题。PAN结构通过融合不同深度的特征信息，仅使用少量运算，就可以使底层特征信息与顶层特征信息获得良好地融合。融合不同尺度的特征信息对于目标检测来说十分必要，YOLOv4网络通过在原有FPN的基础上增加PAN结构来优化特征提取，使得不同尺寸的特征都具有更深层次的表达力。 此外，YOLOv4网络还对回归损失函数进行了改进，使用了CIOU_Loss ［ 15 15 ］ 。CIOU_Loss继承了DIOU_Loss ［ 15 15 ］ 将中心点距离信息和重叠面积考虑到损失计算的优点，还将边界框的长宽比考虑到计算中，提升了网络在进行边界框回归时的精度，加快网络的收敛。 2.2　注意力机制 2 注意力机制最早出现在文本信息处理领域，目的是解决文本中长句子难以准确地序列编码到固定长度的问题。文本注意力机制通过为单词添加权重信息，保留决定整个句子语境的重要单词 ［ 16 16 ］ 。在计算机视觉领域，通过添加注意力机制可以对图像或特征图的不同部分进行不同程度地加权操作，使神经网络对特征图不同区域关注程度不同，从而使网络更好地聚焦在感兴趣区域。 在图像识别领域引入注意力机制时，设输入特征序列为 <math id="M1"><mi>C</mi><mo>=</mo><mo stretchy="false">[</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋯</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050361&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050358&type= 28.44799995 4.48733330 ，其中 <math id="M2"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050378&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050365&type= 1.86266661 2.79399991 为输入特征图中特征向量的个数。则第 i 个输入特征向量的注意力分布权重 ρ i 为： <math display="block" id="M3"><msub><mrow><mi>ρ</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi>P</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><mi>C</mi><mo>,</mo><mi>q</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>q</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mi>q</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mi>q</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><mo>⋯</mo><mo>+</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>,</mo><mi>q</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow></mfrac><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>q</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>,</mo><mi>q</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050387&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050385&type= 146.05000305 14.39333248 ， 其中， f （ C，q ）为注意力打分函数，常见的函数形式有加性模型、双线性模型和点积模型等。 接着根据计算出来的注意力分布，计算输入信息的加权平均尺度信息，以生成带有注意力权重的特征序列。方法如下式： <math display="block" id="M4"><mtable columnalign="left"><mtr><mtd><mi>S</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>e</mi><mo stretchy="false">(</mo><mi>ρ</mi><mo>,</mo><mi>C</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>ρ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><msub><mrow><mi>ρ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>+</mo><mo>⋯</mo><mo>+</mo><msub><mrow><mi>ρ</mi></mrow><mrow><mi>n</mi></mrow></msub><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>=</mo></mtd></mtr><mtr><mtd><mo> </mo><mo> </mo><mo> </mo><mo> </mo><mo stretchy="false">[</mo><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋯</mo><mo>,</mo><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">]</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050405&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050402&type= 63.50000000 10.58333302 其中，output为图像序列经过注意力加权后的结果。 通过在目标检测网络中引入注意力机制可以更加充分地利用有限的图像特征信息，使网络学习图像中的感兴趣区域，提升网络在复杂背景条件下的抗干扰能力，并融合特征图使其具有全局感受野，有助于提高特征图的表达能力 ［ 17 17 ］ 。 3 本文提出的轻量级小目标检测网络 1 3.1　多尺度融合的注意力机制的改进 2 SENet是由Hu等 ［ 18 18 ］ 提出的用于计算机视觉领域的注意力机制网络。它是一种轻量型插件模块，可以方便地对网络进行改进。注意力机制可以通过学习全局信息来选择和强调感兴趣的特征通道，并抑制对检测没有帮助的特征通道。 本文在SENet基础上进行设计，通过构建多尺度融合特征与多方法特征提取器，生成了多尺度融合注意力模块（Multi-scale SENet，MSENet），以增强小目标检测网络中的特征表达能力和复杂背景下抗干扰能力。 首先通过不同尺寸的卷积核集成多种尺度的特征图并基于新构建的特征图进行下一步的特征抽取处理。在卷积层内设置多尺度特征融合，使输出的特征图结合了分辨率信息和语义信息，为后续的特征抽取器提供了更加丰富的特征。对于采用大尺寸卷积核带来的参数量暴增降低网络实时性的缺点，采用2层3×3的卷积核替代5×5的卷积核，3层3×3的卷积核替代7×7的卷积核 ［ 19 19 ］ 。采用小尺寸卷积核组合可以带来与大尺寸卷积核相同的感受野，同时还增加了网络深度，提高了神经网络特征的提取效果。 接着改进SENet的挤压操作，获得自适应的通道特征信息。由于SENet在设计时，只通过全局平均池化操作来构造特征提取器获得全局特征。对于特征信息偏少的小目标来说，仅仅侧重于全局特征可能会造成特征信息的丢失，而全局最大池化操作则更注重于局部特征。因此本文同时引入了两种池化方法进行特征提取，可以更好的获取小尺寸目标的局部特征信息，增强注意力机制在复杂背景下的特征提取能力。 最后，将两种池化方式生成的自适应通道特征信息相加后进行激活处理，生成注意力权重信息，再与输入特征图进行特征加权后得到通道注意力图。在第一次全连接降维后的激活操作上，使用了 Mish ［ 20 20 ］ 激活函数替代 ReLU 激活函数，避免了使用 ReLU 激活函数稀疏掉过多的有效特征，有助于模块获得更多的非线性关系。 对于输入特征 <math id="M5"><mi>X</mi><mo>∈</mo><msup><mrow><mi mathvariant="normal">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050394&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050390&type= 19.30400085 3.38666677 ， C 为输入通道数， H 为输入高度， W 为输入宽度。则对于输入特征进行不同尺寸卷积提取特征的操作为： <math display="block" id="M6"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><msub><mrow><mi>V</mi></mrow><mrow><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></mrow></msub><mi>X</mi><mo>+</mo><msub><mrow><mi>V</mi></mrow><mrow><mn mathvariant="normal">5</mn><mo>×</mo><mn mathvariant="normal">5</mn></mrow></msub><mi>X</mi><mo>+</mo><msub><mrow><mi>V</mi></mrow><mrow><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn></mrow></msub><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050418&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050428&type= 50.54600143 3.80999994 ， 其中： <math id="M7"><mi>V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050423&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050420&type= 3.04800010 2.87866688 代表使用不同尺寸的卷积核对输入特征进行的卷积操作， <math id="M8"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050444&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050425&type= 3.64066648 3.72533321 为经过不同尺寸卷积核卷积后的输出特征。 然后，分别进行两种池化操作以获得更好的通道特征信息，输入为上一步中原始的多尺度特征。 <math display="block" id="M9"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi><mo>×</mo><mi>W</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>W</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></mrow></mrow><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050462&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050458&type= 44.87333298 9.05933285 ， <math display="block" id="M10"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mfenced separators="|"><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>H</mi><mo>;</mo><mi>j</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>⋯</mo><mo>,</mo><mi>W</mi></mrow></mfenced></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050452&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050447&type= 50.79999924 10.49866676 ， 其中： <math id="M11"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050476&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050471&type= 5.58799982 3.72533321 为全局平均池化操作， <math id="M12"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050484&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050457&type= 6.18066692 3.72533321 为全局最大池化操作。 通道注意力向量由以下公式产生， <math id="M13"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050513&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050508&type= 3.64066648 3.72533321 是对全局平均池化分支进行特征抽取， <math id="M14"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050520&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050517&type= 4.31799984 3.72533321 是对全局最大池化分支进行特征抽取。在完成特征抽取的同时将它们转化到非线性空间，以完成激活操作。 <math display="block" id="M15"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><mi>F</mi><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><mi>M</mi><mi>i</mi><mi>s</mi><mi>h</mi><mo stretchy="false">(</mo><mi>F</mi><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050526&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050499&type= 46.05867004 4.48733330 ， <math display="block" id="M16"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">m</mi></mrow></msub><mo>=</mo><mi>F</mi><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><mi>M</mi><mi>i</mi><mi>s</mi><mi>h</mi><mo stretchy="false">(</mo><mi mathvariant="normal">F</mi><msub><mrow><mi mathvariant="normal">C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050530&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050535&type= 47.07466888 4.48733330 ， <math display="block" id="M17"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>=</mo><mi>S</mi><mi>i</mi><mi>g</mi><mi>m</mi><mi>o</mi><mi>i</mi><mi>d</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">a</mi></mrow></msub><mo>+</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">m</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050542&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050548&type= 38.18466568 4.82600021 ， 其中：输入为上一步中的多尺度融合特征， Sigmoid 为归一化函数， FC 为全连接函数， Mish 为非线性激活函数。 接下来将计算得到的注意力权重加权到第一步中生成的特征图作为最后的通道注意力特征图。 <math display="block" id="M18"><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">w</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>=</mo><mi>S</mi><mi>c</mi><mi>a</mi><mi>l</mi><mi>e</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>,</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050546&type= 34.03599930 4.48733330 . 最终，改进后的MSENet注意力模块如 图1 图1 ，其中“+”代表特征进行相加操作，“×”代表特征进行加权操作。 3.2　整体网络结构改进 2 对于目标检测而言，深层特征具有更强的语义信息，而浅层特征具有较完整的特征信息，更利于小目标的检测。因此本文将608×608分辨率下进行预测的19×19、38×38、76×76三个YOLO层的特征图尺寸修改为38×38、76×76、152×152。具体做法是删除最后一个19×19的YOLO层，小目标在该层几乎失去了所有的特征信息。同时通过FPN和PAN结构对76×76的YOLO层进行特征融合和上采样，并与CSPDarknet53主干网络中152×152的特征图连接，从而获得更高分辨率的特征图。采用FPN和PAN结构融合生成的152×152特征层不仅具有深层次的定位信息，还具有浅层特征层中丰富的特征信息。 增加的152×152浅层特征层包含来自网络浅层的目标信息特征，同时也可能为网络引入背景噪声的影响。本文将改进的多尺度融合特征注意力机制与YOLOv4主干网络中的CSP模块进行融合，生成了带有注意力信息的MSENet-CSPUnit模块，并采用此模块组成CSPDarknet53主干网络，增强主干网络对复杂背景下的特征筛选能力，抑制不必要的浅层特征信息。最终改进后的YOLOv4-MSENet整体网络结构如 图2 图2 所示。 3.3　结合知识蒸馏的通道剪枝 2 为了解决网络本身参数存在的冗余，以及引入注意力机制而造成的计算量增加的问题，本文对于小目标检测模型进行进一步模型压缩，同时使用知识蒸馏策略来微调恢复模型精度。常用的模型加速方法有模型量化、剪枝、权值共享、网络分解等 ［ 21 21 ］ 。针对本文对于模型精确度的需求，决定采用通道剪枝来实现模型加速。 YOLOv4的卷积层后都引入了批量归一化层，因此本文选用批量归一化层的参数 γ 作为尺度缩放因子，判断通道对于模型的贡献程度，进行通道的稀疏化操作 ［ 22 22 ］ 。选用网络本身的参数 γ 可以避免给网络引入新的参数，额外增加网络的复杂度。稀疏化操作要进行长时间的迭代训练，目的是将参数 γ 压缩到0附近。稀疏化训练结束后，对参数 γ 进行排序，根据预设的剪枝阈值对排序好的尺度缩放因子所在的卷积层进行标记，根据标记信息删除待剪枝通道的输入、输出参数，生成剪枝完成的模型文件以及新的模型结构配置文件。最后利用修剪后的模型文件进行微调训练，修改网络超参数，以恢复剪枝带来的精度损失。其中，对于通道稀疏化操作，其目标函数定义为： <math display="block" id="M19"><mi>L</mi><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></munder><mrow><mi>l</mi><mo stretchy="false">(</mo><mi>f</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>W</mi><mo stretchy="false">)</mo><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></mrow><mo>+</mo><mi>λ</mi><munder><mo movablelimits="false">∑</mo><mrow><mi>γ</mi><mo>∈</mo><mi>Γ</mi></mrow></munder><mrow><mi>g</mi><mo stretchy="false">(</mo><mi>γ</mi><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050586&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050584&type= 55.54133606 7.28133297 ， 其中： x ， y 分别为输入和目标值， W 为训练权重， λ 为惩罚因子， g （·）为惩罚项。 对于CSPDarkent53主干网络中包含的ResNet的残差结构，本文根据通道贡献程度对其进行评估，也进行了修剪。由于上采样层不包含批量归一化层，因此这部分不包含在需要剪枝的层中。 剪枝结束后，使用知识蒸馏策略对模型精度进行恢复训练。使用未进行剪枝前的YOLOv4-MSENet模型作为教师网络，剪枝后的网络作为学生网络，进行分类任务和回归任务的学习。其中回归任务对于目标检测任务尤为重要，而教师网络的回归结果是无界的，其输出可能会误导学生网络。因此本文借鉴了Chen等 ［ 23 23 ］ 的思想，将其应用在YOLOv4知识蒸馏中。在知识蒸馏训练时，剪枝后的YOLOv4-MSENet网络作为学生网络，在计算回归损失时不会直接向教师网络学习，而是通过同时计算教师网络、学生网络和真实标签值的L2距离，只有在学生网络与真实标签值的L2距离和教师网络与真实标签值的L2距离的偏差超过了一定范围 M 时，才会在损失计算中加入L2损失，否则就不在损失函数中引入惩罚，也就是说当学生网络的输出结果优于教师网络时，则本次计算不考虑L2损失。这在一定程度上避免了教师网络偏离真值而影响到学生网络。 4 实验及结果分析 1 4.1　数据集选取及训练策略 2 为了更好地评估本文网络的小目标检测性能和鲁棒性，实验采用了无人机小目标数据集VisDrone2019 ［ 24 24 ］ （以下简称为VisDrone2019数据集）和广东工业智造创新大赛天池M布匹疵点数据集（以下简称为布匹疵点数据集）。VisDrone2019数据集中包含有大量的小目标对象和密集对象，光照变化和目标对象遮挡也是这个数据集的难点。同时由于无人机图像是垂直拍摄的缘故，待检测对象包含的特征也相对较少。为了使数据集中疵点目标符合小目标的定义，本文对布匹疵点数据集的疵点图片进行了筛选，只选取了符合小目标定义的图片。对VisDrone2019数据集的7 019张带标签图片按7∶2∶1进行随机划分，训练集共4 913张图片，验证集共1 406张图片，测试集共700张图片；对布匹疵点数据集2 165张带标签数据集进行随机划分，训练集共1 516张图片，验证集共433张图片，测试集共216张图片。 由于YOLOv4在候选区域中心使用不同尺寸的锚框进行预测框的生成，因此合适的锚框可以帮助网络更好地拟合数据集中的物体。所以本文利用K-means++算法分别对上述两个小目标数据集进行锚框的重新聚类，以得到更适合、更具有代表性的锚框，提高网络的收敛速度。 综合考虑小目标检测对于图像高分辨率的需求同时兼顾网络的实时性，本文在训练和测试时，使用608×608分辨率的图像作为网络的输入，图片缩放时使用letterbox策略，保持图片长宽比例不变，用灰色填充多余部分，避免因为暴力缩放而造成目标失真。同时对数据集采用在线数据增强方式 ［ 25 25 ］ 提高模型的鲁棒性，避免模型过拟合，其中包括亮度、饱和度和对比度的调整来减少模型对于图像色彩的关注度以及随机缩放和旋转等。 在训练阶段，本文采用了安装有pytorch1.6的ubuntu18.04操作系统，系统内存为32 G，显卡为11 G显存的2080Ti。在优化器的选择上，本文针对SGD优化器易陷入局部次优解及鞍点的缺点，使用了性能更好的Adam优化器 ［ 26 26 ］ 来对网络权重进行更新。在训练的初始阶段，设置学习率为0.001， β 1 =0.9， β 2 =0.999，批量大小设为4。在300个迭代过程中，逐步将学习率衰减至0.000 01，有利于将网络收敛到更好的性能。如 图3 图3 所示，在经过300个epoch训练后，改进后的YOLOv4-MSENet网络已经接近收敛。 为了验证模型性能，实验采用均值平均精度（mAP）、帧率以及模型大小作为评价指标，帧率是指网络每秒可处理图像数量，mAP具体计算如 式（11） 式（11） 所示： <math display="block" id="M20"><mi>m</mi><mi>A</mi><mi>P</mi><mo>=</mo><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>c</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>C</mi></mrow></munderover></mstyle><mrow><mi>A</mi><mi>P</mi><mo stretchy="false">(</mo><mi>c</mi><mo stretchy="false">)</mo></mrow></mrow><mrow><mi>C</mi></mrow></mfrac><mo>×</mo><mn mathvariant="normal">100</mn><mi mathvariant="normal">%</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050615&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27050604&type= 43.09533310 12.78466606 ， 其中： AP 值为某类别下 P - R 曲线下方的面积， P 为精确率（Precision）， R 为召回率（Recall）。 4.2　本文网络模型的性能 2 4 . 2 . 1　注意力模块性能对比 3 为了测试本文设计的注意力机制模块的性能，实验分别将常用的注意力机制模块CBAM ［ 27 27 ］ 、SENet以及本文设计的MSENet插入到YOLOv4网络中，与标准的YOLOv4-Baseline进行对比。 表1 表1 和有2中为四种网络在两数据集中的性能对比，其中测试集中能够检出的最小目标尺度，对应的是该目标在原始图片尺寸上的像素个数。从表中结果可以看出，对于两个小目标数据集，使用注意力模块CBAM、SENet、MSENet构建的注意力机制网络较YOLOv4-Baseline网络均可以提高小目标检测能力，mAP也有明显的提升，并且本文设计的多尺度融合的注意力模块构建的YOLOv4-MSENet相较于其它注意力机制构建的网络表现出了更好的性能。这得益于MSENet通道注意力模块为特征图带来了更好的全局感受野，将网络更好地聚焦在感兴趣区域，同时抑制了无关的浅层特征信息的影响。此外布匹疵点数据集实验中，检出最小目标尺度要稍大于VisDrone2019数据集，这是因为布匹疵点数据集中原始图片尺寸较大，缩放至网络输入尺寸导致信息损失。实际部署中，对于这个问题可以通过将原始图片分割后，依次输入至网络，改善因为图片过度缩放造成的信息损失。 模型 模型大小/MB 检出最小目标尺度 mAP 帧率/FPS YOLOv4-Baseline 246 12×11 38.8% 57.5 YOLOv4-CBAM 249 9×14 40.4% 53.3 YOLOv4-SENet 253 10×13 39.6% 54.2 YOLOv4-MSENet （ ours ） 258 8×10 41.9% 50.2 模型 模型大小/MB 检出最小目标尺度 mAP 帧率/FPS YOLOv4-Baseline 246 17×26 27.9% 58 YOLOv4-CBAM 249 16×23 29.1% 53.7 YOLOv4-SENet 253 18×22 28.8% 54.5 YOLOv4-MSENet （ ours ） 258 16×21 30.5% 51 4 . 2 . 2　不同网络性能对比 3 为了进一步对比本文整体网络与其它网络的性能，实验分别对SSD512、Faster-RCNN、RetinaNet、YOLOv4-Baseline、YOLOv4-MSENet网络进行了测试。 表3 表3 和 表4 表4 中分别给出了几种网络在两数据集中性能，其中能够检出的最小目标尺度，对应的是该目标在原始图片尺寸上的像素个数。从表中可以看出，SSD512网络和RetinaNet网络对于小目标数据集效果较差；Faster-RCNN效果稍好一点，但模型结构复杂，帧率较低；YOLOv4-Baseline的效果相对于上述除YOLOv4-MSENet外网络有所提高，而改进后的YOLOv4-MSENet对于两个小目标数据集在检出最小目标尺度和mAP两个指标上都有更好提升。一方面，本文设计的注意力机制为网络提供了更好的特征；另一方面，本文针对小目标检测而增加一层基于浅层融合特征的YOLOv4预测层，来自骨干网络的高分辨率特征层与经过FPN和PAN结构的深层特征层进行融合，为网络带来了丰富的分辨率信息。实验结果表明本文提出的网络在小目标数据集上具有一定的检测优势。 模型 模型大小/MB 检出最小目标尺度 mAP 帧率/FPS SSD512（VGG-16） 197 12×18 26.4% 37 Faster-RCNN（ResNet-50） 316 13×15 29.7% 23 RetinaNet（ResNet-50） 140 14×17 22.6% 31 YOLOv4-Baseline 246 12×11 38.8% 57.5 YOLOv4-MSENet （ ours ） 258 8×10 41.9% 50.2 模型 模型大小/MB 检出最小目标尺度 mAP 帧率/FPS SSD512（VGG-16） 208 20×27 20.1% 34 Faster-RCNN（ResNet-50） 317 19×26 21.5% 22 RetinaNet（ResNet-50） 143 21×29 19.2% 30 YOLOv4-Baseline 245 17×26 27.9% 58 YOLOv4-MSENet （ ours ） 258 16×21 30.5% 51 但从 表3 表3 和 表4 表4 可以看出，相比于YOLOv4-Baseline网络，由于引入了注意力模块，使本文提出的网络模型大小略有增大，参数数量的增加使得帧率也略有下降，这对于模型的实时性是不利的。因此为了解决计算量增加问题以及参数冗余的问题，本文进行了通道剪枝实验。 4 . 2 . 3　通道剪枝性能对比 3 本节实验对YOLOv4-MSENet进行通道剪枝实验，首先对已经完成基础训练的模型进行300个epoch的稀疏化训练，借助尺度因子对通道重要性进行排序，之后按照预设裁剪阈值进行裁剪，生成新的模型文件和网络配置文件。随后对剪枝效果进行检测，若模型精度下降严重，说明敏感层的参数被删除掉，导致精度不可逆的损失，则减小裁剪阈值，对网络进行重新裁剪。最后对使用合适阈值裁剪过后的网络进行知识蒸馏，以恢复模型精度。通过采用较小的学习率，经过100个epoch的微调训练后，网络精度基本达到了理想的效果。 经过剪枝后部分卷积层通道数如 图4 图4 所示，其中蓝色柱为原网络中该层通道数，深色柱为经过剪枝后该层的通道数。通过对比可以明显看出较原通道数，通道剪枝对于减少通道参数数量效果显著。 本文对YOLOv4-MSENet分别进行了0.85、0.80、0.75、0.70、0.65五种力度的剪枝实验，数值越大代表剪枝力度越大。 表5 表5 和 表6 表6 分别为YOLOv4-MSENet模型在两个数据集经过剪枝后的模型大小、mAP以及帧率的结果。 模型 模型大小/MB mAP 帧率/FPS YOLOv4-MSENet-prune-0.85 8.5 39.3% 118 YOLOv4-MSENet-prune-0.80 13.2 41.1% 112 YOLOv4-MSENet-prune-0.75 16.3 41.7% 106 YOLOv4-MSENet-prune-0.70 21.6 41.7% 98 YOLOv4-MSENet-prune-0.65 26.8 41.7% 93 模型 模型大小/MB mAP 帧率/FPS YOLOv4-MSENet-prune-0.85 11.2 28.3% 113 YOLOv4-MSENet-prune-0.80 17.6 29.6% 108 YOLOv4-MSENet-prune-0.75 20.3 30.1% 101 YOLOv4-MSENet-prune-0.70 32.5 30.1% 93 YOLOv4-MSENet-prune-0.65 41.2 30.2% 89 从表中可以看出，使用通道剪枝对于网络加速是比较明显的，无论是模型大小还是推理时间都较未剪枝前的网络有所降低。从几组不同力度的剪枝结果来看，剪枝并不能只追求高的参数压缩率，而要在精度和压缩率之间寻找最佳平衡。在0.75参数下，相对于0.80和0.85，模型具有更高的精度，相对于0.70和0.65，模型精度略低但具有更快的推理速度，综合考虑，最终选用的剪枝力度为0.75。在此剪枝力度下，网络的精度损失较小，且模型参数得到了较好的压缩。 从检测精度来看，最好的剪枝结果的精度较未剪枝前还是略有所下降。这可能是因为本文所采用的两个数据集中都包含有大量极限小目标对象，在剪枝过程中，尺度因子较小的通道被移除，因此可能对精度略有影响。但综合剪枝后模型大小、推理时间以及模型精度来说，模型压缩对网络带来的速度提升和参数压缩效果还是可观的。 4 . 2 . 4　嵌入式计算平台的部署性能结果 3 为了验证本文网络能否满足嵌入式部署要求，本小节实验在嵌入式GPU平台NVIDIA Jetson AGX Xavier上对剪枝后的YOLOv4-MSENet-prune-0.75网络进行了移植部署。实验使用608×608、512×512、416×416三种输入分辨率，分别在原始的FP32精度、FP16精度和INT8精度下进行FPS测试。 从 表7 表7 中可以看出，网络推理帧率与网络输入分辨率以及模型低比特量化精度密切相关。在608×608分辨率下，使用FP32精度的帧率可以达到16 FPS，使用FP16精度的帧率可以达到31 FPS，使用INT8精度的帧率可以达到38 FPS，这已经可以满足在大多数情况下的应用。在实际嵌入式端部署时，可以根据推理速度与精度的需求，选择适合的网络输入分辨率和模型量化精度。 网络输入分辨率 FP32 FP16 INT8 608×608 16 31 38 512×512 23 41 49 416×416 26 50 61 FPS 4 . 2 . 5　综合结果分析对比 3 为了综合对比注意力模块以及通道剪枝对于网络的贡献，本小节实验分别使用划分的测试集对标准的YOLOv4-Baseline、改进的YOLOv4-MSENet以及改进并进行模型压缩后的YOLOv4-MSENet-prune-0.75在同一个置信度阈值下进行测试。 表8 表8 和 表9 表9 分别给出了所用训练集中各样本在模型中的检测情况。 模型\类别 All pedestrian people bicycle car van truck tricycle awning bus motor YOLOV4-Baseline 38.8% 36.2% 16.7% 15.9% 69.7% 49.6% 51.7% 26.6% 25.3% 61.6% 34.4% YOLOV4-MSENet 41.9% 42.4% 20.5% 19.4% 74.1% 53.1% 54.8% 28.5% 24.4% 62.9% 38.8% YOLOV4-MSENet-prune-0.75 41.7% 42.3% 20.3% 19.2% 74.1% 53.1% 54.7% 28.4% 24.3% 62.8% 38.7% 模型 All 1 2 3 4 5 6 7 8 9 10 11 12 YOLOV4-Baseline 27.9% 21.9% 38.3% 34.1% 30.4% 23.1% 20.5% 27.2% 17.9% 44.5% 23.5% 29.6% 23.8% YOLOV4-MSENet 30.5% 25.3% 40.6% 36.1% 33.2% 25.8% 23.4% 29.7% 20.6% 46.6% 26.6% 31.8% 26.3% YOLOV4-MSENet-prune-0.75 30.1% 24.8% 40.2% 35.7% 32.5% 25.3% 23.1% 29.4% 20.2% 46.1% 26.3% 31.5% 26.1% 从 表8 表8 中可以看出，对于未改进前的YOLOv4网络，people这一类的mAP仅能达到16.7%，这是因为VisDrone2019数据集中存在极限尺寸的小目标对象，且背景、视角、飞行高度、目标比例都会发生变化。而本文改进后的YOLOv4-MSENet-prune-0.75网络将people类精度提高了3.6%。而对于car、van、bus等尺寸较大的类别也提升明显。在 表9 表9 中可以看出本文改进的网络对于布匹疵点数据集也有较好的检测效果。 图5 图5 为网络改进前后在VisDrone2019数据集检测结果对比图。在 图5 图5 中大多数待检测的目标物体属于小目标（目标像素值占整个图像0.12%以下或者像素值小于32×32的目标）。 图5 图5 （a）中，是people类的小目标，可以看到目标对象特征较少，YOLOv4-MSENet-prune-0.75可以较好地改善漏检现象。 图5 图5 （b）和（c）为两组背景较复杂的城市道路环境，在 图5 图5 （b）检测车辆的效果和 图5 图5 （c）中检测道路中的行人的效果可以看出，相对于原网络，本文提出的网络可以在复杂背景下实现更好的小目标检测效果。 图6 图6 为布匹疵点数据集，将目标疵点标签编号分设为1~12，共12类疵点。原网络在三张图片中均存在对布匹小疵点目标漏检的现象，而在改进后的网络中，漏检的情况得以改善。 实验结果表明，相比YOLOv4网络，本文提出的网络对于小目标数据集具有较好的适应性，这主要是由于本文通过改进注意力机制、增加浅层预测层等方法，有助于网络更好地利用已有的特征信息，使网络在同一置信度阈值下更准确的检测小目标物体，改善漏检错检的情况，实现较好轻量化的小目标检测。 5 结　论 1 本文提出了一种引入注意力机制的轻量级小目标检测网络。该网络在YOLOv4的基础上，将所设计的多尺度融合注意力模块嵌入到骨干网络中的CSP模块中，使得特征图获得了全局感受野，增强了特征提取能力；改进了原网络的预测结构，增加更浅层特征层进行预测，以获得更丰富的分辨率信息；在训练过程中，采用了数据预处理、锚框重新聚类等方法帮助模型更好收敛；另外通过通道剪枝和知识蒸馏，去除了网络中的冗余参数，有效地降低了模型的参数量，不仅降低了模型文件的存储压力，同时减少了推理时间，为模型的边缘设备计算部署提供了条件。实验结果表明，由于本文同时引入注意力机制与通道剪枝，相比于YOLOv4网络，在无人机航拍数据集的mAP性能提高了2.9%，模型大小降低了93.6%，帧率增加了52.6%；在布匹疵点数据集中mAP性能提高了2.2%，模型大小降低了92.1%，帧率增加了49.5%。在嵌入式GPU平台NVIDIA Jetson AGX Xavier上输入为608×608分辨率的情况下使用FP32精度模型可以达到16 FPS，使用FP16精度模型可以达到31 FPS，使用INT8精度模型可以达到38 FPS。 因本文未对图像进行分辨率增强处理，在极限小目标对象的检测效果上还有所不足。后续研究将尝试使用生成对抗网络来针对小目标检测生成高分辨率图像，继续增强小目标检测效果。在模型压缩方面将尝试对YOLOv4骨干网络中的残差连接层进行通道剪枝操作，并加入层剪枝等模型压缩方法，进一步优化剪枝力度和效果。 参考文献 范丽丽 ， 赵宏伟 ， 赵浩宇 ， 等 . 基于深度卷积神经网络的目标检测研究综述 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1152 - 1164 . 基于深度卷积神经网络的目标检测研究综述 FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese） Survey of target detection based on deep convolutional neural networks SINGH K K . An artificial intelligence and cloud based collaborative platform for plant disease identification， tracking and forecasting for farmers ［C］. 2018 IEEE International Conference on Cloud Computing in Emerging Markets . 2324，2018 ， Bangalore ， India . IEEE ， 2018 ： 49 - 56 . doi: 10.1109/ccem.2018.00016 http://dx.doi.org/10.1109/ccem.2018.00016 An artificial intelligence and cloud based collaborative platform for plant disease identification， tracking and forecasting for farmers ZHANG W ， CONG M Y ， WANG L P . Algorithms for optical weak small targets detection and tracking： review ［C］. International Conference on Neural Networks and Signal Processing ， 2003 . Proceedings of the 2003. 1417，2003 ， Nanjing， China. IEEE ， 2003： 643 - 647 . doi: 10.1109/icnnsp.2003.1279357 http://dx.doi.org/10.1109/icnnsp.2003.1279357 Algorithms for optical weak small targets detection and tracking： review LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft COCO： common objects in context ［C］. Computer Vision-ECCV 2014 ， 2014 ： arXiv： 1405.0312 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48 Microsoft COCO： common objects in context 赵尚男 ， 王灵杰 ， 张新 ， 等 . 采用视觉特征整合的红外弱小目标检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 2 ）： 497 - 506 . doi: 10.1109/cac51589.2020.9327527 http://dx.doi.org/10.1109/cac51589.2020.9327527 采用视觉特征整合的红外弱小目标检测 ZHAO S N ， WANG L J ， ZHANG X ， et al . Detection of infrared dim small target based on visual feature integration ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 497 - 506 . （in Chinese） . doi: 10.1109/cac51589.2020.9327527 http://dx.doi.org/10.1109/cac51589.2020.9327527 Detection of infrared dim small target based on visual feature integration CHEN C ， LIU M Y ， TUZEL O ， et al .. R-CNN for Small Object Detection ［C］. Proceedings of the Asian Conference on Computer Vision. Taipei， China ： Springer ， 2016 ： 214 - 230 . doi: 10.1007/978-3-319-54193-8_14 http://dx.doi.org/10.1007/978-3-319-54193-8_14 R-CNN for Small Object Detection LI J N ， LIANG X D ， WEI Y C ， et al . Perceptual generative adversarial networks for small object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 1951 - 1959 . doi: 10.1109/cvpr.2017.211 http://dx.doi.org/10.1109/cvpr.2017.211 Perceptual generative adversarial networks for small object detection ZHOU P ， NI B B ， GENG C ， et al . Scale-transferrable object detection ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 528 - 537 . doi: 10.1109/cvpr.2018.00062 http://dx.doi.org/10.1109/cvpr.2018.00062 Scale-transferrable object detection 谷雨 ， 刘俊 ， 沈宏海 ， 等 . 基于改进多尺度分形特征的红外图像弱小目标检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 6 ）： 1375 - 1386 . doi: 10.3788/ope.20202806.1375 http://dx.doi.org/10.3788/ope.20202806.1375 基于改进多尺度分形特征的红外图像弱小目标检测 GU Y ， LIU J ， SHEN H H ， et al . Infrared dim-small target detection based on an improved multiscale fractal feature ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1375 - 1386 . （in Chinese） . doi: 10.3788/ope.20202806.1375 http://dx.doi.org/10.3788/ope.20202806.1375 Infrared dim-small target detection based on an improved multiscale fractal feature BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［J］. axXiv preprint arXiv ： 2004.10934 . YOLOv4： optimal speed and accuracy of object detection WANG C Y ， MARK LIAO H Y ， WU Y H ， et al . CSPNet： a new backbone that can enhance learning capability of CNN ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1571 - 1580 . doi: 10.1109/cvprw50498.2020.00203 http://dx.doi.org/10.1109/cvprw50498.2020.00203 CSPNet： a new backbone that can enhance learning capability of CNN HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90 Deep residual learning for image recognition LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106 Feature pyramid networks for object detection WANG W H ， XIE E Z ， SONG X G ， et al . Efficient and accurate arbitrary-shaped text detection with pixel aggregation network ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea. IEEE ， 2019： 8439 - 8448 . doi: 10.1109/iccv.2019.00853 http://dx.doi.org/10.1109/iccv.2019.00853 Efficient and accurate arbitrary-shaped text detection with pixel aggregation network ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 . doi: 10.1609/aaai.v34i07.6999 http://dx.doi.org/10.1609/aaai.v34i07.6999 Distance-IoU loss： faster and better learning for bounding box regression LUONG T ， PHAM H ， MANNING C D . Effective approaches to attention-based neural machine translation ［C］. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon， Portugal . 2015 ： 1412 - 1421 . doi: 10.18653/v1/d15-1166 http://dx.doi.org/10.18653/v1/d15-1166 Effective approaches to attention-based neural machine translation 刘媛媛 ， 张硕 ， 于海业 ， 等 . 基于语义分割的复杂场景下的秸秆检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 1 ）： 200 - 211 . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200 基于语义分割的复杂场景下的秸秆检测 LIU Y Y ， ZHANG S ， YU H Y ， et al . Straw detection algorithm based on semantic segmentation in complex farm scenarios ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 200 - 211 . （in Chinese） . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200 Straw detection algorithm based on semantic segmentation in complex farm scenarios HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745 Squeeze-and-excitation networks SZEGEDY C ， VANHOUCKE V ， IOFFE S ， et al . Rethinking the inception architecture for computer vision ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 2818 - 2826 . doi: 10.1109/cvpr.2016.308 http://dx.doi.org/10.1109/cvpr.2016.308 Rethinking the inception architecture for computer vision MISRA D . Mish： a self regularized non-monotonic neural activation function ［EB/OL］. （ 2019-08-23 ）［ 2021-01-22 ］. http：//arxiv.org/abs/1908. 08681.pdf http://arxiv.org/abs/1908.08681.pdf . doi: 10.1142/9789812702685_0043 http://dx.doi.org/10.1142/9789812702685_0043 Mish： a self regularized non-monotonic neural activation function DENG L ， LI G Q ， HAN S ， et al . Model compression and hardware acceleration for neural networks： a comprehensive survey ［J］. Proceedings of the IEEE ， 2020 ， 108 （ 4 ）： 485 - 532 . doi: 10.1109/jproc.2020.2976475 http://dx.doi.org/10.1109/jproc.2020.2976475 Model compression and hardware acceleration for neural networks： a comprehensive survey LIU Z ， LI J G ， SHEN Z Q ， et al . Learning efficient convolutional networks through network slimming ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2755 - 2763 . doi: 10.1109/iccv.2017.298 http://dx.doi.org/10.1109/iccv.2017.298 Learning efficient convolutional networks through network slimming CHEN G ， CHOI W ， YU X ， et al .. Learning efficient object detection models with knowledge distillation ［C］. Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach， USA ： NIPS ， 2017 ： 742 - 75 . Learning efficient object detection models with knowledge distillation DU D W ， ZHU P F ， WEN L Y ， et al . VisDrone-DET2019： the vision meets drone object detection in image challenge results ［C］. 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. 2728，2019 ， Seoul， Korea. IEEE ， 2019 ： 213 - 226 . VisDrone-DET2019： the vision meets drone object detection in image challenge results CUBUK E D ， ZOPH B ， MANÉ D ， et al . AutoAugment： learning augmentation strategies from data ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 113 - 123 . doi: 10.1109/cvpr.2019.00020 http://dx.doi.org/10.1109/cvpr.2019.00020 AutoAugment： learning augmentation strategies from data KINGMA D P ， BA J . Adam： a method for stochastic optimization ［J］. Proceedings of the international conference for learning representations. San Diego ， USA： ICLR， 2015 ： 1 - 15 . Adam： a method for stochastic optimization WOO S ， PARK J ， LEE J Y ， et al .. Cbam： Convolutional block attention module ［C］. Proceedings of the European conference on computer vision. Munich， Germany ： IEEE ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1 Cbam： Convolutional block attention module 10.37188/OPE.20223008.0998 TP391.4 A 1004-924X（2022）08-0998-13 朱威,王立凯,靳作宝等.引入注意力机制的轻量级小目标检测网络[J].光学精密工程,2022,30(08):998-1010. 朱威,王立凯,靳作宝等.引入注意力机制的轻量级小目标检测网络[J].光学精密工程,2022,30(08):998-1010. ZHU Wei,WANG Likai,JIN Zuobao,et al.Lightweight small object detection network with attention mechanism[J].Optics and Precision Engineering,2022,30(08):998-1010. ZHU Wei,WANG Likai,JIN Zuobao,et al.Lightweight small object detection network with attention mechanism[J].Optics and Precision Engineering,2022,30(08):998-1010. 浙江省自然科学基金项目（No.LY21F010009）；国家自然科学基金项目（No.61773345）；汽车仿真与控制国家重点实验室开放基金项目（No.20171103） 2021-01-22 2021-03-07 2022-04-25 2022-04-26 光学精密工程 8 30