Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector

采用多尺度特征融合SSD的遥感图像小目标检测 Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector 1 2 first-author 陈　欣（1998-），女，福建南平人，博士研究生，2019于南京理工大学获得学士学位，主要从事深度学习及图像处理方面的研究。E-mail：chenxin@njust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006622&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006617&type= 22.01333237 32.00400925 陈　欣 （1998-），女，福建南平人，博士研究生，2019于南京理工大学获得学士学位，主要从事深度学习及图像处理方面的研究。E-mail： chenxin@njust.edu.cn chenxin@njust.edu.cn 1 2 corresp E-mail： minjiewan1992@njust.edu.cn E-mail： minjiewan1992@njust.edu.cn 万敏杰（1992-），男，江苏无锡人，博士， 2014年、2020年于南京理工大学分别获得学士、博士学位，目前为南京理工大学电子工程与光电技术学院博士后，主要从事图像处理、计算机视觉方面的研究。E-mail：minjiewan1992@njust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006628&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006635&type= 22.01332855 32.00400162 万敏杰 （1992-），男，江苏无锡人，博士， 2014年、2020年于南京理工大学分别获得学士、博士学位，目前为南京理工大学电子工程与光电技术学院博士后，主要从事图像处理、计算机视觉方面的研究。E-mail： minjiewan1992@njust.edu.cn minjiewan1992@njust.edu.cn 1 2 1 2 1 2 corresp gghnjust@mail.njust.edu.cn gghnjust@mail.njust.edu.cn 顾国华（1966-），男，江苏无锡人，博士，研究员，博士生导师，1989年、1996年、2001年于南京理工大学分别获得学士、硕士和博士学位，主要研究方向为光电成像理论与技术、图像识别处理及应用技术。E-mail：gghnjust@mail.njust.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006644&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006652&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006648&type= 22.01332474 32.00393677 顾国华 （1966-），男，江苏无锡人，博士，研究员，博士生导师，1989年、1996年、2001年于南京理工大学分别获得学士、硕士和博士学位，主要研究方向为光电成像理论与技术、图像识别处理及应用技术。E-mail： gghnjust@mail.njust.edu.cn gghnjust@mail.njust.edu.cn 南京理工大学 电子工程与光电技术学院，江苏 南京 210094 南京理工大学 电子工程与光电技术学院，江苏 南京 210094 School of Electronic and Optical Engineering， Nanjing University of Science and Technology， Nanjing 210094， China School of Electronic and Optical Engineering， Nanjing University of Science and Technology， Nanjing 210094， China 南京理工大学 江苏省光谱成像与智能感知重点实验室，江苏 南京 210094 南京理工大学 江苏省光谱成像与智能感知重点实验室，江苏 南京 210094 Jiangsu Key Laboratory of Spectral Imaging & Intelligent Sense， Nanjing University of Science and Technology， Nanjing 210094， China Jiangsu Key Laboratory of Spectral Imaging & Intelligent Sense， Nanjing University of Science and Technology， Nanjing 210094， China 针对复杂背景下遥感小目标的检测问题，提出了一种改进型多尺度特征融合SSD方法。设计了一种特征图融合机制，将分辨率高的浅层特征图与具有丰富语义信息的深层特征图进行融合，并在特征图间构建特征金字塔，对小目标特征进行增强。然后，引入通道注意力模块，通过构建权重参数空间，将注意力集中在关注目标区域的通道，以减小背景干扰。最后，对先验框相对于原图的比例进行了调整，使它能够更好地适应遥感小目标尺度。利用采集的遥感飞机图像数据集对方法性能进行定性和定量测试。结果表明：改进方法的检测精度相较SSD提高了4.3%，并能够适应复杂场景下的遥感多尺度目标检测任务，降低小目标的漏检率。 For the detection of small remote sensing targets with complex backgrounds， an improved multi-scale feature fusion-based single shot multi-box detector （SSD） method was proposed. First， a feature map fusion mechanism was designed to fuse the shallow high-resolution feature maps and deep feature maps with rich semantic information， after which feature pyramids were built between the feature maps to enhance small target features. Subsequently， the channel attention module was introduced to overcome the background interference by constructing a weight parameter space to provide more attention to the channels that focus on the target region. Finally， the scale between the priori box and the original map was adjusted to better fit the small remote sensing target scale. Qualitative and quantitative tests based on image datasets from a remote sensing aircraft were then performed， with the results showing that the proposed method improves the detection accuracy by 4.3% when compared with the SSD method and can adapt to complex multi-scale remote sensing target detection tasks without reducing the detection rate for small targets. 深度学习 小目标检测 复杂背景 特征融合 通道注意力机制 deep learning small target detection complex background feature fusion channel attention mechanism 1 引　言 1 遥感图像目标检测技术是目前计算机视觉领域重要的研究方向之一。相对于其他类型的遥感图像，高分辨率光学遥感图像具有独特的优势，因此在民用和军事领域得到了广泛的应用 ［ 1 1 ］ 。传统的遥感图像目标检测方法，如尺度不变特征变换、方向梯度直方图（HOG）、形变部件模型（DPM）等，都依赖人工设计的特征，检测精度较低，实时性差。 自2012年Hinton等人提出的AlexNet在ImageNet大规模视觉识别挑战赛（ImageNet Large Scale Visual Recognition Challenge， ILSVRC）图像分类比赛夺冠后，深度学习迅速发展，并在计算机视觉领域得到了越来越广泛的运用 ［ 2 2 ］ ，越来越多的学者将深度学习应用于遥感场景下的目标检测中 ［ 3 3 - 4 4 3-4 ］ 。基于深度学习的目标检测算法主要分为两类：一是以Faster R-CNN ［ 5 5 ］ 系列为代表的基于候选区域的两阶段目标检测算法，该方法基于原始图像生成一系列建议区域，并将建议区域和特征图输入感兴趣区域池化层，最终实现目标的分类与定位；二是以SSD（Single Shot multi-box Detector） ［ 6 6 ］ 、YOLO ［ 7 7 ］ 系列为代表的基于回归的单阶段目标检测算法，该类方法从回归的角度出发，直接在图像上回归出目标的边框位置和目标类别。文献［ 8 8 ］对Faster R-CNN不同层的特征图进行聚合并改进了其损失函数，在合成孔径雷达（SAR）图像中的舰船目标检测上取得了较好的效果。文献［ 9 9 ］提出了DSSD模型，采用ResNet-101并结合反卷积模块加入了上下文信息，提高了网络的特征提取能力，但其检测速度较慢。Liu等人 ［ 10 10 ］ 提出了结合浅层的细节特征和高层的语义特征的FSSD算法，在保证精度的同时提高了检测速度，但它对小目标检测结果较差。文献［ 11 11 ］将YOLOv2算法与生成对抗网络、卷积密集连接相结合，提升了算法的鲁棒性。Wang等人 ［ 12 12 ］ 针对遥感影像小目标检测，提出了一种结合特征金字塔（Feature Pyramid Networks，FPN） ［ 13 13 ］ 的SSD改进算法，该算法一定程度上提高了检测的速度和精度。文献［ 14 14 ］提出了一种多尺度卷积神经网络遥感目标检测框架——MSCNN，该算法对多尺度遥感目标的检测结果较好，但对复杂背景的适应性较弱。上述两阶段类目标检测算法的高计算成本限制了该类算法的目标检测速度，单阶段的目标检测算法则对多尺度目标特别是小目标的检测精度较差。 为了实现复杂背景下遥感小目标的高效检测，本文提出了一种采用多尺度特征融合SSD的检测方法。该方法设计了特征融合模块，将主要负责小目标检测大尺度的浅层特征图与具有丰富语义信息的深层特征图相融合，采用金字塔特征结合方式，对浅层信息进行了增强，提高了对小目标的提取能力。同时，针对遥感图像复杂的背景环境，增加通道注意力模块，增大目标区域通道的特征响应，减弱背景区域通道的特征响应。最后调整先验框相对于原图的比例，提高了网络的小目标检测能力。 2 SSD算法模型 1 SSD算法是一种在兼顾精度的同时大幅提升检测速度的目标检测算法。SSD以VGG16作为基础的特征提取网络，在将其最后两层的全连接层变换成卷积层的基础上，额外添加了5个卷积结构形成其网络框架，其网络框架如 图1 图1 所示。 SSD算法的核心主要有两点，一是提取不同尺度的特征图进行目标检测，大尺度高分辨率的特征图用来检测小尺度目标，而小尺寸语义信息丰富的特征图则用来检测大尺度目标。SSD分别提取了Conv4_3，Conv7，Conv8_2，Conv9_2，Conv10_2和Conv11_2共6个不同尺度的特征图，送入后端进行目标的分类和回归，有效提升了对不同尺度目标的检测能力。二是先验框的生成，针对待检测特征图，对其上的每一个像素点生成不同尺度和长宽比的先验框，预测时目标框以这些先验框为基准计算偏差，可在一定程度上降低训练的难度。 3 改进的SSD方法 1 SSD算法虽然提取了多尺度特征图进行目标检测，但是负责小目标检测的主要是浅层特征图Conv4_3，该层特征图的语义信息较少，因此在对复杂背景下的遥感图像进行检测时，对遥感图像中小目标的检测能力较弱，同时对复杂背景的区分能力不强。 为解决上述问题，本文采用了一种多尺度特征融合SSD方法。首先，利用特征融合机制将深层、浅层特征进行融合，采用特征金字塔实现特征的增强；然后，加入通道注意力模块（Channel Attention Module，CAM）增强了背景和目标之间的可区分度；最后，对先验框相对于原图的比例进行了调整以更好地适应小目标检测任务。改进后的SSD网络结构如 图2 图2 所示。 3.1　多尺度特征融合 2 SSD算法提取多尺度特征图进行目标检测，负责小目标检测的主要是低层特征图Conv4_3，其分辨率高，拥有较为丰富的细节信息，但是它所包含的语义信息较为匮乏，对遥感图像小目标的检测能力较弱。 针对以上问题，本文设计了一种特征融合机制，将3个不同深度的特征图进行融合。将丰富的语义信息从深层特征图融合到浅层特征图的同时，也将浅层特征图丰富的细节信息融合到了深层特征图，保留了更多的上下文信息。对Conv4_3，Fc7，Conv8_2三个不同尺度的特征层进行特征增强，具体过程如 图3 图3 所示。具体步骤如下：首先，采用1×1卷积核在提取到的3个不同深度的特征图上进行卷积操作，将各个深度特征图的通道数进行统一；其次，针对提取到的不同深度特征图尺度不同的问题，使用3×3卷积核进行卷积，统一其输出尺度；最后，在各个特征图输出的尺度和维度都一致之后，采用通道拼接（Concatenate，cat）的方式进行融合。融合后得到Conv4_3_1，Fc7_1，Conv8_2_1三个不同尺度特征增强的特征图。 同时，采用特征金字塔代替SSD原有的特征结合方式。算法共提取6个特征层进行检测，3个检测层由Conv11_2，Conv10_2和Conv9_2构成，另外3个检测特征图由Conv4_3_1，Fc7_1，Conv8_2_1三个特征增强的特征图通过构建特征金字塔获得，即利用3个不同尺度的特征图进一步进行特征增强。首先，将Conv8_2_1特征图作为特征金字塔中第一个特征图。其次，对Conv8_2_1进行上采样增大其尺度，然后将它与Fc7_1经过１×１卷积降维后的特征图进行通道拼接，将连接获得的特征图作为金字塔的第二个特征图。最后，将连接后的特征图上采样增大尺度后，与Conv4_3_1降维后的特征图进行通道拼接，作为金字塔的第3个特征图。流程如 图4 图4 所示。 3.2　通道注意力机制 2 由于光学遥感图像背景复杂，背景杂波容易干扰目标的检测。为了实现复杂背景下目标的准确高效识别，减小背景干扰，在多尺度特征融合之后加入通道注意力模块，将模型注意力更多地转移到关注目标区域的通道，增大这一部分通道的特征响应，相应地减弱关注背景区域那一部分通道的特征响应，从而增大目标区域和背景区域的可区分性。 通道注意力模块设计了一个新的权重参数空间，通过引入不同的权重来衡量不同通道之间的重要程度，为关注目标区域的通道附加更高的注意力权重，相应地减小关注背景区域通道的注意力权重，进而增大背景和目标的可区分性，以减小遥感图像复杂背景的干扰。具体流程如 图5 图5 所示。 首先，对输入尺寸为 H × W × C 的特征 x 进行最大池化和平均池化，分别得到两个1×1× C 的一维特征向量，使用两种不同的池化方式在获得两种不同空间上下文的特征描述的同时，可以适应不同深度特征图中特征提取的需求。其次，经过两层全连接层先降低维度再升高维度，在得到每个通道权重大小的同时整合输入特征的每个通道信息。再次，将每个像素点的位置元素相加，经过Sigmod激活函数将权重归一化到0~1之间，得到注意力权重 y 。最后，将注意力权重与特征进行特征值重塑，得到注意力特征 <math id="M1"><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006739&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006734&type= 3.13266683 3.72533321 如下： <math display="block" id="M2"><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><mi mathvariant="bold-italic">x</mi><mo>•</mo><mi mathvariant="bold-italic">y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006748&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006743&type= 13.20800018 4.57200003 . 3.3　先验框尺寸调整 2 SSD算法将用于检测的特征图划分成网格结构，以每个网格的中心点为中心，生成大小及比例均不同的先验框。检测目标的中心落在哪个网格，就由该网格负责该目标的检测，如 图6 图6 所示。 特征图上生成的先验框的尺寸遵守一个线性递增规则：随着特征图尺寸的减小，先验框尺寸线性增加。如 式（2） 式（2） 所示： <math display="block" id="M3"><msub><mrow><mi>s</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>+</mo><mfrac><mrow><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>-</mo><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow><mrow><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></mfrac><mo stretchy="false">(</mo><mi>k</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo>,</mo><mi>k</mi><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>m</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006774&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006769&type= 61.38333893 7.95866632 ， 式中： <math id="M4"><mi>m</mi><mo>=</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006782&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006778&type= 6.85799980 2.79399991 5， <math id="M5"><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>=</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006789&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006785&type= 8.46666718 3.72533321 0.2， <math id="M6"><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>=</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006797&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006793&type= 8.89000034 3.72533321 0.9， <math id="M7"><msub><mrow><mi>s</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006803&type= 2.28600001 3.72533321 表示先验框尺寸相对原图片的比例。 通过统计数据集中的目标尺寸，飞机目标的最小尺寸约为20×20，而SSD算法中最浅层特征图上先验框的尺寸是30×30，不适应飞机目标的最小尺寸，容易漏检。故针对数据集中目标的尺寸信息调整比例，将 <math id="M8"><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006814&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006810&type= 4.48733330 3.72533321 ， <math id="M9"><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006822&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006818&type= 4.82600021 3.72533321 的值调整为0.12，0.88，那么在浅层特征图中先验框的尺寸减小为18，以适应数据集中飞机的最小尺度，避免因遥感图像目标尺寸小而导致在浅层特征图中先验框无法匹配到目标。尺寸调整前后的先验框尺寸如 表1 表1 所示。 特征图 原本先验框 改进后先验框 Conv4_3_1 30 18 Fc7_1 60 36 Conv8_2_1 111 93 Conv9_2 162 150 Conv10_2 213 207 Conv11_2 264 264 3.4　算法总结 2 方法1 采用多尺度特征融合SSD的遥感图像小目标检测方法 输入： I：光学遥感飞机图像训练样本集。 D L ：训练样本集标签， <math id="M10"><msub><mrow><mi mathvariant="normal">D</mi></mrow><mrow><mi mathvariant="normal">L</mi></mrow></msub><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006838&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006836&type= 42.41799927 4.91066647 ； B：真实框 <math id="M11"><msubsup><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow><mrow/></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006889&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006885&type= 2.79399991 3.97933316 的集合； D T ：测试样本集： <math id="M12"><msub><mrow><mi mathvariant="normal">D</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msub><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006857&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006852&type= 38.26933289 4.91066647 。 输出： 测试样本集的检测结果和检测精度。 1：构建改进型多尺度特征融合SSD模型。 2：训练网络。 a：初始化网络参数。 随机初始化网络权重 θ ，设定最大迭代次数 M 、学习率 lr； b：输入I，利用D L 进行监督训练。 for <math id="M13"><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn><mo>:</mo><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006865&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006861&type= 13.03866673 3.04800010 do 前向传播： （Ⅰ）在图片上个生成先验框 <math id="M14"><msubsup><mrow><mi>a</mi></mrow><mrow><mi>j</mi></mrow><mrow/></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006880&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006876&type= 2.79399991 3.97933316 ，计算 <math id="M15"><msubsup><mrow><mi>a</mi></mrow><mrow><mi>j</mi></mrow><mrow/></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006880&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006876&type= 2.79399991 3.97933316 和 <math id="M16"><msubsup><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow><mrow/></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006889&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006885&type= 2.79399991 3.97933316 的IOU值： <math id="M17"><mi mathvariant="normal">I</mi><mi mathvariant="normal">O</mi><mi mathvariant="normal">U</mi><mo>=</mo><mfrac><mrow><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>⋂</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>⋃</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006895&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006893&type= 24.80733490 9.48266602 ； （Ⅱ）根据IOU值划分正负样本； （Ⅲ）计算损失函数： <math id="M18"><mi>L</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>c</mi><mo>,</mo><mi>l</mi><mo>,</mo><mi>g</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mo stretchy="false">[</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>c</mi><mo stretchy="false">)</mo><mo>+</mo><mi>α</mi><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>l</mi><mo>,</mo><mi>g</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006903&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006900&type= 71.79733276 7.95866632 。 反向传播： 利用损失函数导数优化网络权重： <math id="M19"><msup><mrow><mi>θ</mi></mrow><mrow><mi>t</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>=</mo><msup><mrow><mi>θ</mi></mrow><mrow><mi>t</mi></mrow></msup><mo>-</mo><mi>λ</mi><msub><mrow><mo>∇</mo></mrow><mrow><msup><mrow><mi>θ</mi></mrow><mrow><mi>t</mi></mrow></msup></mrow></msub><mi>L</mi><mfenced separators="|"><mrow><msup><mrow><mi>θ</mi></mrow><mrow><mi>t</mi></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006908&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006904&type= 33.52799988 4.82600021 。 end for c：得到训练好的网络模型。 3：利用训练好的网络模型对测试集图片进行检测。 4：输出检测结果，即检测精度。 4 实验与结果分析 1 4.1　数据集与参数设置 2 多尺度目标检测实验在自己收集和标注的遥感飞机数据集上进行。该数据集共包含420幅光学遥感飞机图像，平均尺度约为1 300×900，共标注飞机目标3 324个，图像分辨率在0.8~2.0 m，每幅图像至少包含一个目标。 为了避免过拟合，采用旋转、翻转等变换进行数据扩充。在训练过程中，实验随机将数据集的70%用于训练，剩下的30%用于测试。根据飞机数据集的尺度（1 300×900）以及目标分布信息，定义了相应的边界框尺度（小目标： S ≤60 2 、中目标：60 2 < S ≤120 2 、大目标： S > 120 2 ），对所采集的遥感飞机数据集中的飞机目标尺度情况进行统计，结果如 表2 表2 所示。由 表2 表2 可知，所采集数据集中小目标数量占总体目标数量的37.2%。 目标 尺度 数量 小目标 (0,60 2 ] 1 236 中目标 (60 2 ,120 2 ] 1 864 大目标 (120 2 ,+∞] 221 实验硬件环境CPU为Inter E5-2680，内存为256G，GPU为NVIDIA TITAN RTX，操作系统为Ubuntu 16.04，采用Pytorch作为深度学习框架进行训练和测试。本文采用端到端训练方式，初始学习率设置为0.000 1，批处理大小设置为16，优化方法为随机梯度下降，动量设置为0.9，正则化系设置为0.000 5。 4.2　评价指标 2 本文采用平均检测精度（Average Precision， AP）作为飞机目标检测结果的评价指标。AP计算的是召回率在0~1之间的平均精度，即精度-召回率曲线所包络的面积，因此AP值越高代表检测性能越好。精度 p 和召回率 r 可以表示为： <math display="block" id="M20"><mi>p</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006920&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006917&type= 19.55800056 8.89000034 ， <math display="block" id="M21"><mi>r</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006927&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006923&type= 19.81200027 8.89000034 ， 其中： <math id="M22"><msub><mrow><mi>T</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006933&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006930&type= 3.72533321 3.72533321 为真正例， <math id="M23"><msub><mrow><mi>F</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006939&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006936&type= 3.64066648 3.72533321 为假正例， <math id="M24"><msub><mrow><mi>F</mi></mrow><mrow><mi>N</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006943&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24006942&type= 4.23333359 3.72533321 为假反例。 4.3　实验结果与分析 2 在所采集的遥感飞机数据集上对不同的目标检测方法进行训练和测试，检测结果如 表3 表3 所示。 检测方法 基础网络 AP/% (IOU=0.5) 帧频/（frame·s - 1 ） Faster R-CNN VGG16 87.4 5.2 Faster R-CNN ResNet-101 88.6 3.6 YOLO GoogleNet 80.5 33.5 SSD VGG16 85.9 30.2 DSSD ResNet-101 86.2 12 FSSD VGG16 87.5 21.2 Proposed method VGG16 90.2 24.3 由 表3 表3 可知，基于候选框的双阶段检测算法Faster R-CNN以VGG16作为基础网络时检测精度为87.4%，将其基础网络替换为ResNet-101后，精度提高1.2%，但其帧频却相应降低；相较于Faster R-CNN，YOLO作为单阶段目标的检测算法其帧频大幅提升，但精度有所不足；SSD算法在兼顾检测速度的同时，取得了85.9%的检测精度；DSSD相较SSD采用反卷积特征融合提高了对多尺度目标的检测能力；FSSD在SSD基础上引入金字塔特征融合方式，增强了不同尺度目标特征的表达能力。相较于其他典型的目标检测算法，本文提出的改进SSD方法取得了最优的平均检测精度，其精度较SSD算法提升了4.3%，同时其帧频也较高。实验表明，改进的SSD方法能够在满足实时检测的基础上，实现对复杂背景下遥感小目标的高效检测。 图7 图7 所示为不同方法在遥感飞机上的检测效果。由图可知，相较于Faster R-CNN、YOLO、SSD、DSSD以及FSSD，本文方法对小目标的检测能力更强，能有效降低小目标的漏检率。SSD与改进方法在复杂背景区域、多尺度目标区域以及小目标集中区域的检测效果对比如 图8 图8 ~ 图9 图9 所示。从图中可以看出，相较于SSD算法，改进方法在复杂背景区域、多尺度目标区域、小目标密集区域的检测效果都明显提升，能够有效地进行复杂背景下多尺度目标的检测，降低小目标的漏检率。 4.4　消融实验 2 为了定量分析本文方法中多尺度融合特征融合模块、通道注意力模块以及先验框改进模块对遥感飞机目标检测精度的影响，设计了消融实验，取IOU=0.5时的平均检测精度以及帧频作为评价指标对算法性能进行表征。消融实验结果如 表4 表4 所示。 SSD 特片融合机制 通道注意力模块 先验框 改进 AP/% (IOU=0.5) 帧频/（frame·s - 1 ） √ 85.9 30.2 √ √ 88.7 25.3 √ √ 87.2 28.5 √ √ 86.5 30.1 √ √ √ 89.8 24.8 √ √ √ √ 90.2 24.3 由 表4 表4 可知，在SSD方法基础上增加特征融合机制，平均精度由85.9%提升至88.7%，整体提升了2.8%，由于特征融合机制的增加，检测速度变慢，帧频由30.2 frame/s降至25.3 frame/s；在SSD算法基础上增加通道注意力模块，精度提升了1.3%，帧频下降1.7 frame/s；改进SSD中先验框的比例，精度由85.9%提升至86.5%，帧频改变不大；在增加特征融合机制的基础上增加通道注意力模块，精度由85.9%提升至89.8%，提升了3.7%，帧频却下降至24.8 frame/s；在前者的基础上再对先验框比例进行改进，精度提升至90.2%，检测速度为24.3 frame/s。 测量 图3 图3 特征融合模块中不同融合机制对检测精度的影响，结果如 表5 表5 所示。从实验结果可以看出，采用融合层Conv4_3_1遥感飞机目标的检测精度提高了1.4%，表明浅层特征融合能够有效提升小目标的检测能力；在增加融合层Fc7_1后，检测结果较仅使用Conv4_3_1时提高了0.8%，增加Conv8_2_1之后，精度达到了88.7%，表明较深特征层的融合能够提升对中、大型尺寸飞机目标的检测能力。实验结果表明，特征融合机制能够增强遥感飞机图像多尺度目标的特征学习能力，提升检测精度。 3 Conv4_3_1 3 Fc7_1 3 Conv8_2_1 2 AP/% (IOU=0.5) Conv3_3 Conv4_3 Conv9_1 Conv4_2 Fc7 Conv10_1 Fc6 Conv8_2 Conv11_1 √ √ √ 85.9 √ √ √ √ √ 87.3 √ √ √ √ √ √ √ 88.1 √ √ √ √ √ √ √ √ √ 88.7 4.5　迁移实验 2 为了验证本文算法的有效性、通用性以及可迁移性，除了在遥感飞机数据集进行算法的性能对比之外，还将在上述遥感飞机数据集上训练好的检测模型，迁移到不同姿态、不同类型的空中飞机目标检测中。收集了35张以天空为背景的不同姿态和不同机型的飞机图片，每张图片平均含有4~8个飞机目标。以它们为迁移数据集进行迁移实验，改进SSD方法和SSD方法在迁移数据集上的平均检测精度分别为0.672和0.541，改进SSD方法的迁移精度较SSD方法提升了0.131。检测结果如 图10 图10 所示。 图10 图10 给出SSD和改进方法的检测模型对空中飞机目标的检测效果。所采集的遥感飞机数据集中的飞机目标皆为地面目标，机型主要为民航客机，姿态皆为俯拍。将在其上训练好的检测模型，用于检测空中不同姿态、不同类型的飞机目标。其中的检测目标分别为：空中仰拍姿态直升机、空中仰拍姿态以及侧拍姿态的不同机型军事飞机。由检测结果可知，相较于SSD算法，改进方法训练好的检测模型对天空背景下不同姿态、不同类型的飞机目标能进行更加有效的检测，这是因为特征融合过程不仅提高了特征的提取能力，也一定程度上增强了特征的泛化能力，使得模型具有较好的迁移能力。迁移实验结果证明了改进算法所学习到的检测模型具有一定的迁移性和通用性。 5 结　论 1 本文针对遥感图像复杂背景下小目标的检测问题，提出了一种改进型多尺度特征融合SSD方法。首先，针对小目标特征弱的问题，设计了一种特征图融合机制，将分辨率高的浅层特征图与具有丰富语义信息的深层特征图进行融合，并在特征图间构建特征金字塔，增强小目标特征，其精度提升了2.8%。然后，针对遥感目标背景复杂的问题，增加通道注意力模块，将算法注意力集中在目标区域的通道，增大目标区域通道的特征响应，减弱背景杂波区域通道的特征响应，减小背景干扰，精度在原先基础上提升1.1%。最后，针对小目标尺度，对先验框相对于原图的比例进行了调整，使算法能够较好地适应小尺度遥感目标检测问题，精度在原先基础上提升了0.4%。性能实验证明了本文方法在检测精度上优于主流算法，消融实验以及迁移实验证明了方法的完备性和通用性。实验结果表明，本文所提方法能够有效增强小目标的表征能力，降低小目标的漏检率，在满足实时检测的基础上，实现对复杂背景下遥感图像中小目标的高效检测。 参考文献 范丽丽 ， 赵宏伟 ， 赵浩宇 ， 等 . 基于深度卷积神经网络的目标检测研究综述 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1152 - 1164 . 基于深度卷积神经网络的目标检测研究综述 FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese） Survey of target detection based on deep convolutional neural networks 方路平 ， 何杭江 ， 周国民 . 目标检测算法研究综述 ［J］. 计算机工程与应用 ， 2018 ， 54 （ 13 ）： 11 - 18， 33 . 目标检测算法研究综述 FANG L P ， HE H J ， ZHOU G M . Research overview of object detection methods ［J］. Computer Engineering and Applications ， 2018 ， 54 （ 13 ）： 11 - 18， 33 . （in Chinese） Research overview of object detection methods 徐胜军 ， 欧阳朴衍 ， 郭学源 ， 等 . 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割 ［J］. 光学 精密工程 ， 2020 ， 28 （ 7 ）： 1588 - 1599 . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割 XU S J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588 Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet 陈彦彤 ， 李雨阳 ， 吕石立 ， 等 . 基于深度语义分割的多源遥感图像海面溢油监测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1165 - 1176 . 基于深度语义分割的多源遥感图像海面溢油监测 CHEN Y T ， LI Y Y ， LÜ SH L ， et al . Research on oil spill monitoring of multi-source remote sensing image based on deep semantic segmentation ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1165 - 1176 . （in Chinese） Research on oil spill monitoring of multi-source remote sensing image based on deep semantic segmentation REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031 Faster R-CNN： towards real-time object detection with region proposal networks LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD ： Single Shot MultiBox Detector ［M］. Computer Vision-ECCV 2016 . Cham ： Springer International Publishing ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2 SSD： Single Shot MultiBox Detector REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： unified， real-time object detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91 You only look once： unified， real-time object detection 王博 ， 董登峰 ， 周维虎 ， 等 . 面向激光跟踪仪跟踪恢复的合作目标视觉检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 2 ）： 271 - 282 . 面向激光跟踪仪跟踪恢复的合作目标视觉检测 WANG B ， DONG D F ， ZHOU W H ， et al . Visual detection of target ball for laser tracker target tracking recovery ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 271 - 282 . （in Chinese） Visual detection of target ball for laser tracker target tracking recovery FU C Y ， LIU W ， RANGA A ， et al . DSSD： deconvolutional single shot detector ［EB/OL］. https://arxiv.org/abs/1701.06659 https://arxiv.org/abs/1701.06659 ，[ 2017-01-23 ]. doi: 10.1109/icip.2017.8296850 http://dx.doi.org/10.1109/icip.2017.8296850 DSSD： deconvolutional single shot detector LI Z X ， ZHOU F Q . FSSD： feature fusion single shot multibox detector ［EB/OL］. https://arxiv.org/abs/1712.00960v1 https://arxiv.org/abs/1712.00960v1 ，[ 2017-12-04 ]. FSSD： feature fusion single shot multibox detector 王建林 ， 付雪松 ， 黄展超 ， 等 . 改进YOLOv2卷积神经网络的多类型合作目标检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 1 ）： 251 - 260 . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251 改进YOLOv2卷积神经网络的多类型合作目标检测 WANG J L ， FU X S ， HUANG ZH CH ， et al . Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 251 - 260 . （in Chinese） . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251 Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network 王俊强 ， 李建胜 ， 周学文 ， 等 . 改进的SSD算法及其对遥感影像小目标检测性能的分析 ［J］. 光学学报 ， 2019 ， 39 （ 6 ）： 0628005 . doi: 10.3788/aos201939.0628005 http://dx.doi.org/10.3788/aos201939.0628005 改进的SSD算法及其对遥感影像小目标检测性能的分析 WANG J Q ， LI J SH ， ZHOU X W ， et al . Improved SSD algorithm and its performance analysis of small target detection in remote sensing images ［J］. Acta Optica Sinica ， 2019 ， 39 （ 6 ）： 0628005 . （in Chinese） . doi: 10.3788/aos201939.0628005 http://dx.doi.org/10.3788/aos201939.0628005 Improved SSD algorithm and its performance analysis of small target detection in remote sensing images LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106 Feature pyramid networks for object detection 姚群力 ， 胡显 ， 雷宏 . 基于多尺度卷积神经网络的遥感目标检测研究 ［J］. 光学学报 ， 2019 ， 39 （ 11 ）： 1128002 . doi: 10.3788/aos201939.1128002 http://dx.doi.org/10.3788/aos201939.1128002 基于多尺度卷积神经网络的遥感目标检测研究 YAO Q L ， HU X ， LEI H . Object detection in remote sensing images using multiscale convolutional neural networks ［J］. Acta Optica Sinica ， 2019 ， 39 （ 11 ）： 1128002 . （in Chinese） . doi: 10.3788/aos201939.1128002 http://dx.doi.org/10.3788/aos201939.1128002 Object detection in remote sensing images using multiscale convolutional neural networks 10.37188/OPE.20212911.2672 TP751 A 1004-924X（2021）11-2672-11 陈欣,万敏杰,马超等.采用多尺度特征融合SSD的遥感图像小目标检测[J].光学精密工程,2021,29(11):2672-2682. 陈欣,万敏杰,马超等.采用多尺度特征融合SSD的遥感图像小目标检测[J].光学精密工程,2021,29(11):2672-2682. CHEN Xin,WAN Min-jie,MA Chao,et al.Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector[J].Optics and Precision Engineering,2021,29(11):2672-2682. CHEN Xin,WAN Min-jie,MA Chao,et al.Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector[J].Optics and Precision Engineering,2021,29(11):2672-2682. 国家自然科学基金青年项目（No.62001234）；江苏省自然科学基金青年项目（No.BK20200487）；中国博士后科学基金面上项目（No.2020M681597）；江苏省博士后科研资助（No.2020Z051）；上海航天科技创新基金（No.SAST2020-071）；中央高校基本科研业务费专项资金资助（No.JSGP202102） 2021-03-27 2021-04-16 2021-11-15 2022-01-25 光学精密工程 11 29