基于弱监督学习的多标签红外图像分类算法

基于弱监督学习的多标签红外图像分类算法 Multi-label infrared image classification algorithm based on weakly supervised learning 1 first-author 苗传开（1997-），男，山东临沂人，硕士研究生，2020年于烟台大学获得学士学位，主要从事图像处理、机器视觉等方面的研究。Email：1753184809@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182396&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182410&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182402&type= 22.01333237 32.00400543 苗传开 （1997-），男，山东临沂人，硕士研究生，2020年于烟台大学获得学士学位，主要从事图像处理、机器视觉等方面的研究。Email： 1753184809@qq.com 1753184809@qq.com 1 corresp E-mail：shulilou@sina.com E-mail：shulilou@sina.com 娄树理（1976-），男，山东蒙阴人，博士，副教授，硕士生导师，主要从事光电探测、光电目标识别、机器视觉等方面的研究。Email：shulilou@sina.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182415&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182422&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182419&type= 22.01333618 32.00399780 娄树理 （1976-），男，山东蒙阴人，博士，副教授，硕士生导师，主要从事光电探测、光电目标识别、机器视觉等方面的研究。Email： shulilou@sina.com shulilou@sina.com 2 2 烟台大学 物理与电子信息学院，山东 烟台 264005 烟台大学 物理与电子信息学院，山东 烟台 264005 School of Physics and Electronic Information， Yantai University， Yantai 264005， China School of Physics and Electronic Information， Yantai University， Yantai 264005， China 天津津航技术物理研究所，天津 300308 天津津航技术物理研究所，天津 300308 Tianjin Jinhang Institute of Technical Physics， Tianjin 300308， China Tianjin Jinhang Institute of Technical Physics， Tianjin 300308， China 红外图像的场景感知与分类分级是图像识别的一项关键技术，对于红外侦察与制导具有重要意义。为有效解决红外图像多场景多目标的场景感知及分类分级的问题，本文提出一种基于弱监督学习的多标签红外图像分类算法。将多标签图像分类技术应用于红外前视图像领域，针对多场景的红外图像进行弱监督的图像级标注，使用主干网络Resnet-50对图像进行特征提取；引入类特定的空间残差注意力模块CSRA以捕捉图像中不同类别所占据的不同空间区域，提高类别特征的表达性能；引入先进的损失函数ASL以解决多标签分类中正负标签数量失衡问题，使训练过程中更多地关注阳性样本，提高检测准确率。试验结果表明，本文算法对于多场景多目标的红外图像分类具有更好的适应性和准确率，算法检测率可达90%以上，能够很好地完成红外图像分类分级任务。 Scene perception and classification of FLIR images is a key technology in target recognition and of great significance to infrared reconnaissance and guidance. To resolve the problem of scene perception and classification of FLIR images， this study proposes a multi-label infrared image classification algorithm based on weakly supervised learning. First， a multi-label image classification technique is applied to FLIR images， and the images of multiple scenes are annotated using weakly supervised techniques. Infrared image features are extracted using the ResNet-50 network with a residual structure. Second， a CSRA module is introduced to capture the different spatial regions occupied by different classes. The CSRA module can improve the feature expression performance and realize the inference calculation of topological relationships between multiple labels. Finally， the advanced loss function ASL is introduced to solve the imbalance of the number of positive and negative labels in multi-label classification. The advanced loss limits the contribution of negative samples to the loss function and focuses attention on the positive samples during training. An experiment shows that the algorithm has good adaptability and accuracy， and the accuracy can exceed 90%. The algorithm can be used to perform multi-label classification with high accuracy and adaptability. 弱监督学习 多标签分类 红外图像 场景感知 weakly supervised learning multi-label classification infrared image context awareness 1 引 言 1 红外成像由于能够全天候被动工作，且具有隐蔽性好、识别伪装能力强、定位精度高等优点，广泛应用于光电侦察与制导领域。红外图像分类与目标识别作为红外探测与制导的关键技术，一直是国内外研究的热点。但红外图像中背景复杂多样、目标在视场中相对较小，且存在遮挡以及云雾等干扰，因此如何提取特征实现有效分类，进而实现目标准确识别，是目前研究的难点。当前红外图像分类方法中，由于目标图像的多样性及复杂性，常规图像分类反馈信息有限，无法满足多目标、多背景的图像分类任务要求。多标签图像分类技术对空间信息网络中的图像进行内容解析以获取感兴趣的信息，通过反馈多标签的形式更好地实现场景与目标的感知分类。 目前，国内外研究者在图像分类领域进行了大量工作，多标签图像分类也取得了不错的进展。在多标签场景图像分类的研究中，传统经典算法常用的分类器包括支持向量机（Support Vector Machine，SVM）、决策树（Decision Tree，DT）、随机森林等 ［ 1 1 ］ ，传统分类器在场景分类等任务中表现较好，具有模型结构简单、计算量小等优点，但随着光电侦察与制导领域各类任务复杂程度的增加，对红外图像分类算法的要求越来越高，传统经典算法的性能与适应性难以满足当前重要任务的要求。 随着深度学习等智能算法的发展，近几年图像分类算法得到进一步发展，主要分为两类，一是基于强监督的方法，该方法需要对图像进行目标级标注或像素级标注，强监督的标签获取耗费大量的人力，而且繁重的标记任务容易产生错误，从而影响最终分类效果；另一类是基于弱监督学习的分类方法，弱监督学习能够在大幅度降低标注工作量的情况下，充分、有效地利用数据。由于场景分类分级任务的特殊性，场景类别的标签难以进行强监督中的目标级或像素级标注，而使用弱监督学习，能够更加符合场景分类分级的任务要求，只需要对图片进行图像级标注即可实现多标签图像的分类分级任务。基于弱监督的多标签图像分类算法的实现思路一般有两种，一种是将多标签分类转换为多个单标签分类器的叠加问题，林春焕提出基于多路结构的端到端卷积神经网 ［ 2 2 ］ ，将多标签分类转换为多路单标签分类计算，在一定程度上解决了多标签之间的类别竞争问题，但该算法没有考虑多标签之间复杂的拓扑关系，忽略了标签之间的相关性，精度及适应性都难以达到要求；另一种是将原有的图像分类算法优化，完成对多标签分类的适应。Sermanet等使用卷积神经网络（Convolutional Neural Networks， CNN）与SVM相结合解决多标签分类的问题 ［ 3 3 ］ 。2016年，Wei等提出基于CNN网络的Hyotheses-CNN-pooling（HCP） ［ 4 4 ］ ，该网络精度较高，对多标签分类精度具有较大提升，但网络结构过于复杂，算法速度较慢。Wang将CNN与循环神经网络（Recurrent Neural Networks， RNN）相结合，通过表征标签之间的相关性及映射关系来解决多标签分类问题 ［ 5 5 ］ ，使用预测标签路径方法来解决多标签分类问题。Chen提出SSGRL（Semantic-specific Graph Representation Learning）多标签图像分类器 ［ 6 6 ］ ，该框架将注意力机制与图神经网络（Graph Neural Network，GNN）相结合，使用图神经网络推理建模标签之间的相关性，网络性能较好，但结构较为复杂。最新算法引入Transformer算法 ［ 7 7 - 9 9 7-9 ］ ，设计CNN-transformer结构，通过多头注意力机制的Transformer算法计算回归多标签的相关性，进一步提高分类精度与性能，但网络结构过于复杂，计算量庞大，且训练困难。 目前多标签图像分类技术主要应用于遥感图像以及医学图像等领域，但在红外前下视图像的分类分级任务中，多标签图像分类是一个较新的方向，具有研究前景与应用价值。本文针对红外图像场景，提出了一种基于弱监督的多标签图像分类技术，针对无人机实拍不同场景、不同视角的红外图像数据集，通过使用主干网络Resnet-50对图像进行特征提取，引入空间注意力机制算法与先进的损失函数，显著提高了多标签学习算法的精度和泛化性，实现了多目标、多场景的红外图像场景感知和分类分级。 2 多标签分类算法模型 1 在多标签分类中，需要预测未知目标对应的正确标签子集，但随着场景及目标种类的增多，预测过程中候选标签子集数量以及样本预测输出空间也会呈指数增长。因此，当前的多标签分类任务中存在两大难点，一是处理庞大的预测输出空间与标签之间的关系，计算多标签之间的复杂拓扑关系；二是随着数据规模增大，多标签分类任务不可避免的出现正负样本失衡的问题，这种正负样本数量失衡可能在训练过程占据主导地位，进而导致在训练过程中来自正标签的梯度强调不足，导致精度下降。 多标签图像分类可以理解为在常规图像分类基础上进行拓展而得到更加复杂的分类问题，一个实例可以有多个标签描述，或者被分为多个类别。在多标签分类中，将输入对象表示为 x ，一个对象的标注由多个类别标签组成，数据集标签包含目标类别（如建筑物、农田、舰船等）与场景类别（如城市、郊区、海洋等）。用 <math id="M1"><mi>y</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182431&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182426&type= 23.70666695 4.82600021 表示对象 x 所包含的类别， <math id="M2"><msub><mrow><mi>y</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182442&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182438&type= 15.91733265 4.91066647 ， <math id="M3"><msub><mrow><mi>y</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182454&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182449&type= 9.82133293 4.57200003 表示对象 x 中包含类别 k 。多标签分类算法将预测每一个标签存在的概率，即 <math id="M4"><mi>p</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182463&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182459&type= 24.12999916 4.82600021 。多标签分类示意图如 图1 图1 。 2.1　主干网络的设计 2 在图像分类任务中，对于主干提取网络，通常直接使用最后一层特征层进行分类处理，在进行卷积网络提取特征时，红外目标的重要灰度等信息在浅层卷积神经网络分布比重较高，因此在训练过程中极为重要的是突出浅层卷积神经网络的信息。ResNet网络设计的残差结构能够较好地解决红外图像特征不充分的问题，在训练中使模型达到较好的学习效果。本文使用ResNet-50 ［ 10 10 ］ 作为算法的主干网络进行特征提取。原始Resnet-50网络直接应用于分类任务时，一般通过最后的全连接层进行类别回归，生成最终效果，但将网络直接应用于多标签分类任务时，全连接层不仅造成计算冗余，而且不能很好地对多标签进行回归分类。 在网络分类回归部分，本文使用空间残差注意力机制（Class-specific Residual Attention，CSRA）算法 ［ 11 11 ］ ，为每个类别生成一个特定的特征，提出一个简单的空间注意力，然后将特征图的平均池化结果相结合，充分利用空间注意力捕捉不同类别所占据的不同空间区域，以此实现多标签之间拓扑关系的推理计算。其次，由于多标签分类中，正负标签数量极不平衡 ［ 12 12 - 13 13 12-13 ］ ，这种正负不平衡的现象在优化过程中占主导地位，常规的图像分类损失函数如交叉熵损失函数、Focal Loss等无法胜任多标签损失函数的分类任务。为了解决多标签正负样本失衡问题，本文引入适用于多标签分类的损失函数Asymmetric Loss（ASL） ［ 14 14 ］ ，控制负样本对损失的贡献，帮助网络从积极样本中学习到更有意义的特征。本文提出的多标签图像分类主干网络（Multi-label Infrared Image Classification，ML_IRI）如 图2 图2 所示。 设输入图像为红外图像 <math id="M5"><mi mathvariant="bold-italic">x</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>d</mi><mo>×</mo><mi>h</mi><mo>×</mo><mi>w</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182504&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182501&type= 17.61066628 3.38666677 ，其中 d 、 h 、 w 为图像的维度、高度与宽度，通过主干网络Resnet-50进行特征提取生成特征图： <math display="block" id="M6"><mi mathvariant="bold-italic">x</mi><mo>=</mo><mi>ϕ</mi><mo stretchy="false">(</mo><mi>I</mi><mo>;</mo><mi>θ</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182514&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182509&type= 18.54199982 3.97933316 ， 其中， <math id="M7"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182525&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182520&type= 1.86266661 2.79399991 为特征提取网络的参数，在本文中，输入图片大小为224×224，最后主干网络生成特征层向量为 <math id="M8"><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">49</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mn mathvariant="normal">2048</mn></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182534&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182530&type= 37.59199905 4.48733330 。 2.2　CSRA 注意力机制 2 在多标签分类任务中，空间注意力机制可以更好地提取图像中的有效区域 ［ 15 15 - 16 16 15-16 ］ ，降低红外图像中背景对目标的干扰，进行有效的场景感知，空间信息可以帮助网络模型获取更优的目标所在空间位置。为了更好地适应多背景、多目标的红外图像，本文引入了类特定空间残差注意力机制（CSRA）算法，为每个类别生成特定的特征，通过提出一个简单的空间注意力算法，然后与特征图的平均池化结果相结合，充分利用空间注意力捕捉对象的不同类别所占据的不同空间区域。 将CSRA应用于主干网络提取特征层 <math id="M9"><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mn mathvariant="normal">49</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mn mathvariant="normal">2048</mn></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182543&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182538&type= 37.59199905 4.48733330 之后，进一步处理特征层，用全连接层将［ H ， W ］展平为 HW ，然后设 <math id="M10"><msub><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mn mathvariant="normal">2048</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182547&type= 14.39333248 4.23333359 为第 <math id="M11"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182980&type= 1.10066664 2.79399991 类的分类器，定义 <math id="M12"><msubsup><mrow><mi>s</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182575&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182570&type= 2.11666679 3.97933316 表示第 <math id="M13"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182980&type= 1.10066664 2.79399991 类出现在 <math id="M14"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182593&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182589&type= 1.60866666 3.64066648 空间位置上的概率 ［ 11 11 ］ ： <math display="block" id="M15"><msubsup><mrow><mi>s</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mi>T</mi><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">49</mn></mrow></munderover></mstyle><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi></mrow><mfenced separators="|"><mrow><mi>T</mi><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182601&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182597&type= 32.34266663 14.81666565 ， 其中： <math id="M16"><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">49</mn></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>s</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>T</mi><mo>></mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182609&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182605&type= 24.46866608 8.97466660 为控制注意力的超参数。 然后，我们将每个类别所对应的特征向量定义为特征张量的加权组合，其中第 <math id="M17"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182980&type= 1.10066664 2.79399991 类的空间注意力得分 <math id="M18"><msubsup><mrow><mi>s</mi></mrow><mrow/><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182624&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182620&type= 2.20133328 3.97933316 为权重，即： <math display="block" id="M19"><msup><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>i</mi></mrow></msup><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">49</mn></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>s</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182637&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182633&type= 18.79599953 8.55133343 . CSRA算法将全局平均池化作为主要特征向量 <math id="M20"><mi mathvariant="bold-italic">g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182645&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182640&type= 2.28600001 3.64066648 ，并将 <math id="M21"><msup><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>i</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182654&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182651&type= 2.70933342 3.04800010 作为特定类别的残差特征，如 图3 图3 所示，将两个特征向量相加，得到CSRA的注意力特征 <math id="M22"><msup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182664&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182659&type= 3.38666677 3.89466691 ［ 11 11 ］ ： <math display="block" id="M23"><msup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>i</mi></mrow></msup><mo>=</mo><mi mathvariant="bold-italic">g</mi><mo>+</mo><mi>λ</mi><msup><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>i</mi></mrow></msup><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">49</mn></mrow></munderover></mstyle><mrow><mfenced separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">49</mn></mrow></mfrac><mo>+</mo><mi>λ</mi><msubsup><mrow><mi>s</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></mfenced></mrow><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182670&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182666&type= 49.61466980 9.05933285 ， <math display="block" id="M24"><mi mathvariant="bold-italic">g</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">49</mn></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">49</mn></mrow></munderover></mstyle><mrow><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182679&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182676&type= 20.15066719 8.63599968 . 最后将所有的CSRA特征向量送入分类器回归出最终的预测值 <math id="M25"><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182701&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182697&type= 2.11666679 3.72533321 。 <math display="block" id="M26"><mi>y</mi><mo>=</mo><mfenced separators="|"><mrow><msup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>,</mo><mo>…</mo><mo>,</mo><msup><mrow><mi>y</mi></mrow><mrow><mi>C</mi></mrow></msup></mrow></mfenced><mo>=</mo><mfenced separators="|"><mrow><msubsup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>,</mo><mo>…</mo><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msup><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>C</mi></mrow></msup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182711&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182707&type= 73.74466705 4.82600021 ， 其中， C 代表多标签分类类别数量。 CSRA能够让模型关注不同物体类别在不同位置的分类得分，因此相比于传统的分类网络，CSRA更加适用于多标签分类的任务。 2.3　ASL损失函数 2 多标签分类中，正负样本不平衡的问题可能导致在训练过程中对来自正面标签的梯度强调不足，从而导致准确率低下。常用的场景分类损失函数已不足以解决多标签分类中正负样本数量失衡问题，在此引入ASL损失函数。 ASL损失函数针对Focal Loss ［ 17 17 ］ 中的 <math id="M27"><mi>γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182720&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182716&type= 1.94733346 3.64066648 进行了修改，使 <math id="M28"><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub><mo>></mo><msub><mrow><mi>γ</mi></mrow><mrow><mo>+</mo></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182729&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182724&type= 12.27666664 4.57200003 ，来解耦正负样本损失函数的下降速率，从而在稀缺正样本中学习到有效特征。 <math display="block" id="M29"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mo>+</mo></mrow></msub><mo>=</mo><msup><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>p</mi><mo stretchy="false">)</mo></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mo>+</mo></mrow></msub></mrow></msup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mo>-</mo></mrow></msub><mo>=</mo><msup><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub></mrow></msup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>p</mi><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182736&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182733&type= 36.15266418 10.83733368 . ASL损失函数引入超参数 m 调整负样本的损失函数曲线，能够动态地降低简单阴性样本的重要性，使优化过程更多地关注阳性样本， 式（7） 式（7） 变为： <math display="block" id="M30"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mo>+</mo></mrow></msub><mo>=</mo><msup><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>p</mi><mo stretchy="false">)</mo></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mo>+</mo></mrow></msub></mrow></msup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mo>-</mo></mrow></msub><mo>=</mo><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub></mrow></msup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182743&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182739&type= 39.96266937 12.36133385 ， 其中， <math id="M31"><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mi>p</mi><mo>-</mo><mi>m</mi><mo>,</mo><mn mathvariant="normal">0</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182751&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182747&type= 32.68133163 4.82600021 ， m 为网络可调节的超参数。 在训练过程中，网络的权重根据损失的权重进行更新，为了更好地理解ASL的作用，对负样本进行损失梯度分析。对 <math id="M32"><msub><mrow><mi>L</mi></mrow><mrow><mo>-</mo></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182759&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182754&type= 4.14866638 3.72533321 进行导数分析，得到： <math display="block" id="M33"><mtable columnalign="left"><mtr><mtd><mfrac><mrow><mi mathvariant="normal">d</mi><msub><mrow><mi>L</mi></mrow><mrow><mo>-</mo></mrow></msub></mrow><mrow><mi mathvariant="normal">d</mi><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfrac><mo>=</mo><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced><mo>-</mo><mfrac><mrow><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub></mrow></msup></mrow><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfrac><mo>=</mo></mtd></mtr><mtr><mtd><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub></mrow></msup><mfenced open="[" close="]" separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfrac><mo>-</mo><mfrac><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></mrow><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfrac></mrow></mfenced><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182769&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182764&type= 68.07199860 23.79133224 令 <math id="M34"><mi>p</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><mi>z</mi></mrow></msup></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182776&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182773&type= 18.88066673 8.21266651 ，则由 式（9） 式（9） 可得： <math display="block" id="M35"><mtable><mtr><mtd><mfrac><mrow><mi mathvariant="normal">d</mi><msub><mrow><mi>L</mi></mrow><mrow><mo>-</mo></mrow></msub></mrow><mrow><mi mathvariant="normal">d</mi><mi>z</mi></mrow></mfrac><mo>=</mo><mfrac><mrow><mo>∂</mo><msub><mrow><mi>L</mi></mrow><mrow><mo>-</mo></mrow></msub></mrow><mrow><mo>∂</mo><mi>p</mi></mrow></mfrac><mfrac><mrow><mo>∂</mo><mi>p</mi></mrow><mrow><mo>∂</mo><mi>z</mi></mrow></mfrac><mo>=</mo></mtd></mtr><mtr><mtd><msup><mrow><mfenced separators="|"><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub></mrow></msup><mfenced open="[" close="]" separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfrac><mo>-</mo><mfrac><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></mrow><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfrac></mrow></mfenced><mi>p</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>p</mi><mo stretchy="false">)</mo><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182783&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182780&type= 67.30999756 22.01333237 由 式（10） 式（10） 可知，ASL忽略过于简单的负样本权重，专注于更困难的样本，即 <math id="M36"><mi>p</mi><mo><</mo><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182791&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182787&type= 9.99066734 3.64066648 ， <math id="M37"><msub><mrow><mi>p</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182801&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182795&type= 10.66800022 4.57200003 ；对于负样本，ASL倾向于平滑的降低其权重，对于过于困难的负样本，ASL会自动降低其权重来减少困难负样本对网络的影响。 ASL损失函数通过不同的 <math id="M38"><msub><mrow><mi>γ</mi></mrow><mrow><mo>+</mo></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182807&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182804&type= 3.72533321 4.57200003 与 <math id="M39"><msub><mrow><mi>γ</mi></mrow><mrow><mo>-</mo></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182816&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182811&type= 3.72533321 4.57200003 分别控制正负样本对损失函数的贡献，以限制负样本对损失函数的贡献，能有效解决正负样本失衡问题，在多标签图像处理问题上具有显著效果。 3 分析与讨论 1 3.1　试验设计 2 为了测试本文算法的实际应用性能，本文选用无人机实采多种背景、多种目标的红外前视图像以及前下视图像，训练集5 570张，测试集582张。根据实际应用情况，对数据集进行弱监督图像级别的多标签标注，对整幅图像进行关键词描述，以达到图像标注的目的，在大幅度降低标注工作量的前提下，更充分地利用数据进行训练。如 图4 图4 所示，数据集包括城市、郊区、海天等多种背景以及建筑群、工业设施、机场、舰船等多种目标，数据集标签数量为13种，箭头表示标签之间存在包含关系，多标签之间具有复杂的拓扑关系，标准图片大小为640×512。本文选用的数据集包含红外图像常见的多种背景与目标，可以满足目前分类任务的要求。 本文算法基于多标签图像分类算法进行红外图像的分类分级处理，试验平台为Windows 10操作系统，其中深度学习框架为Pytorch1.8，硬件条件为英特尔Core i9-10900X@3.50 GHz，内存为64 GB，GPU 为一张NVIDIA GeForce RTX 2080Ti，显存为12 GB。训练使用Adam为学习率优化器，初始学习率为0.000 1，使用lr_scheduler算法在训练过程中动态调节学习率，训练基本参数如 表1 表1 所示。 Name Parameter Epoch 300 Batch_size 16 Optimizer Adam（lr=0.000 1） lr_scheduler StepLR （Step_size=10 000，Gamma=0.5） 为了更好地验证多标签分类算法的分类性能与应用性，本文在使用深度学习中通用的Precision、Recall和 F 1 作为评价指标的同时，将正检率（Correct Detection）、误检率（False Detection）以及漏检率（Missed Detection）作为评价应用性的重要指标，其具体计算公式如下： <math display="block" id="M40"><mtable><mtr><mtd><mi>P</mi><mo>=</mo><mfrac><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi></mrow></munder><mrow><msubsup><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>c</mi></mrow></msubsup></mrow></mrow><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi></mrow></munder><mrow><msubsup><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup></mrow></mrow></mfrac></mtd></mtr><mtr><mtd><mi>R</mi><mo>=</mo><mfrac><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi></mrow></munder><mrow><msubsup><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>c</mi></mrow></msubsup></mrow></mrow><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi></mrow></munder><mrow><msubsup><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>g</mi></mrow></msubsup></mrow></mrow></mfrac></mtd></mtr><mtr><mtd><msub><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mo>×</mo><mi>P</mi><mo>×</mo><mi>R</mi></mrow><mrow><mo stretchy="false">(</mo><mi>P</mi><mo>+</mo><mi>R</mi><mo stretchy="false">)</mo></mrow></mfrac></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182844&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182839&type= 25.99266624 41.65599823 ， 其中： <math id="M41"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182855&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182848&type= 2.62466669 2.79399991 为算法Precision值， <math id="M42"><mi>R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182861&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182858&type= 2.79399991 2.79399991 为算法Recall值， C 为标签数量， <math id="M43"><msubsup><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182869&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182864&type= 4.40266657 4.06400013 为第 <math id="M44"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182980&type= 1.10066664 2.79399991 类预测正确的正样本数； <math id="M45"><msubsup><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>p</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182886&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182882&type= 4.57200003 4.06400013 为第 <math id="M46"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182980&type= 1.10066664 2.79399991 类预测的正样本数， <math id="M47"><msubsup><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>g</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182904&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182899&type= 4.65666676 4.06400013 为第 <math id="M48"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182980&type= 1.10066664 2.79399991 类的正样本数， F 1 为精确率与召回率的调和平均数。 为了更好地反映模型的应用性能，以图像的正检率（ P C ）、误检率（ P F ）与漏检率（ P M ）作为应用性能的重要评价指标，本文正检率、误检率以及漏检率计算如下： <math display="block" id="M49"><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub><mo>=</mo><mfrac><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow></mfrac><mo>,</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182924&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182919&type= 44.28066635 14.73200035 ， <math display="block" id="M50"><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub><mo>=</mo><mfrac><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow></mfrac><mo>,</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><mo>≠</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><mo>∉</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182932&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182927&type= 57.91199875 14.73200035 ， <math display="block" id="M51"><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">M</mi></mrow></msub><mo>=</mo><mfrac><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow></mfrac><mo>,</mo><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182939&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182934&type= 45.12733078 14.73200035 ， 其中： <math id="M52"><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182949&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182944&type= 8.29733276 6.60400009 为测试集图片总数， <math id="M53"><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182957&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182954&type= 2.87866688 4.65666676 为第 <math id="M54"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182980&type= 1.10066664 2.79399991 张图片的预测正样本的索引， <math id="M55"><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182977&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182972&type= 3.21733332 3.72533321 为第 <math id="M56"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182980&type= 1.10066664 2.79399991 张图片的真实标签的索引， <math id="M57"><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182994&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=36182988&type= 9.82133293 4.65666676 表示多标签预测数组属于真实标签数组的真子集。 3.2　结果分析 2 本文红外图像数据集待测图片共582张，涵盖数据集中所包含的13种应用场景，在基于多标签图像分类算法下，本文将数据集应用于多种经典常用网络，使用正检率、误检率、Recall值等评价标准，综合评价算法分类性能，其算法结果数据见 表2 表2 。 注： 最优结果加粗表示 Model Correct detection False detection Miss detection F 1 Recall Precision ResNet50 77.84% 4.98% 17.18% 0.923 6 0.883 1 0.978 3 ResNet101 80.58% 7.56% 11.86% 0.936 0 0.961 6 0.920 1 Efficientnet 82.99% 6.36% 10.65% 0.942 5 0.920 7 0.978 9 Multi_path 82.65% 13.75% 3.61% 0.948 9 0.949 7 0.950 2 ResNeXt101 84.54% 13.57% 1.89 % 0.948 0 0.947 9 0.949 8 C_train 90.38% 4.30% 5.33% 0.962 6 0.960 4 0.970 2 ML_IRI 91.24 % 3.78 % 4.98% 0.963 2 0.951 9 0.985 4 由上述表格数据可知，本文优化后的算法性能相比于原始算法ResNet-50有较大幅度的提升，针对红外图像的多标签分类适应性更强，与当前优秀的主干网络相比，本文算法虽然漏检率高于Multi_path与ResNeXt101算法，但从多维数据综合分析，本文算法在正检率以及减少错误率上都具有较大优势。在与优秀主干网络对比的同时，本文对多标签分类算法的多支路思想Multi_path算法 ［ 4 4 ］ 以及多标签分类算法最新成果的C_train算法 ［ 7 7 ］ 进行复现测试，相比于当前提出的多标签分类算法，本文算法针对红外图像数据集具有更强的适应性以及准确性，正检率高于91%， F 1 值高于96%，从正确检测率以及标签精度综合评价，本文算法具有明显的优势，这也为多场景多目标的红外图像分类处理提供了思路与参考。 表3 表3 所示数据为本文消融试验的试验结果，试验数据显示本文优化后各个模块对算法的影响程度。从 表3 表3 消融试验数据分析可知，CSRA注意力机制的引入充分利用了物体类别的空间注意力，大大降低了误检率与漏检率，提升了算法性能。ASL损失函数能够较好地控制负样本对损失函数的贡献，帮助网络训练到更有意义的特征，应用于原始Resnet-50以及与CSRA算法联合作用时，都具有积极意义。从试验结果来看，空间注意力机制与新的损失函数能够对多标签分类有较好的优化性能，在红外场景中具有较好的适应性与准确性。 注： 最优结果加粗表示 Model Correct detection False detection Miss detection F 1 Recall Precision ResNet50 77.84% 4.98% 17.18% 0.923 6 0.883 1 0.978 3 +ASL 81.10% 4.81% 14.09% 0.939 6 0.907 8 0.981 8 +CSRA 87.97% 2.75% 9.28% 0.951 5 0.926 3 0.989 9 ML_IRI 91.24 % 3.78 % 4.98 % 0.963 2 0.951 9 0.985 4 图5 图5 为部分测试集测试结果展示，详细标签为a1：机场；a2：低矮建筑、工业区域；a3：城市、建筑物群；a4：城市、建筑物群；a5：郊区、建筑物群、农田；a6：郊区、农田；a7：郊区、水域；a8：海平面、天空、舰船；a9：海平面、天空、舰船。 1;2; 4 结 论 1 针对红外图像分类分级的特殊任务，本文引入多标签分类算法进行多场景、多目标的分类分级技术研究，针对现有多标签分类算法适应性不足问题，本文引入类特定空间残差注意力机制（CSRA）算法，通过添加空间注意力机制，充分利用空间注意力捕捉对象不同类别所占据的不同空间区域，提高多标签分类算法的性能与适应性；针对正负样本失衡问题，本文引入全新的损失函数ASL，动态降低负样本对损失的贡献，帮助网络从正样本中学习到更有意义的特征，进一步增强了网络的适应性与泛化性。试验结果表明，本文优化后的多标签红外图像分类算法，具有较好的检测效果，正检率在90%以上。本文算法对实采红外图像具有较好的泛化性与准确性，具有较强的实际应用价值，也为红外图像分类分级领域处理提供了新的思路与参考。 参考文献 WU J X ， YANG H . Linear regression-based efficient SVM learning for large-scale classification ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2015 ， 26 （ 10 ）： 2357 - 2369 . doi: 10.1109/tnnls.2014.2382123 http://dx.doi.org/10.1109/tnnls.2014.2382123 Linear regression-based efficient SVM learning for large-scale classification 林春焕 . 弱监督学习下的多标签图像分类 ［D］. 西安 ： 西安电子科技大学 ， 2019 . 弱监督学习下的多标签图像分类 LIN C H . Multi-label Image Classification Under Weakly Supervised Learning ［D］. Xi'an ： Xidian University ， 2019 . （in Chinese） Multi-label Image Classification Under Weakly Supervised Learning SERMANET P ， EIGEN D ， ZHANG X ， et al . Overfeat： Integrated recognition， localization and detection using convolutional networks . arXiv preprint arXiv： 1312.6229 ， 2013 . Overfeat： Integrated recognition， localization and detection using convolutional networks WEI Y C ， XIA W ， LIN M ， et al . HCP： a flexible CNN framework for multi-label image classification ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 9 ）： 1901 - 1907 . doi: 10.1109/tpami.2015.2491929 http://dx.doi.org/10.1109/tpami.2015.2491929 HCP： a flexible CNN framework for multi-label image classification WANG J ， YANG Y ， MAO J H ， et al . CNN-RNN： a unified framework for multi-label image classification ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 2285 - 2294 . doi: 10.1109/cvpr.2016.251 http://dx.doi.org/10.1109/cvpr.2016.251 CNN-RNN： a unified framework for multi-label image classification CHEN T S ， XU M X ， HUI X L ， et al . Learning semantic-specific graph representation for multi-label image recognition ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 522 - 531 . doi: 10.1109/iccv.2019.00061 http://dx.doi.org/10.1109/iccv.2019.00061 Learning semantic-specific graph representation for multi-label image recognition LANCHANTIN J ， WANG T L ， ORDONEZ V ， et al . General multi-label image classification with transformers ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 16473 - 16483 . doi: 10.1109/cvpr46437.2021.01621 http://dx.doi.org/10.1109/cvpr46437.2021.01621 General multi-label image classification with transformers CHENG X ， LIN H Z ， WU X Y ， et al . MLTR： multi-label classification with transformer ［C］. 2022 IEEE International Conference on Multimedia and Expo. Taipei ， Taiwan， China . IEEE ， 2022 ： 1 - 6 . doi: 10.1109/icme52920.2022.9860016 http://dx.doi.org/10.1109/icme52920.2022.9860016 MLTR： multi-label classification with transformer LIU S ， ZHANG L ， YANG X ， et al . Query2Label： A Simple Transformer Way to Multi-Label Classification ［J］. arXiv preprint arXiv： 2107.10834 ， 2021 . Query2Label： A Simple Transformer Way to Multi-Label Classification HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90 Deep residual learning for image recognition ZHU K ， WU J X . Residual attention： a simple but effective method for multi-label recognition ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal ， QC， Canada . IEEE ， 2021 ： 184 - 193 . doi: 10.1109/iccv48922.2021.00025 http://dx.doi.org/10.1109/iccv48922.2021.00025 Residual attention： a simple but effective method for multi-label recognition CUI Y ， JIA M L ， LIN T Y ， et al . Class-balanced loss based on effective number of samples ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 9260 - 9269 . doi: 10.1109/cvpr.2019.00949 http://dx.doi.org/10.1109/cvpr.2019.00949 Class-balanced loss based on effective number of samples WU T ， HUANG Q Q ， LIU Z W ， et al . Distribution-balanced Loss for Multi-label Classification in Long-tailed Datasets ［M］. Computer Vision – ECCV 2020 . Cham ： Springer International Publishing ， 2020 ： 162 - 178 . doi: 10.1007/978-3-030-58548-8_10 http://dx.doi.org/10.1007/978-3-030-58548-8_10 Distribution-balanced Loss for Multi-label Classification in Long-tailed Datasets RIDNIK T ， BEN-BARUCH E ， ZAMIR N ， et al . Asymmetric loss for multi-label classification ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal ， QC， Canada . IEEE ， 2021 ： 82 - 91 . doi: 10.1109/iccv48922.2021.00015 http://dx.doi.org/10.1109/iccv48922.2021.00015 Asymmetric loss for multi-label classification YE J ， HE J J ， PENG X J ， et al . Attention-driven Dynamic Graph Convolutional Network for Multi-label Image Recognition ［M］. Computer Vision – ECCV 2020 . Cham ： Springer International Publishing ， 2020 ： 649 - 665 . doi: 10.1007/978-3-030-58589-1_39 http://dx.doi.org/10.1007/978-3-030-58589-1_39 Attention-driven Dynamic Graph Convolutional Network for Multi-label Image Recognition YOU R C ， GUO Z Y ， CUI L ， et al . Cross-modality attention with semantic graph embedding for multi-label classification ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12709 - 12716 . doi: 10.1609/aaai.v34i07.6964 http://dx.doi.org/10.1609/aaai.v34i07.6964 Cross-modality attention with semantic graph embedding for multi-label classification LIN T Y ， GOYAL P ， GIRSHICK R ， et al . Focal loss for dense object detection ［C］. 2017 IEEE International Conference on Computer Vision . Venice， Italy . IEEE ， 2017 ： 2999 - 3007 . doi: 10.1109/iccv.2017.324 http://dx.doi.org/10.1109/iccv.2017.324 Focal loss for dense object detection 10.37188/OPE.20223020.2501 TN219 TP391.4 A 1004-924X（2022）20-2501-09 苗传开,娄树理,李婷等.基于弱监督学习的多标签红外图像分类算法[J].光学精密工程,2022,30(20):2501-2509. 苗传开,娄树理,李婷等.基于弱监督学习的多标签红外图像分类算法[J].光学精密工程,2022,30(20):2501-2509. MIAO Chuankai,LOU Shuli,LI Ting,et al.Multi-label infrared image classification algorithm based on weakly supervised learning[J].Optics and Precision Engineering,2022,30(20):2501-2509. MIAO Chuankai,LOU Shuli,LI Ting,et al.Multi-label infrared image classification algorithm based on weakly supervised learning[J].Optics and Precision Engineering,2022,30(20):2501-2509. 山东省自然科学基金项目（No.ZR2019LZH016）。 2022-05-09 2022-06-17 2022-10-25 2022-10-27 光学精密工程 20 30