融合CNN和Transformer的遥感图像建筑物快速提取 Fast extraction of buildings from remote sensing images by fusion of CNN and Transformer 1 2 corresp first-author E-mail： zhangyunzuo888@sina.com E-mail： zhangyunzuo888@sina.com 张云佐（1984-），男，河北石家庄人，博士，副教授，博士生导师，2016年于北京理工大学获得博士学位，主要从事计算机视觉、人工智能、大数据方面的研究。E-mail： zhangyunzuo888@sina.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413479&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413497&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413493&type= 22.01333237 32.00400543 张云佐 （1984-），男，河北石家庄人，博士，副教授，博士生导师，2016年于北京理工大学获得博士学位，主要从事计算机视觉、人工智能、大数据方面的研究。E-mail： zhangyunzuo888@sina.com zhangyunzuo888@sina.com 1 郭 威（1998-），女，河北石家庄人，硕士研究生，2020年于保定学院获得学士学位，主要从事图像处理，目标检测方面的研究。E-mail：gw19981225 @126.com 郭 威（1998-），女，河北石家庄人，硕士研究生，2020年于保定学院获得学士学位，主要从事图像处理，目标检测方面的研究。E-mail：gw19981225 @126.com 1 石家庄铁道大学 信息科学与技术学院，河北 石家庄 050043 石家庄铁道大学 信息科学与技术学院，河北 石家庄 050043 School of Information Science and Technology， Shijiazhuang Tiedao University， Shijiazhuang 050043， China School of Information Science and Technology， Shijiazhuang Tiedao University， Shijiazhuang 050043， China 河北省电磁环境效应与信息处理重点实验室，河北 石家庄 050043 河北省电磁环境效应与信息处理重点实验室，河北 石家庄 050043 Hebei Key Laboratory of Electromagnetic Environmental Effects and Information Processing， Shijiazhuang Tiedao University， Shijiazhuang 050043， China Hebei Key Laboratory of Electromagnetic Environmental Effects and Information Processing， Shijiazhuang Tiedao University， Shijiazhuang 050043， China 遥感图像建筑物高效提取在城市规划、灾害救援、军事侦察等领域发挥着重要作用。基于深度学习的建筑物提取方法虽然具有很高的精准度，但通常是由复杂的卷积运算和极大的网络模型实现的，提取速度低，难以满足现实需求。为此，设计了一种遥感图像建筑物快速提取方法。在STTNet模型的特征提取网络中引入多尺度卷积，在同一卷积层内提取多尺度特征，进一步提高模型的特征提取能力。改进空间稀疏特征提取器结构，在带有空间注意力权值的特征图中应用通道注意力，有效学习通道注意力权值，进而解决使用骨干网络输出特征图学习时通道注意力权值浮动的问题。为降低模型参数量，加快模型的运算速度，将STTNet模型由并联结构改为串联结构。INRIA建筑物数据集上的实验表明，本文方法在保证精度和IoU的前提下速度比STTNet提升了18.3%，明显优于主流方法。 The efficient extraction of buildings from remote sensing images plays an important role in urban planning， disaster rescue， and military reconnaissance. Building extraction methods based on deep learning have made significant progress in accuracy， especially with the sparse token transformer network （STTNet） achieving extremely high accuracy. However， these methods are usually implemented using complex convolution operations in extremely large network models， which results in low extraction speed， thereby presenting difficulties in fulfilling practical needs. Therefore， in this study， a method is designed for the fast extraction of buildings from remote sensing images. First， multi-scale convolution is introduced into the feature extraction network of the STTNet model， whereby multi-scale features are extracted in the same convolution layer to further improve the feature extraction capability of the model. Second， channel attention is applied to the feature map of the force weights， to effectively learn channel attention weights， thereby solving the problem of floating channel attention weights when using the backbone network to output the learned feature map. Finally， to reduce the number of model parameters and speed up the model， the STTNet model structure is changed from parallel to series. Experiments on the INRIA building dataset show that in terms of accuracy and the intersection over union （IoU） metric， the proposed method is 18.3% faster than STTNet and thus better than current mainstream methods. 遥感图像 建筑物提取 多尺度卷积 稀疏特征提取器 remote sensing image building extraction multi-scale convolution sparse feature extractor 1 引 言 1 遥感图像建筑物高效提取在违章建筑检测、国土规划、灾害现场评估等方面都发挥着重要作用 ［ 1 1 ］ 。近年来，虽然高分遥感图像处理技术获得了极大发展，但是距离灾害应急响应的建筑物倒损快速评估等现实应用需求仍有一定差距。卫星的高清遥感数据规模较大，计算效率变得非常重要。 基于深度学习的建筑物提取方法已经成为一种高效、方便的获取建筑物分布的方式 ［ 2 2 ］ 。目前，遥感图像建筑物提取领域研究主要分为两个方向：基于卷积神经网络（Convolutional Neural Network，CNN）的建筑物提取方法和基于Transformer结构的建筑物提取方法。其中，基于CNN的建筑物提取方法主要通过改善网络架构来提升性能。为了处理遥感图像中复杂的建筑物和道路形态，Zhang等 ［ 3 3 ］ 提出了一种通用的建筑物和道路提取网络，并构造了一个密集的多卷积模块加入到网络的编码阶段。在降采样的过程中能够提取出更详细的信息，但在解码阶段无法恢复这些详细信息。Pan等 ［ 4 4 ］ 将空间注意机制和通道注意机制与生成对抗网络 ［ 5 5 ］ 相结合，可以更好地提取地形不规则的建筑物遥感图像，但增加了模型的复杂性和计算复杂度。Zhang等 ［ 6 6 ］ 利用特征信息在解码阶段的多尺度融合策略构造了一个多尺度解码网络（Multi-scale Decoding Network， MSDNet），可以有效提取建筑物信息，但却产生了大量参数，增加了遥感图像的预测时间。Hua等 ［ 7 7 ］ 通过一种使用空间残差Inception的卷积神经网络，连续融合多层次特征来捕获多尺度上下文信息以进行语义理解。He等 ［ 8 8 ］ 将一种融合一阶和二阶注意力的U-Net网络结构用于遥感图像建筑物提取，利用不同通道的全局均值和内积来自适应地重新缩放中间特征。这些方法虽然取得了较好的提取效果，但产生了大量的模型参数和计算量，使得从遥感图像中提取建筑物的过程变得非常缓慢。 近年来，基于Transformer结构的建筑物提取方法越来越多地应用在遥感领域。SETR ［ 9 9 ］ 模型开创性地将语义分割任务看作序列到序列的预测任务，使用一个无卷积和下采样操作的Transformer将图像编码为一个图像序列，通过在Transformer的每一层中建模全局上下文依赖，编码器可以与一个简单的解码器结合，获得一个强大的分割网络。Zhao等 ［ 10 10 ］ 提出了一种使用全局关系引导模块和基于Transformer的局部特征提取模块的网络结构，实现了遥感图像多类目标语义分割任务。Xu等 ［ 11 11 ］ 在研究Transformer后提出一种具有多层感知头和边缘增强模块的遥感图像提取方法。Yuan等 ［ 12 12 ］ 将Swin Transformer编码架构应用于遥感图像的提取任务中，取得了优异的提取结果。尽管Transformer在图像语义分割任务中取得了巨大进展，但其计算复杂度极高，提取速度过低。 最近，融合CNN和Transformer的建筑物提取方法成为研究热点。2021年Chen等 ［ 13 13 ］ 提出了一种CNN-Transformer混合结构的STTNet模型，虽然该模型在遥感图像建筑物提取上实现了较高的精度，但提取速度有待提高。针对建筑物提取效率低的问题，本文提出了一种遥感图像建筑物快速提取方法。该方法以STTNet为基础框架，在特征提取模块中引入多尺度卷积，增强网络特征提取能力；改进空间稀疏特征提取器结构，将通道注意力机制引入空间稀疏特征提取器结构中，更有效地学习通道注意力权值，避免出现骨干网络输出特征图学习时通道注意力存在的权值浮动问题；将模型由并联结构改为串联结构，降低模型参数量，在保证提取效果的前提下，提高模型的运行速度。 2 算法设计 1 本文所提算法包括一个卷积神经网络特征提取器、一个空间/通道稀疏特征提取器、一个基于Transformer的编解码结构和一个预测头。为提取到遥感图像多尺度特征，在STTNet骨干网络中引入多尺度卷积；将原始STTNet模型由并联结构改为串联结构，删除原通道维度的并行稀疏特征提取和编码操作；改进了空间稀疏特征提取器结构，在空间维度的稀疏特征提取中融合通道稀疏特征提取的部分操作，以达到获取通道注意力的效果。完整的模型结构如 图1 图1 所示。 2.1　骨干网络 2 STTNet使用ResNet50骨干网络对输入图像进行特征图提取，经过16倍的下采样得到原始特征图，但是这样会丢失一些特征信息，因此，本文在ResNet50骨干网络的基础上引入多尺度卷积（Poly-Scale Convolution， PSConv） ［ 14 14 ］ 。PSConv可以将输入的特征按尺度分为多块，将多尺度卷积集成到同一计算过程中，在两个正交的维度上同时混合多尺度信息，示意图如 图2 图2 所示。 假设输入特征为 <math id="M1"><mi mathvariant="bold-italic">F</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413536&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413526&type= 20.31999969 3.38666677 ，卷积核尺寸为 <math id="M2"><mi mathvariant="bold-italic">G</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>×</mo><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>×</mo><mi>k</mi><mo>×</mo><mi>k</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413549&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413532&type= 24.12999916 3.38666677 ，输出特征为 <math id="M3"><mi mathvariant="bold-italic">H</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413553&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413542&type= 21.50533485 3.38666677 ，则常规卷积定义为： <math display="block" id="M4"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mi>c</mi><mo>,</mo><mi>x</mi><mo>,</mo><mi>y</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mfrac><mrow><mi>K</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow><mrow><mfrac><mrow><mi>K</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mfrac><mrow><mi>K</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow><mrow><mfrac><mrow><mi>K</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow></munderover></mstyle><mrow><msub><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mi>c</mi><mo>,</mo><mi>k</mi><mo>,</mo><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>k</mi><mo>,</mo><mi>x</mi><mo>+</mo><mi>i</mi><mo>,</mo><mi>y</mi><mo>+</mo><mi>j</mi></mrow></msub></mrow></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413559&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413546&type= 62.56866837 13.88533401 ， 其中： <math id="M5"><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413566&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413547&type= 4.23333359 3.72533321 为输入通道数， <math id="M6"><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413570&type= 5.33400011 3.72533321 为输出通道数。 PSConv在单个卷积核内实现对特征的多尺度提取，计算公式为： <math display="block" id="M7"><msub><mrow><mi mathvariant="bold-italic">H</mi></mrow><mrow><mi>c</mi><mo>,</mo><mi>x</mi><mo>,</mo><mi>y</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mfrac><mrow><mi>K</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow><mrow><mfrac><mrow><mi>K</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mfrac><mrow><mi>K</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow><mrow><mfrac><mrow><mi>K</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow></munderover></mstyle><mrow><msub><mrow><mi mathvariant="bold-italic">G</mi></mrow><mrow><mi>c</mi><mo>,</mo><mi>k</mi><mo>,</mo><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>k</mi><mo>,</mo><mi>x</mi><mo>+</mo><mi>i</mi><msub><mrow><mi>D</mi></mrow><mrow><mo stretchy="false">(</mo><mi>c</mi><mo>,</mo><mi>k</mi><mo stretchy="false">)</mo></mrow></msub><mo>,</mo><mi>y</mi><mo>+</mo><mi>j</mi><msub><mrow><mi>D</mi></mrow><mrow><mo stretchy="false">(</mo><mi>c</mi><mo>,</mo><mi>k</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub></mrow></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413577&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413583&type= 70.95066071 13.88533401 . 由 式（1） 式（1） 和 式（2） 式（2） 可得，PSConv通过在卷积核中使用不同的扩张因子对不同尺度的特征进行提取，对多尺度卷积融合，实现对卷积核更细粒度的利用。本文算法将残差结构第一层的常规卷积替换为3个PSConv进行特征提取，将输入特征进行多尺度融合，使网络结构在计算复杂度相似的同时增强特征提取能力。 2.2　稀疏语义特征采样器 2 用 <math id="M8"><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><msup><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413598&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413585&type= 21.59000015 3.89466691 表示由CNN骨干网络提取到的特征图， <math id="M9"><mi>C</mi><mo>,</mo><mo> </mo><mi>H</mi><mo>,</mo><mo> </mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413603&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413588&type= 13.88533401 3.21733332 分别表示特征图的通道数、高度和宽度。首先减少通道数，用卷积层将通道数降为原来的1/4，有利于高效建立全局依赖关系，并将该特征图记为 <math id="M10"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413910&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413907&type= 3.13266683 2.79399991 。然后，设计了一个生成空间概率图和通道概率图的模块。将空间概率图和通道概率图定义为 <math id="M11"><msub><mrow><mi>A</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413610&type= 3.80999994 3.72533321 ，其中 <math id="M12"><mi>i</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><mi>s</mi><mo>,</mo><mo> </mo><mtext> </mtext><mi>c</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413618&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413616&type= 13.80066681 3.97933316 。根据概率图从原始特征图 <math id="M13"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413910&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413907&type= 3.13266683 2.79399991 中采样得到 <math id="M14"><msub><mrow><mi>k</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413634&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413633&type= 2.45533323 3.72533321 个高响应的特征组成稀疏特征表达 <math id="M15"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413644&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413642&type= 3.38666677 3.72533321 ，以通道稀疏特征的采样过程为例，采样得到 <math id="M16"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413654&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413646&type= 3.64066648 3.72533321 ，即： <math display="block" id="M17"><mi>i</mi><mi>d</mi><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">k</mi><mo stretchy="false">(</mo><msub><mrow><mi>A</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>,</mo><mo> </mo><msub><mrow><mi>k</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413668&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413650&type= 30.47999954 4.82600021 ， <math display="block" id="M18"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">g</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mo stretchy="false">(</mo><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">X</mi><mo stretchy="false">)</mo><mo>,</mo><mtext> </mtext><mo> </mo><mi>i</mi><mi>d</mi><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413658&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413656&type= 49.27600098 4.82600021 ， 其中， <math id="M19"><mi>i</mi><mi>d</mi><msub><mrow><mi>x</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413662&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413659&type= 6.18066692 3.72533321 是计算得到的索引坐标， <math id="M20"><mi mathvariant="normal">t</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">k</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo> </mo><mtext> </mtext><mo>,</mo><mo> </mo><mo> </mo><mo> </mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413667&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413679&type= 16.00200081 3.97933316 表示从某一个张量固定维度中得到最大 <math id="M21"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413682&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413684&type= 1.69333339 2.79399991 个值和对应的索引坐标， <math id="M22"><msub><mrow><mi>A</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413700&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413698&type= 3.97933316 3.72533321 是通道概率图， <math id="M23"><msub><mrow><mi>k</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413691&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413702&type= 2.62466669 3.72533321 是所需高响应位置的数目， <math id="M24"><mi mathvariant="normal">g</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mo stretchy="false">(</mo><mo>⋅</mo><mtext> </mtext><mo>,</mo><mtext> </mtext><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413706&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413693&type= 17.61066628 3.97933316 表示根据索引从某一个固定维度抽出元素组成新的张量， <math id="M25"><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413709&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413708&type= 18.03400040 3.97933316 表示将特征 <math id="M26"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413910&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413907&type= 3.13266683 2.79399991 由 <math id="M27"><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413720&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413712&type= 19.30400085 2.87866688 改变为 <math id="M28"><mi>C</mi><mo>×</mo><mo stretchy="false">(</mo><mi>H</mi><mi>W</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413723&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413732&type= 17.10266685 3.55599999 。根据上述方式得到空间稀疏语义特征 <math id="M29"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413736&type= 3.55599999 3.72533321 和通道稀疏语义特征 <math id="M30"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413745&type= 3.64066648 3.72533321 。 原版STTNet网络中将特征图与空间概率分布图相乘，得到带有空间注意力权重的特征图，其各维度前后不发生变化。在获得带有空间注意力权重的特征图后，稀疏特征提取器还需要提取特征图的建筑物向量矩阵。通道稀疏特征提取与空间稀疏特征提取操作大多相同，只不过将获取通道概率分布图使用的卷积操作从通道数归一变为宽高归一，使用卷积核尺寸与特征图宽高相同的卷积核实现。 使用通道稀疏特征提取可以提升模型的性能，但是这种对于相似特征图权值给予不一致的操作会降低这种方法的性能。因此，本模型将通道维度的并行稀疏特征提取和编码操作删除，使用建筑物特征更明显的带有空间注意力权值的特征图获取通道注意力权值，得到带有空间-通道双注意力权值的特征图，再进行空间稀疏特征提取得到建筑物特征向量矩阵，详细结构如 图3 图3 所示。 2.3　编解码结构 2 本文使用Transformer的编码器建立空间稀疏语义特征和通道稀疏语义特征之间的依赖关系。对于空间位置嵌入，本方法用可学习的参数初始化一个嵌入向量 <math id="M31"><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>H</mi><mo>×</mo><mi>W</mi><mo>×</mo><mi>C</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413766&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413764&type= 20.23533440 4.23333359 ，然后采样得到空间稀疏位置的嵌入向量 <math id="M32"><msubsup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413769&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413752&type= 3.97933316 3.97933316 ，即： <math display="block" id="M33"><msubsup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo>=</mo><mi mathvariant="normal">g</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mo stretchy="false">(</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>,</mo><mi>i</mi><mi>d</mi><msub><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413772&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413770&type= 33.61266708 5.07999992 . 同理可以得到通道稀疏位置向量 <math id="M34"><msubsup><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413789&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413775&type= 3.97933316 3.97933316 。得到稀疏位置编码后，通过多头自注意力层建立长距离依赖关系，有： <math display="block" id="M35"><mi mathvariant="bold-italic">Q</mi><mo>,</mo><mi mathvariant="bold-italic">K</mi><mo>,</mo><mi mathvariant="bold-italic">V</mi><mo>=</mo><mi>g</mi><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>q</mi><mo>,</mo><mi>k</mi><mo>,</mo><mi>v</mi></mrow></msub><mo>;</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>g</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413793&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413791&type= 36.57600021 4.82600021 ， <math display="block" id="M36"><msubsup><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup><mo>=</mo><mi>Γ</mi><mfenced separators="|"><mrow><mi>σ</mi><mfenced separators="|"><mrow><mfrac><mrow><mi mathvariant="bold-italic">Q</mi><msubsup><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi>P</mi><mi>o</mi><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mo>+</mo><mi mathvariant="bold-italic">Q</mi><msup><mrow><mi mathvariant="bold-italic">K</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></mrow><mrow><mroot><mrow><mi>d</mi></mrow><mrow/></mroot></mrow></mfrac><mi mathvariant="bold-italic">V</mi></mrow></mfenced><mo>;</mo><mtext> </mtext><mo> </mo><msub><mrow><mi>W</mi></mrow><mrow><mi>Γ</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413780&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413779&type= 54.61000061 11.51466751 ， 在编码器中， <math id="M37"><msub><mrow><mi>I</mi></mrow><mrow><mi>q</mi><mo>,</mo><mi>k</mi><mo>,</mo><mi>v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413783&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413781&type= 6.18066692 3.72533321 表示 <math id="M38"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413804&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413802&type= 3.55599999 3.72533321 和 <math id="M39"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413818&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413806&type= 3.64066648 3.72533321 ， <math id="M40"><mi>g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413809&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413808&type= 2.11666679 3.64066648 是线性层， <math id="M41"><mi mathvariant="bold-italic">Q</mi><mo>,</mo><mi mathvariant="bold-italic">K</mi><mo>,</mo><mi mathvariant="bold-italic">V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413824&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413811&type= 12.61533356 3.21733332 是经过线性映射得到的矩阵， <math id="M42"><mi>i</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><mi mathvariant="normal">s</mi><mo>,</mo><mi mathvariant="normal">c</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413829&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413826&type= 12.86933327 3.97933316 代表使用空间稀疏视觉单词还是通道稀疏视觉单词， <math id="M43"><msubsup><mrow><mi>T</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413817&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413816&type= 4.14866638 3.97933316 是经过Transformer编码器得到的包含上下文信息的特征单词， <math id="M44"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413850&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413834&type= 1.86266661 2.79399991 表示softmax操作， <math id="M45"><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413854&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413836&type= 2.28600001 2.79399991 为视觉单词的维度， <math id="M46"><mi>Γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413859&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413855&type= 2.70933342 2.79399991 代表后处理操作，包括线性映射层、Dropout层、跳线连接和层正则化。 在得到 <math id="M47"><msubsup><mrow><mi>T</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413841&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413861&type= 4.14866638 3.97933316 后，使用解码器在原始特征中融入全局信息。首先，调整原始特征 <math id="M48"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413910&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413907&type= 3.13266683 2.79399991 的维度来适应Transformer解码器的输入，将三维张量 <math id="M49"><mi mathvariant="bold-italic">X</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413847&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413868&type= 19.55800056 3.38666677 调整为 <math id="M50"><msub><mrow><mi mathvariant="bold-italic">Z</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mo stretchy="false">(</mo><mi>H</mi><mi>W</mi><mo stretchy="false">)</mo><mo>×</mo><mi>C</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413880&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413874&type= 19.13466644 4.23333359 和 <math id="M51"><msub><mrow><mi mathvariant="bold-italic">Z</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mo stretchy="false">(</mo><mi>H</mi><mi>W</mi><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413882&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413895&type= 19.13466644 4.23333359 ，其中 <math id="M52"><msub><mrow><mi mathvariant="bold-italic">Z</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413887&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413885&type= 3.47133350 3.72533321 和 <math id="M53"><msub><mrow><mi mathvariant="bold-italic">Z</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413904&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413902&type= 3.55599999 3.72533321 是由 <math id="M54"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413910&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413907&type= 3.13266683 2.79399991 调整变形得到的。然后将 <math id="M55"><msub><mrow><mi mathvariant="bold-italic">Z</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413913&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413924&type= 3.30200005 3.72533321 ， <math id="M56"><mi>i</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><mi mathvariant="normal">s</mi><mo>,</mo><mtext> </mtext><mi mathvariant="normal">c</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413916&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413930&type= 13.63133430 3.97933316 视为查询集，将编码器的输出 <math id="M57"><msubsup><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413922&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413919&type= 4.23333359 3.97933316 视为键和值。通过编码器中的表达式能够得到编码的输出为 <math id="M58"><msubsup><mrow><mi mathvariant="bold-italic">Z</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413940&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413937&type= 4.06400013 3.97933316 ，它同时含有细节和全局信息。 编码器使用稀疏特征提取得到的最高概率的注意力特征图向量，作为多头注意力模块的 Q ， K ， V 输入，并且使用一个可以被训练的空间嵌入向量辅助，经过多头注意力计算后得到编码器输出。解码器结构使用带有空间-通道双注意力权重的特征图按向量排列作为 Q 输入，编码器输出作为 K ， V 输入，同样使用一个空间嵌入向量辅助，经过多头注意力计算后得到解码器输出。 2.4　预测头 2 在解码器的输出端，融合局部和全局信息的精细化特征图在本文网络中的空间分辨率为 <math id="M59"><mi>H</mi><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413945&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413956&type= 11.93799973 2.87866688 ，是原始图像的1/16。本文设计了一个简单的上采样头来恢复像素级预测的全分辨率，将骨干特征图、带有空间-通道双注意力权重的特征图和编解码得到的特征图在通道维度进行拼接，通过两次多层卷积和4倍像素重组将下采样16倍的特征图还原为原尺寸，并使用卷积操作将通道数变为分类类别数。 3 实验与分析 1 3.1　实验环境 2 实验的运行环境为：操作系统CentOS7，显卡NVIDIA Tesla V100S-PCIE-32GB，处理器Intel （R） Xeon（R） Gold 6226R CPU @ 2.90 GHz。采用Pytorch深度学习框架。实验中，使用随机梯度下降法（Stoch astic Gradient Descent，SGD）和一个动量优化器，动量因子设置为0.9，初始学习率设置为0.01，权重衰减系数设置为0.000 1，训练的批量大小设置为8。 3.2　实验数据集 2 实验选用INRIA ［ 15 15 ］ 航空图像标注数据集，该数据集使用空间分辨率为0.3 m的航空正射校正彩色图像，覆盖了810平方公里的土地，其中训练集和测试集各拥有180张5 000×5 000分辨率的图像，包括奥斯汀、维也纳、旧金山、芝加哥和贝灵汉等城市。部分样例图片如 图4 图4 所示。 由于数据集中原图尺寸过大，本文将遥感图像及其标注分割为15 000张512×512分辨率的图像，其中选取12 000张图像作为训练集，各选取1 500张图像作为实验的验证集和测试集。 3.3　模型评价指标 2 本文将整体精准度（Overall Accuracy， OA）、交并比（Intersection over Union， IoU）和推理时间（Reasoning Time， RT）作为建筑物提取模型的评价指标。其中OA和IoU的计算公式为： <math display="block" id="M60"><mi>O</mi><mi>A</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>T</mi><mi>N</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>T</mi><mi>N</mi><mo>+</mo><mi>F</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413966&type= 46.39733505 8.12800026 ， <math display="block" id="M61"><mi>I</mi><mi>o</mi><mi>U</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413971&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45413986&type= 36.66066742 8.04333401 ， 其中：TP，TN，FP和FN分别代表真正类、真负类、假正类和假负类。 3.4　实验结果分析 2 原版STTNet网络将特征图经过通道缩小4倍的卷积、批标准化、LeakyReLU激活函数等一系列操作得到空间概率分布图。这里随机选取两张图像并查看空间概率分布图的效果，将空间概率分布图进行可视化，颜色越黄的位置建筑物提取的概率越高。 图5 图5 中展示了示例图一的提取结果（彩图见期刊电子版）。 图5 图5 中建筑物分为左上、右上、左下、右下4个集群，首先分析左上集群的单独大型建筑物。在空间概率分布图中，能较好地识别该建筑的右边区域，深颜色区域形成一个矩形，其直角与直边位置的提取效果较好；而左侧突出的两个区域在空间概率分布图中颜色较淡，下方突出区域保留了和原图一致的结构，但上方突出区域只有一个像素的突出，在提取结果中上方突出甚至没有被识别，而下方突出虽然被识别，但是被分割成两个建筑。在右上的建筑集群，可以看到其提取结果非常清晰且精度很高，在空间概率分布图中可以看出颜色深的像素块呈水平排列，与图中建筑物的排列方向一致。对于右下的建筑集群，在空间概率分布图中整个矩形区域的颜色都很深，在提取结果中建筑物的提取效果很模糊，这和建筑物之间间隙太小有关。左下角的建筑物集群中，最左侧的建筑物外形特征在空间概率分布图中较为明显，不过还是出现了内部空洞的提取结果。 随机选取 INRIA数据集中另外一张图片进行实验， 图6 图6 展示了示例图二的提取结果。从 图6 图6 （c）中可以看出，右下角的建筑物拥有极高的概率，因此在图中颜色最深，提取效果最佳，直边、直角等结构均很清晰。而 图6 图6 （c）中右上角的建筑颜色相较于右下角的建筑颜色稍淡，只比其左边的非建筑物区域的颜色稍深，提取效果较差，轮廓特征提取并不是很明显。 这里以示例图二为例，对比其特征图和空间概率分布图。由于图片拥有64个通道，难以展示全部特征图，本文选取其中具有代表性的几张特征图进行可视化输出，如 图7 图7 所示。由 图7 图7 （a）可以看出，部分图片中建筑物的提取效果很好，但也有一部分图片描述了其他特征，比如 图7 图7 （b）较好地提取了马路的特征， 图7 图7 （c）对于在建筑物区域内特征为零区域呈黑色，而在建筑物外部有着广泛的特征。因此，由特征图将通道信息汇总得到空间概率分布图，可以过滤掉对建筑物提取影响不大的特征图，从而得到一张浓缩的仅用于识别建筑物的特征图。 图8 图8 展示了带有空间注意力权重的特征图与不带有空间注意力权重特征图的差异，由于特征图拥有64个通道，图片数量过多，本文选取了几张效果最明显的图进行对比。使用特征图与空间概率分布图相乘，得到带有空间注意力权重的特征图，其各维度前后不发生变化。从 图8 图8 中可以明显地看到，在加入了空间注意力权重之后，原特征图中的一些特征颜色变淡，建筑物特征变得尤为清晰。 图8 图8 （b）中建筑物周围的噪声特征被很好地过滤， 图8 图8 （c）中的左侧马路特征也被进一步减弱。由此表明，带有空间注意力权重的特征图会在预测头前与其他特征在通道维度上拼接融合，改善图像的提取效果。 1;2; 将STTNet模型和改进的STTNet模型在测试集上进行测试， 表1 表1 展示了两者的OA，IoU和推理时间。其中，STTNet模型的推理时间为40.01 ms，而改进后STTNet模型的推理时间为32.67 ms，降低了18.3%。在OA和IoU两个表示精准度性能的指标上，与STTNet基本保持一致，IoU提升了0.1%。 Algorithm OA/% IoU/% RT/ms STTNet 97.10 78.88 40.01 改进STTNet 97.11 78.98 32.67 STTNet改进前后的提取效果对比如 图9 图9 所示。由图可知，改进后的模型对于边缘规则平整的建筑物来说提取效果较好，即使非常密集且建筑物很小的图像，也能很好地提取，证明了多尺度卷积以及使用带有空间注意力权重的特征图进行通道注意力权重获取的有效性。总体而言，模型改进前后的提取精度基本保持同一水平。为了充分评估本文算法，对遥感图像建筑物的提取能力，将本文算法与INRIA数据集上的先进方法进行了对比实验分析。各算法的OA，IoU以及推理时间如 表2 表2 所示，其中加黑字体代表最优提取结果。 Algorithm OA/% IoU/% RT/ms U-Nets ［ 16 16 ］ 96.05 74.55 108.84 Building-A-Nets ［ 17 17 ］ 96.71 78.73 90.56 GMEDN ［ 18 18 ］ 96.43 76.69 38.72 STTNet ［ 13 13 ］ 97.10 78.88 40.01 改进STTNet 97.11 78.98 32.67 由 表2 表2 可知，本文算法的OA达到97.11%，IoU达到78.98%，在精准度方面表现最优。同时，推理时间为32.67 ms，虽然相比STTNet算法提升了18.3%，但是优于其他先进算法。因此，本文算法实现了遥感图像中最优的建筑物提取结果。 3.5　消融实验 2 为验证各模块对遥感图像建筑物提取效果的贡献，在INRIA数据集上进行消融实验，选择OA，IoU和RT作为实验的评价指标，结果如 表3 表3 所示。其中，（1）表示在基准模型STTNet基础上加入多尺度卷积；（2）表示改进空间稀疏特征提取器结构；（3）表示将原始STTNet模型由并联结构改为串联结构。 Model OA/% IoU/% RT/ms STTNet 97.10 78.88 40.01 STTNet+（1）+（2） 97.18 78.99 43.12 STTNet+（1）+（2）+（3） 97.11 78.98 32.67 由 表3 表3 可知，在原始模型STTNet的基础上引入（1）和（2）后OA提升了0.08%，IoU提升了0.11%，RT增加了3.11 ms。虽然精度有提升，但推理时间增加了7.8%，限制了遥感图像建筑物的快速提取。而将STTNet模型改为串联结构后，推理时间降低了10.45 ms，大幅度提升了遥感图像建筑物提取的速度。消融实验结果表明，本文方法在保证遥感图像建筑物提取精度最优的前提下获得了更快的提取速度。 4 结 论 1 为实现遥感图像建筑物的高效提取，本文改进了STTNet模型，在骨干网络ResNet50中引入PSConv，增强网络的特征提取能力；将STTNet模型中空间和通道并行的稀疏特征提取和编解码结构，改为融合通道注意力的空间稀疏特征提取和编解码结构，相比于原始特征图可以更有效地学习通道注意力权值。这种方法不仅保持了STTNet优越的提取性能，而且降低了模型的推理时间。后续将进一步研究提升遥感图像建筑物提取速度的方法，以满足特殊场景下对建筑物快速提取的应用需求。 参考文献 徐胜军 ， 欧阳朴衍 ， 郭学源 ， 等 . 多尺度特征融合空洞卷积ResNet遥感图像建筑物分割 ［J］. 光学 精密工程 ， 2020 ， 28 （ 7 ）： 1588 - 1599 . doi: 10.37188/OPE.20202807.1588 http://dx.doi.org/10.37188/OPE.20202807.1588 多尺度特征融合空洞卷积ResNet遥感图像建筑物分割 XU SH J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） . doi: 10.37188/OPE.20202807.1588 http://dx.doi.org/10.37188/OPE.20202807.1588 Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet 王舒洋 ， 慕晓冬 ， 杨东方 ， 等 . 融合高阶信息的遥感影像建筑物自动提取 ［J］. 光学 精密工程 ， 2019 ， 27 （ 11 ）： 2474 - 2483 . doi: 10.3788/ope.20192711.2474 http://dx.doi.org/10.3788/ope.20192711.2474 融合高阶信息的遥感影像建筑物自动提取 WANG S Y ， MU X D ， YANG D F ， et al . High-order statistics integration method for automatic building extraction of remote sensing images ［J］. Optics and Precision Engineering ， 2019 ， 27 （ 11 ）： 2474 - 2483 . （in Chinese） . doi: 10.3788/ope.20192711.2474 http://dx.doi.org/10.3788/ope.20192711.2474 High-order statistics integration method for automatic building extraction of remote sensing images ZHANG Z X ， WANG Y H . JointNet： a common neural network for road and building extraction ［J］. Remote Sensing ， 2019 ， 11 （ 6 ）： 696 . doi: 10.3390/rs11060696 http://dx.doi.org/10.3390/rs11060696 JointNet： a common neural network for road and building extraction PAN X R ， YANG F ， GAO L R ， et al . Building extraction from high-resolution aerial imagery using a generative adversarial network with spatial and channel attention mechanisms ［J］. Remote Sensing ， 2019 ， 11 （ 8 ）： 917 . doi: 10.3390/rs11080917 http://dx.doi.org/10.3390/rs11080917 Building extraction from high-resolution aerial imagery using a generative adversarial network with spatial and channel attention mechanisms LUC P ， COUPRIE C ， CHINTALA S ， et al . Semantic segmentation using adversarial networks ［EB/OL］. 2016 ： arXiv ： 1611 . 08408 . ［ 2022-08-25 ］. https：//arxiv.org/abs/1611.08408 https://arxiv.org/abs/1611.08408 " Semantic segmentation using adversarial networks ZHANG X Q ， XIAO Z H ， LI D Y ， et al . Semantic segmentation of remote sensing images using multiscale decoding network ［J］. IEEE Geoscience and Remote Sensing Letters ， 2019 ， 16 （ 9 ）： 1492 - 1496 . doi: 10.1109/lgrs.2019.2901592 http://dx.doi.org/10.1109/lgrs.2019.2901592 Semantic segmentation of remote sensing images using multiscale decoding network LIU P H ， LIU X P ， LIU M X ， et al . Building footprint extraction from high-resolution images via spatial residual inception convolutional neural network ［J］. Remote Sensing ， 2019 ， 11 （ 7 ）： 830 - 848 . doi: 10.3390/rs11070830 http://dx.doi.org/10.3390/rs11070830 Building footprint extraction from high-resolution images via spatial residual inception convolutional neural network HE N J ， FANG L Y ， PLAZA A . Hybrid first and second order attention Unet for building segmentation in remote sensing images ［J］. Science China Information Sciences ， 2020 ， 63 （ 4 ）： 1 - 12 . doi: 10.1007/s11432-019-2791-7 http://dx.doi.org/10.1007/s11432-019-2791-7 Hybrid first and second order attention Unet for building segmentation in remote sensing images ZHENG S X ， LU J C ， ZHAO H S ， et al . Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 6877 - 6886 . doi: 10.1109/cvpr46437.2021.00681 http://dx.doi.org/10.1109/cvpr46437.2021.00681 Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers ZHAO X ， GUO J Y ， ZHANG Y T ， et al . Memory-augmented transformer for remote sensing image semantic segmentation ［J］. Remote Sensing ， 2021 ， 13 （ 22 ）： 4518 . doi: 10.3390/rs13224518 http://dx.doi.org/10.3390/rs13224518 Memory-augmented transformer for remote sensing image semantic segmentation XU Z Y ， ZHANG W C ， ZHANG T X ， et al . Efficient transformer for remote sensing image segmentation ［J］. Remote Sensing ， 2021 ， 13 （ 18 ）： 3585 . doi: 10.3390/rs13183585 http://dx.doi.org/10.3390/rs13183585 Efficient transformer for remote sensing image segmentation YUAN W ， XU W B . MSST-net： a multi-scale adaptive network for building extraction from remote sensing images based on swin transformer ［J］. Remote Sensing ， 2021 ， 13 （ 23 ）： 4743 . doi: 10.3390/rs13234743 http://dx.doi.org/10.3390/rs13234743 MSST-net： a multi-scale adaptive network for building extraction from remote sensing images based on swin transformer CHEN K Y ， ZOU Z X ， SHI Z W . Building extraction from remote sensing images with sparse token transformers ［J］. Remote Sensing ， 2021 ， 13 （ 21 ）： 4441 - 4462 . doi: 10.3390/rs13214441 http://dx.doi.org/10.3390/rs13214441 Building extraction from remote sensing images with sparse token transformers LI D ， YAO A B ， CHEN Q F . PSConv ： Squeezing Feature Pyramid into one Compact Poly-scale Convolutional Layer ［M］. Computer Vision - ECCV 2020. Cham ： Springer International Publishing ， 2020 ： 615 - 632 . doi: 10.1007/978-3-030-58589-1_37 http://dx.doi.org/10.1007/978-3-030-58589-1_37 PSConv： Squeezing Feature Pyramid into one Compact Poly-scale Convolutional Layer MAGGIORI E ， TARABALKA Y ， CHARPIAT G ， et al . Can semantic labeling methods generalize to any city？ the inria aerial image labeling benchmark［C］. 2017 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）. 2328，2017 ， Fort Worth， TX， USA. IEEE ， 2017 ： 3226 - 3229 . doi: 10.1109/igarss.2017.8127684 http://dx.doi.org/10.1109/igarss.2017.8127684 Can semantic labeling methods generalize to any city？ KHALEL A ， EL-SABAN M . Automatic pixelwise object labeling for aerial imagery using stacked U-nets ［EB/OL］. 2018 ： arXiv ： 1803 . 04953 . https：//arxiv.org/abs/1803.04953 https://arxiv.org/abs/1803.04953 . Automatic pixelwise object labeling for aerial imagery using stacked U-nets LI X ， YAO X J ， FANG Y . Building-A-nets： robust building extraction from high-resolution remote sensing images with adversarial networks ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2018 ， 11 （ 10 ）： 3680 - 3687 . doi: 10.1109/jstars.2018.2865187 http://dx.doi.org/10.1109/jstars.2018.2865187 Building-A-nets： robust building extraction from high-resolution remote sensing images with adversarial networks MA J J ， WU L L ， TANG X ， et al . Building extraction of aerial images by a global and multi-scale encoder-decoder network ［J］. Remote Sensing ， 2020 ， 12 （ 15 ）： 2350 . doi: 10.3390/rs12152350 http://dx.doi.org/10.3390/rs12152350 Building extraction of aerial images by a global and multi-scale encoder-decoder network 10.37188/OPE.20233111.1700 TP751 A 1004-924X（2023）11-1700-10 张云佐,郭威,武存宇.融合CNN和Transformer的遥感图像建筑物快速提取[J].光学精密工程,2023,31(11):1700-1709. 张云佐,郭威,武存宇.融合CNN和Transformer的遥感图像建筑物快速提取[J].光学精密工程,2023,31(11):1700-1709. ZHANG Yunzuo,GUO Wei,WU Cunyu.Fast extraction of buildings from remote sensing images by fusion of CNN and Transformer[J].Optics and Precision Engineering,2023,31(11):1700-1709. ZHANG Yunzuo,GUO Wei,WU Cunyu.Fast extraction of buildings from remote sensing images by fusion of CNN and Transformer[J].Optics and Precision Engineering,2023,31(11):1700-1709. 国家自然科学基金资助项目（No.61702347， No.62027801）；河北省自然科学基金资助项目（No.F202210007， No.F2017210161）；河北省高等学校科学技术研究项目（No.ZD2022100， No.QN2017132）；中央引导地方科技发展资金项目（No.226Z0501G） 2022-09-15 2022-10-12 2023-06-10 2023-07-08 38601533 光学精密工程 11 31