Fusion of fractal geometric features Resnet remote sensing image building segmentation

融合分形几何特征Resnet遥感图像建筑物分割 Fusion of fractal geometric features Resnet remote sensing image building segmentation 1 2 first-author 徐胜军（1976-），男，陕西西安人，工学博士，副教授，硕士生导师，主要从事图像处理、模式识别领域的研究。E-mail： duplin@sina.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772997&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772992&type= 22.01332855 32.00400543 徐胜军 （1976-），男，陕西西安人，工学博士，副教授，硕士生导师，主要从事图像处理、模式识别领域的研究。E-mail： duplin@sina.com duplin@sina.com 1 2 corresp E-mail： zrx1997_1@sina.com E-mail： zrx1997_1@sina.com 张若暄（1997-），女，陕西西安人，硕士研究生，主要从事图像处理、遥感图像等方面的研究。E-mail： zrx1997_1@sina.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773001&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773005&type= 22.01333618 32.00400543 张若暄 （1997-），女，陕西西安人，硕士研究生，主要从事图像处理、遥感图像等方面的研究。E-mail： zrx1997_1@sina.com zrx1997_1@sina.com 1 2 1 2 1 3 西安建筑科技大学 信息与控制工程学院，陕西 西安 710055 西安建筑科技大学 信息与控制工程学院，陕西 西安 710055 College of Information and Control Engineering，Xi 'an University of Architecture and Technology， Xi'an 710055， China College of Information and Control Engineering，Xi 'an University of Architecture and Technology， Xi'an 710055， China 西安市建筑制造智动化技术重点实验室， 陕西 西安 710055 西安市建筑制造智动化技术重点实验室， 陕西 西安 710055 Xi'an Key Labratory of Building Manufactaring Intelligent & Automation Technology， Xi'an 710055， China Xi'an Key Labratory of Building Manufactaring Intelligent & Automation Technology， Xi'an 710055， China 西安交通大学 电子与信息学部，陕西 西安 710049 西安交通大学 电子与信息学部，陕西 西安 710049 Faculty of Electronic and Information Engineering， Xi'an Jiaotong University， Xi'an 710049， China Faculty of Electronic and Information Engineering， Xi'an Jiaotong University， Xi'an 710049， China 针对遥感图像建筑物易受背景中道路、树木、阴影干扰而导致分割边界不清晰的问题，提出了一种融合分形几何特征的Resnet网络。所提模型基于编码-解码框架，以Resnet网络为主干网络，在编码阶段中引入融合分形先验的空洞空间金字塔池化模块（FD-ASPP），利用分形维数捕获遥感图像的分形特征，增强了Resnet网络的几何特征描述能力。解码阶段提出一种深度可分离卷积注意力融合机制（DSCAF），有效融合高层次特征和低层次特征，获取更加丰富的遥感图像语义信息和位置细节信息。在WHU遥感图像数据集上的实验表明，精确率达到0.944 8，召回率达到0.946 2，F1分数达到0.945 5，平均交并比mIoU达到0.941 5。所提模型与FCN、Segnet、Deeplab V3、U-net、SETR和AlignSeg等现有建筑物遥感语义分割模型相比，具有更好的分割精度，有效克服了道路、树木、阴影等因素的干扰，得到了较清晰的建筑物边界。 In remote sensing images， roads， trees， and shadows in the background easily interfere with buildings； this usually leads to unclear segmentation boundaries. To address this issue， a Resnet network integrating fractal geometry features is proposed. Based on the coding–decoding framework and considering the Resnet network as a backbone network， the proposed algorithm introduces an atrous spatial pyramid pooling module （FD-ASPP） integrating fractal a priori in the coding stage， which can use the fractal dimension to capture the fractal features of remote sensing images and enhance the geometric feature description ability of the Resnet network. In the decoding stage， a deep separable convolution attention fusion mechanism （DSCAF） is proposed to effectively integrate high-level and low-level features to obtain richer semantic information and location details of remote sensing images. Experiments on the WHU remote sensing image dataset show that the accuracy precision rate is 0.944 8， the recall rate is 0.946 2， the F1 score is 0.945 5， and the average cross merge ratio mIoU is 0.941 5. Compared with existing remote sensing semantic segmentation algorithms for buildings， such as FCN， Segnet， Deeplab V3， U-net， SETR， and AlignSeg， the proposed method achieves better segmentation accuracy； effectively overcomes the interference of roads， trees， shadows and other factors； and obtains a clearer building boundary. 遥感图像 建筑物分割 残差网络 分形维数 特征融合 remote sensing image building segmentation Resnet fractal dimension feature fusion 1 引 言 1 近年来，遥感图像建筑物分割作为遥感图像分析中的关键问题之一受到了广泛关注。建筑物作为城乡区域占主体地位的地物目标，精确的建筑物分布信息对于监测城市地区的变化、城市规划和人口估计等科学研究具有重要意义 ［ 1 1 ］ 。然而与遥感图像中水体和森林等自然景物相比，建筑物常受到光照、季节、角度和边界不清晰以及背景信息复杂等强干扰的影响，这些干扰给遥感图像建筑物的准确分割带来了很大挑战。 传统的遥感图像建筑物分割方法主要以人工或机器学习方法获取的浅层特征作为图像分割的依据。Andres等 ［ 2 2 ］ 采用多阈值相结合的方法对于单一目标进行分类分割，提出了一种基于阈值的建筑物多框架协同分割方法。Lakshmi等 ［ 3 3 ］ 利用微分算子进行边缘检测，设计了一种基于边缘检测进行图像分割的方法。Adams等 ［ 4 4 ］ 通过选取种子点集，并与周围相似的像素进行合并，不断更新迭代直到满足条件为止，进行基于种子生长区域的图像分割。李静 ［ 5 5 ］ 基于归一化转动惯量（Normalized Moment of Inertia， NMI）特征的超像素块相似性度量对遥感图像进行分割，降低了超像素对噪声的敏感性，提高了影像分割的精度。虽然传统方法取得了一定的分割效果，但由于其只能提取到图像的浅层特征，没有考虑图像的深层语义特征，难以对蕴含大量语义信息的遥感图像建筑物进行有效分割，因而阻碍了传统方法在遥感建筑物分割领域的大规模应用。 深度学习能够有效提取图像中的深层特征，充分利用遥感图像中的语义信息。这类算法通过神经网络自主学习图像特征，建立图像与分割目标之间复杂的映射模型，可以实现端对端、像素对像素的语义分割，在遥感图像分割领域受到广泛关注 ［ 6 6 - 14 14 6-14 ］ 。Zheng等 ［ 15 15 ］ 将U-Net模型应用于遥感图像分割中，实现端到端的遥感图像像素级语义分割。Hosseinpoor等 ［ 16 16 ］ 对U-Net进行了改进，加入特征嵌入融合（Embedding Feature Fusion， EFF）模块，用于增强低级与高级特征的融合，在提取复杂建筑物方面取得了较好效果。Ren等 ［ 17 17 ］ 在U-Net模型中引入Dropout以减少过拟合，并且引入AC-Net增强特征提取能力，有效提高了模型准确率。陈欣等 ［ 18 18 ］ 针对复杂背景下遥感小目标的检测问题，在原SSD算法中引入通道注意力模块，通过构建权重参数空间，将注意力集中在关注目标区域的通道，有效降低了背景干扰。Bao等 ［ 19 19 ］ 基于Deeplab V3+使用轻量级网络Mobile net V3提取特征，然后使用空洞金字塔结构扩展感受野，最后采用双线性插值法对输出特征图像进行上采样得到像素级预测分割图，取得了良好的分割效果。Pan等 ［ 20 20 ］ 针对边缘像素易被误分割问题，提出一种渐进式边缘引导网络（PEG-Net），利用检测模块（Edge Detection Module， EDM）和引导模块（Guidance Module， GM）对特征空间进行重构，通过重新学习易出错的边缘像素提高分割模型的判别能力。Pan等 ［ 21 21 ］ 注意到上采样重建过程中小区域变化难以检测等问题，设计了一个密集连接的特征融合网络（DCFF-Net），通过两个VGG流架构差异提取网络，在融合过程引入注意力，有效弥补了池化操作造成的高分辨率位置信息丢失。 随着深度学习网络深度的增加，在卷积网络的训练过程中易出现梯度过多或消失的情况，导致训练无法正常进行。为了解决这一问题，He等 ［ 22 22 ］ 提出深度残差网络（Resnet），通过在卷积层中加入残差学习单元，能有效缓解网络训练问题。王宇等 ［ 23 23 ］ 利用Resnet学习建筑物特征并建立高维强非线性分割模型，通过条件随机场的成对势函数调节各像素点之间的关联关系，构成全连接条件随机场对分割结果进行调节，有效提升分割精度。徐胜军等 ［ 24 24 ］ 在Resnet的基础上中引入空洞卷积增大特征提取的感受野，以捕捉更丰富的多尺度细节特征，这种方法不仅提高了分割精度，而且有效克服了道路、树木等因素的干扰，得到了较清晰的建筑物边界。Zhao等 ［ 25 25 ］ 将注意力机制应用于通用ASPP模块以提高模型性能，对Resnet网络进行了细化调整，同时引入CNN模型中的池化层（Pooling layers in CNN models， PIC）模块将高级特征与低级特征进行融合，能够有效地捕获多尺度信息。 基于深度学习网络的遥感图像建筑物的准确分割依赖于对建筑物图像特征信息的有效表达，然而建筑物由于光照、季节、角度和边界不清晰等数据本身存在的干扰，导致深度学习网络难以真正学习到其本质边缘特征，因此常造成遥感建筑物图像分割边缘的模糊。分形维数（Fractal Dimension）作为刻画分形集合性质的维数，不仅可以反映图像的空间结构信息，而且能定量描述图像的复杂性 ［ 26 26 ］ 。遥感图像中，树木、河流、草地等自然景物具有强分形，而建筑物、道路等人造物体具有弱分形。受此启发，提出了一种融合分形几何特征Resnet遥感图像建筑物的分割模型，根据遥感图像中不同物体的分形特征先验知识，利用分形先验知识增强深度学习网络对不同物体图像特征的描述能力，从而提升对建筑物和复杂背景边界的分割精度。所提模型由编码和解码两部分组成，编码部分引入融合分形先验的空洞空间金字塔池化模块，通过分形维数获得目标邻域的分形特征，增强了Resnet网络的几何特征描述能力；解码部分引入深度可分离卷积注意力融合机制，融合编码层特征，得到丰富语义信息的特征图。实验结果表明，本模型具有良好的细节分辨率，能够更加有效、准确地提取遥感图像中的建筑物目标。 2 相关基础理论 1 2.1　分形维数 2 2 . 1 . 1　分形维数概念 3 图像的纹理是所有物体表面共有的一种内在特征，分形维数可以有效表达图像的纹理特征 ［ 27 27 ］ ，这种纹理特征反映了图像中同质现象的视觉特征，且不依赖于图像颜色或亮度变化。相关研究表明 ［ 28 28 ］ ，分形维数直观上与物体表面的粗糙程度相吻合，本质刻画了图像像素邻域灰度空间分布的规律。由于自然物体和人工物体的图像在分形维数存在差异使得基于分形理论的图像分析成为可能。因此，分形维数作为一种刻画图像表面特征的重要参数，是描述分形特征的定量指标，也是描述分形图像自相似的不确定特点的一个重要的参数。 2 . 1 . 2　分形维数计算方法 3 分形维数存在多种计算方法，其中差分盒维数法（Differential Box Counting，DBC） ［ 29 29 ］ 具有计算量小、计算精度高等优点，广泛应用于分形维数的计算。DBC方法的计算过程如下： 令 <math id="M1"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773013&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773011&type= 2.62466669 2.79399991 表示一幅大小为 W × W 的遥感图像，基于分形理论，通常可以将遥感图像 <math id="M2"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773053&type= 2.62466669 2.79399991 划分为大小 w × w × G 的立方体网格，其中 w × w 表示划分的立方体网格的长和宽， G 表示遥感图像像素的灰度级。在立方体网格中进行盒子划分，划分盒子高度为 h=w × G/W ，计算分割尺度为 r=w/W 。对每个网格从底层向上编号，找出最大灰度值和最小灰度值所在盒子编号作差，则可求出该网格差分盒子数 <math id="M3"><msub><mrow><mi>n</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773033&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773030&type= 2.87866688 3.72533321 ，对 <math id="M4"><msub><mrow><mi>n</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773033&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773030&type= 2.87866688 3.72533321 求和可得总盒子数 <math id="M5"><msub><mrow><mi>N</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773038&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773035&type= 3.80999994 3.80999994 。最终用最小二乘法对多组 <math id="M6"><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>r</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773043&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773041&type= 12.61533356 4.82600021 和 <math id="M7"><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>/</mo><mi>r</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773050&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773046&type= 13.80066681 3.97933316 进行线性拟合，拟合直线的斜率即为图像 <math id="M8"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773053&type= 2.62466669 2.79399991 的分形维数 <math id="M9"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773062&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773060&type= 2.79399991 2.79399991 。 2.2　Resnet101网络 2 建筑物遥感图像具有高维性、强背景干扰等特征，浅层网络提取的浅层特征在传播过程中信息丢失严重，因而常导致遥感图像分割出现误分割现象。深度残差神经网络（Resnet） ［ 22 22 ］ 在网络中引入了残差模块（Residual module），通过学习多个网络层输入、输出之间的残差，既保留了浅层特征在传播过程中的完整性，又有效提高了位置信息的利用率，解决了网络层数加深带来的梯度消失和精度下降的问题。所采用的Resnet101网络共由四个大的残差模块（Residual module）组成，四个Residual module 中分别由3、4、23、3个小的残差块组成。另外在网络的最前端由1个7×7的卷积层和maxpool层组成，最后端为平均池化层。Resnet101网络及其残差模块如 图1 图1 所示。 1;2; 图1 图1 （a）表示Resnet101的网络结构， 图1 图1 （b）表示其残差模块，该模块在核尺寸为1×1的两个卷积层之间连接3×3卷积层，这种架构设计称为瓶颈设计（Bottle Neck，BN），与两层3×3卷积层的残差块相比，在几乎不造成信息损失的同时有效降低了参数量和计算量。 3 融合分形特征的Resnet网络模型 1 由于遥感图像中建筑物尺寸大小不一，Resnet网络利用固定大小的建筑物特征无法对一些较小尺寸的建筑物实现精细化分割，甚至出现漏分割的问题，另外由于建筑物遥感图像中存在复杂多样的自然背景和环境噪声，这些干扰因素导致深度学习网络难以真正学习到其本质边缘特征，因此常造成建筑物图像边缘分割不清。针对此问题，基于分形能够有效描述图像几何特征的特点，利用分形维数描述图像像素邻域灰度空间分布，建立遥感图像中不同物体的分形特征先验知识，并结合通道注意力机制，提出了一种融合分形特征的 Resnet 网络模型用于遥感图像建筑物分割，提出的网络利用分形先验知识增强深度学习网络对不同物体图像特征的描述能力，从而提升对建筑物和复杂背景边界的分割精度。提出网络的整体结构如 图2 图2 所示。 所提出的模型整体结构分为编码器和解码器两大部分。编码器部分以Resnet101为主干网络捕获遥感图像特征，通过在四个残差层后引入提出的融合分形先验的空洞空间金字塔池化模块（Fractal Dimension in Atrous Spatial Pyramid Pooling，FD-ASPP），利用遥感图像不同对象的分形先验知识增强网络对不同遥感物体图像特征的辨别能力。解码部分设置了4次上采样，可以将遥感图像特征图的分辨率还原为输入图像大小。每次上采样之后，高层次特征图（网络的上采样层）跳跃连接相同尺寸的低层次特征图（网络的前4个Block层），使用深度可分离卷积注意力机制（Deeply Separable Convolution Attention Fusion，DSCAF）进行特征融合。经过3次融合的特征图，保留了更深层次的语义信息。最后通过输出层将特征图的像素进行二分类，获得分割结果。 3.1　融合分形先验的空洞空间金字塔池化模块 2 空洞空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）在遥感图像分割任务能较好提取遥感图像特征，但对于复杂背景下的建筑物遥感图像而言，由于多尺度感受野随着膨胀率的增加，使得模型捕获细节信息特征能力受到限制，因此导致遥感图像建筑物分割时边缘分割效果易受干扰因素影响。分形特征能够增强深度学习网络的对不同物体图像特征的描述能力，从而提升对建筑物和复杂背景边界的分割精度。因此，提出一种融合分形先验的空洞空间金字塔池化模块，具体结构如 图3 图3 所示。 DeeplabV3中原有的ASPP 模块包含4个空洞率为（1，6，12，18）的并行支路，由于具有不同尺度的感受野，因此可以获取多个尺度的目标信息。然而这种空洞率参数选择方案会产生网格效应 ［ 29 29 ］ ，导致空洞卷积会损失信息的连续性，部分信息被人为忽略。为改善这种状况，该模块采用没有最小公倍数的混合空洞率的空洞卷积，将空洞率设置为（3，5，11，15），使采样能够覆盖到每个像素点。 FD-ASPP包含多个分支，每个卷积分支中包含两个并行块，分别为DBC分形维数子块和空洞卷积子块。DBC分形维数子块提取遥感图像特征的几何特征信息，空洞卷积子块提取遥感图像的多层次特征信息，然后将两个子块分别提取的多层次特征信息和分形几何特征信息进行融合，得到新的融合特征作为该分支的输出。最终将FD-ASPP中多个分支的输出融合特征信息进行拼接，再用1×1的卷积将通道数恢复为与原特征图相同的通道数，即可得到融合分形先验的多尺度特征。 所提的FD-ASPP模块通过多尺度空洞卷积可以实现较高的学习效率，利用扩大感受野的方式提取多尺度的遥感图像特征，融合不同尺度的特征信息提升模型对细节特征的表达能力；为进一步提取更具分辨力的先验特征信息，通过引入分形特征增强了ASPP网络对遥感图像不同对象的几何特征描述能力，不仅能抑制建筑物附近的道路、树木、阴影等因素的干扰，而且为遥感图像建筑物的分割提供了更具辨别力的几何特征信息。 3.2　分形特征提取 2 遥感图像特征提取的质量对于基于深度学习网络建筑物分割精度至关重要。待分割区域的边缘几何特征描述不充分常导致网络对遥感图像建筑物的分割精度不高。分形维数作为一种有效的纹理度量方法用于遥感图像分割能够有效提升深度学习网络的几何特征描述能力。由于遥感图像具有分辨率高，数据量大的特点，传统的DBC算法 ［ 30 30 ］ 较为简单，在提取遥感图像几何特征时常表现出精度不足的问题。传统DBC对整张特征图或固定大小的网格求取分形维数，而本文改进算法以每个像素点为中心进行局部区域划分，并计算每个像素点所在局部区域的分形维数，记为该像素点的分形维数，最终得到输入图像的分形维数矩阵。 改进的DBC算法步骤如 表1 表1 所示，遥感图像的分形特征提取过程如 图4 图4 所示。 算法1 基于改进DBC的分形维数算法 输入：特征图 <math id="M10"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773101&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773100&type= 3.64066648 3.21733332 ，将 <math id="M11"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773118&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773116&type= 3.64066648 3.21733332 中全体元素从1开始依次编号，设最大编号为 <math id="M12"><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773109&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773107&type= 4.23333359 3.21733332 ，用 <math id="M13"><msub><mrow><mi>f</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773113&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773111&type= 1.69333339 3.89466691 表示 <math id="M14"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773118&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773116&type= 3.64066648 3.21733332 中第 <math id="M15"><mi>s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773123&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773120&type= 1.10066664 2.37066650 个元素， <math id="M16"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773127&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773125&type= 2.37066650 2.37066650 为元素的灰度级； 输出：分形维数矩阵 <math id="M17"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773131&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773129&type= 6.77333355 3.21733332 ，用 <math id="M18"><msub><mrow><mi>d</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773136&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773133&type= 2.62466669 3.21733332 表示 <math id="M19"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773140&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773138&type= 6.77333355 3.21733332 第 <math id="M20"><mi>s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773144&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773142&type= 1.10066664 2.37066650 个元素； Step 1：利用padding填充矩阵 <math id="M21"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773164&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773163&type= 3.64066648 3.21733332 的边缘像素； Step 2：For <math id="M22"><mi>s</mi><mo>=</mo><mn>1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773151&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773149&type= 6.85799980 2.37066650 to <math id="M23"><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773155&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773153&type= 4.23333359 3.21733332 ，以 <math id="M24"><msub><mrow><mi>f</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773160&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773157&type= 1.69333339 3.89466691 为中心在 <math id="M25"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773164&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773163&type= 3.64066648 3.21733332 中进行区域划分，子区域大小设为 <math id="M26"><mi>W</mi><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773169&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773166&type= 10.66800022 2.45533323 ，计算该子区域分形维数 <math id="M27"><msub><mrow><mi>d</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773226&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773223&type= 2.62466669 3.21733332 ； Step 2.1：For <math id="M28"><mi>w</mi><mo>=</mo><mn>2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773177&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773175&type= 8.29733276 2.37066650 to <math id="M29"><mi>W</mi><mo>/</mo><mn>2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773181&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773179&type= 6.43466663 2.79399991 ，对该区域利用 <math id="M30"><mi>w</mi><mo>×</mo><mi>w</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773185&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773183&type= 9.14400005 2.37066650 的网格进行分割，计算分割尺度 <math id="M31"><mi>r</mi><mo>=</mo><mi>w</mi><mo>/</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773189&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773187&type= 12.69999981 2.79399991 ； Step 2.1.1：对每个网格，将其在子区域内的位置记为 <math id="M32"><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773193&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773191&type= 6.09600019 3.38666677 ，利用高度为 <math id="M33"><mi>h</mi><mo>=</mo><mi>w</mi><mo>×</mo><mi>G</mi><mo>/</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773197&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773195&type= 19.64266586 2.79399991 的盒子进行堆积； Step 2.1.2：寻找网格内灰度的最大最小值 <math id="M34"><msub><mrow><mi>g</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773201&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773199&type= 4.82600021 3.89466691 、 <math id="M35"><msub><mrow><mi>g</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773204&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773203&type= 4.48733330 3.89466691 ，计算网络差分盒维数 <math id="M36"><msub><mrow><mi>n</mi></mrow><mrow><mi>r</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><mfenced open="⌈" close="⌉" separators="|"><mrow><msub><mrow><mi>g</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>/</mo><mi>t</mi><mi>'</mi></mrow></mfenced><mo>-</mo><mfenced open="⌈" close="⌉" separators="|"><mrow><msub><mrow><mi>g</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>/</mo><mi>t</mi><mi>'</mi></mrow></mfenced><mo>+</mo><mn>1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773209&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773206&type= 43.68799973 4.23333359 ； Step 2.1.3：利用公式 <math id="M37"><msub><mrow><mi>N</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></munder><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>r</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773210&type= 20.57399940 6.18066692 求子区域内所有网格的差分盒维数之和 <math id="M38"><msub><mrow><mi>N</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773214&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773213&type= 3.30200005 3.21733332 ； Step 2.2：用最小二乘法对多组 <math id="M39"><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>r</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773218&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773216&type= 10.83733368 4.14866638 和 <math id="M40"><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn>1</mn><mo>/</mo><mi>r</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773222&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773220&type= 11.76866722 3.38666677 进行直线拟合，该直线斜率即为该点分形维数 <math id="M41"><msub><mrow><mi>d</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773226&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773223&type= 2.62466669 3.21733332 ； Step 3：若 <math id="M42"><mi>s</mi><mo>=</mo><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773228&type= 9.48266602 3.21733332 ，输出遥感图像的分形维数矩阵 <math id="M43"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773234&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773232&type= 6.77333355 3.21733332 ，算法结束；否则返回Step 2继续迭代。 一般来说，自然图像的几何结构越复杂，其图像的纹理特征越丰富。如 图4 图4 所示， p 点所在图像区域较为粗糙，而 q 点所在区域较为光滑，因此 p 点的分形维数大于 q 点。也就是说， p 点的纹理特征比 q 点更为丰富，而分形维数的比较也正好说明了这一点。因此，分形维数的大小可以用来表达不同区域的遥感景物特征及其特征分布。 3.3　分形特征融合 2 为使FD-ASPP模块中各分支的两个子块提取到的特征图能够匹配，需要设置尺度参数使两个子块在同一尺度下提取遥感图像的局部区域特征信息。因此，设定算法1的基于改进DBC的分形维数算法的滑动窗口参数 ω 与不同空洞率的空洞卷积核参数 σ 满足如下关系： <math display="block" id="M44"><mi>ω</mi><mo>=</mo><mi>σ</mi><mo>=</mo><mo stretchy="false">[</mo><mi>n</mi><mo>+</mo><mo stretchy="false">(</mo><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo>×</mo><mo stretchy="false">(</mo><mi>r</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773241&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773240&type= 49.86866760 3.55599999 ， 其中： n 为卷积核大小， r 为空洞卷积采样率。 为了将ASPP和FD两个子块分别提取的深度特征和分形特征进行有效融合，在每个分支的两个子块之后增加了一个特征融合层。在特征融合层中采用add特征融合操作，特征融合公式如下： <math display="block" id="M45"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">w</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup><mi mathvariant="normal"></mi><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773243&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773242&type= 31.91933441 4.65666676 ， 其中： <math id="M46"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">w</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773245&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773244&type= 6.09600019 3.97933316 表示FD-ASPP中第 m 个分支融合后获得的新特征图， <math id="M47"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773246&type= 7.61999989 3.97933316 和 <math id="M48"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773252&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773250&type= 8.55133343 3.97933316 分别表示FD-ASPP中第 m 个分支中提取的局部区域分形特征和深度特征。 由 式（2） 式（2） 可知，所提FD-ASPP在获取更深层信息的同时增加了分形特征，有效弥补了ASPP模块对遥感图像深度特征细节信息表达的不足，提取的分形特征对于遥感图像不同物体的几何本质特征表达更具分辨力，因此提出的FD-ASPP模块不仅增强了对细节特征的描述能力，而且为建筑物分割提供了更具辨别力的几何特征。 FD-ASPP的参数设置及特征融合输出如 表2 表2 所示，表中， <math id="M49"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow><mrow><mo stretchy="false">(</mo><mi>n</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773256&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773255&type= 5.50333309 3.97933316 表示第 n 个FD-ASPP的输出。 Conv r <math id="M50"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773258&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773257&type= 1.52400005 2.45533323 FD-ASPP output Output size Conv1 - 128×128 Conv2 3，5，11，15 7，11，23，31 <math id="M51"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow><mrow><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773260&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773259&type= 4.65666676 3.38666677 128×128 Conv3 3，5，11，15 7，11，23，31 <math id="M52"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow><mrow><mo stretchy="false">(</mo><mn>2</mn><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773262&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773261&type= 4.74133301 3.38666677 64×64 Conv4 3，5，11 7，11，23 <math id="M53"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow><mrow><mo stretchy="false">(</mo><mn>3</mn><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773264&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773263&type= 4.74133301 3.38666677 32×32 Conv5 3，5 7，11 <math id="M54"><msubsup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow><mrow><mo stretchy="false">(</mo><mn>4</mn><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773266&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773265&type= 4.82600021 3.38666677 16×16 3.4　解码器 2 高层次特征图具备更丰富的遥感图像语义信息，而低层次特征图的细节信息更为丰富，包含了更多位置性信息。由于解码阶段的高层次特征图通过直接上采样还原，会丢失很多细节位置特征。为了保留更多的遥感图像细节特征，常采用高层次特征图与低层次特征图融合的策略，获取更加丰富的遥感图像语义信息和位置细节信息。针对此问题，提出一种深度可分离卷积注意力融合（Deeply Separable Convolution Attention Fusion，DSCAF）机制，这种机制通过利用高层次特征图的注意力信息，指导低层次特征图与高层次特征图的融合，通过Sigmoid分类得到最终的分割结果。 LANet网络 ［ 31 31 ］ 中通道注意力机制中采用的全局平均池化操作对于特征图每个位置赋予了相同的权重，这种平均池化的策略在某种程度上加强了非重要特征，而抑制了重要特征。为了根据特征的重要程度赋予特征图每个位置可学习权重，提出的DSCAF融合机制利用深度可分离卷积操作替代全局平均池化，在实现了全局池化功能的同时赋予了特征图每个位置可学习的权重，其结构如 图5 图5 所示。 DSCAF模块首先将高层次的特征图 H 利用深度可分离卷积进行维度压缩，将输入的 H 进行深度卷积， <math id="M55"><mi>H</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>M</mi><mo>×</mo><mi>M</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773273&type= 19.64266586 3.38666677 ，每个通道利用一个大小为 <math id="M56"><mi>K</mi><mo>×</mo><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773276&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773275&type= 10.41399956 2.79399991 的卷积核进行卷积操作。当 <math id="M57"><mi>K</mi><mo>=</mo><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773278&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773277&type= 11.00666618 2.87866688 时，得到 <math id="M58"><mi>C</mi><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773280&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773279&type= 16.00200081 2.79399991 大小的类别信息特征图 <math id="M59"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773286&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773285&type= 2.28600001 4.57200003 ， <math id="M60"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773284&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773283&type= 17.35666656 4.82600021 ，然后在 <math id="M61"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773286&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773285&type= 2.28600001 4.57200003 之后设置一个全连接层，其计算见 公式（4） 公式（4） ， δ 为每个特征通道生成权重，表征特征通道间的相关性。利用激活函数Sigmoid对 <math id="M62"><mi>δ</mi><mo>×</mo><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773288&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773287&type= 9.05933285 4.57200003 进行运算，将特征映射到0和1之间，表示通道重要程度，输出为特征图 <math id="M63"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773306&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773305&type= 2.28600001 4.57200003 ， <math id="M64"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773292&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773291&type= 17.35666656 4.82600021 。 <math display="block" id="M65"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi><mfenced separators="|"><mrow><mi>δ</mi><mo>×</mo><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773294&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773293&type= 32.42733002 4.82600021 . 低层次特征图 <math id="M66"><mi>L</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>M</mi><mo>×</mo><mi>M</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773296&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773295&type= 19.04999924 3.38666677 ，将经过特征选择后的特征图 <math id="M67"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773298&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773297&type= 2.28600001 4.57200003 逐通道对低层次特征图 L 进行加权，完成对特征图 L 在通道维度上的重标定，再与特征图 H 进行融合得到具有更丰富语义信息的特征图 <math id="M68"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773300&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773299&type= 2.28600001 4.57200003 。计算过程如 公式（4） 公式（4） 所示： <math display="block" id="M69"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi></mrow></msub><mfenced separators="|"><mrow><mi>L</mi><mo>,</mo><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfenced><mo>⊕</mo><mi>H</mi><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>•</mo><mi>L</mi><mo>⊕</mo><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773302&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773301&type= 48.68333054 4.82600021 ， 其中： <math id="M70"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">e</mi></mrow></msub><mo stretchy="false">(</mo><mi>L</mi><mo>,</mo><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773304&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773303&type= 17.01799965 4.91066647 表示低层次特征图 L 与 <math id="M71"><msub><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773306&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773305&type= 2.28600001 4.57200003 进行对应通道相乘， <math id="M72"><mo>⊕</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773308&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773307&type= 3.72533321 3.47133350 表示特征融合操作。 解码器部分基于所提出的DSCAF机制，将经过转置卷积进行上采样恢复后的高层次特征图 H 和低层次特征图 L 利用DSCAF机制进行特征融合，网络通过3层不同尺度的注意力机制进行融合，最后的输出不仅包含了遥感图像中丰富的高级语义信息，而且捕获了空间细节位置信息，因此所提的网络有效减少了建筑物边缘像素的误分割现象，提升了建筑物整体分割的准确率。 3.5　损失函数 2 遥感建筑物提取问题可看作是对像素的二分类问题，通常此类问题采用二分类交叉熵损失函数。 <math id="M73"><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773310&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773309&type= 2.62466669 4.57200003 表示真实标签类别， <math id="M74"><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773312&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773311&type= 3.04800010 4.57200003 表示预测为该类别的概率值，则将二分类的交叉熵损失函数定义为： <math display="block" id="M75"><mi>L</mi><mi>o</mi><mi>s</mi><mi>s</mi><mo>=</mo><mo>-</mo><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">t</mi></mrow></msub><mi mathvariant="normal">*</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>y</mi></mrow><mrow><mi mathvariant="normal">p</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773314&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773313&type= 67.90267181 4.91066647 . 4 实验和结果分析 1 4.1　实验数据集及实验平台参数设置 2 实验在 Ubuntu 系统下进行， GPU型号为NVIDIA GeForce RTX 2080Ti，环境配置为 CUDA10.2+Python3.6.9+Py-Torch1.6。实验采用WHU Building Dataset数据集 ［ 32 32 ］ ，该数据集由8 189张大小为512×512像素的超高分辨率（0.3 m/pixel）包含有约22 000座独立建筑的图像构成。数据集按照训练集（4 736张）、验证集（1 036张）和测试集（5 416张）进行划分。 模型初始学习率设置为1×10 - 3 ，训练的epoch为100，batch size为8。对于所提的融合分形先验的Resnet遥感图像建筑物分割网络，训练过程各项指标如 图6 图6 所示，可以看出网络训练在初期损失下降较快，训练到50次左右时损失下降曲线趋于平稳，最终收敛在0.2左右，说明所提网络参数的训练结果较为理想。 4.2　分割性能指标 2 本次实验采用精准率（Precision）、召回率（Recall）、F1分数（F1-score）和均交并比（mIoU）等指标作为衡量模型分割效果，首先定义建筑物为正样本，非建筑物为负样本，预测正确为真，否则为假，各类指标计算公式如下： 精准率（Precision， P ）表示在所有被预测为正的样本中实际为正的样本概率，如 式（6） 式（6） 所示。 <math display="block" id="M76"><mi>P</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><mi>T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi>F</mi><mi mathvariant="normal">P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773319&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773318&type= 20.31999969 8.04333401 . 召回率（Recall， R ）表示在样本中实际为建筑物的像素点被预测为属于建筑物的概率，如 式（7） 式（7） 所示。 <math display="block" id="M77"><mi>R</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi>T</mi><mi mathvariant="normal">P</mi><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773321&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773320&type= 21.08200073 8.46666718 . F1分数（F1-score， S F1 ）是精准率与召回率的平衡点，让两者同时达到最高点，如 式（8） 式（8） 所示。 <math display="block" id="M78"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">F</mi><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mo>×</mo><mi>P</mi><mo>×</mo><mi>R</mi></mrow><mrow><mi>P</mi><mo>+</mo><mi>R</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773323&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773322&type= 26.83933067 8.04333401 . 均交并比（mIoU， m IOU ）表示正样本交并比和负样本交并比的平均值，如 式（9） 式（9） 所示。 <math display="block" id="M79"><msub><mrow><mi>m</mi></mrow><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></mrow></msub><mo>=</mo><mfenced separators="|"><mrow><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></mrow><mrow><mi>T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi>F</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi>F</mi><mi mathvariant="normal">N</mi><mo>+</mo><mi>F</mi><mi mathvariant="normal">P</mi></mrow></mfrac><mo>+</mo><mfrac><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">N</mi></mrow></msub></mrow><mrow><mi>T</mi><mi mathvariant="normal">N</mi><mo>+</mo><mi>F</mi><mi mathvariant="normal">N</mi><mo>+</mo><mi>F</mi><mi mathvariant="normal">P</mi></mrow></mfrac></mrow></mfenced><mo>/</mo><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773325&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33773324&type= 75.94599915 9.22866726 ， 其中， T P 表示为预测为建筑物，且标签为建筑物的像素点个数； T N 表示为预测为非建筑物，且标签值为非建筑物的像素点数； F P 表示为预测为建筑物，但标签为非建筑物的像素点个数； F N 表示为预测为非建筑物，但标签为建筑物的像素点个数。 4.3　实验结果分析 2 为了对比所提模型有效性，与FCN ［ 6 6 ］ ，Segnet ［ 7 7 ］ ，Deeplab V3 ［ 8 8 ］ ，U-net ［ 9 9 ］ ，SETR ［ 10 10 ］ ，AlignSeg ［ 11 11 ］ 等模型进行对比实验，实验对比结果如 图7 图7 所示，其中（a）列为分辨率512×512的遥感图像，（b）列为建筑物Ground truth图像，（c）列为FCN网络的分割结果，（d）列为Segnet网络的分割结果，（e）列为Deeplab V3网络的分割结果，（f）列为U-net网络的分割结果，（g）列为SETR网络的分割结果，（h）列为AlignSeg网络的分割结果，（i）为所提模型分割结果。为了更清晰对比不同网络的分割结果，在图中用红线围出区域为分割细节对比和错分及漏分情况。 由 图7 图7 分割结果图中能够看出，FCN网络分割的建筑物误分、漏分较多，如 图7 图7 （c）中所示，第一行小型建筑物被误分为背景，第四行的大型建筑物上方缺失。这种误分割主要是因为FCN网络利用上采样将融合后的特征图直接还原到输入图像大小，造成特征信息丢失现象，导致FCN网络的表达能力较弱。 图7 图7 （d）中，Segnet网络利用了编解码结构，将最大池化指数转移至解码器中，改善了分割分辨率，尽管能将大多数建筑物从背景中分离出来，但边缘分割效果不好，且有一些细节丢失的现象。 图7 图7 （e）中，同样使用了ASPP结构来改进Resnet的Deeplab V3网络，由于缺乏几何的细节特征，对建筑物边缘分割效果不佳，如第一行小型建筑分割中出现了粘连现象，第三行图中大型建筑物上方边缘平滑性较差。 图7 图7 （f）中，U-Net网络对建筑物分割效果相对较好，其通过在上采样过程中，跳跃连接相同尺寸的特征图并进行特征融合。由于其利用的2倍上采样倍数小，特征保留相对比较丰富，对小型建筑分割效果不错，建筑物轮廓也能够基本分割出来，但也存在一些错分现象如 图7 图7 （f）中第5行大型建筑物右侧集装箱错分为建筑物。 图7 图7 （g）中 SETR使用transformer作为编码器来替代原来的堆叠卷积进行特征提取的方式，保持了输入和输出的空间分辨率不变，同时还能够有效的捕获全局的上下文信息，对细小建筑物分割表现较好，但是建筑物的边缘分割效果不佳。 图7 图7 （h）AlignSeg利用特征对齐分割网，采用一种简单的可学习插值策略来学习像素的变换偏移量，可以有效缓解多分辨率特征聚合导致的特征错位问题，得到了较好的边缘分割效果。 图7 图7 （i）为所提模型分割结果，从第一行和第二行分割结果图中能够看出，所提模型在树木背景干扰下仍能有效分割小型建筑物的边缘，具有较强的抗干扰能力。由于受到道路的干扰，几个经典网络模型在第四行的大型建筑物上均未能完整分割，而所提模型实现了较为准确的分割且边缘完整度更高，使丢失细节信息的现象得到了有效缓解。所有对比模型的分割结果中，所提模型在建筑物边缘分割效果表现最好，预测结果也更为接近Ground truth图。因此，所提模型不仅获得了更好的分割准确率，而且在建筑物的边缘获得更好的效果。 所提的融合分形先验的Resnet网络模型由于增加了FD-ASPP模块，因此更有效利用了不同尺度特征和分形特征信息，提升了建筑物边缘信息上分割准确性；提出的模型与其它几种对比模型相比，建筑物分割的边缘较为清晰平滑，明显减少了树木、道路、阴影等干扰下的误分割和建筑物之间距离较近而导致建筑物粘连的情况，分割结果优于FCN，Segnet，Deeplab V3，U-net，SETR和AlignSeg模型。对比实验的定量性能指标如 表3 表3 所示。 Model Precision Recall F1-score mIoU Params/M FLOPs/G FCN ［ 6 6 ］ 90.56% 90.40% 90.48% 88.87% 15.3 80.51 Segnet ［ 7 7 ］ 92.05% 91.43% 91.74% 90.21% 29.4 160.56 Deeplab V3 ［ 8 8 ］ 92.83% 93.07% 92.95% 91.89% 15.3 64.59 U-net ［ 9 9 ］ 93.69% 93.14% 93.41% 92.57% 17.2 160.33 SETR ［ 10 10 ］ 91.95% 92.22% 92.08% 91.92% 63.9 34.76 AlignSeg ［ 11 11 ］ 94.25% 94.56% 94.27% 94.19 % 66.8 123.84 Our model 94.48 % 94.62 % 94.55 % 94.15% 204 95.56 表中Params表示参数量，能够衡量模型的空间复杂度；FLOPs（Floating-point Operations）表示浮点运算次数，能够衡量模型的时间复杂度。与6种主流分割模型相比，所提模型由于增加了FD-ASPP和DSCAF模块，导致网络的训练参数量较大。此外，所提模型的Flops值为95.56 G，与其他模型相比，计算量并未增加太多。分割精度方面，与FCN，Segnet，Deeplab V3，U-Net，SETR和AlignSeg网络模型相比，所提模型在Precision、Recall、F1-score和mIoU等评价指标上分别达到了94.48%，94.62%，94.55%和94.15%。因此，所提模型虽然在复杂度上有所增加，但有效提升了分割精度。 为了进一步对比所提的FD-ASPP加入网络的个数对遥感建筑物图像分割任务的有效性，量化分析了不同FD-ASPP的数量对分割指标的影响，对比将该模块加入残差网络不同层的输出后的模型分割性能，并在WHU数据集上进行了测试。可以看出，相比原始的Resnet101，提出的FD-ASPP在WHU数据集上使网络的召回率（Recall），平均交并比（mIoU）均有了不同程度的提升。从实验的比较结果中可以看出，在每层后都加入该模块相比于单层加入该模块来说，分割效果更好，当Resnet101在Layer1至Layer4中均加入FD-ASPP模块时，其各项指标均达到了最优。具体实验结果见 表4 表4 。 Resnet101 Layer1 Layer2 Layer3 Layer4 Precision Recall mIoU √ 91.41% 92.43% 91.27% √ √ 91.89% 91.68% 91.69% √ √ 92.56% 93.63% 92.23% √ √ 92.23% 93.74% 91.88% √ √ 92.81% 93.45% 92.84% √ √ √ √ √ 93.26% 94.03% 93.80% 4.4　消融实验 2 为了验证所提模型及其各个模块对遥感建筑物图像分割任务的有效性，进行了消融实验对比，并在WHU数据集上进行测试。所提模型是以Resnet101为特征提取网络，通过转置卷积进行特征恢复，故选取该网络结构作为Baseline网络。FD-ASPP代表融合分形先验的空洞空间金字塔池化模块，DSCAF代表深度可分离卷积注意力融合机制。对比结果如 表5 表5 所示。 No. Base-line FD-ASPP DS-CAF Precision Recall mIoU 1 √ × × 91.41% 92.43% 91.27% 2 √ √ × 93.26% 94.03% 93.80% 3 √ × √ 92.89% 93.56% 93.22% 4 √ √ √ 94.48 % 94.62 % 94.15 % 从实验结果可以看到，Baseline的Precision，Recall 和mIoU的结果分别为 91.41%，92.43%和91.27%；添加FD-ASPP模块后，三个指标分别提高了1.85%，1.60%，2.53%；添加DSCAF机制后三个指标比Baseline分别提高了1.48%，1.13%，1.95%；最后将FD-ASPP和DSCAF都添加到Baseline中，使用所提的网络模型，与Baseline相比，三个指标分别提升了3.07%，2.19%，2.88%。 4.5　不同场景下对比实验结果分析 2 为了进一步证明所提模型在不同场景遥感图像中对建筑物分割提取的性能，分别针对建筑物遥感图像中存在的道路、树木、阴影等干扰进行对比实验分析。对比实验分别采用FCN ［ 6 6 ］ ，Segnet ［ 7 7 ］ ，Deeplab V3 ［ 8 8 ］ ，U-Net ［ 9 9 ］ ，SETR ［ 10 10 ］ ，AlignSeg ［ 11 11 ］ 和所提模型作为分割网络进行训练测试，并对结果进行对比分析。其分割结果如图 8 8 ~ 10 10 所示。 图8 图8 为包含道路信息干扰的遥感图像分割结果对比，从图中可以发现，基于FCN，Segnet，Deeplab V3，U-Net，SETR和AlignSeg等模型的建筑物分割结果中均出现了建筑物粘连的现象。并且由于建筑物常和道路比较接近，且均是人工场景，因此在复杂道路的干扰下，建筑物出现了错误分割的情况。所提出的FD-ASPP模块有效提取了不同分割对象的分形特征，为网络提供了更具分辨力的信息，受道路的干扰较小，可较好提取建筑物的边缘。 图9 图9 为树木干扰情况下的遥感图像建筑物分割对比。由图中可知，FCN，Segnet，Deeplab V3，U-Net，SETR和AlignSeg等模型在提取建筑物边缘特征时易受树木和林带的影响，建筑物边缘存在明显的误分割现象，不能识别出被树木部分遮挡的建筑物。所提模型受到树木的干扰较小，可较好提取建筑物的边缘信息。 图10 图10 为阴影干扰下的遥感图像分割结果对比。由图中可知，建筑物右侧均有阴影。Segnet，U-net在受阴影干扰时，边缘均不能实现精细化分割，FCN整体受阴影干扰较小，但边缘分割效果也不尽人意。如 图10 图10 （g）、 图10 图10 （h）所示，SETR，AlignSeg模型虽然取得了较好的分割结果，但是在图中标记区域，两个对比模型对建筑物局部区域出现了误分割现象。而所提模型在该区域具有准确的分割结果。因此，和对比模型相比，所提模型可更加完整地识别建筑物主体，分割出较平滑边缘轮廓，能有效克服阴影的干扰，可以较为准确的分割建筑物。不同场景下对比实验结果分析如 表6 表6 所示。 干扰类型 Model Precision Recall mIoU 7 道路干扰 FCN ［ 6 6 ］ 88.09% 87.72% 85.97% Segnet ［ 7 7 ］ 89.44% 89.25% 88.53% DeeplabV3 ［ 8 8 ］ 90.61% 90.30% 89.37% U-net ［ 9 9 ］ 92.43% 92.64% 92.15% SETR ［ 10 10 ］ 90.85% 91.12% 90.43% AlignSeg ［ 11 11 ］ 93.96% 94.15% 93.26% Our model 94.27 % 94.43 % 93.99 % 7 树木干扰 FCN ［ 6 6 ］ 85.85% 86.27% 85.73% Segnet ［ 7 7 ］ 87.72% 86.90% 86.34% DeeplabV3 ［ 8 8 ］ 89.54% 89.16% 88.42% U-net ［ 9 9 ］ 91.14% 91.89% 91.33% SETR ［ 10 10 ］ 88.29% 88.60% 87.38% AlignSeg ［ 11 11 ］ 91.44% 92.05% 91.74% Our model 93.07 % 92.41 % 92.11 % 7 建筑物阴影干扰 FCN ［ 6 6 ］ 87.78% 87.02% 85.76% Segnet ［ 7 7 ］ 89.19% 89.34% 88.55% DeeplabV3 ［ 8 8 ］ 89.01% 89.47% 88.91% U-net ［ 9 9 ］ 91.90% 92.38% 91.29% SETR ［ 10 10 ］ 89.43% 90.66% 90.02% AlignSeg ［ 11 11 ］ 93.43% 94.20 % 93.25 % Our model 93.50 % 94.06% 93.19% 5 结 论 1 由于遥感影像建筑物与背景特征的区分度较低导致传统的深度语义分割网络分割边界不清晰等问题，提出一种融合分形几何特征的Resnet的遥感图像建筑物分割模型。所提模型在编解码结构的基础上，基于Resnet主干网络将分形几何特征融入特征图深度信息用于遥感影像的建筑物特征提取，并在解码阶段运用深度可分离卷积注意力机制借助高层信息指导底层信息进行特征融合。在WHU Building Dataset遥感图像建筑物数据集的分割实验的结果表明，所提模型的Precision、Recall、F1-score以及mIoU等评价指标上分别达到了94.48%，94.62%，94.55%和94.15%。提出的网络模型不仅有效克服了道路、树木、阴影等因素的干扰，具有更好的建筑物分割效果，而且得到了较清晰的建筑物边界。 参考文献 ZHAO W F ， PERSELLO C ， STEIN A . Building instance segmentation and boundary regularization from high-resolution remote sensing images ［C］. IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Waikoloa ， HI， USA . IEEE ， 2020 ： 3916 - 3919 . doi: 10.1109/igarss39084.2020.9324239 http://dx.doi.org/10.1109/igarss39084.2020.9324239 Building instance segmentation and boundary regularization from high-resolution remote sensing images TROYA-GALVIS A ， GANÇARSKI P ， BERTI-ÉQUILLE L . Remote sensing image analysis by aggregation of segmentation-classification collaborative agents ［J］. Pattern Recognition ， 2018 ， 73 ： 259 - 274 . doi: 10.1016/j.patcog.2017.08.030 http://dx.doi.org/10.1016/j.patcog.2017.08.030 Remote sensing image analysis by aggregation of segmentation-classification collaborative agents LAKSHMI S ， SANKARANARAYANAN D V . A study of edge detection techniques for segmentation computing approaches ［J］. International Journal of Computer Applications ， 2010 ， CASCT（ 1 ）： 35 - 41 . doi: 10.5120/993-25 http://dx.doi.org/10.5120/993-25 A study of edge detection techniques for segmentation computing approaches ADAMS R ， BISCHOF L . Seeded region growing ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1994 ， 16 （ 6 ）： 641 - 647 . doi: 10.1109/34.295913 http://dx.doi.org/10.1109/34.295913 Seeded region growing 李静 . 基于NMI特征的遥感影像线性迭代聚类超像素分割算法 ［J］. 光学 精密工程 ， 2022 ， 30 （ 6 ）： 734 - 742 . 基于NMI特征的遥感影像线性迭代聚类超像素分割算法 LI J . SLIC super-pixel segmentation algorithm base on NMI features used in remote sensing image ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 6 ）： 734 - 742 . （in Chinese） SLIC super-pixel segmentation algorithm base on NMI features used in remote sensing image LONG J ， SHELHAMER E ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA， USA . IEEE ， 2015 ： 3431 - 3440 . doi: 10.1109/cvpr.2015.7298965 http://dx.doi.org/10.1109/cvpr.2015.7298965 Fully convolutional networks for semantic segmentation BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615 SegNet： a deep convolutional encoder-decoder architecture for image segmentation CHEN L C ， PAPANDREOU G ， KOKKINOS I ， et al . DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 4 ）： 834 - 848 . doi: 10.1109/tpami.2017.2699184 http://dx.doi.org/10.1109/tpami.2017.2699184 DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ， 9351 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 U-net： convolutional networks for biomedical image segmentation ZHENG S X ， LU J C ， ZHAO H S ， et al . Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 6877 - 6886 . doi: 10.1109/cvpr46437.2021.00681 http://dx.doi.org/10.1109/cvpr46437.2021.00681 Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers HUANG Z L ， WEI Y C ， WANG X G ， et al . AlignSeg： feature-aligned segmentation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2022 ， 44 （ 1 ）： 550 - 557 . AlignSeg： feature-aligned segmentation networks ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid scene parsing network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 6230 - 6239 . doi: 10.1109/cvpr.2017.660 http://dx.doi.org/10.1109/cvpr.2017.660 Pyramid scene parsing network 王曦 ， 于鸣 ， 任洪娥 . UNET与FPN相结合的遥感图像语义分割 ［J］. 液晶与显示 ， 2021 ， 36 （ 3 ）： 475 - 483 . doi: 10.37188/CJLCD.2020-0116 http://dx.doi.org/10.37188/CJLCD.2020-0116 UNET与FPN相结合的遥感图像语义分割 WANG X ， YU M ， REN H E . Remote sensing image semantic segmentation combining UNET and FPN ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 3 ）： 475 - 483 . （in Chinese） . doi: 10.37188/CJLCD.2020-0116 http://dx.doi.org/10.37188/CJLCD.2020-0116 Remote sensing image semantic segmentation combining UNET and FPN 沈言善 ， 王阿川 . 基于深度学习的遥感图像地物分割方法 ［J］. 液晶与显示 ， 2021 ， 36 （ 5 ）： 733 - 740 . doi: 10.37188/CJLCD.2020-0294 http://dx.doi.org/10.37188/CJLCD.2020-0294 基于深度学习的遥感图像地物分割方法 SHEN Y S ， WANG A C . Remote sensing image feature segmentation method based on deep learning ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 5 ）： 733 - 740 . （in Chinese） . doi: 10.37188/CJLCD.2020-0294 http://dx.doi.org/10.37188/CJLCD.2020-0294 Remote sensing image feature segmentation method based on deep learning ZHENG X X ， CHEN T . Segmentation of high spatial resolution remote sensing image based on U-net convolutional networks ［C］. IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium. Waikoloa ， HI， USA . IEEE ， 2020 ： 2571 - 2574 . doi: 10.1109/igarss39084.2020.9324600 http://dx.doi.org/10.1109/igarss39084.2020.9324600 Segmentation of high spatial resolution remote sensing image based on U-net convolutional networks HOSSEINPOOR H ， SAMADZADEGAN F . Convolutional neural network for building extraction from high-resolution remote sensing images ［C］. 2020 International Conference on Machine Vision and Image Processing （MVIP）. Iran. IEEE ， 2020 ： 1 - 5 . doi: 10.1109/mvip49855.2020.9187483 http://dx.doi.org/10.1109/mvip49855.2020.9187483 Convolutional neural network for building extraction from high-resolution remote sensing images REN J M ， TONG L ， LI Y X ， et al . Improved unet combining dropout and ACNET for remote sensing image change detection ［C］. 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS. Brussels ， Belgium . IEEE ， 2021 ： 4380 - 4383 . doi: 10.1109/igarss47720.2021.9553666 http://dx.doi.org/10.1109/igarss47720.2021.9553666 Improved unet combining dropout and ACNET for remote sensing image change detection 陈欣 ， 万敏杰 ， 马超 ， 等 . 采用多尺度特征融合SSD的遥感图像小目标检测 ［J］. 光学 精密工程 ， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672 采用多尺度特征融合SSD的遥感图像小目标检测 CHEN X ， WAN M J ， MA C ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672 Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector BAO Y L ， ZHENG Y F . Based on the improved Deeplabv3 + remote sensing image semantic segmentation algorithm ［C］. 2021 4th International Conference on Advanced Electronic Materials， Computers and Software Engineering （AEMCSE）. Changsha ， China . IEEE ， 2021 ： 717 - 720 . doi: 10.1109/aemcse51986.2021.00148 http://dx.doi.org/10.1109/aemcse51986.2021.00148 Based on the improved Deeplabv3 + remote sensing image semantic segmentation algorithm PAN S M ， TAO Y L ， NIE C C ， et al . PEGNet： progressive edge guidance network for semantic segmentation of remote sensing images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 18 （ 4 ）： 637 - 641 . doi: 10.1109/lgrs.2020.2983464 http://dx.doi.org/10.1109/lgrs.2020.2983464 PEGNet： progressive edge guidance network for semantic segmentation of remote sensing images PAN F ， WU Z B ， LIU Q ， et al . DCFF-net： a densely connected feature fusion network for change detection in high-resolution remote sensing images ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 14 ： 11974 - 11985 . DCFF-net： a densely connected feature fusion network for change detection in high-resolution remote sensing images HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90 Deep residual learning for image recognition 王宇 ， 杨艺 ， 王宝山 ， 等 . 深度神经网络条件随机场高分辨率遥感图像建筑物分割 ［J］. 遥感学报 ， 2019 ， 23 （ 6 ）： 1194 - 1208 . doi: 10.11834/jrs.20198141 http://dx.doi.org/10.11834/jrs.20198141 深度神经网络条件随机场高分辨率遥感图像建筑物分割 WANG Y ， YANG Y ， WANG B S ， et al . Building segmentation in high-resolution remote sensing image through deep neural network and conditional random fields ［J］. Journal of Remote Sensing ， 2019 ， 23 （ 6 ）： 1194 - 1208 . （in Chinese） . doi: 10.11834/jrs.20198141 http://dx.doi.org/10.11834/jrs.20198141 Building segmentation in high-resolution remote sensing image through deep neural network and conditional random fields 徐胜军 ， 欧阳朴衍 ， 郭学源 ， 等 . 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割 ［J］. 光学 精密工程 ， 2020 ， 28 （ 7 ）： 1588 - 1599 . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割 XU S J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588 Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ZHAO Q ， LIU J H ， LI Y W ， et al . Semantic segmentation with attention mechanism for remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2021 ， 60 ： 1 - 13 . doi: 10.1109/tgrs.2021.3085889 http://dx.doi.org/10.1109/tgrs.2021.3085889 Semantic segmentation with attention mechanism for remote sensing images PENTLAND A P . Fractal-based description of natural scenes ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1984 ， 6 （ 6 ）： 661 - 674 . doi: 10.1109/tpami.1984.4767591 http://dx.doi.org/10.1109/tpami.1984.4767591 Fractal-based description of natural scenes IVANOVICI M . Fractal dimension of color fractal images with correlated color components ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 8069 - 8082 . doi: 10.1109/tip.2020.3011283 http://dx.doi.org/10.1109/tip.2020.3011283 Fractal dimension of color fractal images with correlated color components YAO X X ， WU Q ， ZHANG P ， et al . Weighted adaptive image super-resolution scheme based on local fractal feature and image roughness ［J］. IEEE Transactions on Multimedia ， 2021 ， 23 ： 1426 - 1441 . doi: 10.1109/tmm.2020.2997126 http://dx.doi.org/10.1109/tmm.2020.2997126 Weighted adaptive image super-resolution scheme based on local fractal feature and image roughness WANG P Q ， CHEN P F ， YUAN Y ， et al . Understanding convolution for semantic segmentation ［C］. 2018 IEEE Winter Conference on Applications of Computer Vision. Lake Tahoe ， NV， USA . IEEE ， 2018 ： 1451 - 1460 . doi: 10.1109/wacv.2018.00163 http://dx.doi.org/10.1109/wacv.2018.00163 Understanding convolution for semantic segmentation SARKAR N ， CHAUDHURI B B . An efficient differential box-counting approach to compute fractal dimension of image ［J］. IEEE Transactions on Systems， Man， and Cybernetics ， 1994 ， 24 （ 1 ）： 115 - 120 . doi: 10.1109/21.259692 http://dx.doi.org/10.1109/21.259692 An efficient differential box-counting approach to compute fractal dimension of image DING L ， TANG H ， BRUZZONE L . LANet： local attention embedding to improve the semantic segmentation of remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2021 ， 59 （ 1 ）： 426 - 435 . doi: 10.1109/tgrs.2020.2994150 http://dx.doi.org/10.1109/tgrs.2020.2994150 LANet： local attention embedding to improve the semantic segmentation of remote sensing images JI S P ， WEI S Q ， LU M . Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 1 ）： 574 - 586 . doi: 10.1109/tgrs.2018.2858817 http://dx.doi.org/10.1109/tgrs.2018.2858817 Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set 10.37188/OPE.20223016.2006 TP751 A 1004-924X（2022）16-2006-15 徐胜军,张若暄,孟月波等.融合分形几何特征Resnet遥感图像建筑物分割[J].光学精密工程,2022,30(16):2006-2020. 徐胜军,张若暄,孟月波等.融合分形几何特征Resnet遥感图像建筑物分割[J].光学精密工程,2022,30(16):2006-2020. XU Shengjun,ZHANG Ruoxuan,MENG Yuebo,et al.Fusion of fractal geometric features Resnet remote sensing image building segmentation[J].Optics and Precision Engineering,2022,30(16):2006-2020. XU Shengjun,ZHANG Ruoxuan,MENG Yuebo,et al.Fusion of fractal geometric features Resnet remote sensing image building segmentation[J].Optics and Precision Engineering,2022,30(16):2006-2020. 国家自然科学基金资助项目（No.51678470，No.61803293）；陕西省教育厅专项科研项目资助（No.18JK0477， No.2017JM6106）；陕西省自然科学基础研究计划资助项目（No.2020JM-472， No.2020JM-473， No.2019JQ-760）；西安建筑科技大学基础研究基金资助项目（No.JC1703， No.JC1706）；陕西省科技厅社发攻关项目（No.2021SF-429） 2022-04-21 2022-05-23 2022-08-25 2022-09-01 光学精密工程 16 30