Fusion of fractal geometric features Resnet remote sensing image building segmentation

Shengjun XU; Ruoxuan ZHANG; Yuebo MENG; Guanghui LIU; Jiuqiang HAN

doi:10.37188/OPE.20223016.2006

您当前的位置：

首页 >

文章列表页 >

Fusion of fractal geometric features Resnet remote sensing image building segmentation

Information Sciences | 更新时间：2022-09-01

- Fusion of fractal geometric features Resnet remote sensing image building segmentation
- Optics and Precision Engineering Vol. 30, Issue 16, Pages: 2006-2020(2022)
- 作者机构：
  
  1.西安建筑科技大学信息与控制工程学院，陕西西安 710055
  2.西安市建筑制造智动化技术重点实验室，陕西西安 710055
  2.西安交通大学电子与信息学部，陕西西安 710049
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223016.2006
  CLC： TP751
- Received：21 April 2022，
  
  Revised：23 May 2022，
  
  Published：25 August 2022
- 稿件说明：
移动端阅览
徐胜军,张若暄,孟月波等.融合分形几何特征Resnet遥感图像建筑物分割[J].光学精密工程,2022,30(16):2006-2020.

XU Shengjun,ZHANG Ruoxuan,MENG Yuebo,et al.Fusion of fractal geometric features Resnet remote sensing image building segmentation[J].Optics and Precision Engineering,2022,30(16):2006-2020.
徐胜军,张若暄,孟月波等.融合分形几何特征Resnet遥感图像建筑物分割[J].光学精密工程,2022,30(16):2006-2020. DOI： 10.37188/OPE.20223016.2006.

XU Shengjun,ZHANG Ruoxuan,MENG Yuebo,et al.Fusion of fractal geometric features Resnet remote sensing image building segmentation[J].Optics and Precision Engineering,2022,30(16):2006-2020. DOI： 10.37188/OPE.20223016.2006.

摘要

针对遥感图像建筑物易受背景中道路、树木、阴影干扰而导致分割边界不清晰的问题，提出了一种融合分形几何特征的Resnet网络。所提模型基于编码-解码框架，以Resnet网络为主干网络，在编码阶段中引入融合分形先验的空洞空间金字塔池化模块（FD-ASPP），利用分形维数捕获遥感图像的分形特征，增强了Resnet网络的几何特征描述能力。解码阶段提出一种深度可分离卷积注意力融合机制（DSCAF），有效融合高层次特征和低层次特征，获取更加丰富的遥感图像语义信息和位置细节信息。在WHU遥感图像数据集上的实验表明，精确率达到0.944 8，召回率达到0.946 2，F1分数达到0.945 5，平均交并比mIoU达到0.941 5。所提模型与FCN、Segnet、Deeplab V3、U-net、SETR和AlignSeg等现有建筑物遥感语义分割模型相比，具有更好的分割精度，有效克服了道路、树木、阴影等因素的干扰，得到了较清晰的建筑物边界。

Abstract

In remote sensing images， roads， trees， and shadows in the background easily interfere with buildings； this usually leads to unclear segmentation boundaries. To address this issue， a Resnet network integrating fractal geometry features is proposed. Based on the coding–decoding framework and considering the Resnet network as a backbone network， the proposed algorithm introduces an atrous spatial pyramid pooling module （FD-ASPP） integrating fractal a priori in the coding stage， which can use the fractal dimension to capture the fractal features of remote sensing images and enhance the geometric feature description ability of the Resnet network. In the decoding stage， a deep separable convolution attention fusion mechanism （DSCAF） is proposed to effectively integrate high-level and low-level features to obtain richer semantic information and location details of remote sensing images. Experiments on the WHU remote sensing image dataset show that the accuracy precision rate is 0.944 8， the recall rate is 0.946 2， the F1 score is 0.945 5， and the average cross merge ratio mIoU is 0.941 5. Compared with existing remote sensing semantic segmentation algorithms for buildings， such as FCN， Segnet， Deeplab V3， U-net， SETR， and AlignSeg， the proposed method achieves better segmentation accuracy； effectively overcomes the interference of roads， trees， shadows and other factors； and obtains a clearer building boundary.

关键词

Keywords

references

ZHAO W F ， PERSELLO C ， STEIN A . Building instance segmentation and boundary regularization from high-resolution remote sensing images ［C］. IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Waikoloa ， HI， USA . IEEE ， 2020 ： 3916 - 3919 . doi: 10.1109/igarss39084.2020.9324239 http://dx.doi.org/10.1109/igarss39084.2020.9324239

TROYA-GALVIS A ， GANÇARSKI P ， BERTI-ÉQUILLE L . Remote sensing image analysis by aggregation of segmentation-classification collaborative agents ［J］. Pattern Recognition ， 2018 ， 73 ： 259 - 274 . doi: 10.1016/j.patcog.2017.08.030 http://dx.doi.org/10.1016/j.patcog.2017.08.030

LAKSHMI S ， SANKARANARAYANAN D V . A study of edge detection techniques for segmentation computing approaches ［J］. International Journal of Computer Applications ， 2010 ， CASCT（ 1 ）： 35 - 41 . doi: 10.5120/993-25 http://dx.doi.org/10.5120/993-25

ADAMS R ， BISCHOF L . Seeded region growing ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1994 ， 16 （ 6 ）： 641 - 647 . doi: 10.1109/34.295913 http://dx.doi.org/10.1109/34.295913

李静 . 基于NMI特征的遥感影像线性迭代聚类超像素分割算法［J］. 光学精密工程， 2022 ， 30 （ 6 ）： 734 - 742 .

LI J . SLIC super-pixel segmentation algorithm base on NMI features used in remote sensing image ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 6 ）： 734 - 742 . （in Chinese）

LONG J ， SHELHAMER E ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA， USA . IEEE ， 2015 ： 3431 - 3440 . doi: 10.1109/cvpr.2015.7298965 http://dx.doi.org/10.1109/cvpr.2015.7298965

BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615

CHEN L C ， PAPANDREOU G ， KOKKINOS I ， et al . DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 4 ）： 834 - 848 . doi: 10.1109/tpami.2017.2699184 http://dx.doi.org/10.1109/tpami.2017.2699184

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， 2015 ， 9351 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

ZHENG S X ， LU J C ， ZHAO H S ， et al . Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 6877 - 6886 . doi: 10.1109/cvpr46437.2021.00681 http://dx.doi.org/10.1109/cvpr46437.2021.00681

HUANG Z L ， WEI Y C ， WANG X G ， et al . AlignSeg： feature-aligned segmentation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2022 ， 44 （ 1 ）： 550 - 557 .

ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid scene parsing network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 6230 - 6239 . doi: 10.1109/cvpr.2017.660 http://dx.doi.org/10.1109/cvpr.2017.660

王曦，于鸣，任洪娥 . UNET与FPN相结合的遥感图像语义分割［J］. 液晶与显示， 2021 ， 36 （ 3 ）： 475 - 483 . doi: 10.37188/CJLCD.2020-0116 http://dx.doi.org/10.37188/CJLCD.2020-0116

WANG X ， YU M ， REN H E . Remote sensing image semantic segmentation combining UNET and FPN ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 3 ）： 475 - 483 . （in Chinese） . doi: 10.37188/CJLCD.2020-0116 http://dx.doi.org/10.37188/CJLCD.2020-0116

沈言善，王阿川 . 基于深度学习的遥感图像地物分割方法［J］. 液晶与显示， 2021 ， 36 （ 5 ）： 733 - 740 . doi: 10.37188/CJLCD.2020-0294 http://dx.doi.org/10.37188/CJLCD.2020-0294

SHEN Y S ， WANG A C . Remote sensing image feature segmentation method based on deep learning ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 5 ）： 733 - 740 . （in Chinese） . doi: 10.37188/CJLCD.2020-0294 http://dx.doi.org/10.37188/CJLCD.2020-0294

ZHENG X X ， CHEN T . Segmentation of high spatial resolution remote sensing image based on U-net convolutional networks ［C］. IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium. Waikoloa ， HI， USA . IEEE ， 2020 ： 2571 - 2574 . doi: 10.1109/igarss39084.2020.9324600 http://dx.doi.org/10.1109/igarss39084.2020.9324600

HOSSEINPOOR H ， SAMADZADEGAN F . Convolutional neural network for building extraction from high-resolution remote sensing images ［C］. 2020 International Conference on Machine Vision and Image Processing （MVIP）. Iran. IEEE ， 2020 ： 1 - 5 . doi: 10.1109/mvip49855.2020.9187483 http://dx.doi.org/10.1109/mvip49855.2020.9187483

REN J M ， TONG L ， LI Y X ， et al . Improved unet combining dropout and ACNET for remote sensing image change detection ［C］. 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS. Brussels ， Belgium . IEEE ， 2021 ： 4380 - 4383 . doi: 10.1109/igarss47720.2021.9553666 http://dx.doi.org/10.1109/igarss47720.2021.9553666

陈欣，万敏杰，马超，等 . 采用多尺度特征融合SSD的遥感图像小目标检测［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA C ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

BAO Y L ， ZHENG Y F . Based on the improved Deeplabv3 + remote sensing image semantic segmentation algorithm ［C］. 2021 4th International Conference on Advanced Electronic Materials， Computers and Software Engineering （AEMCSE）. Changsha ， China . IEEE ， 2021 ： 717 - 720 . doi: 10.1109/aemcse51986.2021.00148 http://dx.doi.org/10.1109/aemcse51986.2021.00148

PAN S M ， TAO Y L ， NIE C C ， et al . PEGNet： progressive edge guidance network for semantic segmentation of remote sensing images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 18 （ 4 ）： 637 - 641 . doi: 10.1109/lgrs.2020.2983464 http://dx.doi.org/10.1109/lgrs.2020.2983464

PAN F ， WU Z B ， LIU Q ， et al . DCFF-net： a densely connected feature fusion network for change detection in high-resolution remote sensing images ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 14 ： 11974 - 11985 .

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

王宇，杨艺，王宝山，等 . 深度神经网络条件随机场高分辨率遥感图像建筑物分割［J］. 遥感学报， 2019 ， 23 （ 6 ）： 1194 - 1208 . doi: 10.11834/jrs.20198141 http://dx.doi.org/10.11834/jrs.20198141

WANG Y ， YANG Y ， WANG B S ， et al . Building segmentation in high-resolution remote sensing image through deep neural network and conditional random fields ［J］. Journal of Remote Sensing ， 2019 ， 23 （ 6 ）： 1194 - 1208 . （in Chinese） . doi: 10.11834/jrs.20198141 http://dx.doi.org/10.11834/jrs.20198141

徐胜军，欧阳朴衍，郭学源，等 . 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1588 - 1599 . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588

XU S J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588

ZHAO Q ， LIU J H ， LI Y W ， et al . Semantic segmentation with attention mechanism for remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2021 ， 60 ： 1 - 13 . doi: 10.1109/tgrs.2021.3085889 http://dx.doi.org/10.1109/tgrs.2021.3085889

PENTLAND A P . Fractal-based description of natural scenes ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1984 ， 6 （ 6 ）： 661 - 674 . doi: 10.1109/tpami.1984.4767591 http://dx.doi.org/10.1109/tpami.1984.4767591

IVANOVICI M . Fractal dimension of color fractal images with correlated color components ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 8069 - 8082 . doi: 10.1109/tip.2020.3011283 http://dx.doi.org/10.1109/tip.2020.3011283

YAO X X ， WU Q ， ZHANG P ， et al . Weighted adaptive image super-resolution scheme based on local fractal feature and image roughness ［J］. IEEE Transactions on Multimedia ， 2021 ， 23 ： 1426 - 1441 . doi: 10.1109/tmm.2020.2997126 http://dx.doi.org/10.1109/tmm.2020.2997126

WANG P Q ， CHEN P F ， YUAN Y ， et al . Understanding convolution for semantic segmentation ［C］. 2018 IEEE Winter Conference on Applications of Computer Vision. Lake Tahoe ， NV， USA . IEEE ， 2018 ： 1451 - 1460 . doi: 10.1109/wacv.2018.00163 http://dx.doi.org/10.1109/wacv.2018.00163

SARKAR N ， CHAUDHURI B B . An efficient differential box-counting approach to compute fractal dimension of image ［J］. IEEE Transactions on Systems， Man， and Cybernetics ， 1994 ， 24 （ 1 ）： 115 - 120 . doi: 10.1109/21.259692 http://dx.doi.org/10.1109/21.259692

DING L ， TANG H ， BRUZZONE L . LANet： local attention embedding to improve the semantic segmentation of remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2021 ， 59 （ 1 ）： 426 - 435 . doi: 10.1109/tgrs.2020.2994150 http://dx.doi.org/10.1109/tgrs.2020.2994150

JI S P ， WEI S Q ， LU M . Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 1 ）： 574 - 586 . doi: 10.1109/tgrs.2018.2858817 http://dx.doi.org/10.1109/tgrs.2018.2858817

Views

786

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet

Spatial adaptation and frequency fusion network for single remote sensing image super-resolution

Enhanced edge feature extraction dual branch fusion network for real image dehazing

Lightweight video super-resolution based on hybrid spatio-temporal convolution

Joint self-attention and branch sampling for object detection on drone imagery

Related Author

Sheng-jun XU

Pu-yan OUYANG

Xue-yuan GUO

Zhong-xing DUAN

Muthar Khan Taha

YANG Yichuan

MA Zhongqi

ZHOU Xinyao

Related Institution

Architectural Design and Research Institute of Tsinghua University Company, Limited

College of Information and Control Engineering, Xi'an University of Architecture and Technology

Beijing Institute of Space Machinery and Electronics

Key Laboratory of Optoelectronic Technology and System， Ministry of Education， Chongqing University

Faculty of Civil Aviation and Aeronautics，Kunming University of Science and Technology

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰