Lightweight multi-scale difference network for remote sensing building extraction

LI Guoyan; WU Haimiao; DONG Chunhua; LIU Yi

doi:10.37188/OPE.20233122.3371

您当前的位置：

首页 >

文章列表页 >

Lightweight multi-scale difference network for remote sensing building extraction

Information Sciences | 更新时间：2023-11-28

- Lightweight multi-scale difference network for remote sensing building extraction
- Optics and Precision Engineering Vol. 31, Issue 22, Pages: 3371-3382(2023)
- 作者机构：
  
  1.天津城建大学计算机与信息工程学院，天津 300384
  2.天津城建大学地质与测绘学院，天津 300384
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233122.3371
  CLC： P237
- Received：04 June 2023，
  
  Revised：05 July 2023，
  
  Published：25 November 2023
- 稿件说明：
移动端阅览
李国燕,武海苗,董春华等.面向遥感建筑物提取的轻型多尺度差异网络[J].光学精密工程,2023,31(22):3371-3382.

LI Guoyan,WU Haimiao,DONG Chunhua,et al.Lightweight multi-scale difference network for remote sensing building extraction[J].Optics and Precision Engineering,2023,31(22):3371-3382.
李国燕,武海苗,董春华等.面向遥感建筑物提取的轻型多尺度差异网络[J].光学精密工程,2023,31(22):3371-3382. DOI： 10.37188/OPE.20233122.3371.

LI Guoyan,WU Haimiao,DONG Chunhua,et al.Lightweight multi-scale difference network for remote sensing building extraction[J].Optics and Precision Engineering,2023,31(22):3371-3382. DOI： 10.37188/OPE.20233122.3371.

摘要

针对高分辨率遥感影像中建筑物形状多样、大小不一引起建筑物提取精度低及传统分割模型存在参数量大等问题，提出一种基于编码-解码的轻型多尺度差异网络LMD-Net（Lightweight Multi-scale Difference Network）。首先，为了避免单一的特征处理单元堆叠使得模型性能弱化而产生无效参数，通过融合编解码结构的功能差异性，设计出一种轻型差异模型优化性能。其次，引入一种多尺度膨胀感知模块（Multi-Scale Dilation Perception，MSDP）来增强网络捕捉多尺度目标特征的能力。最后，通过双融合机制有效聚合深层跳跃连接和深层解码器两组的特征信息，从而实现增强解码器的特征恢复能力。为验证轻型多尺度差异网络LMD-Net的有效性和适用性，以开源WHU building dataset数据集作为数据源，对LMD-Net网络与常用语义分割网络及近年相关文献研究成果进行了精度、效率方面的评估实验。结果表明：LMD-Net网络在效率与精度两方面均表现出明显优势，不仅很大程度上减少模型的参数量和计算量，而且交并比、准确率分别提高了3.23%，2.57%。表明在基于高分辨率遥感影像建筑物提取领域中，该模型所表现的优势具有良好的城市空间信息库价值。

Abstract

To address the problem of low accuracy of building extraction in high-resolution remote sensing images due to the diverse shapes and sizes of buildings and large number of parameters in traditional segmentation models， a Lightweight Multi-scale Difference network （LMD-Net） based on encoding-decoding is proposed. First， to avoid the invalid parameters caused by the degraded model performance due to the stacking of single feature processing units， a lightweight differential model is designed to improve the performance by integrating the functional differences of codec structures. Next， a Multi-scale Dilation Perception （MSDP） module is introduced to enhance the ability of the network to capture multi-scale target features. Finally， the double fusion mechanism is used to effectively aggregate the feature information of the deep jump connection and deep decoder to enhance the feature recovery ability of the decoder. To verify the validity and applicability of LMD-Net， the open source WHU building dataset was used as the data source to evaluate the accuracy and efficiency of LMD-Net and the common semantic segmentation network as well as the results from recent relevant literature. The results show that LMD-Net has obvious advantages in both efficiency and accuracy， which not only greatly reduces the parameter number and calculation amount of the model but also improves the intersection ratio and accuracy by 3.23% and 2.57%， respectively. Consequently， this model is advantageous in the field of building extraction based on high-resolution remote sensing images to generate an urban spatial information base.

关键词

Keywords

references

WANG Y ， ZENG X Q ， LIAO X H ， et al . B-FGC-net： a building extraction network from high resolution remote sensing imagery ［J］. Remote Sensing ， 2022 ， 14 （ 2 ）： 269 . doi: 10.3390/rs14020269 http://dx.doi.org/10.3390/rs14020269

HOSSEINPOUR H ， SAMADZADEGAN F ， JAVAN FD . CMGFNet： a deep cross-modal gated fusion network for building extraction from very high-resolution remote sensing images ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2022 ， 184 ： 96 - 115 . doi: 10.1016/j.isprsjprs.2021.12.007 http://dx.doi.org/10.1016/j.isprsjprs.2021.12.007

JIN X Y ， DAVIS C H . Automated building extraction from high-resolution satellite imagery in urban areas using structural， contextual， and spectral information ［J］. EURASIP Journal on Advances in Signal Processing ， 2005 ， 2005（ 14 ）： 1 - 11 . doi: 10.1155/asp.2005.2196 http://dx.doi.org/10.1155/asp.2005.2196

岳照溪，潘琛，郭功举 . 基于深度学习的高分辨率光学卫星遥感影像建筑物变化检测方法［J］. 测绘科学与工程， 2021 （ 2 ）： 30 - 38 .

YUE Z X ， PAN C ， GUO G J . A change detection method for high resolution optical satellite remote sensing image based on deep learning ［J］. Geomatics Science and Engineering ， 2021 （ 2 ）： 30 - 38 . （in Chinese）

SHELHAMER E ， LONG J ， DARRELL T . Fully convolutional networks for semantic segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 4 ）： 640 - 651 . doi: 10.1109/tpami.2016.2572683 http://dx.doi.org/10.1109/tpami.2016.2572683

BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615

RONNEBERGER O ， FISCHER P ， BROX T . U - Net ： Convolutional Networks for Biomedical Image Segmentation ［M］. Lecture Notes in Computer Science . Cham ： Springer International Publishing ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

王舒洋，慕晓冬，杨东方，等 . 融合高阶信息的遥感影像建筑物自动提取［J］. 光学精密工程， 2019 ， 27 （ 11 ）： 2474 - 2483 . doi: 10.3788/ope.20192711.2474 http://dx.doi.org/10.3788/ope.20192711.2474

WANG S Y ， MU X D ， YANG D F ， et al . High-order statistics integration method for automatic building extraction of remote sensing images ［J］. Opt. Precision Eng. ， 2019 ， 27（ 11 ） 2474 - 2483 . （in Chinese） . doi: 10.3788/ope.20192711.2474 http://dx.doi.org/10.3788/ope.20192711.2474

陈凯强，高鑫，闫梦龙，等 . 基于编解码网络的航空影像像素级建筑物提取［J］. 遥感学报， 2020 ， 24 （ 9 ）： 1134 - 1142 . doi: 10.11834/jrs.20209056 http://dx.doi.org/10.11834/jrs.20209056

CHEN K Q ， GAO X ， YAN M L ， et al . Building extraction in pixel level from aerial imagery with a deep encoder-decoder network ［J］. Journal of Remote Sensing ， 2020 ， 24 （ 9 ）： 1134 - 1142 . （in Chinese） . doi: 10.11834/jrs.20209056 http://dx.doi.org/10.11834/jrs.20209056

MA J J ， WU L L ， TANG X ， et al . Building extraction of aerial images by a global and multi-scale encoder-decoder network ［J］. Remote Sensing ， 2020 ， 12 （ 15 ）： 2350 . doi: 10.3390/rs12152350 http://dx.doi.org/10.3390/rs12152350

SHI M Y ， GAO J . Research on high altitude remote sensing building segmentation based on improved u-net algorithm ［J］. Instrumentation ， 2021 ， 8 （ 04 ）： 47 - 54 .

许正森，管海燕，彭代锋，等 . 高分辨率遥感影像建筑物提取的注意力胶囊网络算法［J］. 遥感学报， 2022 ， 26 （ 8 ）： 1636 - 1649 . doi: 10.11834/jrs.20221577 http://dx.doi.org/10.11834/jrs.20221577

XU Z S ， GUAN H Y ， PENG D F ， et al . A dual-attention capsule network for building extraction from high-resolution remote sensing imagery ［J］. Journal of Remote Sensing ， 2022 ， 26 （ 8 ）： 1636 - 1649 . （in Chinese） . doi: 10.11834/jrs.20221577 http://dx.doi.org/10.11834/jrs.20221577

ZHANG Z X ， LIU Q J ， WANG Y H . Road extraction by deep residual U-net ［J］. IEEE Geoscience and Remote Sensing Letters ， 2018 ， 15 （ 5 ）： 749 - 753 . doi: 10.1109/lgrs.2018.2802944 http://dx.doi.org/10.1109/lgrs.2018.2802944

徐胜军，张若暄，孟月波，等 . 融合分形几何特征Resnet遥感图像建筑物分割［J］. 光学精密工程， 2022 ， 30（ 16 ） 2006 - 2020 . doi: 10.37188/OPE.20223016.2006 http://dx.doi.org/10.37188/OPE.20223016.2006

XU S J ， ZHANG R X ， MENG Y B ， et al . Fusion of fractal geometric features Resnet remote sensing image building segmentation ［J］. Opt. Precision Eng. ， 2022 ， 30（ 16 ） 2006 - 2020 . （in Chinese） . doi: 10.37188/OPE.20223016.2006 http://dx.doi.org/10.37188/OPE.20223016.2006

罗松强，李浩，陈仁喜 . 多尺度特征增强的ResUNet+遥感影像建筑物提取［J］. 激光与光电子学进展， 2022 ， 59 （ 8 ）： 0828007 . doi: 10.3788/LOP202259.0828007 http://dx.doi.org/10.3788/LOP202259.0828007

LUO S Q ， LI H ， CHEN R X . Building extraction of Remote sensing images using ResUNnet+ with enhanced multiscale features ［J］. Laser & Optoelectronics Progress ， 2022 ， 59 （ 8 ）： 0828007 . （in Chinese） . doi: 10.3788/LOP202259.0828007 http://dx.doi.org/10.3788/LOP202259.0828007

徐胜军，欧阳朴衍，郭学源，等 . 多尺度特征融合空洞卷积ResNet遥感图像建筑物分割［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1588 - 1599 . doi: 10.37188/OPE.20202807.1588 http://dx.doi.org/10.37188/OPE.20202807.1588

XU S J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） . doi: 10.37188/OPE.20202807.1588 http://dx.doi.org/10.37188/OPE.20202807.1588

LIN J B ， JING W P ， SONG H B ， et al . ESFNet： efficient network for building extraction from high-resolution aerial images ［J］. IEEE Access ， 2019 ， 7 ： 54285 - 54294 . doi: 10.1109/access.2019.2912822 http://dx.doi.org/10.1109/access.2019.2912822

PASZKE A ， CHAURASIA A ， KIM S ， et al . ENet ： a Deep Neural Network Architecture for Real - Time Semantic Segmentation ［EB/OL］. 2016 ： arXiv ： 1606 . 02147 . https：//arxiv.org/abs/1606.02147.pdf https://arxiv.org/abs/1606.02147.pdf . doi: 10.48550/arXiv.1606.02147 http://dx.doi.org/10.48550/arXiv.1606.02147

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 27 - 30 ， 2016， Las Vegas， NV， USA. IEEE ， 2016： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

HOWARD A G ， ZHU M ， CHEN B ， et al . MobileNets ： Efficient Convolutional Neural Networks for Mobile Vision Applications ［EB/OL］. 2017 ： arXiv ： 1704 . 04861 . https：//arxiv.org/abs/1704.04861.pdf https://arxiv.org/abs/1704.04861.pdf

RAZA A ， HUO H ， FANG T . EUNet-CD： efficient UNet for change detection of very high-resolution remote sensing images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2022 ， 19 ： 1 - 5 . doi: 10.1109/lgrs.2022.3144304 http://dx.doi.org/10.1109/lgrs.2022.3144304

SHAHEED K ， MAO A ， QURESHI I ， et al . Finger-vein presentation attack detection using depthwise separable convolution neural network ［J］. Expert Systems with Applications ， 2022 ， 198 ： 116786 . doi: 10.1016/j.eswa.2022.116786 http://dx.doi.org/10.1016/j.eswa.2022.116786

WANG S H ， WANG X Y ， GUO X . Advanced face mask detection model using hybrid dilation convolution based method ［J］. Journal of Software Engineering and Applications ， 2023 ， 16 （ 1 ）： 1 - 19 . doi: 10.4236/jsea.2023.161001 http://dx.doi.org/10.4236/jsea.2023.161001

季顺平，魏世清 . 遥感影像建筑物提取的卷积神经元网络与开源数据集方法［J］. 测绘学报， 2019 ， 48 （ 4 ）： 448 - 459 . doi: 10.11947/j.AGCS.2019.20180206 http://dx.doi.org/10.11947/j.AGCS.2019.20180206

JI S P ， WEI S Q . Building extraction via convolutional neural networks from an open remote sensing building dataset ［J］. Acta Geodaetica et Cartographica Sinica ， 2019 ， 48 （ 4 ）： 448 - 459 . （in Chinese） . doi: 10.11947/j.AGCS.2019.20180206 http://dx.doi.org/10.11947/j.AGCS.2019.20180206

Views

334

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Dermoscopic image classification based on multi-scale and three-dimensional interaction feature optimization

Cross-level feature aggregation image enhancement with dual-path hybrid attention

Infrared and visible image fusion based on target enhancement and butterfly optimization

Joint self-attention and branch sampling for object detection on drone imagery

Fast extraction of buildings from remote sensing images by fusion of CNN and Transformer

Related Author

LI Jing

LÜ Xiaoqi

WANG Di

ZHANG Shengchong

YAN Tinghao

WANG Xiaoxue

YUAN Heng

HE Tian

Related Institution

School of Information Engineering， Inner Mongolia University of Technology

School of Digital and Intelligence Industry， Inner Mongolia University of Science and Technology

Key Laboratory of Optoelectronic Information Control and Security Technology

College of Software， Liaoning Technical University

College of Electrical and Control Engineering， Xi'an University of Science and Technology

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰