面向遥感建筑物提取的轻型多尺度差异网络

李国燕; 武海苗; 董春华; 刘毅

doi:10.37188/OPE.20233122.3371

您当前的位置：

首页 >

文章列表页 >

面向遥感建筑物提取的轻型多尺度差异网络

信息科学 | 更新时间：2023-11-28

- 面向遥感建筑物提取的轻型多尺度差异网络
- Lightweight multi-scale difference network for remote sensing building extraction
- 光学精密工程 2023年31卷第22期页码：3371-3382
- 作者机构：
  
  1.天津城建大学计算机与信息工程学院，天津 300384
  2.天津城建大学地质与测绘学院，天津 300384
- 作者简介：
  
  [ "李国燕（1984-），女，河北石家庄人，博士，硕士生导师，副教授，2006年于河北师范大学获得学士学位，2009年于河北工业大学获得硕士学位，2013年于河北工业大学获得博士学位，主要从事机器视觉、下一代网络技术的研究。E-mail：ligy@tcu.edu.cn通讯作者：" ]
  [ "董春华（1982-），女，山东聊城人，硕士，讲师，2009年于天津城建大学获得硕士学位，主要研究方向为GIS、遥感信息分析。E-mail：dch@tcu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(52178295)
- DOI：10.37188/OPE.20233122.3371
  中图分类号： P237
- 收稿日期：2023-06-04，
  
  修回日期：2023-07-05，
  
  纸质出版日期：2023-11-25
- 稿件说明：
移动端阅览
李国燕,武海苗,董春华等.面向遥感建筑物提取的轻型多尺度差异网络[J].光学精密工程,2023,31(22):3371-3382.

LI Guoyan,WU Haimiao,DONG Chunhua,et al.Lightweight multi-scale difference network for remote sensing building extraction[J].Optics and Precision Engineering,2023,31(22):3371-3382.
李国燕,武海苗,董春华等.面向遥感建筑物提取的轻型多尺度差异网络[J].光学精密工程,2023,31(22):3371-3382. DOI： 10.37188/OPE.20233122.3371.

LI Guoyan,WU Haimiao,DONG Chunhua,et al.Lightweight multi-scale difference network for remote sensing building extraction[J].Optics and Precision Engineering,2023,31(22):3371-3382. DOI： 10.37188/OPE.20233122.3371.

摘要

针对高分辨率遥感影像中建筑物形状多样、大小不一引起建筑物提取精度低及传统分割模型存在参数量大等问题，提出一种基于编码-解码的轻型多尺度差异网络LMD-Net（Lightweight Multi-scale Difference Network）。首先，为了避免单一的特征处理单元堆叠使得模型性能弱化而产生无效参数，通过融合编解码结构的功能差异性，设计出一种轻型差异模型优化性能。其次，引入一种多尺度膨胀感知模块（Multi-Scale Dilation Perception，MSDP）来增强网络捕捉多尺度目标特征的能力。最后，通过双融合机制有效聚合深层跳跃连接和深层解码器两组的特征信息，从而实现增强解码器的特征恢复能力。为验证轻型多尺度差异网络LMD-Net的有效性和适用性，以开源WHU building dataset数据集作为数据源，对LMD-Net网络与常用语义分割网络及近年相关文献研究成果进行了精度、效率方面的评估实验。结果表明：LMD-Net网络在效率与精度两方面均表现出明显优势，不仅很大程度上减少模型的参数量和计算量，而且交并比、准确率分别提高了3.23%，2.57%。表明在基于高分辨率遥感影像建筑物提取领域中，该模型所表现的优势具有良好的城市空间信息库价值。

Abstract

To address the problem of low accuracy of building extraction in high-resolution remote sensing images due to the diverse shapes and sizes of buildings and large number of parameters in traditional segmentation models， a Lightweight Multi-scale Difference network （LMD-Net） based on encoding-decoding is proposed. First， to avoid the invalid parameters caused by the degraded model performance due to the stacking of single feature processing units， a lightweight differential model is designed to improve the performance by integrating the functional differences of codec structures. Next， a Multi-scale Dilation Perception （MSDP） module is introduced to enhance the ability of the network to capture multi-scale target features. Finally， the double fusion mechanism is used to effectively aggregate the feature information of the deep jump connection and deep decoder to enhance the feature recovery ability of the decoder. To verify the validity and applicability of LMD-Net， the open source WHU building dataset was used as the data source to evaluate the accuracy and efficiency of LMD-Net and the common semantic segmentation network as well as the results from recent relevant literature. The results show that LMD-Net has obvious advantages in both efficiency and accuracy， which not only greatly reduces the parameter number and calculation amount of the model but also improves the intersection ratio and accuracy by 3.23% and 2.57%， respectively. Consequently， this model is advantageous in the field of building extraction based on high-resolution remote sensing images to generate an urban spatial information base.

关键词

Keywords

references

WANG Y ， ZENG X Q ， LIAO X H ， et al . B-FGC-net： a building extraction network from high resolution remote sensing imagery ［J］. Remote Sensing ， 2022 ， 14 （ 2 ）： 269 . doi: 10.3390/rs14020269 http://dx.doi.org/10.3390/rs14020269

HOSSEINPOUR H ， SAMADZADEGAN F ， JAVAN FD . CMGFNet： a deep cross-modal gated fusion network for building extraction from very high-resolution remote sensing images ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2022 ， 184 ： 96 - 115 . doi: 10.1016/j.isprsjprs.2021.12.007 http://dx.doi.org/10.1016/j.isprsjprs.2021.12.007

JIN X Y ， DAVIS C H . Automated building extraction from high-resolution satellite imagery in urban areas using structural， contextual， and spectral information ［J］. EURASIP Journal on Advances in Signal Processing ， 2005 ， 2005（ 14 ）： 1 - 11 . doi: 10.1155/asp.2005.2196 http://dx.doi.org/10.1155/asp.2005.2196

岳照溪，潘琛，郭功举 . 基于深度学习的高分辨率光学卫星遥感影像建筑物变化检测方法［J］. 测绘科学与工程， 2021 （ 2 ）： 30 - 38 .

YUE Z X ， PAN C ， GUO G J . A change detection method for high resolution optical satellite remote sensing image based on deep learning ［J］. Geomatics Science and Engineering ， 2021 （ 2 ）： 30 - 38 . （in Chinese）

SHELHAMER E ， LONG J ， DARRELL T . Fully convolutional networks for semantic segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 4 ）： 640 - 651 . doi: 10.1109/tpami.2016.2572683 http://dx.doi.org/10.1109/tpami.2016.2572683

BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615

RONNEBERGER O ， FISCHER P ， BROX T . U - Net ： Convolutional Networks for Biomedical Image Segmentation ［M］. Lecture Notes in Computer Science . Cham ： Springer International Publishing ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

王舒洋，慕晓冬，杨东方，等 . 融合高阶信息的遥感影像建筑物自动提取［J］. 光学精密工程， 2019 ， 27 （ 11 ）： 2474 - 2483 . doi: 10.3788/ope.20192711.2474 http://dx.doi.org/10.3788/ope.20192711.2474

WANG S Y ， MU X D ， YANG D F ， et al . High-order statistics integration method for automatic building extraction of remote sensing images ［J］. Opt. Precision Eng. ， 2019 ， 27（ 11 ） 2474 - 2483 . （in Chinese） . doi: 10.3788/ope.20192711.2474 http://dx.doi.org/10.3788/ope.20192711.2474

陈凯强，高鑫，闫梦龙，等 . 基于编解码网络的航空影像像素级建筑物提取［J］. 遥感学报， 2020 ， 24 （ 9 ）： 1134 - 1142 . doi: 10.11834/jrs.20209056 http://dx.doi.org/10.11834/jrs.20209056

CHEN K Q ， GAO X ， YAN M L ， et al . Building extraction in pixel level from aerial imagery with a deep encoder-decoder network ［J］. Journal of Remote Sensing ， 2020 ， 24 （ 9 ）： 1134 - 1142 . （in Chinese） . doi: 10.11834/jrs.20209056 http://dx.doi.org/10.11834/jrs.20209056

MA J J ， WU L L ， TANG X ， et al . Building extraction of aerial images by a global and multi-scale encoder-decoder network ［J］. Remote Sensing ， 2020 ， 12 （ 15 ）： 2350 . doi: 10.3390/rs12152350 http://dx.doi.org/10.3390/rs12152350

SHI M Y ， GAO J . Research on high altitude remote sensing building segmentation based on improved u-net algorithm ［J］. Instrumentation ， 2021 ， 8 （ 04 ）： 47 - 54 .

许正森，管海燕，彭代锋，等 . 高分辨率遥感影像建筑物提取的注意力胶囊网络算法［J］. 遥感学报， 2022 ， 26 （ 8 ）： 1636 - 1649 . doi: 10.11834/jrs.20221577 http://dx.doi.org/10.11834/jrs.20221577

XU Z S ， GUAN H Y ， PENG D F ， et al . A dual-attention capsule network for building extraction from high-resolution remote sensing imagery ［J］. Journal of Remote Sensing ， 2022 ， 26 （ 8 ）： 1636 - 1649 . （in Chinese） . doi: 10.11834/jrs.20221577 http://dx.doi.org/10.11834/jrs.20221577

ZHANG Z X ， LIU Q J ， WANG Y H . Road extraction by deep residual U-net ［J］. IEEE Geoscience and Remote Sensing Letters ， 2018 ， 15 （ 5 ）： 749 - 753 . doi: 10.1109/lgrs.2018.2802944 http://dx.doi.org/10.1109/lgrs.2018.2802944

徐胜军，张若暄，孟月波，等 . 融合分形几何特征Resnet遥感图像建筑物分割［J］. 光学精密工程， 2022 ， 30（ 16 ） 2006 - 2020 . doi: 10.37188/OPE.20223016.2006 http://dx.doi.org/10.37188/OPE.20223016.2006

XU S J ， ZHANG R X ， MENG Y B ， et al . Fusion of fractal geometric features Resnet remote sensing image building segmentation ［J］. Opt. Precision Eng. ， 2022 ， 30（ 16 ） 2006 - 2020 . （in Chinese） . doi: 10.37188/OPE.20223016.2006 http://dx.doi.org/10.37188/OPE.20223016.2006

罗松强，李浩，陈仁喜 . 多尺度特征增强的ResUNet+遥感影像建筑物提取［J］. 激光与光电子学进展， 2022 ， 59 （ 8 ）： 0828007 . doi: 10.3788/LOP202259.0828007 http://dx.doi.org/10.3788/LOP202259.0828007

LUO S Q ， LI H ， CHEN R X . Building extraction of Remote sensing images using ResUNnet+ with enhanced multiscale features ［J］. Laser & Optoelectronics Progress ， 2022 ， 59 （ 8 ）： 0828007 . （in Chinese） . doi: 10.3788/LOP202259.0828007 http://dx.doi.org/10.3788/LOP202259.0828007

徐胜军，欧阳朴衍，郭学源，等 . 多尺度特征融合空洞卷积ResNet遥感图像建筑物分割［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1588 - 1599 . doi: 10.37188/OPE.20202807.1588 http://dx.doi.org/10.37188/OPE.20202807.1588

XU S J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） . doi: 10.37188/OPE.20202807.1588 http://dx.doi.org/10.37188/OPE.20202807.1588

LIN J B ， JING W P ， SONG H B ， et al . ESFNet： efficient network for building extraction from high-resolution aerial images ［J］. IEEE Access ， 2019 ， 7 ： 54285 - 54294 . doi: 10.1109/access.2019.2912822 http://dx.doi.org/10.1109/access.2019.2912822

PASZKE A ， CHAURASIA A ， KIM S ， et al . ENet ： a Deep Neural Network Architecture for Real - Time Semantic Segmentation ［EB/OL］. 2016 ： arXiv ： 1606 . 02147 . https：//arxiv.org/abs/1606.02147.pdf https://arxiv.org/abs/1606.02147.pdf . doi: 10.48550/arXiv.1606.02147 http://dx.doi.org/10.48550/arXiv.1606.02147

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 27 - 30 ， 2016， Las Vegas， NV， USA. IEEE ， 2016： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

HOWARD A G ， ZHU M ， CHEN B ， et al . MobileNets ： Efficient Convolutional Neural Networks for Mobile Vision Applications ［EB/OL］. 2017 ： arXiv ： 1704 . 04861 . https：//arxiv.org/abs/1704.04861.pdf https://arxiv.org/abs/1704.04861.pdf

RAZA A ， HUO H ， FANG T . EUNet-CD： efficient UNet for change detection of very high-resolution remote sensing images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2022 ， 19 ： 1 - 5 . doi: 10.1109/lgrs.2022.3144304 http://dx.doi.org/10.1109/lgrs.2022.3144304

SHAHEED K ， MAO A ， QURESHI I ， et al . Finger-vein presentation attack detection using depthwise separable convolution neural network ［J］. Expert Systems with Applications ， 2022 ， 198 ： 116786 . doi: 10.1016/j.eswa.2022.116786 http://dx.doi.org/10.1016/j.eswa.2022.116786

WANG S H ， WANG X Y ， GUO X . Advanced face mask detection model using hybrid dilation convolution based method ［J］. Journal of Software Engineering and Applications ， 2023 ， 16 （ 1 ）： 1 - 19 . doi: 10.4236/jsea.2023.161001 http://dx.doi.org/10.4236/jsea.2023.161001

季顺平，魏世清 . 遥感影像建筑物提取的卷积神经元网络与开源数据集方法［J］. 测绘学报， 2019 ， 48 （ 4 ）： 448 - 459 . doi: 10.11947/j.AGCS.2019.20180206 http://dx.doi.org/10.11947/j.AGCS.2019.20180206

JI S P ， WEI S Q . Building extraction via convolutional neural networks from an open remote sensing building dataset ［J］. Acta Geodaetica et Cartographica Sinica ， 2019 ， 48 （ 4 ）： 448 - 459 . （in Chinese） . doi: 10.11947/j.AGCS.2019.20180206 http://dx.doi.org/10.11947/j.AGCS.2019.20180206

浏览量

230

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

多尺度与三维交互特征优化的皮肤镜图像分类

双路混合注意力的跨层次特征聚合图像增强

基于目标增强与蝴蝶优化的红外与可见光图像融合

联合自注意力和分支采样的无人机图像目标检测

融合CNN和Transformer的遥感图像建筑物快速提取