融合超像素与多模态感知网络的遥感影像车辆检测

连远锋; 李光洋; 沈韶辰

doi:10.37188/OPE.20233106.0905

您当前的位置：

首页 >

文章列表页 >

融合超像素与多模态感知网络的遥感影像车辆检测

信息科学 | 更新时间：2026-09-12

- 融合超像素与多模态感知网络的遥感影像车辆检测
- Vehicle detection method based on remote sensing image fusion of superpixel and multi-modal sensing network
- 光学精密工程 2023年31卷第6期页码：905-919
- 作者机构：
  
  1.中国石油大学（北京）信息科学与工程学院，北京 102249
  2.中国石油大学（北京）石油数据挖掘北京市重点实验室，北京 102249
- 作者简介：
  
  连远锋（1977-），男，吉林延吉人，博士，副教授，硕士生导师，2007年于北京航空航天大学获博士学位，主要从事图像处理与虚拟现实、机器视觉与机器人、深度学习与数字几何等方面的研究。E-mail： lianyuanfeng@cup.edu.cn
  李光洋（1998-），男，安徽六安人，硕士研究生，2021年于中国石油大学（北京）获得学士学位，主要从事深度学习研究。E-mail： 2021211257@student.cup.edu.cn
- 基金信息：
  
  国家自然科学基金资助项目(61972353);中国石油天然气集团有限公司-中国石油大学（北京）战略合作科技专项资助(ZLZX2020-05)
- DOI：10.37188/OPE.20233106.0905
  中图分类号： TP394.1;TH691.9
- 收稿：2022-11-14，
  
  修回：2022-12-17，
  
  纸质出版：2023-03-25
- 稿件说明：
移动端阅览
连远锋,李光洋,沈韶辰.融合超像素与多模态感知网络的遥感影像车辆检测[J].光学精密工程,2023,31(06):905-919.

LIAN Yuanfeng,LI Guangyang,SHEN Shaochen.Vehicle detection method based on remote sensing image fusion of superpixel and multi-modal sensing network[J].Optics and Precision Engineering,2023,31(06):905-919.
连远锋,李光洋,沈韶辰.融合超像素与多模态感知网络的遥感影像车辆检测[J].光学精密工程,2023,31(06):905-919. DOI： 10.37188/OPE.20233106.0905.

LIAN Yuanfeng,LI Guangyang,SHEN Shaochen.Vehicle detection method based on remote sensing image fusion of superpixel and multi-modal sensing network[J].Optics and Precision Engineering,2023,31(06):905-919. DOI： 10.37188/OPE.20233106.0905.

摘要

针对遥感影像车辆检测中背景干扰、目标密集和目标异质性等因素引起的识别精度下降问题，提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。首先，基于混合超像素的区域合并规则，通过超像素二分图融合算法将两种模态的超像素分割结果进行融合，提升了不同模态图像超像素分割结果的准确性；其次，提出一种多模态边缘感知网络的遥感影像车辆检测方法MEANet （Multi-modal Edge Aware Network），引入OPT-FPN模块（Optimized Feature Pyramid Networks）来增强网络学习多尺度目标特征的能力；最后，通过边缘感知模块聚合超像素和多模态融合模块生成的两组边缘特征，进而生成车辆目标的准确边界。在ISPRS Potsdam和ISPRS Vaihingen遥感影像数据集上进行实验，最终的

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=117968875&type=

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=117968894&type=

5.58799982

3.21733332

分数分别为91.05%和85.11%。实验结果表明，本文提出的方法在多模态遥感影像车辆高精度检测中有着较好的检测准确度和较好的应用价值。

Abstract

A remote sensing image vehicle detection method combining superpixels and a multi-modal perception network is proposed with the purpose of reducing recognition accuracy due to background interference， target density， and target heterogeneity in remote sensing image vehicle detection. First， based on the region merging rules of hybrid superpixels， the superpixel bipartite graph fusion algorithm was used to fuse the superpixel segmentation results of the two modalities， which improved the accuracy of the superpixel segmentation results of different modal images. Second， MEANet， a vehicle detection method of remote sensing images based on a multi-modal edge aware network， was proposed. An optimized feature pyramid network module was introduced to enhance the ability of the network to learn multi-scale target features. Finally， the two sets of edge features generated by the superpixel and multi-modal fusion module were aggregated through the edge perception module， and the accurate boundary of the vehicle target was generated. Experiments were conducted on the ISPRS Potsdam and ISPRS Vaihingen remote sensing image datasets， and the final scores were 91.05% and 85.11%， respectively. The experimental results showed that the method proposed in this study has good detection accuracy and good application value in high-precision vehicle detection of multi-modal remote sensing images.

关键词

Keywords

references

MORANDUZZO T ， MELGANI F . Automatic car counting method for unmanned aerial vehicle images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2014 ， 52 （ 3 ）： 1635 - 1647 . doi: 10.1109/tgrs.2013.2253108 http://dx.doi.org/10.1109/tgrs.2013.2253108

KEMBHAVI A ， HARWOOD D ， DAVIS L S . Vehicle detection using partial least squares ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 6 ）： 1250 - 1265 . doi: 10.1109/tpami.2010.182 http://dx.doi.org/10.1109/tpami.2010.182

YUN ， WEI ， . Multi-vehicle detection algorithm through combining Harr and HOG features ［J］. Mathematics and Computers in Simulation ， 2019 ， 155 ： 130 - 145 . doi: 10.1016/j.matcom.2017.12.011 http://dx.doi.org/10.1016/j.matcom.2017.12.011

TUERMER S ， KURZ F ， REINARTZ P ， et al . Airborne vehicle detection in dense urban areas using HoG features and disparity maps ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2013 ， 6 （ 6 ）： 2327 - 2337 . doi: 10.1109/jstars.2013.2242846 http://dx.doi.org/10.1109/jstars.2013.2242846

PAPAGEORGIOU C ， POGGIO T . A trainable system for object detection ［J］. International Journal of Computer Vision ， 2000 ， 38 （ 1 ）： 15 - 33 . doi: 10.1023/a:1008162616689 http://dx.doi.org/10.1023/a:1008162616689

LIANG P P ， TEODORO G ， LING H B ， et al . Multiple Kernel Learning for Vehicle Detection in Wide Area Motion Imagery ［C］. 2012 15th International Conference on Information Fusion . 912，2012 ， Singapore . IEEE ， 2012 ： 1629 - 1636 .

HE S F ， LAU R W H ， LIU W X ， et al . SuperCNN： a superpixelwise convolutional neural network for salient object detection ［J］. International Journal of Computer Vision ， 2015 ， 115 （ 3 ）： 330 - 344 . doi: 10.1007/s11263-015-0822-0 http://dx.doi.org/10.1007/s11263-015-0822-0

陈允杰，马辰阳，孙乐，等 . 基于边缘修正的高光谱图像超像素空谱核分类方法［J］. 电子学报， 2019 ， 47 （ 1 ）： 73 - 81 . doi: 10.3969/j.issn.0372-2112.2019.01.010 http://dx.doi.org/10.3969/j.issn.0372-2112.2019.01.010

CHEN Y J ， MA CH Y ， SUN L ， et al . Edge-modified superpixel based spectral-spatial kernel method for hyperspectral image classification ［J］. Acta Electronica Sinica ， 2019 ， 47 （ 1 ）： 73 - 81 . （in Chinese） . doi: 10.3969/j.issn.0372-2112.2019.01.010 http://dx.doi.org/10.3969/j.issn.0372-2112.2019.01.010

CUI Z Y ， HOU Z S ， YANG H Z ， et al . A CFAR target-detection method based on superpixel statistical modeling ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 18 （ 9 ）： 1605 - 1609 . doi: 10.1109/lgrs.2020.3006033 http://dx.doi.org/10.1109/lgrs.2020.3006033

廖苗，李阳，赵于前，等 . 一种新的图像超像素分割方法［J］. 电子与信息学报， 2020 ， 42 （ 2 ）： 364 - 370 . doi: 10.11999/JEIT190111 http://dx.doi.org/10.11999/JEIT190111

LIAO M ， LI Y ， ZHAO Y Q ， et al . A new method for image superpixel segmentation ［J］. Journal of Electronics & Information Technology ， 2020 ， 42 （ 2 ）： 364 - 370 . （in Chinese） . doi: 10.11999/JEIT190111 http://dx.doi.org/10.11999/JEIT190111

任凤雷，何昕，魏仲慧，等 . 基于DeepLabV3+与超像素优化的语义分割［J］. 光学精密工程， 2019 ， 27 （ 12 ）： 2722 - 2729 . doi: 10.3788/ope.20192712.2722 http://dx.doi.org/10.3788/ope.20192712.2722

REN F L ， HE X ， WEI ZH H ， et al . Semantic segmentation based on DeepLabV3+ and superpixel optimization ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 12 ）： 2722 - 2729 . （in Chinese） . doi: 10.3788/ope.20192712.2722 http://dx.doi.org/10.3788/ope.20192712.2722

李静 . 基于NMI特征的遥感影像线性迭代聚类超像素分割算法［J］. 光学精密工程， 2022 ， 30 （ 6 ）： 734 - 742 .

LI J . SLIC super-pixel segmentation algorithm base on NMI features used in remote sensing image ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 6 ）： 734 - 742 . （in Chinese）

姚群力，胡显，雷宏 . 基于多尺度卷积神经网络的遥感目标检测研究［J］. 光学学报， 2019 ， 39 （ 11 ）： 346 - 353 . doi: 10.3788/aos201939.1128002 http://dx.doi.org/10.3788/aos201939.1128002

YAO Q L ， HU X ， LEI H . Object detection in remote sensing images using multiscale convolutional neural networks ［J］. Acta Optica Sinica ， 2019 ， 39 （ 11 ）： 346 - 353 . （in Chinese） . doi: 10.3788/aos201939.1128002 http://dx.doi.org/10.3788/aos201939.1128002

CHEN X Y ， XIANG S M ， LIU C L ， et al . Vehicle detection in satellite images by hybrid deep convolutional neural networks ［J］. IEEE Geoscience and Remote Sensing Letters ， 2014 ， 11 （ 10 ）： 1797 - 1801 . doi: 10.1109/lgrs.2014.2309695 http://dx.doi.org/10.1109/lgrs.2014.2309695

于野，艾华，贺小军，等 . A-FPN算法及其在遥感图像船舶检测中的应用［J］. 遥感学报， 2020 ， 24 （ 2 ）： 107 - 115 . doi: 10.11834/jrs.20208264 http://dx.doi.org/10.11834/jrs.20208264

YU Y ， AI H ， HE X J ， et al . Attention-based feature pyramid networks for ship detection of optical remote sensing image ［J］. Journal of Remote Sensing ， 2020 ， 24 （ 2 ）： 107 - 115 . （in Chinese） . doi: 10.11834/jrs.20208264 http://dx.doi.org/10.11834/jrs.20208264

张康，黑保琴，周壮，等 . 变异系数降维的CNN高光谱遥感图像分类［J］. 遥感学报， 2018 ， 22 （ 1 ）： 87 - 96 .

ZHANG K ， HEI B Q ， ZHOU ZH ， et al . CNN with coefficient of variation-based dimensionality reduction for hyperspectral remote sensing images classification ［J］. Journal of Remote Sensing ， 2018 ， 22 （ 1 ）： 87 - 96 . （in Chinese）

王振庆，周艺，王世新，等 . IEU-Net高分辨率遥感影像房屋建筑物提取［J］. 遥感学报， 2021 ， 25 （ 11 ）： 2245 - 2254 . doi: 10.11834/jrs.20210042 http://dx.doi.org/10.11834/jrs.20210042

WANG ZH Q ， ZHOU Y ， WANG SH X ， et al . House building extraction from high-resolution remote sensing images based on IEU-Net ［J］. National Remote Sensing Bulletin ， 2021 ， 25 （ 11 ）： 2245 - 2254 . （in Chinese） . doi: 10.11834/jrs.20210042 http://dx.doi.org/10.11834/jrs.20210042

杨州，慕晓冬，王舒洋，等 . 基于多尺度特征融合的遥感图像场景分类［J］. 光学精密工程， 2018 ， 26 （ 12 ）： 3099 - 3107 . doi: 10.3788/OPE.20182612.3099 http://dx.doi.org/10.3788/OPE.20182612.3099

YANG Z ， MU X D ， WANG SH Y ， et al . Scene classification of remote sensing images based on multiscale features fusion ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 12 ）： 3099 - 3107 . （in Chinese） . doi: 10.3788/OPE.20182612.3099 http://dx.doi.org/10.3788/OPE.20182612.3099

陈欣，万敏杰，马超，等 . 采用多尺度特征融合SSD的遥感图像小目标检测［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA CH ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

谷雨，刘俊，沈宏海，等 . 基于改进多尺度分形特征的红外图像弱小目标检测［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1375 - 1386 . doi: 10.3788/ope.20202806.1375 http://dx.doi.org/10.3788/ope.20202806.1375

GU Y ， LIU J ， SHEN H H ， et al . Infrared dim-small target detection based on an improved multiscale fractal feature ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1375 - 1386 . （in Chinese） . doi: 10.3788/ope.20202806.1375 http://dx.doi.org/10.3788/ope.20202806.1375

COUPRIE C ， FARABET C ， NAJMAN L ， et al . Indoor Semantic Segmentation using depth information ［EB/OL］. 2013 ： arXiv ： 1301 . 3572 . https：//arxiv.org/abs/1301.3572 https://arxiv.org/abs/1301.3572 . doi: 10.1109/icip.2013.6738875 http://dx.doi.org/10.1109/icip.2013.6738875

FAN D P ， LIN Z ， ZHANG Z ， et al . Rethinking RGB-D salient object detection： models， data sets， and large-scale benchmarks ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2021 ， 32 （ 5 ）： 2075 - 2089 . doi: 10.1109/tnnls.2020.2996406 http://dx.doi.org/10.1109/tnnls.2020.2996406

杜守基，邹峥嵘，张云生，等 . 融合LiDAR点云与正射影像的建筑物图割优化提取方法［J］. 测绘学报， 2018 ， 47 （ 4 ）： 519 - 527 . doi: 10.11947/j.AGCS.2018.20160534 http://dx.doi.org/10.11947/j.AGCS.2018.20160534

DU SH J ， ZOU ZH R ， ZHANG Y SH ， et al . A building extraction method via graph cuts algorithm by fusion of LiDAR point cloud and orthoimage ［J］. Acta Geodaetica et Cartographica Sinica ， 2018 ， 47 （ 4 ）： 519 - 527 . （in Chinese） . doi: 10.11947/j.AGCS.2018.20160534 http://dx.doi.org/10.11947/j.AGCS.2018.20160534

SHEN J B ， HAO X P ， LIANG Z Y ， et al . Real-time superpixel segmentation by DBSCAN clustering algorithm ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2016 ， 25 （ 12 ）： 5933 - 5942 . doi: 10.1109/tip.2016.2616302 http://dx.doi.org/10.1109/tip.2016.2616302

SHEN J B ， DU Y F ， WANG W G ， et al . Lazy random walks for superpixel segmentation ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2014 ， 23 （ 4 ）： 1451 - 1462 . doi: 10.1109/tip.2014.2302892 http://dx.doi.org/10.1109/tip.2014.2302892

CHEN J S ， LI Z Q ， HUANG B . Linear spectral clustering superpixel ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2017 ， 26 （ 7 ）： 3317 - 3330 . doi: 10.1109/tip.2017.2651389 http://dx.doi.org/10.1109/tip.2017.2651389

VAN DEN BERGH M ， BOIX X ， ROIG G ， et al . SEEDS： superpixels extracted via energy-driven sampling ［J］. Computer Vision ， 2012 ： 13 - 26 . doi: 10.1007/978-3-642-33786-4_2 http://dx.doi.org/10.1007/978-3-642-33786-4_2

TANG D ， FU H Z ， CAO X C . Topology Preserved Regular Superpixel ［C］. 2012 IEEE International Conference on Multimedia and Expo . 913，2012 ， Melbourne， VIC， Australia . IEEE ， 2012 ： 765 - 768 . doi: 10.1109/icme.2012.184 http://dx.doi.org/10.1109/icme.2012.184

SHELHAMER E ， LONG J ， DARRELL T . Fully Convolutional Networks for Semantic Segmentation ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence . 24，2016 ， IEEE ， 2016 ： 640 - 651 . doi: 10.1109/tpami.2016.2572683 http://dx.doi.org/10.1109/tpami.2016.2572683

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［J］. Lecture Notes in Computer Science ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615

ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid Scene Parsing Network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 6230 - 6239 . doi: 10.1109/cvpr.2017.660 http://dx.doi.org/10.1109/cvpr.2017.660

CHEN L C ， ZHU Y ， PAPANDREOU G ， et al . Encoder-decoder with atrous separable convolution for semantic image segmentation ［EB/OL］. 2018 ： arXiv ： 1802 . 02611 . https：//arxiv.org/abs/1802.02611 https://arxiv.org/abs/1802.02611 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

ISLAM M A ， ROCHAN M ， BRUCE N D B ， et al . Gated feedback Refinement Network for Dense Image Labeling ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . July 21-26， 2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 4877 - 4885 . doi: 10.1109/cvpr.2017.518 http://dx.doi.org/10.1109/cvpr.2017.518

浏览量

1172

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

融合超像素与多模态感知网络的遥感影像车辆检测

基于NMI特征的遥感影像线性迭代聚类超像素分割算法

分焦平面偏振图像传感器偏振主轴方向的标定

基于Mamba架构的遥感图像超分辨率重建方法综述

基于通道注意力增强网络的高效消色差超透镜逆向设计