Vehicle detection method based on remote sensing image fusion of superpixel and multi-modal sensing network

LIAN Yuanfeng; LI Guangyang; SHEN Shaochen

您当前的位置：

首页 >

文章列表页 >

Vehicle detection method based on remote sensing image fusion of superpixel and multi-modal sensing network

更新时间：2023-04-13

- Vehicle detection method based on remote sensing image fusion of superpixel and multi-modal sensing network
- Optics and Precision Engineering Pages: 1-15(2023)
- 作者机构：
  
  1.中国石油大学（北京）信息科学与工程学院，北京 102249
  2.中国石油大学（北京）石油数据挖掘北京市重点实验室，北京 102249
- 作者简介：
  
  E-mail： lianyuanfeng@cup.edu.cn
- 基金信息：
- DOI：
  CLC： TP394.1;TH691.9
- Revised：17 December 2022，
  
  Published Online：13 April 2023，
- 稿件说明：
移动端阅览
连远锋,李光洋,沈韶辰.融合超像素与多模态感知网络的遥感影像车辆检测[J].光学精密工程,

LIAN Yuanfeng,LI Guangyang,SHEN Shaochen.Vehicle detection method based on remote sensing image fusion of superpixel and multi-modal sensing network[J].Optics and Precision Engineering,
连远锋,李光洋,沈韶辰.融合超像素与多模态感知网络的遥感影像车辆检测[J].光学精密工程, DOI：10.37188/OPE.XXXXXXXX.0001

LIAN Yuanfeng,LI Guangyang,SHEN Shaochen.Vehicle detection method based on remote sensing image fusion of superpixel and multi-modal sensing network[J].Optics and Precision Engineering, DOI：10.37188/OPE.XXXXXXXX.0001

摘要

针对遥感影像车辆检测中背景干扰、目标密集和目标异质性等因素引起的识别精度下降问题，提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。首先，基于混合超像素的区域合并规则，通过超像素二分图融合算法将两种模态的超像素分割结果进行融合，提升了不同模态图像超像素分割结果的准确性。其次，提出一种多模态边缘感知网络的遥感影像车辆检测方法MEANet （multi-modal edge aware network），引入OPT-FPN模块（Optimized Feature Pyramid Networks）来增强网络学习多尺度目标特征的能力。最后，通过边缘感知模块聚合超像素和多模态融合模块生成的两组边缘特征，进而生成车辆目标的准确边界。在ISPRS Potsdam和ISPRS Vaihingen遥感影像数据集上进行实验，最终的

http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42342490&type=

http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42342489&type=

5.58799982

3.21733332

分数分别为91.05%和85.11%。实验结果表明，本文提出的方法在多模态遥感影像车辆高精度检测中有着较好的检测准确度和较好的应用价值。

Abstract

Aiming at the reduction of recognition accuracy caused by background interference， target density and target heterogeneity in remote sensing image vehicle detection， a remote sensing image vehicle detection method combining superpixel and multi-modal perception network is proposed. Firstly， based on the region merging rules of hybrid superpixels， the superpixel bipartite graph fusion algorithm is used to fuse the superpixel segmentation results of the two modalities， which improves the accuracy of the superpixel segmentation results of different modal images. Secondly， MEANet （multi-modal edge aware network）， a vehicle detection method of remote sensing images based on multi-modal edge aware network， is proposed. Opt-fpn module （Optimized Feature Pyramid Networks） is introduced to enhance the ability of the network to learn multi-scale target features. Finally， the two sets of edge features generated by the superpixel and multimodal fusion module were aggregated through the edge perception module， and then the accurate boundary of the vehicle target was generated. Experiments are carried out on the ISPRS Potsdam and ISPRS Vaihingen remote sensing image datasets， and the final

http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42342492&type=

http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=42342491&type=

6.43466663

3.72533321

scores are 91.05% and 85.11%， respectively. The experimental results show that the method proposed in this paper has good detection accuracy and good application value in high-precision vehicle detection of multimodal remote sensing images.

关键词

Keywords

references

MORANDUZZO T ， MELGANI F . Automatic car counting method for unmanned aerial vehicle images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2014 ， 52 （ 3 ）： 1635 - 1647 . doi: 10.1109/tgrs.2013.2253108 http://dx.doi.org/10.1109/tgrs.2013.2253108

KEMBHAVI A ， HARWOOD D ， DAVIS L S . Vehicle detection using partial least squares ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 6 ）： 1250 - 1265 . doi: 10.1109/tpami.2010.182 http://dx.doi.org/10.1109/tpami.2010.182

WEI Y ， TIAN Q ， GUO J H ， et al . Multi-vehicle detection algorithm through combining Harr and HOG features ［J］. Mathematics and Computers in Simulation ， 2019 ， 155 ： 130 - 145 . doi: 10.1016/j.matcom.2017.12.011 http://dx.doi.org/10.1016/j.matcom.2017.12.011

TUERMER S ， KURZ F ， REINARTZ P ， et al . Airborne vehicle detection in dense urban areas using HoG features and disparity maps ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2013 ， 6 （ 6 ）： 2327 - 2337 . doi: 10.1109/jstars.2013.2242846 http://dx.doi.org/10.1109/jstars.2013.2242846

PAPAGEORGIOU C ， POGGIO T . A trainable system for object detection ［J］. International Journal of Computer Vision ， 2000 ， 38 （ 1 ）： 15 - 33 . doi: 10.1023/a:1008162616689 http://dx.doi.org/10.1023/a:1008162616689

LIANG P P ， TEODORO G ， LING H B ， et al . Multiple Kernel Learning for vehicle detection in wide area motion imagery ［C］. 2012 15th International Conference on Information Fusion . July 9-12， 2012 ， Singapore . IEEE ， 2012 ： 1629 - 1636 .

HE S F ， LAU R W H ， LIU W X ， et al . SuperCNN： a superpixelwise convolutional neural network for salient object detection ［J］. International Journal of Computer Vision ， 2015 ， 115 （ 3 ）： 330 - 344 . doi: 10.1007/s11263-015-0822-0 http://dx.doi.org/10.1007/s11263-015-0822-0

陈允杰，马辰阳，孙乐，等 . 基于边缘修正的高光谱图像超像素空谱核分类方法［J］. 电子学报， 2019 ， 47 （ 1 ）： 73 - 81 . doi: 10.3969/j.issn.0372-2112.2019.01.010 http://dx.doi.org/10.3969/j.issn.0372-2112.2019.01.010

CHEN Y J ， MA CH Y ， SUN L ， et al . Edge-modified superpixel based spectral-spatial kernel method for hyperspectral image classification ［J］. Acta Electronica Sinica ， 2019 ， 47 （ 1 ）： 73 - 81 . （in Chinese） . doi: 10.3969/j.issn.0372-2112.2019.01.010 http://dx.doi.org/10.3969/j.issn.0372-2112.2019.01.010

CUI Z Y ， HOU Z S ， YANG H Z ， et al . A CFAR target-detection method based on superpixel statistical modeling ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 18 （ 9 ）： 1605 - 1609 . doi: 10.1109/lgrs.2020.3006033 http://dx.doi.org/10.1109/lgrs.2020.3006033

廖苗，李阳，赵于前，等 . 一种新的图像超像素分割方法［J］. 电子与信息学报， 2020 ， 42 （ 2 ）： 364 - 370 . doi: 10.11999/JEIT190111 http://dx.doi.org/10.11999/JEIT190111

LIAO M ， LI Y ， ZHAO Y Q ， et al . A new method for image superpixel segmentation ［J］. Journal of Electronics & Information Technology ， 2020 ， 42 （ 2 ）： 364 - 370 . （in Chinese） . doi: 10.11999/JEIT190111 http://dx.doi.org/10.11999/JEIT190111

任凤雷，何昕，魏仲慧，等 . 基于DeepLabV 3+ 与超像素优化的语义分割［J］. 光学精密工程， 2019 ， 27 （ 12 ）： 2722 - 2729 . doi: 10.3788/ope.20192712.2722 http://dx.doi.org/10.3788/ope.20192712.2722

REN F L ， HE X ， WEI ZH H ， et al . Semantic segmentation based on DeepLabV 3+ and superpixel optimization ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 12 ）： 2722 - 2729 . （in Chinese） . doi: 10.3788/ope.20192712.2722 http://dx.doi.org/10.3788/ope.20192712.2722

李静 . 基于NMI特征的遥感影像线性迭代聚类超像素分割算法［J］. 光学精密工程， 2022 ， 30 （ 6 ）： 734 - 742 . doi: 10.37188/OPE.20223006.0734 http://dx.doi.org/10.37188/OPE.20223006.0734

LI J . SLIC super-pixel segmentation algorithm base on NMI features used in remote sensing image ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 6 ）： 734 - 742 . （in Chinese） . doi: 10.37188/OPE.20223006.0734 http://dx.doi.org/10.37188/OPE.20223006.0734

姚群力，胡显，雷宏 . 基于多尺度卷积神经网络的遥感目标检测研究［J］. 光学学报， 2019 ， 39 （ 11 ）： 346 - 353 . doi: 10.3788/aos201939.1128002 http://dx.doi.org/10.3788/aos201939.1128002

YAO Q L ， HU X ， LEI H . Object detection in remote sensing images using multiscale convolutional neural networks ［J］. Acta Optica Sinica ， 2019 ， 39 （ 11 ）： 346 - 353 . （in Chinese） . doi: 10.3788/aos201939.1128002 http://dx.doi.org/10.3788/aos201939.1128002

CHEN X Y ， XIANG S M ， LIU C L ， et al . Vehicle detection in satellite images by hybrid deep convolutional neural networks ［J］. IEEE Geoscience and Remote Sensing Letters ， 2014 ， 11 （ 10 ）： 1797 - 1801 . doi: 10.1109/lgrs.2014.2309695 http://dx.doi.org/10.1109/lgrs.2014.2309695

于野，艾华，贺小军，等 . A-FPN算法及其在遥感图像船舶检测中的应用［J］. 遥感学报， 2020 ， 24 （ 2 ）： 107 - 115 . doi: 10.11834/jrs.20208264 http://dx.doi.org/10.11834/jrs.20208264

YU Y ， AI H ， HE X J ， et al . Attention-based feature pyramid networks for ship detection of optical remote sensing image ［J］. Journal of Remote Sensing ， 2020 ， 24 （ 2 ）： 107 - 115 . （in Chinese） . doi: 10.11834/jrs.20208264 http://dx.doi.org/10.11834/jrs.20208264

张康，黑保琴，周壮，等 . 变异系数降维的CNN高光谱遥感图像分类［J］. 遥感学报， 2018 ， 22 （ 1 ）： 87 - 96 .

ZHANG K ， HEI B Q ， ZHOU ZH ， et al . CNN with coefficient of variation-based dimensionality reduction for hyperspectral remote sensing images classification ［J］. Journal of Remote Sensing ， 2018 ， 22 （ 1 ）： 87 - 96 . （in Chinese）

王振庆，周艺，王世新，等 . IEU-Net高分辨率遥感影像房屋建筑物提取［J］. 遥感学报， 2021 ， 25 （ 11 ）： 2245 - 2254 . doi: 10.11834/jrs.20210042 http://dx.doi.org/10.11834/jrs.20210042

WANG ZH Q ， ZHOU Y ， WANG SH X ， et al . House building extraction from high-resolution remote sensing images based on IEU-Net ［J］. National Remote Sensing Bulletin ， 2021 ， 25 （ 11 ）： 2245 - 2254 . （in Chinese） . doi: 10.11834/jrs.20210042 http://dx.doi.org/10.11834/jrs.20210042

杨州，慕晓冬，王舒洋，等 . 基于多尺度特征融合的遥感图像场景分类［J］. 光学精密工程， 2018 ， 26 （ 12 ）： 3099 - 3107 . doi: 10.3788/OPE.20182612.3099 http://dx.doi.org/10.3788/OPE.20182612.3099

YANG ZH ， MU X D ， WANG SH Y ， et al . Scene classification of remote sensing images based on multiscale features fusion ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 12 ）： 3099 - 3107 . （in Chinese） . doi: 10.3788/OPE.20182612.3099 http://dx.doi.org/10.3788/OPE.20182612.3099

陈欣，万敏杰，马超，等 . 采用多尺度特征融合SSD的遥感图像小目标检测［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA CH ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

谷雨，刘俊，沈宏海，等 . 基于改进多尺度分形特征的红外图像弱小目标检测［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1375 - 1386 . doi: 10.3788/ope.20202806.1375 http://dx.doi.org/10.3788/ope.20202806.1375

GU Y ， LIU J ， SHEN H H ， et al . Infrared dim-small target detection based on an improved multiscale fractal feature ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1375 - 1386 . （in Chinese） . doi: 10.3788/ope.20202806.1375 http://dx.doi.org/10.3788/ope.20202806.1375

COUPRIE C ， FARABET C ， NAJMAN L ， et al . Indoor Semantic Segmentation using depth information ［EB/OL］. 2013 ： arXiv ： 1301 . 3572 . https：//arxiv.org/abs/1301.3572 https://arxiv.org/abs/1301.3572 . doi: 10.1109/icip.2013.6738875 http://dx.doi.org/10.1109/icip.2013.6738875

FAN D P ， LIN Z ， ZHANG Z ， et al . Rethinking RGB-D salient object detection： models， data sets， and large-scale benchmarks ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2021 ， 32 （ 5 ）： 2075 - 2089 . doi: 10.1109/tnnls.2020.2996406 http://dx.doi.org/10.1109/tnnls.2020.2996406

杜守基，邹峥嵘，张云生，等 . 融合LiDAR点云与正射影像的建筑物图割优化提取方法［J］. 测绘学报， 2018 ， 47 （ 4 ）： 519 - 527 . doi: 10.11947/j.AGCS.2018.20160534 http://dx.doi.org/10.11947/j.AGCS.2018.20160534

DU SH J ， ZOU ZH R ， ZHANG Y SH ， et al . A building extraction method via graph cuts algorithm by fusion of LiDAR point cloud and orthoimage ［J］. Acta Geodaetica et Cartographica Sinica ， 2018 ， 47 （ 4 ）： 519 - 527 . （in Chinese） . doi: 10.11947/j.AGCS.2018.20160534 http://dx.doi.org/10.11947/j.AGCS.2018.20160534

SHEN J B ， HAO X P ， LIANG Z Y ， et al . Real-time superpixel segmentation by DBSCAN clustering algorithm ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2016 ， 25 （ 12 ）： 5933 - 5942 . doi: 10.1109/tip.2016.2616302 http://dx.doi.org/10.1109/tip.2016.2616302

SHEN J B ， DU Y F ， WANG W G ， et al . Lazy random walks for superpixel segmentation ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2014 ， 23 （ 4 ）： 1451 - 1462 . doi: 10.1109/tip.2014.2302892 http://dx.doi.org/10.1109/tip.2014.2302892

CHEN J S ， LI Z Q ， HUANG B . Linear spectral clustering superpixel ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2017 ， 26 （ 7 ）： 3317 - 3330 . doi: 10.1109/tip.2017.2651389 http://dx.doi.org/10.1109/tip.2017.2651389

VAN DEN BERGH M ， BOIX X ， ROIG G ， et al . SEEDS ： Superpixels Extracted Via Energy-driven Sampling ［M］. Computer Vision - ECCV 2012. Berlin， Heidelberg ： Springer Berlin Heidelberg ， 2012 ： 13 - 26 . doi: 10.1007/978-3-642-33786-4_2 http://dx.doi.org/10.1007/978-3-642-33786-4_2

TANG D ， FU H Z ， CAO X C . Topology preserved regular superpixel ［C］. 2012 IEEE International Conference on Multimedia and Expo . 913，2012 ， Melbourne， VIC， Australia . IEEE ， 2012 ： 765 - 768 . doi: 10.1109/icme.2012.184 http://dx.doi.org/10.1109/icme.2012.184

SHELHAMER E ， LONG J ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence. 24，2016 ， IEEE ， 2016 ： 640 - 651 . doi: 10.1109/tpami.2016.2572683 http://dx.doi.org/10.1109/tpami.2016.2572683

RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Lecture Notes in Computer Science. Cham ： Springer International Publishing ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615

ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid scene parsing network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 6230 - 6239 . doi: 10.1109/cvpr.2017.660 http://dx.doi.org/10.1109/cvpr.2017.660

CHEN L C ， ZHU Y K ， PAPANDREOU G ， et al . Encoder-decoder with atrous separable convolution for semantic image segmentation ［C］. Computer Vision - ECCV 2018 ： 15th European Conference， Munich， Germany ， 814，2018 ， Proceedings ， Part VII. New York： ACM， 2018 ： 833 - 851 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

ISLAM M A ， ROCHAN M ， BRUCE N D B ， et al . Gated feedback refinement network for dense image labeling ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 4877 - 4885 . doi: 10.1109/cvpr.2017.518 http://dx.doi.org/10.1109/cvpr.2017.518

Views

925

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Vehicle detection method based on remote sensing image fusion of superpixel and multi-modal sensing network

SLIC super-pixel segmentation algorithm base on NMI features used in remote sensing image

Calibration of polarization axis direction of sub focal plane polarization image sensor

Related Author

LIAN Yuanfeng

LI Guangyang

SHEN Shaochen

Jing LI

Yang BAI

Kaichun ZHAO

Zheng YOU

Related Institution

China University of Petroleum

Beijing Institute of Tracking and Telecommunications Technology

Department of Precision Instrument， Tsinghua University

State Key Laboratory of Precision Measurement Technology and Instrument， Tsinghua University

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰