TCS-YOLO model for global oil storage tank inspection

LI Xiang; TE Rigen; YI Feng; XU Guocheng

doi:10.37188/OPE.20233102.0246

您当前的位置：

首页 >

文章列表页 >

TCS-YOLO model for global oil storage tank inspection

Information Sciences | 更新时间：2023-02-08

- TCS-YOLO model for global oil storage tank inspection
- Optics and Precision Engineering Vol. 31, Issue 2, Pages: 246-262(2023)
- 作者机构：
  
  1.长光卫星技术股份有限公司，吉林长春 130000
  2.吉林省卫星遥感应用技术重点实验室，吉林长春 130000
  3.吉林大学材料科学与工程学院，吉林长春 130000
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20233102.0246
  CLC： TP75
- Received：15 July 2022，
  
  Revised：30 August 2022，
  
  Published：25 January 2023
- 稿件说明：
移动端阅览
李想,特日根,仪锋等.针对全球储油罐检测的TCS-YOLO模型[J].光学精密工程,2023,31(02):246-262.

LI Xiang,TE Rigen,YI Feng,et al.TCS-YOLO model for global oil storage tank inspection[J].Optics and Precision Engineering,2023,31(02):246-262.
李想,特日根,仪锋等.针对全球储油罐检测的TCS-YOLO模型[J].光学精密工程,2023,31(02):246-262. DOI： 10.37188/OPE.20233102.0246.

LI Xiang,TE Rigen,YI Feng,et al.TCS-YOLO model for global oil storage tank inspection[J].Optics and Precision Engineering,2023,31(02):246-262. DOI： 10.37188/OPE.20233102.0246.

摘要

原油作为一种重要的战略物资，在我国经济和军事等多个领域均起到重要作用。本文提出一种基于深度学习的目标检测模型TCS-YOLO（Transformer-CBAM-SIoU YOLO），该模型在YOLOv5的基础上进行优化，同时基于吉林一号光学遥感卫星影像数据集进行实验，对全球范围内的储油罐进行识别与分类。优化内容包括：添加基于Transformer架构的C3TR层对网络进行优化；使用CBAM（Convolutional Block Attention Module）在网络层中添加注意力机制；使用SIoU（Scale-Sensitive Intersection over Union） loss代替CIoU（Complete Intersection over Union） loss作为定位损失函数。实验结果表明：与YOLOv5相比，TCS-YOLO的模型复杂度（Giga Floating Point of Operations，GFLOPs）平均减少3.13%，模型参数量（Parameters）平均减少0.88%，推理速度（Inference Speed）平均降低0.2 ms，mAP

0.5

（mean Average Precision）平均提升0.2%，mAP

0.5∶0.95

平均提升1.26%。与此同时，将TCS-YOLO模型与通用目标识别模型YOLOv3，YOLOv4，YOLOv5和Swin Transformer进行对比实验，TCS-YOLO均体现出了更高效的特点。TCS-YOLO模型对全球储油罐的目标识别具有通用可行性，可为遥感数据在能源期货领域提供技术参考。

Abstract

As a critical strategic resource， crude oil plays a key role in many fields. In particular， it is important to the Chinese economy and military. In this study， we propose a target detection model called Transformer-CBAM-SIoU YOLO （TCS-YOLO） based on YOLOv5. The proposed model was implemented and trained to identify and classify oil storage tanks using the Jilin-1 dataset of optical remote sensing satellite images. The proposed model includes an additional C3TR layer based on the Transformer architecture to optimize the network， as well as a Convolutional Block Attention Module （CBAM） to add an attention mechanism to the network layers. Moreover， we adopt Scale-Sensitive Intersection over Union （SIoU） loss instead of Complete Intersection over Union （CIoU） as a positioning loss function. Experimental results showed that compared with YOLOv5， TCS-YOLO's model complexity （GFLOPs， Giga Floating Point of Operations） was reduced by an average of 3.13%. Furthermore， the number of parameters was reduced by an average of 0.88% and inference speed was reduced by an average of 0.2 ms， while mean average precision （mAP

0.5

） increased by 0.2% on average， and mAP

0.5：0.95

increased by 1.26% on average. The proposed TCS-YOLO model was compared with the conventional YOLOv3， YOLOv4， YOLOv5， and Swin Transformer models， and TCS-YOLO exhibited more efficient characteristics. The TCS-YOLO model has universal feasibility for the target identification of global oil storage tanks. In combination with techniques to calculate the storage rates of identified oil tanks， this method can provide a technical reference for remote sensing data in the field of energy futures.

关键词

Keywords

references

CHENG G ， HAN J W . A survey on object detection in optical remote sensing images ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2016 ， 117 ： 11 - 28 . doi: 10.1016/j.isprsjprs.2016.03.014 http://dx.doi.org/10.1016/j.isprsjprs.2016.03.014

KALA Z . The reliability analysis of welded tanks for oil storage ［J］. 2014 . doi: 10.1201/b17399-308 http://dx.doi.org/10.1201/b17399-308

DUDA R O ， HART P E . Use of the Hough transformation to detect lines and curves in pictures ［J］. Communications of the ACM ， 1972 ， 15 （ 1 ）： 11 - 15 . doi: 10.1145/361237.361242 http://dx.doi.org/10.1145/361237.361242

ATHERTON T J ， KERBYSON D J . Size invariant circle detection ［J］. Image and Vision Computing ， 1999 ， 17 （ 11 ）： 795 - 803 . doi: 10.1016/s0262-8856(98)00160-7 http://dx.doi.org/10.1016/s0262-8856(98)00160-7

OK A O . A new approach for the extraction of aboveground circular structures from near-nadir VHR satellite imagery ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2014 ， 52 （ 6 ）： 3125 - 3140 . doi: 10.1109/tgrs.2013.2270372 http://dx.doi.org/10.1109/tgrs.2013.2270372

OK A O ， BAŞESKI E . Circular oil tank detection from panchromatic satellite images： a new automated approach ［J］. IEEE Geoscience and Remote Sensing Letters ， 2015 ， 12 （ 6 ）： 1347 - 1351 . doi: 10.1109/lgrs.2015.2401600 http://dx.doi.org/10.1109/lgrs.2015.2401600

WANG Y Q ， TANG M ， TAN T N ， et al . Detection of circular oil tanks based on the fusion of SAR and optical images ［C］. Third International Conference on Image and Graphics （ICIG' 04 ）. 1820，2004 ， Hong Kong， China. IEEE ， 2005： 524 - 527 . doi: 10.1109/icig.2004.54 http://dx.doi.org/10.1109/icig.2004.54

XU H P ， CHEN W ， SUN B ， et al . Oil tank detection in synthetic aperture radar images based on quasi-circular shadow and highlighting arcs ［J］. Journal of Applied Remote Sensing ， 2014 ， 8 （ 1 ）： 083689 . doi: 10.1117/1.jrs.8.083689 http://dx.doi.org/10.1117/1.jrs.8.083689

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［J］. Communications of the ACM ， 2017 ， 60 （ 6 ）： 84 - 90 . doi: 10.1145/3065386 http://dx.doi.org/10.1145/3065386

范丽丽，赵宏伟，赵浩宇，等 . 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1152 - 1164 .

FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese）

LI Z C ， ITTI L . Saliency and gist features for target detection in satellite images ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2011 ， 20 （ 7 ）： 2017 - 2029 . doi: 10.1109/tip.2010.2099128 http://dx.doi.org/10.1109/tip.2010.2099128

OLIVA A ， TORRALBA A . Modeling the shape of the scene： a holistic representation of the spatial envelope ［J］. International Journal of Computer Vision ， 2001 ， 42 （ 3 ）： 145 - 175 . doi: 10.1023/a:1011139631724 http://dx.doi.org/10.1023/a:1011139631724

HUANG X ， ZHANG L P . An SVM ensemble approach combining spectral， structural， and semantic features for the classification of high-resolution remotely sensed imagery ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2013 ， 51 （ 1 ）： 257 - 272 . doi: 10.1109/tgrs.2012.2202912 http://dx.doi.org/10.1109/tgrs.2012.2202912

ZHU C X ， LIU B ， ZHOU Y H ， et al . Framework design and implementation for oil tank detection in optical satellite imagery ［C］. 2012 IEEE International Geoscience and Remote Sensing Symposium . 2227，2012 ， Munich， Germany . IEEE ， 2012 ： 6016 - 6019 . doi: 10.1109/igarss.2012.6352236 http://dx.doi.org/10.1109/igarss.2012.6352236

ZHANG L ， SHI Z W ， WU J . A hierarchical oil tank detector with deep surrounding features for high-resolution optical satellite imagery ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2015 ， 8 （ 10 ）： 4895 - 4909 . doi: 10.1109/jstars.2015.2467377 http://dx.doi.org/10.1109/jstars.2015.2467377

DALAL N ， TRIGGS B . Histograms of oriented gradients for human detection ［C］. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR' 05 ）. 2025，2005 ， San Diego， CA， USA. IEEE ， 2005： 886 - 893 . doi: 10.1109/cvpr.2005.177 http://dx.doi.org/10.1109/cvpr.2005.177

CAI X Y ， SUI H G ， LV R P ， et al . Automatic circular oil tank detection in high-resolution optical image based on visual saliency and Hough transform ［C］. 2014 IEEE Workshop on Electronics， Computer and Applications . 89，2014 ， Ottawa， ON， Canada . IEEE ， 2014 ： 408 - 411 . doi: 10.1109/iweca.2014.6845643 http://dx.doi.org/10.1109/iweca.2014.6845643

WU X W ， SAHOO D ， HOI S C H . Recent advances in deep learning for object detection ［J］. Neurocomputing ， 2020 ， 396 ： 39 - 64 . doi: 10.1016/j.neucom.2020.01.085 http://dx.doi.org/10.1016/j.neucom.2020.01.085

HE K M ， ZHANG X Y ， REN S Q ， et al . Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 9 ）： 1904 - 1916 . doi: 10.1109/tpami.2015.2389824 http://dx.doi.org/10.1109/tpami.2015.2389824

GIRSHICK R . Fast r-cnn ［C］. Proceedings of the IEEE international conference on computer vision. 2015 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD ： single shot MultiBox detector ［M］. Computer Vision - ECCV 2016. Cham ： Springer International Publishing ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2

REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： unified， real-time object detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91

REDMON J ， FARHADI A . YOLO9000： better， faster， stronger ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 6517 - 6525 . doi: 10.1109/cvpr.2017.690 http://dx.doi.org/10.1109/cvpr.2017.690

方明，孙腾腾，邵桢 . 基于改进YOLOv2的快速安全帽佩戴情况检测［J］. 光学精密工程， 2019 ， 27 （ 5 ）： 1196 - 1205 . doi: 10.3788/ope.20192705.1196 http://dx.doi.org/10.3788/ope.20192705.1196

FANG M ， SUN T T ， SHAO ZH . Fast helmet-wearing-condition detection based on improved YOLOv2 ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 5 ）： 1196 - 1205 . （in Chinese） . doi: 10.3788/ope.20192705.1196 http://dx.doi.org/10.3788/ope.20192705.1196

REDMON J ， FARHADI A . Yolov3： An incremental improvement ［J］. arXiv preprint arXiv ： 1804.02767 ， 2018 .

马立，巩笑天，欧阳航空 . Tiny YOLOV3目标检测改进［J］. 光学精密工程， 2020 ， 28 （ 4 ）： 988 - 995 .

MA L ， GONG X T ， OUYANG H K . Improvement of Tiny YOLOV3 target detection ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 4 ）： 988 - 995 . （in Chinese）

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. 2020 ： arXiv ： 2004 . 10934 . https：//arxiv.org/abs/2004.10934 https://arxiv.org/abs/2004.10934

ZALPOUR M ， AKBARIZADEH G ， ALAEI-SHEINI N . A new approach for oil tank detection using deep learning features with control false alarm rate in high-resolution satellite imagery ［J］. International Journal of Remote Sensing ， 2020 ， 41 （ 6 ）： 2239 - 2262 . doi: 10.1080/01431161.2019.1685720 http://dx.doi.org/10.1080/01431161.2019.1685720

XU D Q ， WU Y Q . Improved YOLO-V3 with DenseNet for multi-scale remote sensing target detection ［J］. Sensors （Basel， Switzerland）， 2020 ， 20 （ 15 ）： 4276 . doi: 10.3390/s20154276 http://dx.doi.org/10.3390/s20154276

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all You need ［C］. Proceedings of the 31st International Conference on Neural Information Processing Systems. December 4 - 9 ， 2017， Long Beach， California， USA. New York ： ACM ， 2017： 6000 - 6010 .

WOO S ， PARK J ， LEE J Y ， et al . Cbam： Convolutional block attention module ［C］. Proceedings of the European conference on computer vision （ECCV） . 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

DU S J ， ZHANG B F ， ZHANG P ， et al . An improved bounding box regression loss function based on CIOU loss for multi-scale object detection ［C］. 2021 IEEE 2nd International Conference on Pattern Recognition and Machine Learning （PRML）. 1618，2021 ， Chengdu， China. IEEE ， 2021 ： 92 - 98 . doi: 10.1109/prml52754.2021.9520717 http://dx.doi.org/10.1109/prml52754.2021.9520717

ELFWING S ， UCHIBE E ， DOYA K . Sigmoid-weighted linear units for neural network function approximation in reinforcement learning ［J］. Neural Networks ， 2018 ， 107 ： 3 - 11 . doi: 10.1016/j.neunet.2017.12.012 http://dx.doi.org/10.1016/j.neunet.2017.12.012

WANG C Y ， MARK LIAO H Y ， WU Y H ， et al . CSPNet： a new backbone that can enhance learning capability of CNN ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 1419，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 1571 - 1580 . doi: 10.1109/cvprw50498.2020.00203 http://dx.doi.org/10.1109/cvprw50498.2020.00203

LIU S ， QI L ， QIN H F ， et al . Path aggregation network for instance segmentation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 8759 - 8768 . doi: 10.1109/cvpr.2018.00913 http://dx.doi.org/10.1109/cvpr.2018.00913

COLLOBERT R ， WESTON J . A unified architecture for natural language processing： deep neural networks with multitask learning ［C］. Proceedings of the 25th international conference on Machine learning. 59，2008 ， Helsinki， Finland. New York ： ACM ， 2008 ： 160 - 167 . doi: 10.1145/1390156.1390177 http://dx.doi.org/10.1145/1390156.1390177

CARION N ， MASSA F ， SYNNAEVE G ， et al . End-to-end object detection with transformers ［M］. Computer Vision - ECCV 2020. Cham ： Springer International Publishing ， 2020 ： 213 - 229 . doi: 10.1007/978-3-030-58452-8_13 http://dx.doi.org/10.1007/978-3-030-58452-8_13

ZHU X Z ， SU W J ， LU L W ， et al . Deformable DETR： deformable transformers for end-to-end object detection ［EB/OL］. 2020 ： arXiv ： 2010 . 04159 . https：//arxiv.org/abs/2010.04159 https://arxiv.org/abs/2010.04159

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An image is worth 16x16 words： Transformers for image recognition at scale ［J］. arXiv preprint arXiv ： 2010.11929 ， 2020 .

LIU Z ， LIN Y T ， CAO Y ， et al . Swin transformer： hierarchical vision transformer using shifted windows ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 1017，2021 ， Montreal， QC， Canada. IEEE ， 2022 ： 9992 - 10002 . doi: 10.1109/iccv48922.2021.00986 http://dx.doi.org/10.1109/iccv48922.2021.00986

ZHOU B L ， KHOSLA A ， LAPEDRIZA A ， et al . Learning deep features for discriminative localization ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 2921 - 2929 . doi: 10.1109/cvpr.2016.319 http://dx.doi.org/10.1109/cvpr.2016.319

Views

6756

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

LightDiffu DCE： low light image enhancement based on light intensity diffusion

Multi-level feature fusion for camera pose regression

Real-time super-resolution for infrared dynamic object video based on airborne platform

A Transformer-based visual tracker via knowledge distillation

Specral-spatial classification of hyperspectral imagery with hybrid architecture of 3D-CNN and Transformer

Related Author

YAN Guanghui

WU Baijing

MA Long

SI Junwen

ZHOU Ziwei

ZHU Deyan

XU Jiayi

AO Yongqi

Related Institution

School of Electronics & Information Engineering， Lanzhou Jiaotong University

College of Computer and Software Engineeringng，University of Science and Technology Liaoning

College of Astronautics， Nanjing University of Aeronautics and Astronautics

Key Laboratory of Space Photoelectric Detection and Sensing of Industry and Information Technology， Nanjing University of Aeronautics and Astronautics

School of Communication and Information Engineering， Xi’an University of Posts and Telecommunications

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰