Detection of foreign object debris on night airport runway fusion with self-attentional feature embedding

Zifen HE; Guangchen CHEN; Sen WANG; Yinhui ZHANG; Linwei GUO

doi:10.37188/OPE.20223013.1591

您当前的位置：

首页 >

文章列表页 >

Detection of foreign object debris on night airport runway fusion with self-attentional feature embedding

Information Sciences | 更新时间：2022-08-07

- Detection of foreign object debris on night airport runway fusion with self-attentional feature embedding
- Optics and Precision Engineering Vol. 30, Issue 13, Pages: 1591-1605(2022)
- 作者机构：
  
  昆明理工大学机电工程学院，云南昆明 650000
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223013.1591
  CLC： TP391.4
- Received：05 January 2022，
  
  Revised：12 March 2022，
  
  Published：10 July 2022
- 稿件说明：
移动端阅览
何自芬,陈光晨,王森等.融合自注意力特征嵌入的夜间机场跑道异物入侵检测[J].光学精密工程,2022,30(13):1591-1605.

HE Zifen,CHEN Guangchen,WANG Sen,et al.Detection of foreign object debris on night airport runway fusion with self-attentional feature embedding[J].Optics and Precision Engineering,2022,30(13):1591-1605.
何自芬,陈光晨,王森等.融合自注意力特征嵌入的夜间机场跑道异物入侵检测[J].光学精密工程,2022,30(13):1591-1605. DOI： 10.37188/OPE.20223013.1591.

HE Zifen,CHEN Guangchen,WANG Sen,et al.Detection of foreign object debris on night airport runway fusion with self-attentional feature embedding[J].Optics and Precision Engineering,2022,30(13):1591-1605. DOI： 10.37188/OPE.20223013.1591.

摘要

飞机在夜间起降时机场跑道上侵入的异物严重威胁航空运输安全，而暗光背景下依靠人工步行巡查小尺度异物更易留存致命的安全隐患。将智能视觉检测算法引入机场跑道异物入侵领域，针对现有模型倾向关注局部特征而造成检测精度低等问题，设计了一种融合自注意力特征嵌入的CSPTNet夜间机场跑道异物检测算法。为改善卷积神经网络关注局部特征而忽视全局特征的缺陷，将标准瓶颈模块替换为Transformer瓶颈模块，特征图子块扁平化分割后嵌入位置特征编码，有利于图像从像素表示转化为向量表示，在高维向量空间中捕捉像素间关系。采用多头自注意力机制从注意力分支子空间中获取不同分支聚合的特征信息，从而实现全局特征与局部特征信息的融合。针对数据集目标尺度较小导致轮廓边缘模糊以及定位困难等问题，引入CIoU损失函数以实现预测框尺寸和中心位置的修正优化，提高异物目标轮廓的定位精确性。实验结果表明，本文模型的检测速度达到38 frame/s，满足实时检测的要求；平均精度最高为88.1%，应用融合自注意力特征嵌入的Transformer模块相比于标准瓶颈模块提升5.7%，与当前先进的YOLOv5模型相比提升5.2%，从而验证了CSPTNet算法对夜间机场跑道异物检测的有效性和工程实用性。

Abstract

Foreign object debris （FOD） on an airport runway threaten aircraft safety during takeoff and landing， especially at night. This study introduces an intelligent vision algorithm to detect debris on airport runways at night. Considering the problems of existing models such as low detection accuracy owing to a tendency to focus on local features， a CSPTNet debris detection algorithm fused with self-attentional feature embedding is proposed. This algorithm replaces the standard BottleNeck module prevalent in conventional models with a Transformer BottleNeck module. In addition， the feature patch is flat segmented and embedded with position feature encoding to transform image representation from the pixel format to vector format. After capturing the relationship between the pixels in a high-dimensional vector space， the multi-head self-attention mechanism is employed to achieve the fusion of global and local features by obtaining feature information aggregated by different branches from the attention branch subspace. To solve the problems of blurred contour edges and difficult positioning due to the small scale of objects in datasets， we introduce the CIoU loss function to optimize predicted frame sizes and center positions. Thereby， the positioning accuracy of foreign object contours is enhanced. The experimental results show that the detection speed of this algorithm reaches 38 frames/s， which meets the requirements of real-time detection， and its average accuracy is 88.1%. Compared with the experimental results of the standard bottleneck module， the accuracy is increased by 5.7% through the Transformer BottleNeck module fusion with self-attentional feature embedding. In addition， compared with the state-of-the-art model YOLOv5， our is 5.2% more accurate. The obtained results demonstrate the effectiveness and engineering practicability of CSPTNet for FOD detection on airport runways at night.

关键词

Keywords

references

O'DONNEL M J . Airport foreign object debris （FOD） detection equipment ［J］. FAA ， AC， 2009 （ 150 / 5220 ）： 24 .

NI P ， MIAO C ， TANG H ， et al . Small foreign object debris detection for millimeter-wave radar based on power spectrum features ［J］. Sensors （Basel， Switzerland）， 2020 ， 20 （ 8 ）： 2316 . doi: 10.3390/s20082316 http://dx.doi.org/10.3390/s20082316

ELRAYES A ， ALI M H ， ZAKARIA A ， et al . Smart Airport foreign object debris detection rover using LiDAR technology ［J］. Internet of Things ， 2019 ， 5 ： 1 - 11 . doi: 10.1016/j.iot.2018.11.001 http://dx.doi.org/10.1016/j.iot.2018.11.001

FUTATSUMORI S ， MORIOKA K ， KOHMURA A ， et al . Detection characteristic evaluations of optically-connected wideband 96 GHz millimeter-wave radar for airport surface foreign object debris detection ［C］. 2016 41st International Conference on Infrared， Millimeter， and Terahertz waves （IRMMW-THz）. September 25 - 30 ， 2016 . Copenhagen， Denmark. IEEE ， 2016 ： 1 - 2 . doi: 10.1109/irmmw-thz.2016.7758497 http://dx.doi.org/10.1109/irmmw-thz.2016.7758497

王宝帅，兰竹，李正杰，等 . 毫米波雷达机场跑道异物分层检测算法［J］. 电子与信息学报， 2018 ， 40 （ 11 ）： 2676 - 2683 . doi: 10.11999/JEIT180200 http://dx.doi.org/10.11999/JEIT180200

WANG B SH ， LAN ZH ， LI ZH J ， et al . A hierarchical foreign object debris detection method using millimeter wave radar ［J］. Journal of Electronics & Information Technology ， 2018 ， 40 （ 11 ）： 2676 - 2683 . （in Chinese） . doi: 10.11999/JEIT180200 http://dx.doi.org/10.11999/JEIT180200

王宝帅，刘江洪，郑小亮，等 . 基于特征谱特征的机场跑道异物分层检测算法［J］. 电子与信息学报， 2017 ， 39 （ 11 ）： 2690 - 2696 . doi: 10.11999/JEIT170178 http://dx.doi.org/10.11999/JEIT170178

WANG B SH ， LIU J H ， ZHENG X L ， et al . A hierarchical FOD detection method based on eigenvalue spectrum features ［J］. Journal of Electronics & Information Technology ， 2017 ， 39 （ 11 ）： 2690 - 2696 . （in Chinese） . doi: 10.11999/JEIT170178 http://dx.doi.org/10.11999/JEIT170178

王张飞，刘春阳，隋新，等 . 基于深度投影的三维点云目标分割和碰撞检测［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1600 - 1608 . doi: 10.37188/OPE.20202807.1600 http://dx.doi.org/10.37188/OPE.20202807.1600

WANG ZH F ， LIU CH Y ， SUI X ， et al . Three-dimensional point cloud object segmentation and collision detection based on depth projection ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1600 - 1608 . （in Chinese） . doi: 10.37188/OPE.20202807.1600 http://dx.doi.org/10.37188/OPE.20202807.1600

王国屹，孙永荣，张怡，等 . 背景对齐差分的机场跑道异物分块检测与跟踪算法［J］. 计算机辅助设计与图形学学报， 2021 ， 33 （ 3 ）： 413 - 423 . doi: 10.3724/sp.j.1089.2021.18387 http://dx.doi.org/10.3724/sp.j.1089.2021.18387

WANG G Y ， SUN Y R ， ZHANG Y ， et al . Block detection and tracking algorithm of foreign objects debris in airport runway based on background alignment and difference ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2021 ， 33 （ 3 ）： 413 - 423 . （in Chinese） . doi: 10.3724/sp.j.1089.2021.18387 http://dx.doi.org/10.3724/sp.j.1089.2021.18387

郭保青，杨柳旭，史红梅，等 . 基于快速背景差分的高速铁路异物侵入检测算法［J］. 仪器仪表学报， 2016 ， 37 （ 6 ）： 1371 - 1378 . doi: 10.3969/j.issn.0254-3087.2016.06.022 http://dx.doi.org/10.3969/j.issn.0254-3087.2016.06.022

GUO B Q ， YANG L X ， SHI H M ， et al . High-speed railway clearance intrusion detection algorithm with fast background subtraction ［J］. Chinese Journal of Scientific Instrument ， 2016 ， 37 （ 6 ）： 1371 - 1378 . （in Chinese） . doi: 10.3969/j.issn.0254-3087.2016.06.022 http://dx.doi.org/10.3969/j.issn.0254-3087.2016.06.022

曹辉，杨理践，刘俊甫，等 . 基于数据融合的小波变换漏磁异常边缘检测［J］. 仪器仪表学报， 2019 ， 40 （ 12 ）： 71 - 79 .

CAO H ， YANG L J ， LIU J F ， et al . Magnetic flux leakage anomaly edge detection based on data fusion and wavelet transformation ［J］. Chinese Journal of Scientific Instrument ， 2019 ， 40 （ 12 ）： 71 - 79 . （in Chinese）

李泾渭，辛青，侯昌伦 . 通过傅里叶变换测量多表面面形［J］. 光学精密工程， 2019 ， 27 （ 6 ）： 1277 - 1285 . doi: 10.3788/ope.20192706.1277 http://dx.doi.org/10.3788/ope.20192706.1277

LI J W ， XIN Q ， HOU CH L . Measuring multi-surface shape by Fourier transform ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 6 ）： 1277 - 1285 . （in Chinese） . doi: 10.3788/ope.20192706.1277 http://dx.doi.org/10.3788/ope.20192706.1277

杨泽楠，牛海鹏，黄亮，等 . 基于MSR-cut的高空间分辨率遥感影像边缘检测分割［J］. 农业机械学报， 2021 ， 52 （ 8 ）： 154 - 162 . doi: 10.6041/j.issn.1000-1298.2021.08.015 http://dx.doi.org/10.6041/j.issn.1000-1298.2021.08.015

YANG Z N ， NIU H P ， HUANG L ， et al . Edge detection segmentation method for high spatial resolution remote sensing image based on MSR-cut ［J］. Transactions of the Chinese Society for Agricultural Machinery ， 2021 ， 52 （ 8 ）： 154 - 162 . （in Chinese） . doi: 10.6041/j.issn.1000-1298.2021.08.015 http://dx.doi.org/10.6041/j.issn.1000-1298.2021.08.015

朱广平，宋泽林，殷敬伟，等 . 起伏冰表面轮廓提取及其起伏程度分析方法［J］. 仪器仪表学报， 2018 ， 39 （ 5 ）： 115 - 122 .

ZHU G P ， SONG Z L ， YIN J W ， et al . Surface profile extraction and its irregularity analysisof irregular ice ［J］. Chinese Journal of Scientific Instrument ， 2018 ， 39 （ 5 ）： 115 - 122 . （in Chinese）

GIRSHICK R ， DONAHUE J ， DARRELL T ， et al . Rich feature hierarchies for accurate object detection and semantic segmentation ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition. June 23 - 28 ， 2014 . Columbus， OH， USA. IEEE ， 2014 ： 580 - 587 . doi: 10.1109/cvpr.2014.81 http://dx.doi.org/10.1109/cvpr.2014.81

夏浩宇，索双富，王洋，等 . 基于Keypoint RCNN改进模型的物体抓取检测算法［J］. 仪器仪表学报， 2021 ， 42 （ 4 ）： 236 - 246 .

XIA H Y ， SUO S F ， WANG Y ， et al . Object grasp detection algorithm based on improved Keypoint RCNN model ［J］. Chinese Journal of Scientific Instrument ， 2021 ， 42 （ 4 ）： 236 - 246 . （in Chinese）

GIRSHICK R . Fast R-CNN ［C］. 2015 IEEE International Conference on Computer Vision . 713，2015 ， Santiago， Chile . IEEE ， 2015 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169

王博，董登峰，周维虎，等 . 面向激光跟踪仪跟踪恢复的合作目标视觉检测［J］. 光学精密工程， 2020 ， 28 （ 2 ）： 271 - 282 .

WANG B ， DONG D F ， ZHOU W H ， et al . Visual detection of targetball for laser tracker target tracking recovery ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 2 ）： 271 - 282 . （in Chinese）

余永维，韩鑫，杜柳青 . 基于Inception-SSD算法的零件识别［J］. 光学精密工程， 2020 ， 28 （ 8 ）： 1799 - 1809 .

YU Y W ， HAN X ， DU L Q . Target part recognition based Inception-SSD algorithm ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1799 - 1809 . （in Chinese）

REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： unified， real-time object detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91

REDMON J ， FARHADI A . YOLO9000： better， faster， stronger ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 6517 - 6525 . doi: 10.1109/cvpr.2017.690 http://dx.doi.org/10.1109/cvpr.2017.690

FARHADI A ， REDMON J . Yolov3： An incremental improvement ［C］. Computer Vision and Pattern Recognition. Berlin/Heidelberg， Germany ： Springer ， 2018 ： 1804 - 2767 .

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［J］. arXiv preprint arXiv ， 2020 ： 2004 .10934.

ZHOU F B ， ZHAO H L ， NIE Z . Safety helmet detection based on YOLOv5 ［C］. 2021 IEEE International Conference on Power Electronics ， Computer Applications.January 22 - 24 ， 2021 . Shenyang， China. IEEE ， 2021 ： 6 - 11 . doi: 10.1109/icpeca51329.2021.9362711 http://dx.doi.org/10.1109/icpeca51329.2021.9362711

GE Z ， LIU S T ， WANG F ， et al . YOLOX： exceeding YOLO series in 2021 ［J］. arXiv preprint arXiv ， 2021 ： 2107 .08430.

WANG C Y ， YEH I H ， LIAO H Y M . You only learn one representation： unified network for multiple tasks ［J］. arXiv preprint arXiv ， 2021 ： 2105 .04206.

CHEN Q ， WANG Y M ， YANG T ， et al . You only look one-level feature ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 13034 - 13043 . doi: 10.1109/cvpr46437.2021.01284 http://dx.doi.org/10.1109/cvpr46437.2021.01284

CAO X G ， WANG P ， MENG C ， et al . Region based CNN for foreign object debris detection on airfield pavement ［J］. Sensors （Basel， Switzerland）， 2018 ， 18 （ 3 ）： 737 . doi: 10.3390/s18030737 http://dx.doi.org/10.3390/s18030737

兰庭信，蒋进，尚帅，等 . 机场跑道异物检测与定位技术研究［J］. 电光与控制， 2021 ， 28 （ 9 ）： 75 - 79 . doi: 10.3969/j.issn.1671-637X.2021.09.016 http://dx.doi.org/10.3969/j.issn.1671-637X.2021.09.016

LAN T X ， JIANG J ， SHANG SH ， et al . Detecting and locating of foreign object debris on airport runway ［J］. Electronics Optics & Control ， 2021 ， 28 （ 9 ）： 75 - 79 . （in Chinese） . doi: 10.3969/j.issn.1671-637X.2021.09.016 http://dx.doi.org/10.3969/j.issn.1671-637X.2021.09.016

郭晓静，隋昊达 . 改进YOLOv3在机场跑道异物目标检测中的应用［J］. 计算机工程与应用， 2021 ， 57 （ 8 ）： 249 - 255 .

GUO X J ， SUI H D . Application of improved YOLOv3 in foreign object debris target detection on airfield pavement ［J］. Computer Engineering and Applications ， 2021 ， 57 （ 8 ）： 249 - 255 . （in Chinese）

LU Y H ， ZHANG L W ， XIE W . YOLO-compact： an efficient YOLO network for single category real-time object detection ［C］. 2020 Chinese Control and Decision Conference （CCDC）. 2224，2020 ， Hefei， China. IEEE ， 2020 ： 1931 - 1936 . doi: 10.1109/ccdc49329.2020.9164580 http://dx.doi.org/10.1109/ccdc49329.2020.9164580

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An image is worth 16×16 words： transformers for image recognition at scale ［J］. arXiv preprint arXiv ， 2020 ： 2010 .11929.

VOITA E ， TALBOT D ， MOISEEV F ， et al . Analyzing multi-head self-attention： specialized heads do the heavy lifting， the rest can be pruned ［C］. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics . Florence， Italy. Stroudsburg， PA， USA ： Association for Computational Linguistics ， 2019 ： 1905 .09418. doi: 10.18653/v1/p19-1580 http://dx.doi.org/10.18653/v1/p19-1580

XIONG R B ， YANG Y C ， HE D ， et al . On layer normalization in the transformer architecture ［C］. International Conference on Machine Learning. PMLR ， 2020 ： 10524 - 10533 .

李秀智，李家豪，张祥银，等 . 基于深度学习的机器人最优抓取姿态检测方法［J］. 仪器仪表学报， 2020 ， 41 （ 5 ）： 108 - 117 .

LI X ZH ， LI J H ， ZHANG X Y ， et al . Detection method of robot optimal grasp posture based on deep learning ［J］. Chinese Journal of Scientific Instrument ， 2020 ， 41 （ 5 ）： 108 - 117 . （in Chinese）

ZHANG X J ， WANG C Y ， CHENG L ， et al . Timber transportation vehicle detection based on SSD-GIoU ［C］. 2019 IEEE Intl Conf on Parallel & Distributed Processing with Applications ， Big Data & Cloud Computing ， Sustainable Computing & Communications ， Social Computing & Networking. 1618，2019 ， Xiamen， China . IEEE ， 2019 ： 1410 - 1415 . doi: 10.1109/ispa-bdcloud-sustaincom-socialcom48970.2019.00202 http://dx.doi.org/10.1109/ispa-bdcloud-sustaincom-socialcom48970.2019.00202

HONG F ， LU C H ， LIU C ， et al . PGNet： pipeline guidance for human key-point detection ［J］. Entropy ， 2020 ， 22 （ 3 ）： 369 . doi: 10.3390/e22030369 http://dx.doi.org/10.3390/e22030369

王宸，张秀峰，刘超，等 . 改进YOLOv3的轮毂焊缝缺陷检测［J］. 光学精密工程， 2021 ， 29 （ 8 ）： 1942 - 1954 . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942

WANG CH ， ZHANG X F ， LIU CH ， et al . Detection method of wheel hub weld defects based on the improved YOLOv3 ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 8 ）： 1942 - 1954 . （in Chinese） . doi: 10.37188/OPE.20212908.1942 http://dx.doi.org/10.37188/OPE.20212908.1942

FENG C J ， ZHONG Y J ， GAO Y ， et al . TOOD： task-aligned one-stage object detection ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 1017，2021 ， Montreal， QC， Canada. IEEE ， 2021 ： 3490 - 3499 . doi: 10.1109/iccv48922.2021.00349 http://dx.doi.org/10.1109/iccv48922.2021.00349

ZHANG H Y ， WANG Y ， DAYOUB F ， et al . VarifocalNet： an IoU-aware dense object detector ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 8510 - 8519 . doi: 10.1109/cvpr46437.2021.00841 http://dx.doi.org/10.1109/cvpr46437.2021.00841

SUN P Z ， ZHANG R F ， JIANG Y ， et al . Sparse R-CNN： end-to-end object detection with learnable proposals ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 14449 - 14458 . doi: 10.1109/cvpr46437.2021.01422 http://dx.doi.org/10.1109/cvpr46437.2021.01422

Views

1086

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

No data

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰