Vehicle pressure line detection based on improved Mask R-CNN + LaneNet

Jianbo SUN; Ye ZHANG; Xuling CHANG

doi:10.37188/OPE.20223007.0854

您当前的位置：

首页 >

文章列表页 >

Vehicle pressure line detection based on improved Mask R-CNN + LaneNet

Information Sciences | 更新时间：2022-04-22

- Vehicle pressure line detection based on improved Mask R-CNN + LaneNet
- Optics and Precision Engineering Vol. 30, Issue 7, Pages: 854-868(2022)
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所应用光学国家重点实验室，吉林长春130033
  2.中国科学院大学，北京 100049
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223007.0854
  CLC： TP394.1;TH691.9
- Received：22 September 2021，
  
  Revised：19 October 2021，
  
  Published：10 April 2022
- 稿件说明：
移动端阅览
孙建波,张叶,常旭岭.基于改进Mask R-CNN+LaneNet的车载图像车辆压线检测[J].光学精密工程,2022,30(07):854-868.

SUN Jianbo,ZHANG Ye,CHANG Xuling.Vehicle pressure line detection based on improved Mask R-CNN + LaneNet[J].Optics and Precision Engineering,2022,30(07):854-868.
孙建波,张叶,常旭岭.基于改进Mask R-CNN+LaneNet的车载图像车辆压线检测[J].光学精密工程,2022,30(07):854-868. DOI： 10.37188/OPE.20223007.0854.

SUN Jianbo,ZHANG Ye,CHANG Xuling.Vehicle pressure line detection based on improved Mask R-CNN + LaneNet[J].Optics and Precision Engineering,2022,30(07):854-868. DOI： 10.37188/OPE.20223007.0854.

摘要

针对辅助驾驶或自动驾驶领域车载图像的车辆压线检测问题，以及检测过程中由于欠曝、阴影或实体遮挡等因素导致的漏检、误检问题，提出基于改进Mask R-CNN与LaneNet的车辆压线检测算法。在网络优化方面，在Mask R-CNN网络的基础上将RoI Align层的图像缩放算法（双线性插值）改进为双三次插值，将全连接层卷积化的VGG16网络取代LaneNet的E-Net共享解码器；在图像增强方面，改进Gamma校正算法以实现欠曝图像的自动校正；在训练数据方面，完成Tusimple数据集中车辆目标的标注并基于改进的随机擦除算法在网络训练过程中进行数据增强。实验结果表明：车辆检测速度保持不变的同时车道线检测速度提升了28%，车辆漏检率、误检率分别降低了38.93%，89.04%，车道线漏检率、误检率分别降低了67.21%，87.05%，算法的性能指标可满足车辆压线判断的应用需求。

Abstract

To address the problem of vehicle pressure line detection of on-board images in the field of assisted or automatic driving， as well as the problem of missed and false detection caused by underexposure， shadow， or solid occlusion in the detection process， a vehicle pressure line detection algorithm based on improved Mask R-CNN and LaneNet was proposed. In terms of network optimization， based on the Mask R-CNN network， the image scaling algorithm （bilinear interpolation） of the ROI alignment layer was improved to bicubic interpolation， and the convoluted VGG16 network of a full connection layer was replaced by LaneNet's E-Net shared decoder. For image enhancement， the Gamma correction algorithm was improved to realize the automatic correction of underexposed images. In terms of training data， the vehicle target in the Tusimple data set was marked， and the data were enhanced in the network training process， based on the improved random erasing algorithm. The experimental results show that while the vehicle detection speed remains unchanged， the lane line detection speed is increased by 28%， and the vehicle missed and false detection rate are reduced by 38.93% and 89.04%， respectively. Further， the lane line missed and false detection rate are reduced by 67.21% and 87.05%， respectively. The achieved performance index can meet the requirements of vehicle line pressing judgement method.

关键词

Keywords

references

周跃琪 . 基于卷积神经网络YOLO的车辆压实线检测方法研究［D］. 杭州：浙江科技学院， 2020 .

ZHOU Y Q . Research on Vehicle Compaction Line Detection Method Based on Convolutional Neural Network YOLO ［D］. Hangzhou ： Zhejiang University of Science & Technology ， 2020 . （in Chinese）

陈正斌，叶东毅 . 带语义分割的轻量化车道线检测算法［J］. 小型微型计算机系统， 2021 ， 42 （ 9 ）： 1877 - 1883 . doi: 10.3969/j.issn.1000-1220.2021.09.014 http://dx.doi.org/10.3969/j.issn.1000-1220.2021.09.014

CHEN ZH B ， YE D Y . Lightweight lane detection algorithm with semantic segmentation ［J］. Journal of Chinese Computer Systems ， 2021 ， 42 （ 9 ）： 1877 - 1883 . （in Chinese） . doi: 10.3969/j.issn.1000-1220.2021.09.014 http://dx.doi.org/10.3969/j.issn.1000-1220.2021.09.014

CHIU K Y ， LIN S F . Lane detection using color-based segmentation ［C］. IEEE Proceedings. Intelligent Vehicles Symposium ， 2005 . 68，2005 ， Las Vegas， NV， USA. IEEE ， 2005： 706 - 711 . doi: 10.1109/ivs.2005.1505186 http://dx.doi.org/10.1109/ivs.2005.1505186

吴骅跃，赵祥模 . 基于IPM和边缘图像过滤的多干扰车道线检测［J］. 中国公路学报， 2020 ， 33 （ 5 ）： 153 - 164 . doi: 10.3969/j.issn.1001-7372.2020.05.014 http://dx.doi.org/10.3969/j.issn.1001-7372.2020.05.014

WU H Y ， ZHAO X M . Multi-interference lane recognition based on IPM and edge image filtering ［J］. China Journal of Highway and Transport ， 2020 ， 33 （ 5 ）： 153 - 164 . （in Chinese） . doi: 10.3969/j.issn.1001-7372.2020.05.014 http://dx.doi.org/10.3969/j.issn.1001-7372.2020.05.014

LOOSE H ， FRANKE U ， STILLER C . Kalman Particle Filter for lane recognition on rural roads ［C］. 2009 IEEE Intelligent Vehicles Symposium . 35，2009 ， Xi'an， China . IEEE ， 2009 ： 60 - 65 . doi: 10.1109/ivs.2009.5164253 http://dx.doi.org/10.1109/ivs.2009.5164253

TENG Z ， KIM J H ， KANG D J . Real-time lane detection by using multiple cues ［C］. ICCAS 2010 . 2730，2010 ， Gyeonggi-do， Korea （South）. IEEE ， 2010： 2334 - 2337 . doi: 10.1109/iccas.2010.5669923 http://dx.doi.org/10.1109/iccas.2010.5669923

WANG J Y ， DUAN J M . Lane detection algorithm using vanishing point ［C］. 2013 International Conference on Machine Learning and Cybernetics . 1417，2013 ， Tianjin . IEEE ， 2013 ： 735 - 740 . doi: 10.1109/icmlc.2013.6890384 http://dx.doi.org/10.1109/icmlc.2013.6890384

DANESCU R ， NEDEVSCHI S . Probabilistic lane tracking in difficult road scenarios using stereovision ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2009 ， 10 （ 2 ）： 272 - 282 . doi: 10.1109/tits.2009.2018328 http://dx.doi.org/10.1109/tits.2009.2018328

KIM Z . Robust lane detection and tracking in challenging scenarios ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2008 ， 9 （ 1 ）： 16 - 26 . doi: 10.1109/tits.2007.908582 http://dx.doi.org/10.1109/tits.2007.908582

初雪梅，王珂娜，张维刚 . 基于分段直线模型的弯道识别算法的研究［J］. 汽车工程， 2012 ， 34 （ 12 ）： 1141 - 1144， 1149 . doi: 10.3969/j.issn.1000-680X.2012.12.016 http://dx.doi.org/10.3969/j.issn.1000-680X.2012.12.016

CHU X M ， WANG K N ， ZHANG W G . A study on a recognition algorithm of curved lane based on piecewise straightline model ［J］. Automotive Engineering ， 2012 ， 34 （ 12 ）： 1141 - 1144， 1149 . （in Chinese） . doi: 10.3969/j.issn.1000-680X.2012.12.016 http://dx.doi.org/10.3969/j.issn.1000-680X.2012.12.016

王宝锋，齐志权，马国成，等 . 基于动态区域规划的双模型车道线识别方法［J］. 北京理工大学学报， 2014 ， 34 （ 5 ）： 485 - 489 .

WANG B F ， QI ZH Q ， MA G CH ， et al . Lane detection system based on region dynamically planning and dual model fitting ［J］. Transactions of Beijing Institute of Technology ， 2014 ， 34 （ 5 ）： 485 - 489 . （in Chinese）

YOO H ， YANG U ， SOHN K . Gradient-enhancing conversion for illumination-robust lane detection ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2013 ， 14 （ 3 ）： 1083 - 1094 . doi: 10.1109/tits.2013.2252427 http://dx.doi.org/10.1109/tits.2013.2252427

周宏宇，宋旭，刘国英 . Haar特征耦合级联分类器的车道线检测算法［J］. 计算机工程与设计， 2020 ， 41 （ 6 ）： 1719 - 1724 . doi: 10.1109/ipec51340.2021.9421278 http://dx.doi.org/10.1109/ipec51340.2021.9421278

ZHOU H Y ， SONG X ， LIU G Y . Lane detection algorithm based on Haar feature based coupled cascade classifer ［J］. Computer Engineering and Design ， 2020 ， 41 （ 6 ）： 1719 - 1724 . （in Chinese） . doi: 10.1109/ipec51340.2021.9421278 http://dx.doi.org/10.1109/ipec51340.2021.9421278

PAN X G ， SHI J P ， LUO P ， et al . Spatial as deep： spatial CNN for traffic scene understanding ［EB/OL］. https：//arxiv.org/abs/1712.06080 https://arxiv.org/abs/1712.06080

HOU Y N ， MA Z ， LIU C X ， et al . Learning lightweight lane detection CNNs by self attention distillation ［J］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）， 2019 ： 1013 - 1021 . doi: 10.1109/iccv.2019.00110 http://dx.doi.org/10.1109/iccv.2019.00110

TABELINI L ， BERRIEL R ， PAIXÃO T M ， et al . Keep your eyes on the lane： real-time attention-guided lane detection ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 294 - 302 . doi: 10.1109/cvpr46437.2021.00036 http://dx.doi.org/10.1109/cvpr46437.2021.00036

胡鹏 . 基于机器视觉的交通压线判别方法研究［D］. 西安：西安科技大学， 2017 .

HU P . Research on Vehicle Line Pressing Judgment Method Based on Machine Vision ［D］. Xi'an ： Xi'an University of Science and Technology ， 2017 . （in Chinese）

洪琦，沙新华 . 基于视频的车辆违章越线行为检测方法研究［J］. 深圳信息职业技术学院学报， 2005 ， 3 （ 3 ）： 12 - 16 . doi: 10.3969/j.issn.1672-6332.2005.03.003 http://dx.doi.org/10.3969/j.issn.1672-6332.2005.03.003

HONG Q ， SHA X H . A study of a video-based method for detecting vehicles' transgressing-lane behavior ［J］. Journal of Shenzhen Institute of Information Technology ， 2005 ， 3 （ 3 ）： 12 - 16 . （in Chinese） . doi: 10.3969/j.issn.1672-6332.2005.03.003 http://dx.doi.org/10.3969/j.issn.1672-6332.2005.03.003

陆蔚 . 一种快速检测违规压双黄线的算法［J］. 福建电脑， 2009 ， 25 （ 10 ）： 87 ， 107 . doi: 10.3969/j.issn.1673-2782.2009.10.059 http://dx.doi.org/10.3969/j.issn.1673-2782.2009.10.059

LU W . A fast algorithm for detecting illegal double yellow lines ［J］. Fujian Computer ， 2009 ， 25 （ 10 ）： 87 ， 107 . （in Chinese） . doi: 10.3969/j.issn.1673-2782.2009.10.059 http://dx.doi.org/10.3969/j.issn.1673-2782.2009.10.059

唐静 . 基于车载视频的前方车辆越线违章行为监测技术研究［D］. 大连：大连海事大学， 2018 .

TANG J . Research on Monitoring Technology of Crossing Violation of Vehicle in Front of Vehicle Video ［D］. Dalian ： Dalian Maritime University ， 2018 . （in Chinese）

胡海辉 . 基于车载摄像机的车辆压线与变道检测技术研究与实现［D］. 南京：东南大学， 2015 .

HU H H . The Research and Implementation of the Detection Technology of Vehicle Pressing Line and Changing Lane Based on Onboard Camera ［D］. Nanjing ： Southeast University ， 2015 . （in Chinese）

董俊 . 基于深度学习的车辆违章压线检测算法研究［D］. 广州：广东工业大学， 2020 .

DONG J . Research on Vehicle Violation Pressure Line Detection Algorithm Based on Deep Learning ［D］. Guangzhou ： Guangdong University of Technology ， 2020 . （in Chinese）

ZHONG Z ， ZHENG L ， KANG G L ， et al . Random erasing data augmentation ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 13001 - 13008 . doi: 10.1609/aaai.v34i07.7000 http://dx.doi.org/10.1609/aaai.v34i07.7000

许少秋，杨群，钟小芸，等 . 背光图像的检测与校正［J］. 计算机工程与应用， 2017 ， 53 （ 21 ）： 174 - 178 .

XU SH Q ， YANG Q ， ZHONG X Y ， et al . Detection and correction of backlight images ［J］. Computer Engineering and Applications ， 2017 ， 53 （ 21 ）： 174 - 178 . （in Chinese）

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 2 ）： 386 - 397 . doi: 10.1109/tpami.2018.2844175 http://dx.doi.org/10.1109/tpami.2018.2844175

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

KEYS R . Cubic convolution interpolation for digital image processing ［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing ， 1981 ， 29 （ 6 ）： 1153 - 1160 . doi: 10.1109/tassp.1981.1163711 http://dx.doi.org/10.1109/tassp.1981.1163711

NEVEN D ， DE BRABANDERE B ， GEORGOULIS S ， et al . Towards end-to-end lane detection： an instance segmentation approach ［C］. 2018 IEEE Intelligent Vehicles Symposium . 2630，2018 ， Changshu， China . IEEE ， 2018 ： 286 - 291 . doi: 10.1109/ivs.2018.8500547 http://dx.doi.org/10.1109/ivs.2018.8500547

DUDA R O ， HART P E . Use of the Hough transformation to detect lines and curves in pictures ［J］. Communications of the ACM ， 1972 ， 15 （ 1 ）： 11 - 15 . doi: 10.1145/361237.361242 http://dx.doi.org/10.1145/361237.361242

Tusimple . Tusimple benchmark ［Z/OL］. https：//github.com/TuSimple/tusimple-benchmark ， 2017 . doi: 10.1007/978-3-658-19174-0_2 http://dx.doi.org/10.1007/978-3-658-19174-0_2

LIN T Y ， MAIRE M ， BELONGIE S J ， et al . Microsoft COCO： common objects in context ［J］. Proceedings of the IEEE Conference on European Conference on Computer Vision ， 2014 ： 740 - 755 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48

CHEN H ， SUN K Y ， TIAN Z ， et al . BlendMask： top-down meets bottom-up for instance segmentation ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 8570 - 8578 . doi: 10.1109/cvpr42600.2020.00860 http://dx.doi.org/10.1109/cvpr42600.2020.00860

BOLYA D ， ZHOU C ， XIAO F Y ， et al . YOLACT： real-time instance segmentation ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2019： 9156 - 9165 . doi: 10.1109/iccv.2019.00925 http://dx.doi.org/10.1109/iccv.2019.00925

KO Y ， LEE Y ， AZAM S ， et al . Key points estimation and point instance segmentation approach for lane detection ［J］. IEEE Transactions on Intelligent Transportation Systems ， 8488 ， PP（ 99 ）： 1 - 10 .

LI X ， LI J ， HU X L ， et al . Line-CNN： end-to-end traffic line detection with line proposal unit ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2020 ， 21 （ 1 ）： 248 - 258 . doi: 10.1109/tits.2019.2890870 http://dx.doi.org/10.1109/tits.2019.2890870

SELVARAJU R R ， COGSWELL M ， DAS A ， et al . Grad-CAM： visual explanations from deep networks via gradient-based localization ［J］. International Journal of Computer Vision ， 2020 ， 128 （ 2 ）： 336 - 359 . doi: 10.1007/s11263-019-01228-7 http://dx.doi.org/10.1007/s11263-019-01228-7

Views

3980

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Visual inspection for assembly conformity of wing cable brackets

Image correction for perspective distortion of cylindrical surfaces at arbitrary poses

Aperture stop diffraction effect of solar irradiance measurement

Segmentation network for metastatic lymph nodes of head and neck tumors

RGB-D SLAM method of dynamic scene based on instance segmentation and optical flow

Related Author

GE Xinxin

CUI Haihua

LI Pengcheng

WANG Xin

HU Peng

HE Pengcheng

XIA Xiaohua

DUAN Zhiwei

Related Institution

College of Mechanical & Electrical Engineering， Nanjing University of Aeronautics and Astronautics

Key Laboratory of Road Construction Technology and Equipment，Ministry of Education，Chang' an University

Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences

School of Materials Science and Chemical Engineering， Harbin Engineering University

School of Electrical and Information Engineering， Jilin Engineering and Technology Normal University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰