基于空间语义分割的多车道线检测跟踪网络

基于空间语义分割的多车道线检测跟踪网络 Multi-lane line detection and tracking network based on spatial semantics segmentation first-author 石金鹏（1997—），男，硕士研究生，主要从事计算机视觉，深度学习方面的研究。E-mail：1589715543@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439220&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439236&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439222&type= 22.01332855 32.00399780 石金鹏 （1997—），男，硕士研究生，主要从事计算机视觉，深度学习方面的研究。E-mail： 1589715543@qq.com 1589715543@qq.com corresp E-mail： zxu1116@126.com E-mail： zxu1116@126.com 张 旭（1978—），女，博士，教授，主要从事图像识别与智能检测、数字化仿真与智能加工方面的研究。E-mail：zxu1116@126.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439228&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439231&type= 22.01333618 32.00399780 张 旭 （1978—），女，博士，教授，主要从事图像识别与智能检测、数字化仿真与智能加工方面的研究。E-mail： zxu1116@126.com zxu1116@126.com 上海工程技术大学 机械与汽车工程学院，上海 201620 上海工程技术大学 机械与汽车工程学院，上海 201620 School of Mechanical and Automobile Engineering， Shanghai University of Engineering Science， Shanghai 201620， China School of Mechanical and Automobile Engineering， Shanghai University of Engineering Science， Shanghai 201620， China 基于深度学习的目标检测网络在车道线识别领域依旧存在车道区别不明显，识别精度低，误检率、漏检率高等问题。为了解决这些问题，提出了一种基于空间实例分割的轻量级车道检测跟踪网络。该方法在编码部分使用VGG16网络和空间卷积神经网络来提高网络结构学习空间关系的能力，解决了预测车道线出现模糊、不连续等问题；基于LaneNet将编码输出后的两个分支任务相耦合，以改进前景与背景识别效果不佳和车道间区分不明显的问题。最后，该方法在TuSimple数据集中与其他 <math id="M1"><mn mathvariant="normal">5</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439245&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439243&type= 1.60866666 2.37066650 种基于语义分割的车道线算法进行对比。实验表明，本文算法的准确率评分为 <math id="M2"><mn mathvariant="normal">97.12</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439257&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439246&type= 8.12800026 2.37066650 %，误检率与漏检率均优于其他网络，并且误检率与漏检率相比于LaneNet分别降低了 <math id="M3"><mn mathvariant="normal">44.87</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439279&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439260&type= 8.04333401 2.37066650 %和 <math id="M4"><mn mathvariant="normal">12.7</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439284&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439267&type= 6.51933336 2.37066650 %，基本满足实时车道线检测跟踪的要求。 Target detection networks based on deep learning has some problems in the field of lane line recognition， such as unclear lane differences， low recognition accuracy， a high false detection rate， and a high missed detection rate. To solve the aforementioned problems， a lightweight lane detection and tracking network， SCNNLane， based on spatial instance segmentation， was proposed. In the coding part， the VGG16 network and the spatial convolution neural network （SCNN） were applied to improve the ability of the network structure to learn spatial relationships， which solved the problems of blurring and discontinuity in lane prediction. Simultaneously， based on LaneNet， two branch tasks after encoding the output were coupled to improve poor foreground and background recognition and indistinguishability between lanes. Finally， the method was compared with five other semantic segmentation-based lane-line algorithms by using the TuSimple dataset. Experimental results show that the accuracy of this algorithm is 97.12%， and the false detection rate and missed detection rate are reduced by 44.87% and 12.7% respectivel， as compared with LaneNet， thus meeting the demand of real-time lane line detection. 机器视觉 语义分割 车道线检测跟踪 轻量级卷积神经网络 空间卷积神经网络 machine vision semantic segmentation lane line detection tracking lightweight convolution neural network spatial convolution neural network 1 引 言 1 近年来，随着人类社会信息科学技术的发展和人们对于日常出行体验的不断提高，高级辅助驾驶系统得到了广泛关注和快速发展。2018年，世界卫生组织报告指出每年有135万人在道路驾驶中造成人员伤亡 ［ 1 1 ］ 。中国公安部记录了667 507起致命的道路交通事故，2018年，美国国家公路交通安全管理局记录了33 654起致命车祸 ［ 2 2 ］ ，各国政府已经在探索各种措施来改善道路安全。 辅助驾驶系统和交通监控系统对不同复杂程度的交通情况有不同程度的需求 ［ 3 3 ］ 。目前，车道线检测主要包括传统的图像处理方法和深度学习方法。何旭光等 ［ 4 4 ］ 提出了一种基于霍夫变换的车道线检测方法，通过对图像的平滑处理以及自适应算法提取特征信息，最后通过霍夫算法得到车道线的信息。马泉钧等 ［ 5 5 ］ 针对长距离的车道线识别问题，应用霍夫变换和滑块法检测车道线，确保了车道线的完整性，但是该方法在复杂交通环境下的检测效果有待提升。车道线通常具有显著的边缘特征，但是在道路复杂的情况下，车道线很可能因为被遮挡，磨损等环境因素而产生误检和漏检的情况。此外，车道模式分为实线车道，虚线车道，分离车道和合并车道，同样的图像处理算法无法对变化的车道做出有效的识别。传统的车道线检测方法仅限于特定的应用环境，并且基于像素点边缘信息灰度差的车道线检测方法会受到阴影和光强变化等因素的影响，这也是传统识别方法的一个重大缺陷。 相比于传统的图像分割算法，目前基于深度学习的分割方法性能更好。卷积神经网络因拥有强大的提取特征能力，被广泛地应用在图像识别与分类中。自AlexNet以来 ［ 6 6 ］ ，越来越多优秀的神经网络被提出。Zeiler等 ［ 7 7 ］ 提出一种AlexNet的改进网络ZFNet，该网络在前面的卷积层使用更小的卷积核和更小的步幅，保留了更多的特征。崔文靓等 ［ 8 8 ］ 使用改进的YOLOv3算法对公路车道进行检测，该方法通过加深网络层数的方法提高特征提取的能力。王若霄等 ［ 9 9 ］ 提出了一种跨深度卷积特征增强的目标算法，该算法对尺度变化大的物体鲁棒性更强。Pan等 ［ 10 10 ］ 提出了一种相邻像素之间的消息传递机制，以更有效地使用视觉信息，从而显著提高了深度分割法的性能，多维度地使用空间信息导致该网络计算低效。对于不同的驾驶场景，Pizzati等 ［ 11 11 ］ 设计了一种基于ROS框架的车道线检测算法，该算法在多任务CNN的训练过程中使用均方差不确定性估计获得了更好的性能。刘彬等 ［ 12 12 ］ 提出了一种基于改进Enet网络的车道线检测算法，与传统算法相比，该算法满足实时性需求。Hou等提出了一种SPNet ［ 13 13 ］ ，该方法包括一种新的池化结构，但注意力机制的引入会消耗大量的网络内存。Neven等 ［ 14 14 ］ 提出了一种端到端的车道线检测网络LaneNet，不同于先前的网络设计，LaneNet将车道线检测识别问题转化为一个实例分割问题，该网络输出车道分割和车道像素嵌入两个分支。虽然该网络将分割任务分为两个分支进行，正因为如此，该网络在多车道和拍摄角度不同交通监控系统下会出现车道背景与车道区分不清等问题，受到了不同程度的限制。为了寻求一种通用的，计算量低且高效的方案，同时能改善神经网络识别精度不高和容易丢失图像空间信息等缺陷，本文提出了一种基于空间卷积神经网络的多车道检测识别网络，更加高效地利用空间信息，并通过TuSimple数据集对网络模型进行训练，提取图像中的车道线特征信息，并检测车道线标记。 2 原 理 1 空间卷积神经网络（Spatial Convolutional Neural Network, SCNN）Lane的车道线检测跟踪模型可以分为以下几个模块：在预处理模块中，通过对输入图像的适当处理，数据集中的图片及其标注被预处理模块转换成可以输入到模型中的标准格式，使得后期更容易提取特征；在模型训练模块中，使用轻量级的编码器解码器架构，在编码阶段使用VGG16-SCNN，利用小卷积核和其强大的空间信息传递能力提取图片深层的特征；将提取的特征信息输入至解码器中，解码器由车道像素二分类和车道像素嵌入实例分割相耦合构成，解码器逐步恢复特征映射的分辨率，并输出依照像素方向的车道边缘预测映射。 图1 图1 是该方法的网络结构。 2.1　预处理 2 为了提高检测精度和速度，该模块对输入的图像进行预处理。Tusimple数据集的原始图像尺寸为1 280×720。如果直接将原始图像输入网络，会导致卷积运算量非常大。因此，需要对原始图像进行下采样。本文使用interpolation将图像尺寸下采样到512×256，如 图2 图2 （a）所示。同时，考虑到解码时会输出车道像素二分类和像素嵌入实例分割两个分支，该模块为一个输入做两个标签，一个标签用于二值分割，区分车道和背景，如 图2 图2 （b）所示；另一个标签为车道线实例标签，用于区分不同的车道，如 图2 图2 （c）所示。 2.2　编 码 2 在网络的编码器部分，本文使用VGG16网络和SCNN网络的组合来代替ENet标准卷积操作。 图3 图3 为VGG16-SCNN的总体架构。VGG16 ［ 15 15 ］ 通过多层的卷积串联可以获得更多的非线性关系，通过堆叠两层3×3的卷积核替代5×5的卷积核，通过堆叠三层3×3的卷积核替代7×7的卷积核，这种卷积核结构不仅拥有相同的感受野，且需要更少的参数。在复杂的交通监控环境和交通道路场景中，车道线的像素数量远小于背景的像素数量，并且车道线的像素特征呈细长条形，很容易被交通工具或者环境阴影遮挡，导致自动驾驶系统在车道线识别时出现车道线稀疏、不连续等问题，因此在编码阶段需要正确提取和保留图片中的空间信息。该模块将VGG16第五轮池化层之前的部分作为冻结层，并将冻结层预训练后提取的特征输入其后端的SCNN模块。车道线特征有空间关系强，但是外观形状一致性弱的缺陷，SCNN以其独特的空间特征提取关系能够增强车道线特征信息在交替卷积层之间高效的传递，同时也实现了特征信息跨越行和列的传递，即卷积神经网络推广到空间层次，使得空间信息能够在同层的神经元上传播。该部分的网络结构如 图4 图4 所示。 2.3　解 码 2 LaneNet作为一种车道线检测网络将车道线检测转化为实例分割问题，车道二分类分支输出像素二分类特征图， 图5 图5 （a）中白色为车道线特征，黑色为背景。车道实例分割分支进一步将分割的车道像素划分为不同的车道实例，如 图5 图5 （b）所示，不同颜色线之间为不同类型的车道。 然而，在实际的交通监控环境中，由于车道线数量不定并且相机拍照的角度有一定的随机性，传统的LaneNet在检测跟踪时对前景与背景的识别和车道间的区分表现不佳，由此说明该模型还存在不足。 为了解决这些问题，该模块对LaneNet中的车道像素二分类和车道像素嵌入实例分割两个分支进行耦合。首先，将编码输出的结果输入至车道边缘提取网络，通过像素二分类算法输出第一种车道像素二分类图（binary1）；然后，将编码输出的结果与上文binary进行结合并输出车道实例图（instance）；进而，将编码输出的结果与上文输出的instance相结合输出第二种车道像素二分类图（binary2）；最后，使用binary，instance，binary2各自的损失函数对模型进行修改和训练。通过上述耦合操作，两个分支任务可以使用对方的特征信息，这不仅最大限度地提高了信息的使用效率和共享能力，而且增大了特征提取的深度和广度，网络结构如 图6 图6 所示。 3 实验结果与分析 1 3.1　测试环境 2 本文模型主要在Windows10系统下使用Python作为网络开发的语言。预处理模块和深度学习模型的训练、测试以及验证基于PyTorch框架。图像处理模块使用OpenCV框架。科学计算部分使用numpy和sklearn。实验电脑配有AMD Ryzen 7 5800X 8-Core Processor 3.80 GHz CPU，Nvidia GeForce RTX 3070Ti和32 GB RAM，整体环境配置参数如 表1 表1 所示。 Category Name Configuration 2 Hardware CPU AMD Ryzen 7 5800X8-Corn Processor 3.80 GHz GPU NVIDA GeForce RTX3070Ti 4 Software CUDA version 10.1 Python version 3.9 Pytorch version 1.7.1 OpenCV version 4.4.0 3.2　数据集 2 本文用于评估网络性能的数据集是TuSimple数据集。TuSimple数据集由72k 1 280×720的图像组成，训练集包含3 268张图片，测试集包含2 782张图片；其中，含不同天气状况下2车道、3车道、4车道或更多高速公路的不同交通状况。数据集如 图7 图7 所示。 3.3　评价标准 2 本文在相同条件下使用Tusimple的原始评价指标：正确率 <math id="M5"><mfenced separators="|"><mrow><msub><mrow><mi>A</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439395&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439401&type= 8.12800026 3.97933316 、漏检率（FN）和误检率（FP）。正确率是主要性能指标，另外两个参数用来优化模型。通过判断车道线端点间的距离以及其包围面积是否超过阈值来判定预测是否准确。当85%的预测车道点与周边的环境区域距离小于20个像素时，预测的车道标记为正确值。正确率表示如下： <math display="block" id="M6"><msub><mrow><mi>A</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mo>∑</mo><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">p</mi></mrow></msub><mrow><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">p</mi></mrow></msub></mrow></mrow><mrow><msub><mo>∑</mo><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">p</mi></mrow></msub><mrow><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">p</mi></mrow></msub></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439417&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439413&type= 23.79133224 11.76866722 ， 式中： <math id="M7"><msub><mrow><mi>C</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439423&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439410&type= 5.58799982 3.72533321 是预测正确的道路点数， <math id="M8"><msub><mrow><mi>S</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439430&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439425&type= 5.16466665 3.72533321 是所有的道路点数。如果地面真实的宽度与预测之间的差小于阈值，则预测点是正确的点。根据 式（1） 式（1） 还可计算 <math id="M9"><mi mathvariant="normal">F</mi><mi mathvariant="normal">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439460&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439458&type= 4.74133301 2.79399991 和 <math id="M10"><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439452&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439439&type= 5.24933338 2.87866688 。 <math id="M11"><mi mathvariant="normal">F</mi><mi mathvariant="normal">P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439460&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439458&type= 4.74133301 2.79399991 表示该车道是预测为真实存在，但是与地面真实车道中的任何车道都不匹配，FN表示该车道是真实存在的，但与预测中的任何车道都不匹配，即有： <math display="block" id="M12"><mi>F</mi><mi>P</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439465&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439463&type= 17.10266685 8.80533314 ， <math display="block" id="M13"><mi>F</mi><mi>N</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439480&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439478&type= 18.03400040 8.80533314 ， 其中： <math id="M14"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439472&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439484&type= 6.26533365 3.72533321 是预测错误的车道数量， <math id="M15"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439503&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439490&type= 6.68866634 3.80999994 是预测正确的车道数量， <math id="M16"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439497&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439507&type= 7.28133297 3.72533321 是预测中错过地面真实车道数量， <math id="M17"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439518&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43439513&type= 4.74133301 3.80999994 是地面上所有真实的车道数量。 3.4　实验超参数 2 本文基于PyTorch框架实现所提出的网络结构。网络的超参数设置如下：批处理大小设置为4，Epoch设置为50，SCNN卷积核宽度设置为7，学习率设置为0.000 01，采用Adam自适应动量评估优化器来减少训练时间，提高模型收敛的速度。网络模型中使用Focalloss作为损失函数，该损失函数可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本，很适合用于车道线检测的网络模型中。 3.5　结果对比 2 本文选取5种近年来被提出的车道检测算法来进行定量分析。 表2 表2 所示为本文方法与其他5种算法在TuSimple数据集上的对比结果，可以看出，目前不同网络结构的准确率都达到很高的水平，本文网络结构的准确率高于其他网络，并且漏检率和误检率相比于LaneNet分别降低了44.87%和12.7%，且优于其他网络。在具有挑战性的复杂交通监控领域，本文网络结构的表现优于其他网络，尤其在车道线被遮挡、道路模糊、阴影、眩光、车辆拥挤等复杂交通状况下具有良好的性能。 Methods A cc FN FP LaneNet 96.38 7.80 2.44 VGG-LaneNet 94.03 10.2 11.0 SPNet 92.41 7.75 5.12 YOLACT ［ 16 16 ］ 95.36 6.89 3.27 Blend Mask ［ 17 17 ］ 94.61 7.20 3.75 Ours 97.12 4.30 2.13 % 3.6　可视化评估 2 该网络的解码可视化效果如 图8 图8 所示， 图8 图8 （a）为VGG16冻结部分输出的结果， 图8 图8 （b）为SCNN输出的结果。 SCNNLane网络训练后的输出如 图9 图9 所示。从 图9 图9 第二列、第三列可以看出，当车道线被阴影、车辆遮挡时以及车道数较多时，该网络可以弥补被遮挡的部分，区分所有的车道类型，输出完整的车道线语义分割图和车道像素嵌入分割图。 其他网络结构与本文网络结构在TuSimple数据集上的可视化对比如 图10 图10 所示。 图10 图10 中，第一列为SCNNLane输出的车道预测效果；第二列为LaneNet识别检测时出现的细节缺陷，即红色框部分；第三列为SCNNLane的识别检测效果。 图10 图10 中第1，2，3行圆圈内具体表示因车道线被车辆、阴影遮挡导致车道线识别不完整的效果，而本文通过特征信息在空间上的传递，将断开的车道线弥补拟合为完整的形状。此外，通过 图10 图10 第4，5，6行可以看出，该网络在多车道复杂交通环境下也能达到很好的识别检测效果。其中，第5，6行，虚线车道线的特征导致LaneNet无法准确地区分车道；第6行，车灯的光亮导致LaneNet误检为不存在车道线。通过将车道像素二分类和车道像素嵌入分割相耦合以及加入空间语义特征学习网络，本文网络可以完整准确地识别检测出这些车道线。 1;2; 4 结 论 1 本文提出了一种基于空间语义分割的多车道检测跟踪网络，通过使用编码器和解码器结构以及加入SCNN网络使得网络的空间信息学习能力大幅度提高，弥补了模型上下文信息丢失的缺陷，同时将LaneNet两个输出的独立分支进行耦合提高了网络在复杂多车道交通情况下的检测精度。在Tusimple数据集上进行定量和定性实验，该网络结构的准确率为97.12%，漏检率和误检率相比于LaneNet分别降低了44.87%和12.7%，且优于其他网络，在多车道和车道线有缺陷的情况下表现出良好的识别检测效果，能够完整预测车道线，具有综合优势。 参考文献 TOROYAN T . Global status report on road safety ［J］. Injury Prevention ， 2009 ， 15 （ 4 ）： 286 . doi: 10.1136/ip.2009.023697 http://dx.doi.org/10.1136/ip.2009.023697 Global status report on road safety HUVAL B ， WANG T ， TANDON S ， et al . An Empirical Evaluation of Deep Learning on Highway Driving ［EB/OL］. 2015 ： arXiv ： 1504 . 01716 . https：//arxiv.org/abs/1504.01716 https://arxiv.org/abs/1504.01716 " An Empirical Evaluation of Deep Learning on Highway Driving HILLEL A B ， LERNER R ， LEVI D ， et al . Recent progress in road and lane detection： a survey ［J］. Machine Vision and Applications ， 2014 ， 25 （ 3 ）： 727 - 745 . doi: 10.1007/s00138-011-0404-2 http://dx.doi.org/10.1007/s00138-011-0404-2 Recent progress in road and lane detection： a survey 何旭光 ， 江磊 ， 罗一平 ， 等 . 基于Hough变换的车道线检测算法设计 ［J］. 农业装备与车辆工程 ， 2019 ， 57 （ 11 ）： 90 - 91， 107 . doi: 10.3969/j.issn.1673-3142.2019.11.022 http://dx.doi.org/10.3969/j.issn.1673-3142.2019.11.022 基于Hough变换的车道线检测算法设计 HE X G ， JIANG L ， LUO Y P ， et al . Design of lane detection algorithm based on Hough transform ［J］. Agricultural Equipment & Vehicle Engineering ， 2019 ， 57 （ 11 ）： 90 - 91， 107 . （in Chinese） . doi: 10.3969/j.issn.1673-3142.2019.11.022 http://dx.doi.org/10.3969/j.issn.1673-3142.2019.11.022 Design of lane detection algorithm based on Hough transform 马泉钧 ， 何自超 ， 林邦演 ， 等 . 基于图像处理的长距离车道线检测 ［J］. 河南科技 ， 2019 （ 29 ）： 111 - 113 . doi: 10.3969/j.issn.1003-5168.2019.29.042 http://dx.doi.org/10.3969/j.issn.1003-5168.2019.29.042 基于图像处理的长距离车道线检测 MA Q J ， HE Z CH ， LIN B Y ， et al . Long distance lane detection based on image processing ［J］. Henan Science and Technology ， 2019 （ 29 ）： 111 - 113 . （in Chinese） . doi: 10.3969/j.issn.1003-5168.2019.29.042 http://dx.doi.org/10.3969/j.issn.1003-5168.2019.29.042 Long distance lane detection based on image processing KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［C］. Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1. 36，2012 ， Lake Tahoe， Nevada. New York ： ACM ， 2012 ： 1097 - 1105 . ImageNet classification with deep convolutional neural networks ZEILER M D ， FERGUS R . Visualizing and Understanding Convolutional Networks ［EB/OL］. 2013 ： arXiv ： 1311 . 2901 . https：//arxiv.org/abs/1311.2901 https://arxiv.org/abs/1311.2901 ". doi: 10.1007/978-3-319-10590-1_53 http://dx.doi.org/10.1007/978-3-319-10590-1_53 Visualizing and Understanding Convolutional Networks 崔文靓 ， 王玉静 ， 康守强 ， 等 . 基于改进YOLOv3算法的公路车道线检测方法 ［J］. 自动化学报 ， 2022 ， 48 （ 6 ）： 1560 - 1568 . doi: 10.16383/j.aas.c190178 http://dx.doi.org/10.16383/j.aas.c190178 基于改进YOLOv3算法的公路车道线检测方法 CUI W Q ， WANG Y J ， KANG S Q ， et al . Highway lane line detection method based on improved YOLOv3 algorithm ［J］. Journal of Automation . 2022 ， 48 （ 6 ）： 1560 - 1568 . （in Chinese） . doi: 10.16383/j.aas.c190178 http://dx.doi.org/10.16383/j.aas.c190178 Highway lane line detection method based on improved YOLOv3 algorithm 王若霄 ， 徐智勇 ， 张建林 . 跨深度的卷积特征增强目标检测算法 ［J］. 计算机工程与设计 ， 2020 ， 41 （ 7 ）： 1864 - 1871 . doi: 10.16208/j.issn1000-7024.2020.07.011 http://dx.doi.org/10.16208/j.issn1000-7024.2020.07.011 跨深度的卷积特征增强目标检测算法 WANG R X ， XU ZH Y ， ZHANG J L . Cross-depth convolutional feature enhancement algorithm for object detection ［J］. Computer Engineering and Design ， 2020 ， 41 （ 7 ）： 1864 - 1871 . （in Chinese） . doi: 10.16208/j.issn1000-7024.2020.07.011 http://dx.doi.org/10.16208/j.issn1000-7024.2020.07.011 Cross-depth convolutional feature enhancement algorithm for object detection PAN X G ， SHI J P ， LUO P ， et al . Spatial as deep： spatial CNN for traffic scene understanding ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2018 ， 32 （ 1 ）. doi: 10.1609/aaai.v32i1.12301 http://dx.doi.org/10.1609/aaai.v32i1.12301 Spatial as deep： spatial CNN for traffic scene understanding PIZZATI F ， GARCÍA F . Enhanced free space detection in multiple lanes based on single CNN with scene identification ［C］. 2019 IEEE Intelligent Vehicles Symposium （IV）. 912，2019 ， Paris， France. IEEE ， 2019 ： 2536 - 2541 . doi: 10.1109/ivs.2019.8814181 http://dx.doi.org/10.1109/ivs.2019.8814181 Enhanced free space detection in multiple lanes based on single CNN with scene identification 刘彬 ， 刘宏哲 . 基于改进Enet网络的车道线检测算法 ［J］. 计算机科学 ， 2020 ， 47 （ 4 ）： 142 - 149 . doi: 10.11896/jsjkx.190500021 http://dx.doi.org/10.11896/jsjkx.190500021 基于改进Enet网络的车道线检测算法 LIU B ， LIU H ZH . Lane detection algorithm based on improved enet network ［J］. Computer Science ， 2020 ， 47 （ 4 ）： 142 - 149 . （in Chinese） . doi: 10.11896/jsjkx.190500021 http://dx.doi.org/10.11896/jsjkx.190500021 Lane detection algorithm based on improved enet network HOU Q B ， ZHANG L ， CHENG M M ， et al . Strip pooling： rethinking spatial pooling for scene parsing ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 4002 - 4011 . doi: 10.1109/cvpr42600.2020.00406 http://dx.doi.org/10.1109/cvpr42600.2020.00406 Strip pooling： rethinking spatial pooling for scene parsing NEVEN D ， DE BRABANDERE B ， GEORGOULIS S ， et al . Towards end-to-end lane detection： an instance segmentation approach ［C］. 2018 IEEE Intelligent Vehicles Symposium （IV）. 2630，2018 ， Changshu， China. IEEE ， 2018 ： 286 - 291 . doi: 10.1109/ivs.2018.8500547 http://dx.doi.org/10.1109/ivs.2018.8500547 Towards end-to-end lane detection： an instance segmentation approach SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［J］. CoRR ， 2014 ， abs/1409. 1556 . Very deep convolutional networks for large-scale image recognition BOLYA D ， ZHOU C ， XIAO F Y ， et al . YOLACT： real-time instance segmentation ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 272，2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 9156 - 9165 . doi: 10.1109/iccv.2019.00925 http://dx.doi.org/10.1109/iccv.2019.00925 YOLACT： real-time instance segmentation CHEN H ， SUN K Y ， TIAN Z ， et al . BlendMask： top-down meets bottom-up for instance segmentation ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 8570 - 8578 . doi: 10.1109/cvpr42600.2020.00860 http://dx.doi.org/10.1109/cvpr42600.2020.00860 BlendMask： top-down meets bottom-up for instance segmentation 10.37188/OPE.20233109.1357 U491.6 A 1004-924X（2023）09-1357-09 石金鹏,张旭.基于空间语义分割的多车道线检测跟踪网络[J].光学精密工程,2023,31(09):1357-1365. 石金鹏,张旭.基于空间语义分割的多车道线检测跟踪网络[J].光学精密工程,2023,31(09):1357-1365. SHI Jinpeng,ZHANG Xu.Multi-lane line detection and tracking network based on spatial semantics segmentation[J].Optics and Precision Engineering,2023,31(09):1357-1365. SHI Jinpeng,ZHANG Xu.Multi-lane line detection and tracking network based on spatial semantics segmentation[J].Optics and Precision Engineering,2023,31(09):1357-1365. 国家科学基金资助项目（No.62101314） 2022-07-13 2022-08-30 2023-05-10 2023-05-15 37008317 光学精密工程 9 31