基于改进Mask R-CNN+LaneNet的车载图像车辆压线检测

基于改进Mask R-CNN+LaneNet的车载图像车辆压线检测 Vehicle pressure line detection based on improved Mask R-CNN + LaneNet 1 2 first-author 孙建波（1995-），男，吉林舒兰人，硕士研究生，2018年于长春工业大学获得学士学位，主要从事计算机视觉、深度学习图像处理方面的研究。E-mail： sunni18804305818@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837710&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837740&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837738&type= 22.01332855 32.00400543 孙建波 （1995-），男，吉林舒兰人，硕士研究生，2018年于长春工业大学获得学士学位，主要从事计算机视觉、深度学习图像处理方面的研究。E-mail： sunni18804305818@163.com sunni18804305818@163.com 1 corresp E-mail： yolanda@spirits.ai E-mail： yolanda@spirits.ai 张　叶（1981-），女，吉林长春人，研究员，博士生导师，主要从事计算机视觉、模式识别算法方面的研究。E-mail：yolanda@spirits.ai http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837744&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837747&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837759&type= 22.01332855 32.00399780 张　叶 （1981-），女，吉林长春人，研究员，博士生导师，主要从事计算机视觉、模式识别算法方面的研究。E-mail： yolanda@spirits.ai yolanda@spirits.ai 1 中国科学院 长春光学精密机械与物理研究所 应用光学国家重点实验室， 吉林 长春130033 中国科学院 长春光学精密机械与物理研究所 应用光学国家重点实验室， 吉林 长春130033 State Key Laboratory of Applied Optics， Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， Changchun 130033， China State Key Laboratory of Applied Optics， Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， Changchun 130033， China 中国科学院大学，北京 100049 中国科学院大学，北京 100049 University of Chinese Academy of Sciences， Beijing 100049， China University of Chinese Academy of Sciences， Beijing 100049， China 针对辅助驾驶或自动驾驶领域车载图像的车辆压线检测问题，以及检测过程中由于欠曝、阴影或实体遮挡等因素导致的漏检、误检问题，提出基于改进Mask R-CNN与LaneNet的车辆压线检测算法。在网络优化方面，在Mask R-CNN网络的基础上将RoI Align层的图像缩放算法（双线性插值）改进为双三次插值，将全连接层卷积化的VGG16网络取代LaneNet的E-Net共享解码器；在图像增强方面，改进Gamma校正算法以实现欠曝图像的自动校正；在训练数据方面，完成Tusimple数据集中车辆目标的标注并基于改进的随机擦除算法在网络训练过程中进行数据增强。实验结果表明：车辆检测速度保持不变的同时车道线检测速度提升了28%，车辆漏检率、误检率分别降低了38.93%，89.04%，车道线漏检率、误检率分别降低了67.21%，87.05%，算法的性能指标可满足车辆压线判断的应用需求。 To address the problem of vehicle pressure line detection of on-board images in the field of assisted or automatic driving， as well as the problem of missed and false detection caused by underexposure， shadow， or solid occlusion in the detection process， a vehicle pressure line detection algorithm based on improved Mask R-CNN and LaneNet was proposed. In terms of network optimization， based on the Mask R-CNN network， the image scaling algorithm （bilinear interpolation） of the ROI alignment layer was improved to bicubic interpolation， and the convoluted VGG16 network of a full connection layer was replaced by LaneNet's E-Net shared decoder. For image enhancement， the Gamma correction algorithm was improved to realize the automatic correction of underexposed images. In terms of training data， the vehicle target in the Tusimple data set was marked， and the data were enhanced in the network training process， based on the improved random erasing algorithm. The experimental results show that while the vehicle detection speed remains unchanged， the lane line detection speed is increased by 28%， and the vehicle missed and false detection rate are reduced by 38.93% and 89.04%， respectively. Further， the lane line missed and false detection rate are reduced by 67.21% and 87.05%， respectively. The achieved performance index can meet the requirements of vehicle line pressing judgement method. 图像校正 实例分割 车道线检测 数据增强 压线检测 image correction instance segmentation lane line detection data enhancement line pressing detection 1 引　言 1 车辆压线检测是指对车辆在行驶过程中轧越实线（白色实线、单黄实线、双黄实线、黄色虚实线）通行的违章行为进行检测，因为车辆压线会占用同向车道或对向车道，造成拥堵、刮蹭甚至事故，危害公众的财产及生命安全 ［ 1 1 ］ ，因此，基于车载图像的车辆压线检测研究是辅助驾驶乃至自动驾驶技术中环境感知不可或缺的一部分，对于提高自动驾驶系统的可靠性和保障行车安全具有重要意义 ［ 2 2 ］ 。 在车载图像的车辆压线检测研究中，车道线的提取和车辆压线判断是关键。车道线检测是车辆压线判断的重要前提环节。其算法大体上分为：基于特征的算法、基于模型的算法和基于深度学习的算法。基于特征的车道线检测方法主要根据车道与周围环境的特征差异再结合其他方法提取车道线。常用的特征包括颜色 ［ 3 3 ］ 、灰度 ［ 4 4 ］ 、梯度 ［ 5 5 ］ 和边缘宽度 ［ 6 6 ］ 等，在根据特征识别出车道线的前提下结合Hough变换 ［ 7 7 ］ 、粒子滤波 ［ 8 8 ］ 或Kalman滤波 ［ 9 9 ］ 等进一步提取最终的车道线。这种传统的车道检测算法需要根据不同的街道场景人工手动调节滤波算子和参数，工作量大且鲁棒性较差，当行车环境出现明显变化时，易出现误检、漏检的问题，效果不佳，且对于车道特征的完整性依赖较大，适用性较差。 基于模型的车道线检测方法通过利用道路车道线的先验知识，建立合适的数学模型来描述真实的车道线。为提高对于弯曲车道线检测的适应性，文献［ 10 10 ］提出一种基于Hough变换的分段直线模型，以此检测拟合弯曲车道线，但此算法对于急弯道车道线的检测容易失效。为解决传统Hough变换方法在弯道工况下识别能力不足的问题，文献［ 11 11 ］提出了一种动态区域规划的双模型车道线检测算法，根据“微元”理论进行图像动态细化分区对各区域局部独立识别，利用直线和B样条曲线双模型完成车道线拟合。为解决实际交通场景中光照条件恶劣引起的车道线检测性能降低的问题，Yoo等 ［ 12 12 ］ 提出了一种基于梯度增强转换的具有光照鲁棒性的车道线检测算法。然而，这种检测方法在车道线间断或存在遮挡的场景下不能很好地工作，针对具体场景需要建立对应的成像模型，具有较大的局限性。总的来说，这类算法对于特定道路的车道线检测准确性较高，比基于特征的车道线检测算法的鲁棒性强，但是有较强的局限性，计算成本过大，不适应复杂的环境。 与传统算法相比，基于深度学习的车道线检测算法表现出更准确、鲁棒性更强的特性。起初的深度学习算法大部分基于分类器进行车道检测，文献［ 13 13 ］从图像感兴趣区域提取车道线的Haar特征并引入级联的车道线分类器，对车道线进行粗检测，然后借助线段检测器对粗检测结果进行车道线拟合。基于卷积神经网络（Convolutional Neural Network，CNN）的深度学习方法通过强大的表现学习能力将场景理解推向了一个新的水平，但对于具有长结构区域并且可以被遮挡的车道线，仍然表现不佳。针对这一问题，文献［ 14 14 ］提出了空间CNN（Spatial CNN， SCNN），SCNN将feature map的行或列视为层，并顺序地应用卷积、非线性激活和求和操作，形成了一个空间上的深度神经网络，因为空间信息可以通过层间传播来加强，在CNN不连续或杂乱的情况下，SCNN可以很好地保持车道标记的平滑性和连续性；但是其检测速度较慢（7.5 frame/s），实际适用性较差。文献［ 15 15 ］提出了一种自注意蒸馏模块，基于信息蒸馏解决大主干网络对速度的影响，可以聚合文本信息。该方法允许使用更轻量级的骨干，在保持实时效率的同时实现了高性能。类似YOLOv3或SSD的单阶段模型，文献［ 16 16 ］提出了基于锚点的车道检测注意机制，该机制表现SOTA达到了250 frame/s，但以上两种网络难以保证存在遮挡及光线条件恶劣场景下车道线的检测精度，应用场景受限。 现有的压线检测算法大部分基于卡口监控设备获取的固定区域图像进行检测判断。文献［ 17 17 ］根据压线重叠区域特征进行综合判断实现压线检测。文献［ 18 18 ］利用帧数统计判断当前图像的车道线边界状态，然后根据车道线的不同状态分别采用检测车前部的均匀灰度区域和检测车头复杂边界信息的方法，来实现车辆的越线检测。文献［ 19 19 ］针对道路中间的单双实黄线区域， 采用相邻两幅图像逐行平均灰度值进行比较的方法实现压线判断。不同于固定卡口图像的压线检测，基于车载图像的车辆压线检测算法可以应用于更加复杂多变的交通场景，但相关研究较少。文献［ 20 20 ］综合利用车道线的几何特征与图像特征，基于小波变换提取车道线区域，提出了一种基于图像掩蔽局部匹配的越线行为判定方法，但该方法易受到非车辆遮挡车道线的干扰，从而造成误判。文献［ 21 21 ］在提取车道线的基础上提出根据车载图像中左右车道线夹角来判断车辆压线的方法，此方法简单易实现，但只限于直线、无大面积遮挡的车道，测试得出的压线车道线的夹角范围对于多车道（三车道以上）路况并不适用。文献［ 22 22 ］利用GoogleNet-FCN语义分割网络来识别车道线和wheel-line线，根据车道线和wheel-line线的交点位置设置阈值判断是否压线，但此方法中最佳阈值的设定取决于不同的压线数据，需要根据不同场景对模型进行针对性训练，泛化能力差。 针对上述问题，本文提出基于改进的Mask R-CNN+LaneNet的车载图像车辆压线检测方法。采用双立方插值取代Mask R-CNN网络中感兴趣区域（Region of Interest， RoI）Align层的双线性插值算法，将特征候选框内的图像缩放为固定大小的RoI feature；改进随机擦除（Random Erasing， RE）算法进行训练数据的增强，强化网络对车辆更多局部特征的认知，提高Mask R-CNN对于环境的鲁棒性和检测准确度；将VGG16全连接层卷积化取代LaneNet网络的E-Net解码器，以减少参数计算量和内存消耗，提升车道线的检测速度；采用Gamma校正算法根据不同图像的灰度分布自动调节校正算子，以适当扩大图像中高灰度区域的动态范围并提升图像亮度，提高车载图像中车辆车道线的辨识度从而降低漏检率、误检率；最后，结合车辆分割与车道线拟合结果，提出基于简化的RoI图像提取wheel_line和车道拟合直线的方法判断车辆压线。 2 算法原理 1 2.1　算法总体流程 2 基于车载图像的车辆压线检测算法分为两个阶段实现，如 图1 图1 所示。在训练阶段，分别改进Mask R-CNN车辆检测网络和LaneNet车道线检测网络；为了应对实际交通场景下实体或阴影遮挡以及远景小目标带来的漏检问题，通过改进RE算法进行数据增强提升网络对于复杂环境的鲁棒性。在检测阶段，为解决欠曝光或光线不足等对车道线、车辆检测的干扰，改进Gamma算法校正图像， 并基于改进的Mask R-CNN，LaneNet网络训练生成的权重模型进行车道线、车辆的提取，最后完成车辆压线的判断。 2.2　Random Erasing数据增强 2 在实际交通场景中，车辆会存在阴影或实体遮挡的情况，而Mask R-CNN模型的实例分割建立在其目标检测分支获取预测框的基础上，所以本文参考RE数据增强算法 ［ 23 23 ］ ，在模型训练过程中，通过随机擦除目标车辆的局部特征模拟不同的遮挡效果，使模型在训练过程中仅通过局部特征识别车辆，强化模型对于车辆局部特征的辨识能力以提高车辆的查全率。 改进后的RE算法流程如 图2 图2 所示。首先对数据集中的车辆目标进行标注得到标签文件，由标签内容获得车辆在图像中的位置信息，遍历图片中的目标车辆以概率 P 在其真实框内创建矩形区域，并用图像三通道的平均像素值擦除区域内的像素，最终得到擦除后的图像。其中， S h ， S l 分别是需要随机擦除的矩形面积的上下阈值， r 1 是矩形长宽比 r 的阈值上限（ r 1 ∈（0，1）），（ x e ， y e ）是擦除区域左下角的坐标。经改进的RE算法处理后的增强图片如 图3 图3 所示。 2.3　基于改进Gamma算法的图像校正 2 为了提高欠曝光或阴影场景下车道线和车辆检测的查全率和准确率，图像预处理阶段加入改进的自适应Gamma校正算法 ［ 24 24 ］ 进行图像正则化处理，步骤如下： （1）将输入图像从RGB色彩空间转换到HSV空间记为图像I，并提取I的亮度分量 I V ； （2）利用双边滤波处理从图像亮度分量 I V 中提取出光照分量 I S ，得到（包含空域核和值域核）： <math display="block" id="M1"><msub><mrow><mi>I</mi></mrow><mrow><mi>S</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>m</mi><mi>n</mi></mrow></munder><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>V</mi></mrow></msub><mo stretchy="false">(</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo><mi>ω</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>,</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo></mrow></mrow><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>m</mi><mi>n</mi></mrow></munder><mrow><mi>ω</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>,</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837808&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837799&type= 52.32400131 14.73200035 . 由于双边滤波算法处理图像时考虑了空域信息和灰度相似性，可在尽可能保留车道线、车辆的边缘信息的同时抑制图像噪声，滤波核 ω 包括空域核和值域核，其数学描述如下： <math display="block" id="M2"><mi>ω</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>,</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><mfrac><mrow><msup><mrow><mfenced separators="|"><mrow><mi>i</mi><mo>-</mo><mi>m</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><mfenced separators="|"><mrow><mi>j</mi><mo>-</mo><mi>n</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mn mathvariant="normal">2</mn><msubsup><mrow><mi>σ</mi></mrow><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mfrac><mo>-</mo><mfrac><mrow><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>I</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>-</mo><mi>I</mi><mo stretchy="false">(</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mn mathvariant="normal">2</mn><msubsup><mrow><mi>σ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mfrac></mrow></mfenced><mo>,</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837821&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837810&type= 105.66400146 12.69999981 式中： <math id="M3"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837816&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837823&type= 10.41399956 4.82600021 ， <math id="M4"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">V</mi></mrow></msub><mo stretchy="false">(</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837830&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837829&type= 13.20800018 4.48733330 分别为坐标 <math id="M5"><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837838&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837848&type= 7.11199999 3.97933316 和 <math id="M6"><mo stretchy="false">(</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837855&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837840&type= 9.65200043 3.55599999 处的光照分量与亮度分量； <math id="M7"><msub><mrow><mi>σ</mi></mrow><mrow><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837859&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837856&type= 2.87866688 3.72533321 ， <math id="M8"><msub><mrow><mi>σ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837879&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837847&type= 2.53999996 3.72533321 分别为空间邻近高斯函数标准差和像素值相似度高斯函数标准差。 （3）改进后的Gamma校正算法根据每一像素的光照分量 <math id="M9"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837882&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837866&type= 10.41399956 4.82600021 自适应调整校正参数 γ ，如下： <math display="block" id="M10"><mi>γ</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><mfenced separators="|"><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></mfenced><mo>+</mo><mi>α</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><mi>α</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837888&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837886&type= 24.38400078 9.14400005 ， <math display="block" id="M11"><mi>α</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mi mathvariant="normal">*</mi><msub><mrow><mover accent="true"><mi>I</mi><mo>¯</mo></mover></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837896&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837892&type= 49.95333481 9.65200043 . 校正后的像素光照分量为： <math display="block" id="M12"><msup><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">255</mn><msup><mrow><mfenced open="[" close="]" separators="|"><mrow><mfrac><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">255</mn></mrow></mfrac></mrow></mfenced></mrow><mrow><mi>γ</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837900&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837898&type= 37.93066406 10.49866676 ， 式中： <math id="M13"><msub><mrow><mover accent="true"><mi>I</mi><mo>¯</mo></mover></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837904&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837908&type= 2.62466669 4.23333359 ， <math id="M14"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837914&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837906&type= 12.61533356 4.82600021 ， <math id="M15"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837907&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837918&type= 12.27666664 4.82600021 为校正前图像的平均光照分量、最小光照分量及最大光照分量。 1;2; 2.4　基于改进Mask R-CNN的车辆检测 2 Mask R-CNN ［ 25 25 ］ 的整体框架如 图5 图5 所示。主干特征提取网络Resnet101（结构见 图6 图6 ）提取输入图片不同阶段输出的有效特征图；由于有效特征层的高层特征语义较强，但位置和分辨率较低，不利于小物体的检测，底层特征反之，特征金字塔网络（Feature Pyramid Network， FPN） ［ 26 26 ］ 可以实现底层到高层有效特征的多尺度融合；融合后的多尺度特征经区域建议网络（RPN） ［ 27 27 ］ 得到候选框（RoI）；RoIAlign层通过双线性插值将生成的不同尺寸RoI进行区域匹配，即特征图和固定的RoI特征图的像素对应，原图和特征图的像素对应，从而将RoI映射为两种固定尺寸（7×7×256，14×14×256）的RoI特征。 如 图7 图7 所示，目标检测分支利用一次通道数为1 024，大小为7×7的卷积和一次通道数为1 024，大小为1×1的卷积模拟两次1 024的全连接，对RoIAlign获得的7×7×256的RoI特征进行卷积，然后再分别全连接到类别总数（num_classes）和4倍的类别总数（num_classes×4）上（分别代表建议框内的物体、预测框的4个调整参数），实现目标的分类预测和回归预测；实例分割分支首先对7×7×256的RoI特征进行4次3×3的256通道的卷积，再进行一次反卷积提升分辨率、一次通道数为类别总数（num_classes）的卷积，最终输出28×28×num_classes的掩膜板，实现像素级实例分割。 2 . 4 . 1　RoI Align层算法改进 3 为了从RPN网络确定的不同尺寸的候选框中导出固定大小的RoI特征图，Mask R-CNN模型在RoI Align层采用双线性插值来解决Faster R-CNN模型采用的RoI Pooling操作中两次量化（特征图与原图对应像素的坐标取整，RoI特征图与特征图对应像素的坐标取整）造成的原图与RoI特征图中的像素区域不匹配问题。但双线性插值算法未考虑各相邻像素点点间灰度值变化率的影响，而各邻点间灰度值的斜率不连续会造成缩放后图像的高频分量受到损失，细节信息退化，RoI Align层输出的RoI特征图中的边缘信息较为模糊，进一步影响车辆分割精度和后续的车辆压线判断。 双立方（三次卷积）插值（Bicubic Interpolation，BI） ［ 28 28 ］ 不仅考虑到待插值点周围4个直接相邻像素点灰度值的影响，还兼顾了各相邻点间灰度值变化率的影响，所以利用插值点周围4×4邻域像素的灰度值进行插值，缩放后的图像边缘更为平滑，像质损失更少。故本文采用BI替代双线性插值，提高RoI Align层输出的RoI特征图的边缘质量，以提高车辆检测的精度和车辆的实例分割效果。 根据连续信号采样定理可知，对采样值用理论上最佳插值函数 <math id="M16"><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><mi mathvariant="normal">π</mi><mi>x</mi><mo>/</mo><mi mathvariant="normal">π</mi><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837978&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837976&type= 14.73200035 3.30200005 进行插值，当采样频率不低于信号频谱最高频率的两倍时可以准确恢复原信号。BI核函数 <math id="M17"><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><mi mathvariant="normal">π</mi><mi>x</mi><mo>/</mo><mi mathvariant="normal">π</mi><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837990&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837987&type= 14.73200035 3.30200005 采用的三次近似多项式如下： <math display="block" id="M18"><mtable><mtr><mtd><mi>R</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mo stretchy="false">(</mo><mi>α</mi><mo>+</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>-</mo><mo stretchy="false">(</mo><mi>α</mi><mo>+</mo><mn mathvariant="normal">3</mn><mo stretchy="false">)</mo><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mn mathvariant="normal">1,0</mn><mo>≤</mo><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced><mo><</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mi>α</mi><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo>-</mo><mn mathvariant="normal">5</mn><mi>α</mi><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><mn mathvariant="normal">8</mn><mi>α</mi><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced><mo>-</mo><mn mathvariant="normal">4</mn><mi>α</mi><mo>,</mo><mn mathvariant="normal">1</mn><mo>≤</mo><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced><mo><</mo><mn mathvariant="normal">2</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">0,2</mn><mo>≤</mo><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced></mtd></mtr></mtable></mrow></mfenced></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837998&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837981&type= 70.27333069 23.11400032 . 参数 α 的取值为 - 1， - 0.5，0.25，0.75等。卷积过程的矩阵乘积表示如下： <math display="block" id="M19"><mi mathvariant="bold-italic">f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mi>u</mi><mo>,</mo><mi>j</mi><mo>+</mo><mi>v</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="bold-italic">A</mi><mi mathvariant="bold-italic">B</mi><mi mathvariant="bold-italic">C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838004&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26837996&type= 35.30599976 3.97933316 ， 其中： <math display="block" id="M20"><mi mathvariant="bold-italic">A</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mi>h</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>+</mo><mi>u</mi><mo stretchy="false">)</mo><mo>,</mo><mi>h</mi><mo stretchy="false">(</mo><mi>u</mi><mo stretchy="false">)</mo><mo>,</mo><mi>h</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>u</mi><mo stretchy="false">)</mo><mo>,</mo><mi>h</mi><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo>-</mo><mi>u</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838009&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838013&type= 66.54799652 4.57200003 ， <math display="block" id="M21"><mi mathvariant="bold-italic">B</mi><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo>+</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>+</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>j</mi><mo>+</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mn mathvariant="normal">2</mn><mo>,</mo><mi>j</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mn mathvariant="normal">2</mn><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mn mathvariant="normal">2</mn><mo>,</mo><mi>j</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mtd><mtd><mi>f</mi><mo stretchy="false">(</mo><mi>i</mi><mo>+</mo><mn mathvariant="normal">2</mn><mo>,</mo><mi>j</mi><mo>+</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838019&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838016&type= 105.57933807 23.11400032 ， <math display="block" id="M22"><mi mathvariant="bold-italic">C</mi><mo>=</mo><msup><mrow><mfenced open="[" close="]" separators="|"><mrow><mi>h</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>+</mo><mi>v</mi><mo stretchy="false">)</mo><mo>,</mo><mi>h</mi><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo><mo>,</mo><mi>h</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>v</mi><mo stretchy="false">)</mo><mo>,</mo><mi>h</mi><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo>-</mo><mi>v</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838022&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838012&type= 68.24134064 5.33400011 ， 其中：（ i ， j ）表示待求的插值像素邻域中某个像素位置， f （ i ， j ）为对应的灰度值，（ u ， v ）表示待插值点相对（ i ， j ）的位移，即待插值点位置表示为（ i + u ， j + v ）， f （ i + u ， j + v ）为待插点的灰度值， h （ x ）为插值核函数： <math display="block" id="M23"><mi>h</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mn mathvariant="normal">1</mn><mo>-</mo><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced><mo>,</mo><mn mathvariant="normal">0</mn><mo>≤</mo><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced><mo><</mo><mn mathvariant="normal">1</mn></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mfenced open="|" close="|" separators="|"><mrow><mi>x</mi></mrow></mfenced><mo>></mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838026&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838031&type= 45.12733078 10.58333302 . 以上插值过程可以用 图8 图8 表示，实心圆点表示已知原图像像素，虚线圆点是求出的中间插值点，网格圆点为待求的插值像素。 2.5　基于改进LaneNet的车道线检测 2 本文通过改进LaneNet ［ 29 29 ］ 网络的编码器解码器结构实现车道线检测，网络架构如 图9 图9 所示。图像经过编码器提取到的共享特征分别流入到两个解码器来恢复细节和空间尺度，其中二值分割分支根据交叉熵损失函数生成车道线与背景的二值图像，像素嵌入分支基于聚类的判别损失函数得到区分不同车道线的特征图，对特征图做聚类得到车道线的数量和像素所属的车道线id，结合两分支结果实现车道线的实例分割。神经网络H-Net根据原图片训练出预测变换矩阵 H ，并利用转换矩阵对同属一条车道线的所有像素点进行重新建模，完成车道线的拟合。 为进一步提升车道检测速度，本文采用改进的VGG16代替原网络中的共享解码器E-Net。VGG16的网络复杂度远少于E-Net，广泛应用于图像分割的特征提取上，将VGG16网络的最后3个全连接层改为卷积层，最后一卷积层中卷积核数量由4 096减少到1 024，以降低参数的计算量和内存消耗；同时编码网络全部采用3×3小卷积核和2×2的最大池化层，相比于大卷积核（5×5或7×7），不仅获得相同的感受野且进一步减少了参数量，达到了更好的特征提取能力，改进的VGG16编码器结构如 表1 表1 所示。 Block Layers Channels Filters size/stride Dilation rate Input - 3 - - Conv1 2 64 3×3 1 Maxpool1 1 - 2×2/2 - Conv2 2 128 3×3 1 Maxpool2 1 - 2×2/2 - Conv3 3 256 3×3 1 Maxpool3 1 - 2×2/2 - Conv4 3 512 3×3 1 Maxpool4 1 - 2×2 - 2.6　车辆压线判断 2 如何利用二维空间的车载图像对压线车辆进行检测是本文的关键。本文在改进的Mask R-CNN和LaneNet提取出车载图像中车辆和车道线的基础上完成车辆压线的判断，具体步骤如下： （1）考虑到车载摄像头与目标车辆距离较近，并且车道线的拟合准确度在远景处较差，存在相交现象会干扰压线的判断，故对检测完的图像（10（a））截取RoI区域（ 图10 图10 （b）），其宽度保持不变，高度取为图像底部与拟合的车道线交汇点的距离； （2）采用零值像素遮滤掉所有未检测到的图像信息，只保留检测到的与车道线和车辆轮廓相关的特征，得到简化后的RoI图，如 图10 图10 （c）所示； （3）根据实例分割结果提取车辆轮廓的点集合，筛选出高度方向上坐标数值最小的两点即为车辆后车轮与地面相切线段wheel_line的两端点，并采用改进的概率 Hough ［ 30 30 ］ 变换对RoI内每条车道线上的点进行直线拟合，如 图10 图10 （d）所示； （4）分析简化后RoI图中车辆的wheel_line与所有车道拟合线的位置关系，若相交则判断为压线违规。 3 实　验 1 3.1　数据集及实验环境配置 2 实验数据集采用自动驾驶研究中针对结构化道路的高速公路场景Tusimple 数据集 ［ 31 31 ］ ， 在此基础上使用Labelme标注工具增加车辆目标的标注并基于原始图片做欠曝处理丰富数据集图片包含的场景。数据集样本共包含3 626张训练图像和2 782张测试图像，分辨率为1 280×720，训练集的80%图像用作训练，20%用作验证。实验的软件以及硬件配置如 表2 表2 所示。 类　别 名　称 型号与参数 3 硬件 中央处理器 Intel（R）Core（TM）i7-10875H CPU@2.30GHz 内存 RAM 32G 图像处理器 NVIDIA GeForce RTX 2080Ti（11G） 4 软件 操作系统 Ubuntu 18.04 深度学习框架 Pytorch-cuda 1.7.0 开发语言 Python 3.6.6 环境管理 Anaconda 3.6.5 3.2　实验结果 2 实验首先基于数据集MS COCO ［ 32 32 ］ 对改进后的Mask R-CNN网络进行预训练，预训练最大迭代次数设置为3 000，初始学习率设置为0.001。为了防止训练陷入局部最优，在迭代2 000次后将学习率调整为0.000 1完成预训练，并选取损失最小的最优权重对网络参数进行初始化；然后在Tusimple训练集上采用批处理的随机梯度下降法重新训练网络，学习率调整为0.000 01，训练轮数设为50，批处理数据量（batch size）设置为4，最终损失函数值在4.6附近小幅波动不再下降，说明模型收敛，完成Mask R-CNN网络的训练。同时，利用Tusimple训练集对改进后的LaneNet网络进行训练，训练轮数设置为12 000，batch size为4，训练权值衰减采用L2归一化，并采用Adam优化器优化训练效率，训练完成后保存损失最小的权重文件用于测试。 然后，分别利用原始网络和改进后的网络在相同的Tusimple测试集中进行检测，采用目标检测中常用的误检率（FP）、漏检率（FN）和每秒传输帧数（FPS）作为Mask R-CNN网络车辆检测以及LaneNet网络车道线检测的性能评价指标。计算公式如下： <math display="block" id="M24"><mi>F</mi><mi>P</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838075&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838072&type= 17.01799965 8.80533314 ， <math display="block" id="M25"><mi>F</mi><mi>N</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838089&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838077&type= 17.94933319 8.80533314 ， 式中： <math id="M26"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838083&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838090&type= 6.18066692 3.72533321 为误判为车道线或车辆的数目， <math id="M27"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838104&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838086&type= 6.51933336 3.80999994 为检测到的车道线或车辆总数， <math id="M28"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838108&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838106&type= 7.11199999 3.72533321 为未检测到的车道线或车辆数目， <math id="M29"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838093&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=26838111&type= 4.65666676 3.80999994 为值标签中的车道线或车辆数量。改进前后两种网络的检测性能比较如 表3 表3 所示，可见改进后的网络在误检率和漏检率上均大幅下降，车辆漏检率、误检率分别降低了38.93%，89.04%，车道线漏检率、误检率分别降低了67.21%，87.05%，车辆检测速度保持不变，车道线检测速度提升了28%。相比于现有的实例分割主流算法（BlendMask ［ 33 33 ］ 和YOLACT ［ 34 34 ］ ），本文提出的算法在检测精度上性能更优；相比于现有的车道线检测算法（PINet ［ 35 35 ］ 和Line CNN ［ 36 36 ］ ），本文算法在检测精度和速度上均具有优势。 Algorithm Accuracy/% FP FN FPS Mask R-CNN ［ 25 25 ］ 94.85 0.042 3 0.084 0 5.46 BlendMask ［ 33 33 ］ 94.61 0.037 5 0.072 0 25 YOLACT ［ 34 34 ］ 95.36 0.032 7 0.068 9 33 Ours（for vehicle） 96.57 0.009 0 0.051 3 5.46 LaneNet ［ 29 29 ］ 96.38 0.078 0 0.024 4 50 Line CNN ［ 36 36 ］ 96.87 0.044 2 0.019 7 30 PINet ［ 35 35 ］ 96.70 0.029 4 0.026 3 30 Ours（for lane） 97.64 0.010 1 0.008 0 64 类激活图（Class Activation Map，CAM）是指网络对输入图像生成的类激活的热力图，是与特定输出类别相关的二维特征分数网络。网格每个位置的颜色信息表示对该类别判断依据的重要程度 ［ 37 37 ］ （由蓝到红重要程度递减），可以显示模型更侧重于根据哪一部分特征进行类别和目标判别。为验证改进后的RE算法对于Mask R-CNN网络识别车辆特征能力的提升，如 图11 图11 所示，获取有无增强数据训练的网络在不同场景下车辆检测输出的3种网格尺度（13×13，26×26，52×52）的类激活图，为避免干扰，不对输入图片进行Gamma校正预处理。网格尺度小的类激活图反映了网络对于远处目标车辆特征的识别情况，通过对比 图11 图11 （a2）与 图11 图11 （a5）及 图11 图11 （a3）与 图11 图11 （a6），可以看出 图11 图11 （a5）、 图11 图11 （a6）中远处更多的车辆特征被捕捉到，说明采用增强数据训练后的模型对于小目标车辆的检测准确度有所提升。原始网络对于车体存在大面积遮挡的车辆存在无法识别的问题（如 图11 图11 （b2）与 图11 图11 （b3）左车道存在的两处被遮挡车辆），改进后的网络增强了车辆局部特征的识别能力，体现在 图11 图11 （b5）、 图11 图11 （b6）中，被遮挡车辆的局部特征被激活为其他颜色。阴影遮挡限制了网络对车辆特征的识别（ 图11 图11 （c1）~11（c3）阴影下的车辆特征未被激活），通过数据增强网络，阴影环境的鲁棒性明显提升，如 图11 图11 （c4）~11（c6）阴影下的车辆特征均被捕捉到。 如 图12 图12 所示，在道路场景1，2中原始网络（Baseline）均存在车辆误检的问题，场景2，3，4中均存在车辆漏检的现象。改进后的网络不仅改善了车辆的误检问题，而且对于欠曝图片中辨识度不高或远景的车辆的检测精度有所提升，场景2，3，4中原始网络漏检的车辆均被改进后的网络召回并检测到。在对4个场景中远景小车辆目标和处于阴影中车辆的检测上，BlendMask与YOLACT算法都存在不同程度的漏检，本文算法表现出更高的检测精度，而且在场景2，3中，改进后的网络对于车辆边缘的分割效果要优于前两种网络。此外，通过在场景2，4中对比网络改进前后车道线的检测效果，改进后的网络对于车体或阴影遮挡、欠曝、弯曲的车道检测方面鲁棒性有所提升。 图13 图13 进一步对比了本算法与其他主流算法的车道线检测效果。 如 图13 图13 所示，5个场景中的车道线存在欠曝、阴影遮挡和不同程度的缺损，导致原网络存在不同程度的漏检甚至完全检测不到（如场景3），Line CNN存在漏检（如场景1，2，3）和单车道不完全拟合（如场景4，5），PINet存在漏检（如场景1，2，3）、单车道拟合不完全（如场景2，3，5）和误检（如场景4）。本文基于LaneNet改进后的车道线检测算法一方面降低了漏检率和误检率，另一方面，完整的拟合效果为车辆压线判断提供了更加准确可行的前提条件。 4 结　论 1 本文以Mask R-CNN实例分割算法和LaneNet车道线检测算法为基础，实现了车载图像的车压线检测。通过改进RE算法扩展增强Tusimple数据集并训练Mask R-CNN网络，提升了网络对于阴影或实体遮挡的鲁棒性，改善了原模型在小目标车辆检测上存在的漏检问题；Gamma校正算法根据车载图像的灰度分布自动调整算子，从而扩大中高灰度区域的动态范围、提升欠曝区域的亮度，改善了欠曝图像中车辆及车道线的辨识度，进一步解决了车道线与车辆的漏检误检问题，使得最终车辆的漏检率、误检率分别下降了38.93%，89.04%，车道线的漏检率和误检率分别下降了67.21%，87.05%；采用双立方插值算法改进Mask R-CNN网络中RoIAlign层的双线性插值算法对候选框内的图像信息进行缩放，提高了RoI Align层输出的RoI特征图的边缘质量；将LaneNet的解码器E-Net替换为全连接层卷积化的VGG16，减少了参数计算量和内存消耗的同时车道线检测速度提升了28%，可以满足实时检测的需求；在保证车辆与车道线的检测效率的同时，对车载图像RoI区域进行简化处理，在此基础上提取车辆后轮的wheel_line线段，通过其与车道拟合直线相交点的个数判断有无车辆压线违规，该方法具有一定的可行性。 参考文献 周跃琪 . 基于卷积神经网络YOLO的车辆压实线检测方法研究 ［D］. 杭州 ： 浙江科技学院 ， 2020 . 基于卷积神经网络YOLO的车辆压实线检测方法研究 ZHOU Y Q . Research on Vehicle Compaction Line Detection Method Based on Convolutional Neural Network YOLO ［D］. Hangzhou ： Zhejiang University of Science & Technology ， 2020 . （in Chinese） Research on Vehicle Compaction Line Detection Method Based on Convolutional Neural Network YOLO 陈正斌 ， 叶东毅 . 带语义分割的轻量化车道线检测算法 ［J］. 小型微型计算机系统 ， 2021 ， 42 （ 9 ）： 1877 - 1883 . doi: 10.3969/j.issn.1000-1220.2021.09.014 http://dx.doi.org/10.3969/j.issn.1000-1220.2021.09.014 带语义分割的轻量化车道线检测算法 CHEN ZH B ， YE D Y . Lightweight lane detection algorithm with semantic segmentation ［J］. Journal of Chinese Computer Systems ， 2021 ， 42 （ 9 ）： 1877 - 1883 . （in Chinese） . doi: 10.3969/j.issn.1000-1220.2021.09.014 http://dx.doi.org/10.3969/j.issn.1000-1220.2021.09.014 Lightweight lane detection algorithm with semantic segmentation CHIU K Y ， LIN S F . Lane detection using color-based segmentation ［C］. IEEE Proceedings. Intelligent Vehicles Symposium ， 2005 . 68，2005 ， Las Vegas， NV， USA. IEEE ， 2005： 706 - 711 . doi: 10.1109/ivs.2005.1505186 http://dx.doi.org/10.1109/ivs.2005.1505186 Lane detection using color-based segmentation 吴骅跃 ， 赵祥模 . 基于IPM和边缘图像过滤的多干扰车道线检测 ［J］. 中国公路学报 ， 2020 ， 33 （ 5 ）： 153 - 164 . doi: 10.3969/j.issn.1001-7372.2020.05.014 http://dx.doi.org/10.3969/j.issn.1001-7372.2020.05.014 基于IPM和边缘图像过滤的多干扰车道线检测 WU H Y ， ZHAO X M . Multi-interference lane recognition based on IPM and edge image filtering ［J］. China Journal of Highway and Transport ， 2020 ， 33 （ 5 ）： 153 - 164 . （in Chinese） . doi: 10.3969/j.issn.1001-7372.2020.05.014 http://dx.doi.org/10.3969/j.issn.1001-7372.2020.05.014 Multi-interference lane recognition based on IPM and edge image filtering LOOSE H ， FRANKE U ， STILLER C . Kalman Particle Filter for lane recognition on rural roads ［C］. 2009 IEEE Intelligent Vehicles Symposium . 35，2009 ， Xi'an， China . IEEE ， 2009 ： 60 - 65 . doi: 10.1109/ivs.2009.5164253 http://dx.doi.org/10.1109/ivs.2009.5164253 Kalman Particle Filter for lane recognition on rural roads TENG Z ， KIM J H ， KANG D J . Real-time lane detection by using multiple cues ［C］. ICCAS 2010 . 2730，2010 ， Gyeonggi-do， Korea （South）. IEEE ， 2010： 2334 - 2337 . doi: 10.1109/iccas.2010.5669923 http://dx.doi.org/10.1109/iccas.2010.5669923 Real-time lane detection by using multiple cues WANG J Y ， DUAN J M . Lane detection algorithm using vanishing point ［C］. 2013 International Conference on Machine Learning and Cybernetics . 1417，2013 ， Tianjin . IEEE ， 2013 ： 735 - 740 . doi: 10.1109/icmlc.2013.6890384 http://dx.doi.org/10.1109/icmlc.2013.6890384 Lane detection algorithm using vanishing point DANESCU R ， NEDEVSCHI S . Probabilistic lane tracking in difficult road scenarios using stereovision ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2009 ， 10 （ 2 ）： 272 - 282 . doi: 10.1109/tits.2009.2018328 http://dx.doi.org/10.1109/tits.2009.2018328 Probabilistic lane tracking in difficult road scenarios using stereovision KIM Z . Robust lane detection and tracking in challenging scenarios ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2008 ， 9 （ 1 ）： 16 - 26 . doi: 10.1109/tits.2007.908582 http://dx.doi.org/10.1109/tits.2007.908582 Robust lane detection and tracking in challenging scenarios 初雪梅 ， 王珂娜 ， 张维刚 . 基于分段直线模型的弯道识别算法的研究 ［J］. 汽车工程 ， 2012 ， 34 （ 12 ）： 1141 - 1144， 1149 . doi: 10.3969/j.issn.1000-680X.2012.12.016 http://dx.doi.org/10.3969/j.issn.1000-680X.2012.12.016 基于分段直线模型的弯道识别算法的研究 CHU X M ， WANG K N ， ZHANG W G . A study on a recognition algorithm of curved lane based on piecewise straightline model ［J］. Automotive Engineering ， 2012 ， 34 （ 12 ）： 1141 - 1144， 1149 . （in Chinese） . doi: 10.3969/j.issn.1000-680X.2012.12.016 http://dx.doi.org/10.3969/j.issn.1000-680X.2012.12.016 A study on a recognition algorithm of curved lane based on piecewise straightline model 王宝锋 ， 齐志权 ， 马国成 ， 等 . 基于动态区域规划的双模型车道线识别方法 ［J］. 北京理工大学学报 ， 2014 ， 34 （ 5 ）： 485 - 489 . 基于动态区域规划的双模型车道线识别方法 WANG B F ， QI ZH Q ， MA G CH ， et al . Lane detection system based on region dynamically planning and dual model fitting ［J］. Transactions of Beijing Institute of Technology ， 2014 ， 34 （ 5 ）： 485 - 489 . （in Chinese） Lane detection system based on region dynamically planning and dual model fitting YOO H ， YANG U ， SOHN K . Gradient-enhancing conversion for illumination-robust lane detection ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2013 ， 14 （ 3 ）： 1083 - 1094 . doi: 10.1109/tits.2013.2252427 http://dx.doi.org/10.1109/tits.2013.2252427 Gradient-enhancing conversion for illumination-robust lane detection 周宏宇 ， 宋旭 ， 刘国英 . Haar特征耦合级联分类器的车道线检测算法 ［J］. 计算机工程与设计 ， 2020 ， 41 （ 6 ）： 1719 - 1724 . doi: 10.1109/ipec51340.2021.9421278 http://dx.doi.org/10.1109/ipec51340.2021.9421278 Haar特征耦合级联分类器的车道线检测算法 ZHOU H Y ， SONG X ， LIU G Y . Lane detection algorithm based on Haar feature based coupled cascade classifer ［J］. Computer Engineering and Design ， 2020 ， 41 （ 6 ）： 1719 - 1724 . （in Chinese） . doi: 10.1109/ipec51340.2021.9421278 http://dx.doi.org/10.1109/ipec51340.2021.9421278 Lane detection algorithm based on Haar feature based coupled cascade classifer PAN X G ， SHI J P ， LUO P ， et al . Spatial as deep： spatial CNN for traffic scene understanding ［EB/OL］. https：//arxiv.org/abs/1712.06080 https://arxiv.org/abs/1712.06080 Spatial as deep： spatial CNN for traffic scene understanding HOU Y N ， MA Z ， LIU C X ， et al . Learning lightweight lane detection CNNs by self attention distillation ［J］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV） ， 2019 ： 1013 - 1021 . doi: 10.1109/iccv.2019.00110 http://dx.doi.org/10.1109/iccv.2019.00110 Learning lightweight lane detection CNNs by self attention distillation TABELINI L ， BERRIEL R ， PAIXÃO T M ， et al . Keep your eyes on the lane： real-time attention-guided lane detection ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 294 - 302 . doi: 10.1109/cvpr46437.2021.00036 http://dx.doi.org/10.1109/cvpr46437.2021.00036 Keep your eyes on the lane： real-time attention-guided lane detection 胡鹏 . 基于机器视觉的交通压线判别方法研究 ［D］. 西安 ： 西安科技大学 ， 2017 . 基于机器视觉的交通压线判别方法研究 HU P . Research on Vehicle Line Pressing Judgment Method Based on Machine Vision ［D］. Xi'an ： Xi'an University of Science and Technology ， 2017 . （in Chinese） Research on Vehicle Line Pressing Judgment Method Based on Machine Vision 洪琦 ， 沙新华 . 基于视频的车辆违章越线行为检测方法研究 ［J］. 深圳信息职业技术学院学报 ， 2005 ， 3 （ 3 ）： 12 - 16 . doi: 10.3969/j.issn.1672-6332.2005.03.003 http://dx.doi.org/10.3969/j.issn.1672-6332.2005.03.003 基于视频的车辆违章越线行为检测方法研究 HONG Q ， SHA X H . A study of a video-based method for detecting vehicles' transgressing-lane behavior ［J］. Journal of Shenzhen Institute of Information Technology ， 2005 ， 3 （ 3 ）： 12 - 16 . （in Chinese） . doi: 10.3969/j.issn.1672-6332.2005.03.003 http://dx.doi.org/10.3969/j.issn.1672-6332.2005.03.003 A study of a video-based method for detecting vehicles' transgressing-lane behavior 陆蔚 . 一种快速检测违规压双黄线的算法 ［J］. 福建电脑 ， 2009 ， 25 （ 10 ）： 87 ， 107 . doi: 10.3969/j.issn.1673-2782.2009.10.059 http://dx.doi.org/10.3969/j.issn.1673-2782.2009.10.059 一种快速检测违规压双黄线的算法 LU W . A fast algorithm for detecting illegal double yellow lines ［J］. Fujian Computer ， 2009 ， 25 （ 10 ）： 87 ， 107 . （in Chinese） . doi: 10.3969/j.issn.1673-2782.2009.10.059 http://dx.doi.org/10.3969/j.issn.1673-2782.2009.10.059 A fast algorithm for detecting illegal double yellow lines 唐静 . 基于车载视频的前方车辆越线违章行为监测技术研究 ［D］. 大连 ： 大连海事大学 ， 2018 . 基于车载视频的前方车辆越线违章行为监测技术研究 TANG J . Research on Monitoring Technology of Crossing Violation of Vehicle in Front of Vehicle Video ［D］. Dalian ： Dalian Maritime University ， 2018 . （in Chinese） Research on Monitoring Technology of Crossing Violation of Vehicle in Front of Vehicle Video 胡海辉 . 基于车载摄像机的车辆压线与变道检测技术研究与实现 ［D］. 南京 ： 东南大学 ， 2015 . 基于车载摄像机的车辆压线与变道检测技术研究与实现 HU H H . The Research and Implementation of the Detection Technology of Vehicle Pressing Line and Changing Lane Based on Onboard Camera ［D］. Nanjing ： Southeast University ， 2015 . （in Chinese） The Research and Implementation of the Detection Technology of Vehicle Pressing Line and Changing Lane Based on Onboard Camera 董俊 . 基于深度学习的车辆违章压线检测算法研究 ［D］. 广州 ： 广东工业大学 ， 2020 . 基于深度学习的车辆违章压线检测算法研究 DONG J . Research on Vehicle Violation Pressure Line Detection Algorithm Based on Deep Learning ［D］. Guangzhou ： Guangdong University of Technology ， 2020 . （in Chinese） Research on Vehicle Violation Pressure Line Detection Algorithm Based on Deep Learning ZHONG Z ， ZHENG L ， KANG G L ， et al . Random erasing data augmentation ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 13001 - 13008 . doi: 10.1609/aaai.v34i07.7000 http://dx.doi.org/10.1609/aaai.v34i07.7000 Random erasing data augmentation 许少秋 ， 杨群 ， 钟小芸 ， 等 . 背光图像的检测与校正 ［J］. 计算机工程与应用 ， 2017 ， 53 （ 21 ）： 174 - 178 . 背光图像的检测与校正 XU SH Q ， YANG Q ， ZHONG X Y ， et al . Detection and correction of backlight images ［J］. Computer Engineering and Applications ， 2017 ， 53 （ 21 ）： 174 - 178 . （in Chinese） Detection and correction of backlight images HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 2 ）： 386 - 397 . doi: 10.1109/tpami.2018.2844175 http://dx.doi.org/10.1109/tpami.2018.2844175 Mask R-CNN LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106 Feature pyramid networks for object detection REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031 Faster R-CNN： towards real-time object detection with region proposal networks KEYS R . Cubic convolution interpolation for digital image processing ［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing ， 1981 ， 29 （ 6 ）： 1153 - 1160 . doi: 10.1109/tassp.1981.1163711 http://dx.doi.org/10.1109/tassp.1981.1163711 Cubic convolution interpolation for digital image processing NEVEN D ， DE BRABANDERE B ， GEORGOULIS S ， et al . Towards end-to-end lane detection： an instance segmentation approach ［C］. 2018 IEEE Intelligent Vehicles Symposium . 2630，2018 ， Changshu， China . IEEE ， 2018 ： 286 - 291 . doi: 10.1109/ivs.2018.8500547 http://dx.doi.org/10.1109/ivs.2018.8500547 Towards end-to-end lane detection： an instance segmentation approach DUDA R O ， HART P E . Use of the Hough transformation to detect lines and curves in pictures ［J］. Communications of the ACM ， 1972 ， 15 （ 1 ）： 11 - 15 . doi: 10.1145/361237.361242 http://dx.doi.org/10.1145/361237.361242 Use of the Hough transformation to detect lines and curves in pictures Tusimple . Tusimple benchmark ［Z/OL］. https：//github.com/TuSimple/tusimple-benchmark ， 2017 . doi: 10.1007/978-3-658-19174-0_2 http://dx.doi.org/10.1007/978-3-658-19174-0_2 Tusimple benchmark LIN T Y ， MAIRE M ， BELONGIE S J ， et al . Microsoft COCO： common objects in context ［J］. Proceedings of the IEEE Conference on European Conference on Computer Vision ， 2014 ： 740 - 755 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48 Microsoft COCO： common objects in context CHEN H ， SUN K Y ， TIAN Z ， et al . BlendMask： top-down meets bottom-up for instance segmentation ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 8570 - 8578 . doi: 10.1109/cvpr42600.2020.00860 http://dx.doi.org/10.1109/cvpr42600.2020.00860 BlendMask： top-down meets bottom-up for instance segmentation BOLYA D ， ZHOU C ， XIAO F Y ， et al . YOLACT： real-time instance segmentation ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2019： 9156 - 9165 . doi: 10.1109/iccv.2019.00925 http://dx.doi.org/10.1109/iccv.2019.00925 YOLACT： real-time instance segmentation KO Y ， LEE Y ， AZAM S ， et al . Key points estimation and point instance segmentation approach for lane detection ［J］. IEEE Transactions on Intelligent Transportation Systems ， 8488 ， PP（ 99 ）： 1 - 10 . Key points estimation and point instance segmentation approach for lane detection LI X ， LI J ， HU X L ， et al . Line-CNN： end-to-end traffic line detection with line proposal unit ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2020 ， 21 （ 1 ）： 248 - 258 . doi: 10.1109/tits.2019.2890870 http://dx.doi.org/10.1109/tits.2019.2890870 Line-CNN： end-to-end traffic line detection with line proposal unit SELVARAJU R R ， COGSWELL M ， DAS A ， et al . Grad-CAM： visual explanations from deep networks via gradient-based localization ［J］. International Journal of Computer Vision ， 2020 ， 128 （ 2 ）： 336 - 359 . doi: 10.1007/s11263-019-01228-7 http://dx.doi.org/10.1007/s11263-019-01228-7 Grad-CAM： visual explanations from deep networks via gradient-based localization 10.37188/OPE.20223007.0854 TP394.1 TH691.9 A 1004-924X（2022）07-0854-15 孙建波,张叶,常旭岭.基于改进Mask R-CNN+LaneNet的车载图像车辆压线检测[J].光学精密工程,2022,30(07):854-868. 孙建波,张叶,常旭岭.基于改进Mask R-CNN+LaneNet的车载图像车辆压线检测[J].光学精密工程,2022,30(07):854-868. SUN Jianbo,ZHANG Ye,CHANG Xuling.Vehicle pressure line detection based on improved Mask R-CNN + LaneNet[J].Optics and Precision Engineering,2022,30(07):854-868. SUN Jianbo,ZHANG Ye,CHANG Xuling.Vehicle pressure line detection based on improved Mask R-CNN + LaneNet[J].Optics and Precision Engineering,2022,30(07):854-868. 吉林省与中国科学院科技合作高技术产业化专项基金资助项目（No.2020SYHZ0031） 2021-09-22 2021-10-19 2022-04-10 2022-04-22 光学精密工程 7 30