Real-time semantic segmentation based on improved BiSeNet

基于改进BiSeNet的实时图像语义分割 Real-time semantic segmentation based on improved BiSeNet 1 2 first-author 任凤雷（1991-），男，河北沧州人，博士，讲师，2015年于吉林大学获学士学位，2020年于中国科学院长春光学精密机械与物理研究所获博士学位，主要从事数字图像处理，自动驾驶视觉环境感知方面的研究。E-mail：renfenglei15@mails.ucas.edu.cn；renfl@email.tjut.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010819&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010802&type= 22.01332855 32.00399780 任凤雷 （1991-），男，河北沧州人，博士，讲师，2015年于吉林大学获学士学位，2020年于中国科学院长春光学精密机械与物理研究所获博士学位，主要从事数字图像处理，自动驾驶视觉环境感知方面的研究。E-mail： renfenglei15@mails.ucas.edu.cn ； renfl@email.tjut.edu.cn renfenglei15@mails.ucas.edu.cn 1 2 corresp E-mail： yanglu8206@163.com E-mail： yanglu8206@163.com 杨 璐（1982-），女，天津人，博士，副教授，硕士生导师，2005年于哈尔滨工业大学获得学士学位，2007年于吉林大学获得硕士学位，2011年于吉林大学获得博士学位，主要从事计算机视觉、机器学习等方面的研究。E-mail： yanglu8206@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010810&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010826&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010811&type= 22.01332855 32.00399780 杨 璐 （1982-），女，天津人，博士，副教授，硕士生导师，2005年于哈尔滨工业大学获得学士学位，2007年于吉林大学获得硕士学位，2011年于吉林大学获得博士学位，主要从事计算机视觉、机器学习等方面的研究。E-mail： yanglu8206@163.com yanglu8206@163.com 1 2 1 2 3 4 天津理工大学 天津市先进机电系统设计与智能控制重点实验室，天津 300384 天津理工大学 天津市先进机电系统设计与智能控制重点实验室，天津 300384 Tianjin Key Laboratory for Advanced Mechatronic System Design and Intelligent Control， School of Mechanical Engineering， Tianjin University of Technology， Tianjin 300384， China Tianjin Key Laboratory for Advanced Mechatronic System Design and Intelligent Control， School of Mechanical Engineering， Tianjin University of Technology， Tianjin 300384， China 天津理工大学 机电工程国家级实验教学示范中心， 天津 300384 天津理工大学 机电工程国家级实验教学示范中心， 天津 300384 National Demonstration Center for Experimental Mechanical and Electrical Engineering Education，Tianjin University of Technology， Tianjin 300384， China National Demonstration Center for Experimental Mechanical and Electrical Engineering Education，Tianjin University of Technology， Tianjin 300384， China 中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033 中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033 Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， Changchun 130033， China Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， Changchun 130033， China 天津卓越信通科技有限公司，天津 300384 天津卓越信通科技有限公司，天津 300384 Transcend Communication Technology Tianjin Co.， Ltd， Tianjin 300384， China Transcend Communication Technology Tianjin Co.， Ltd， Tianjin 300384， China 为了提升图像语义分割算法的性能，使其同时满足准确性和实时性需求，本文提出了一种基于改进BiSeNet的实时图像语义分割算法。首先，通过使双分支网络头部共享以消除BiSeNet网络结构部分通道和参数的冗余，同时有效提取图像的浅层特征；然后，将上述共享网络拆分为由细节分支和语义分支组成的双分支网络，并分别用于提取空间细节信息和语义上下文信息；此外，在语义分支尾部引入通道和空间注意力机制以增强特征表达能力，通过使用双注意力机制对BiSeNet算法进行优化以更有效地提取语义上下文特征；最后，对细节分支和语义分支的特征进行融合并通过上采样操作恢复至输入图像分辨率大小以实现图像语义分割。本文算法在Cityscapes数据集以95.3FPS的实时性表现达到77.2% mIoU的准确性；在CamVid数据集以179.1 FPS的实时性表现达到73.8% mIoU的准确性。实验结果表明，本文算法在实时性和准确性方面获得了很好的平衡，其语义分割性能相较于BiSeNet算法及其它现有算法得到了显著的提升。 To improve the performance of image semantic segmentation on accuracy and efficiency for practical applications， in this study， we propose a real-time semantic segmentation algorithm based on improved BiSeNet. First， the redundancy of certain channels and parameters of BiSeNet is eliminated by sharing the heads of dual branches， and the affluent shallow features are effectively extracted at the same time. Subsequently， the shared layers are divided into dual branches， namely， the detail branch and the semantic branch， which are used to extract detailed spatial information and contextual semantic information， respectively. Furthermore， both the channel attention mechanism and spatial attention mechanism are introduced into the tail of the semantic branch to enhance the feature representation； thus the BiSeNet is optimized by using dual attention mechanisms to extract contextual semantic features more effectively. Finally， the features of the detail branch and semantic branch are fused and up-sampled to the resolution of the input image to obtain semantic segmentation. Our proposed algorithm achieves 77.2% mIoU on accuracy with real-time performance of 95.3 FPS on Cityscapes dataset and 73.8% mIoU on accuracy with real-time performance of 179.1 FPS on CamVid dataset. The experiments demonstrate that our proposed semantic segmentation algorithm achieves a good trade-off between accuracy and efficiency. Furthermore， the performance of semantic segmentation is significantly improved compared with BiSeNet and other existing algorithms. 语义分割 注意力机制 实时性 深度学习 semantic segmentation attention mechanism real time deep learning 1 引 言 1 图像语义分割作为计算机视觉领域的一项重要技术，旨在将每一个图像像素分类为相应的语义类别，其在自动驾驶、医学检测、机器人导航、场景解析、人机交互等领域均有着极为广泛的应用 ［ 1 1 - 5 5 1-5 ］ 。 近年来，随着人工智能的飞速发展，深度学习技术被越来越广泛地应用到图像语义分割领域并取得了相对传统图像分割算法更加出色的成果。如全卷积网络（Fully Convolutional Networks， FCN） ［ 6 6 ］ 最早尝试将深度学习引入图像语义分割领域，并取得了优异的语义分割性能。DeepLab算法 ［ 7 7 ］ 引入扩张卷积（Dilated Convolution）来保持特征图的分辨率，同时有效增大卷积核的感受野从而提升语义分割准确性。在此基础上不断涌现出的针对DeepLab算法的优化改进版本 ［ 8 8 - 10 10 8-10 ］ 使语义分割的准确性得到了逐步提升。HRNet ［ 11 11 ］ 通过保持图像的高分辨率，同时并行的进行下采样以提取不同分辨率的特征，实现了高准确率的图像语义分割。然而，上述算法实时性较差，难以满足如自动驾驶等对实时性要求较高的领域的实际应用需求。 为了满足算法的实际应用部署需求，实时语义分割算法得到了越来越广泛的关注。ENet算法 ［ 12 12 ］ 通过设计轻量级网络结构在损失部分准确性的前提下增强了语义分割算法的实时性。SwiftNet算法 ［ 13 13 ］ 分别使用低分辨率输入以获取语义特征和高分辨率输入以获取充分的细节信息。DFANet 算法 ［ 14 14 ］ 通过引入深度可分离卷积来提升算法的运行效率，并通过聚合多尺度特征来保证算法的准确性，其在Cityscapes数据集获得了71.3%的语义分割准确性和超过100FPS的实时性表现。M Fan等人 ［ 15 15 ］ 提出了一种新的Short-Term Dense Concatenate （STDC）模块，并使用此模块取得了出色的实时性表现。FANet 算法 ［ 16 16 ］ 通过设计高效的注意力模块，将注意力机制引入了实时语义分割算法。BiSeNet系列算法 ［ 17 17 - 18 18 17-18 ］ 提出了一种轻量级的双分支网络结构，分别用来提取图像的空间细节信息和语义上下文信息，此算法获得了出色的实时性和准确性表现，并成为目前最流行的实时语义分割算法之一。然而，BiSeNet系列算法的双分支结构在头部存在部分通道和参数的冗余，这会对算法的实时性产生一定程度的消极影响；此外，BiSeNet系列算法仅借鉴了通道注意力机制的思路，并没有充分发挥注意力机制的优势。总结来说，上述算法的语义分割性能仍然有待提升，如何平衡算法的准确性和实时性成为算法实际应用部署亟需解决的问题。 针对上述问题，本文拟在BiSeNet语义分割算法的基础上对其进行优化改进，以提升算法的性能，使实时性和准确性得到更好的平衡。本文的主要贡献总结如下：（1）通过共享双分支网络头部消除部分通道和参数的冗余以进一步提升算法的效率。（2）通过在语义分支中引入通道和空间注意力机制增强特征表达能力以保障算法的准确性。（3）本文算法在Cityscapes数据集和CamVid数据集的语义分割性能相较于BiSeNet算法及其他现有先进算法均得到了显著提升，证明了本文算法的优越性。 2 相关工作 1 2.1　图像语义分割 2 图像语义分割算法通过将图像分割成代表不同语义类别的像素区块，实现对场景的语义感知和解析。大量研究工作 ［ 19 19 - 22 22 19-22 ］ 表明，作为一种密集预测视觉算法，高分辨率特征下的空间细节信息和低分辨率特征下的语义上下文信息对于获得高准确性语义分割结果都是必不可少的。 针对图像语义分割算法的实时性方面，目前主流算法 ［ 17 17 - 20 20 17-20 ］ 通常使用双分支网络结构，即细节分支和语义分支，以保证算法准确性的同时提升算法的运行效率。此外，众多高效的轻量级骨干网络结构 ［ 23 23 - 26 26 23-26 ］ 可用于进行网络结构的设计，从而进一步提升算法的推理速度。图像语义分割示意图如 图1 图1 所示。 2.2　注意力机制 2 注意力机制（Attention Mechanism）最初被用于自然语言处理领域，其在本质上是一种对资源进行自动重新分配的机制，由于与人类对外界事物的观察机制相似，如今已经在图像识别、目标检测、图像分割等不同视觉任务中得到了有效应用 ［ 27 27 - 28 28 27-28 ］ 。注意力机制通过对输入特征各个部分赋予不同的权重因子，从而引导网络模型主动提取更加关键和重要的特征而忽略无效的特征，使网络模型的特征表达能力得到增强 ［ 35 35 - 36 36 35-36 ］ 。 3 本文算法 1 BiSeNet算法（左图）和本文算法（右图）的网络结构简图如 图2 图2 所示。 本文算法拟针对BiSeNet语义分割算法进行优化改进，首先对图像的浅层特征进行提取并被后续的双分支网络共享；然后在上述基础上进行网络结构的拆分，得到细节分支和语义分支，并分别提取空间细节特征和语义上下文特征；最后将上述双分支的特征进行融合并上采样得到语义分割结果。本文所提出的基于改进BiSeNet的实时图像语义分割算法框图如 图3 图3 所示（彩图见期刊电子版），其中，紫色虚框表示头部共享网络部分；绿色虚框表示拆分双分支网络部分，由粉色块表示的细节分支和黄色块表示的语义分支组成；PAM表示Position Attention Mechanism，即空间注意力机制；CAM表示Channel Attention Mechanism，即通道注意力机制；FFM表示Feature Fusing Module，即特征融合模块，特征图旁的数字表示其相对于输入图像分辨率大小的比值。 3.1　网络头部共享 2 BiSeNet算法使用双分支网络结构分别提取输入图像高分辨率特征下的空间细节信息和低分辨率特征下的语义上下文信息以提升算法的语义分割性能。然而，其双分支结构在头部存在部分通道和参数的冗余，消除上述冗余有利于在几乎不损失分割精度的前提下提升算法的实时性。因此，本文算法对其进行改进，通过对双分支网络结构的头部进行共享减少其通道和参数的冗余。 为了兼顾网络的准确性和实时性，我们使用轻量级的残差网络ResNet-18 ［ 23 23 ］ 作为骨干网络进行算法结构的设计。通过使用步长为2的卷积操作和池化操作，将特征图分辨率降采样至输入图像的1/8。由此，提取得到丰富的图像特征并被后续的双分支网络共享。 3.2　拆分双分支网络 2 基于上述头部共享网络，可以初步提取得到图像的浅层特征。继而，本文算法通过将头部共享网络拆分为双分支网络以增强特征的表达能力，从而提升算法的语义分割准确性。其中，双分支网络由细节分支和语义分支组成，分别用于进一步提取高分辨率特征下的空间细节信息和低分辨率特征下的语义上下文信息。 3 . 2 . 1　细节分支 3 如 图3 图3 所示，为了避免如物体边缘等图像细节信息的丢失导致语义分割准确率下降，本文算法双分支网络细节分支不采用任何下采样操作，而使用连续两次的步长为1的3×3卷积操作、批归一化操作 ［ 29 29 ］ 和ReLU激活函数 ［ 30 30 ］ 来提取丰富的空间细节信息，同时保持较高的特征图分辨率，即细节分支的特征图分辨率和网络头部共享部分输出的特征分辨率相同，均为输入图像的1/8。 3 . 2 . 2　语义分支 3 本文算法设计和细节分支平行的语义分支来提取丰富的语义上下文特征。为此，语义分支通过对网络头部共享部分输出的特征进行下采样操作以获取低分辨率特征图并同时增大网络的感受野。因此，本文算法通过连续使用两次步长为2的卷积操作、批归一化操作和ReLU激活函数，最终将特征图分辨率降采样为输入图像的1/32。 值得一提的是，BiSeNet算法选择在语义分支中借鉴通道注意力机制 ［ 28 28 ］ ，通过使用全局平均池化操作为特征通道赋予不同权重从而增大网络感受野并获取全局上下文信息。然而，上述注意力机制只针对特征的通道维度进行了权重分配，并没有涉及空间维度。 鉴于此，本文算法选择并行引入空间注意力机制和通道注意力机制，从而同时在空间维度和通道维度建模各个特征维度的重要程度，根据学习到的权重因子引导神经网络更有效地提取语义上下文信息。如 图4 图4 所示，本文借鉴文献［ 31 31 ］的思路，针对空间注意力机制，对于上述语义分支提取到的特征图 <math id="M1"><mi mathvariant="bold-italic">A</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010873&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010883&type= 19.64266586 3.38666677 ，通过如下运算过程： <math display="block" id="M2"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>j</mi><mi>i</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">B</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">B</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010916&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010912&type= 36.49133301 10.15999985 ， <math display="block" id="M3"><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>=</mo><mi>α</mi><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>j</mi><mi>i</mi></mrow></msub><msub><mrow><mi mathvariant="bold-italic">D</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010921&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010919&type= 34.37466812 8.55133343 ， 其中： <math id="M4"><mi mathvariant="bold-italic">B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010928&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010924&type= 2.79399991 2.79399991 ， <math id="M5"><mi mathvariant="bold-italic">C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010932&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010930&type= 2.70933342 2.79399991 和 <math id="M6"><mi mathvariant="bold-italic">D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010953&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010934&type= 3.04800010 2.79399991 均由 <math id="M7"><mi mathvariant="bold-italic">A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010957&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010954&type= 2.96333337 2.79399991 经过卷积和reshape操作得到， <math id="M8"><mi mathvariant="bold-italic">S</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mo stretchy="false">(</mo><mi>H</mi><mo>×</mo><mi>W</mi><mo stretchy="false">)</mo><mo>×</mo><mo stretchy="false">(</mo><mi>H</mi><mo>×</mo><mi>W</mi><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010975&type= 26.83933067 3.38666677 表示根据空间相似性得到的权重图，并被用于得到 <math id="M9"><mi mathvariant="bold-italic">P</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010966&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010980&type= 19.21933365 3.38666677 ，权重因子 <math id="M10"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011001&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010998&type= 1.94733346 2.79399991 初始值设置为0，并随着网络的训练不断更新。由此，特征图中任意空间位置的特征值会被特征图所有的特征值及其对应位置权重的加权和所替代，由此，即可得到空间维度的全局上下文信息。相应的，针对空间注意力机制，有： <math display="block" id="M11"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>j</mi><mi>i</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>C</mi></mrow></msubsup><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011006&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011003&type= 37.50733566 10.15999985 ， <math display="block" id="M12"><msub><mrow><mi mathvariant="bold-italic">C</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>=</mo><mi>β</mi><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>C</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>j</mi><mi>i</mi></mrow></msub><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43010995&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011012&type= 34.88266373 8.55133343 ， 其中： <math id="M13"><mi mathvariant="bold-italic">X</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>C</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011030&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011028&type= 14.73200035 3.38666677 表示根据各特征通道的相似性得到的权重图，并被用于得到 <math id="M14"><mi mathvariant="bold-italic">C</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011025&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011032&type= 19.21933365 3.38666677 ，权重因子 <math id="M15"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011047&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011043&type= 2.28600001 3.64066648 初始值设置为0，并随着网络的训练不断更新。由此，即可在通道维度对特征进行增强。 上述通道注意力机制和空间注意力机制可以分别从通道维度和空间维度对特征进行增强，从而使网络更好的对语义上下文特征进行提取。值得注意的是，本文将上述空间和通道注意力机制嵌入到语义分支的尾部，由于其特征图分辨率仅为输入图像的1/32，因此不会增加过多的计算量，从而可以保证算法的实时性。 3.3　双分支特征融合 2 在上述基础上，本文算法根据文献［ 18 18 ］的思路设计特征融合网络，以对细节分支提取到的空间细节特征和语义分支提取到的语义上下文特征进行融合。鉴于双分支特征的互补性，此特征融合网络采用双向融合的方式，即对语义分支特征进行上采样并与细节分支特征进行交互，同时对细节分支特征进行下采样并与语义分支特征进行交互。特征融合网络示意图如 图5 图5 所示。 最后，融合后的特征经过一个简单的分割头模块并通过双线性插值上采样操作输出最终的语义分割结果。该分割头模块由卷积核为3×3的卷积、批归一化、ReLU非线性激活函数和卷积核为1×1的卷积操作组成，其输出维度设置为待分割的语义类别数。 4 实验与结果分析 1 针对本文所提出的基于改进BiSeNet的实时图像语义分割算法，本节对其进行了大量实验以验证所提出算法的有效性。其中，本文实验采用Cityscapes和CamVid图像语义分割数据集，实验基于Ubuntu 18.04 OS，NVIDIA GeForce 2080Ti GPU硬件平台。算法实现方面，使用Pytorch深度学习框架进行算法模型的实现和训练。 4.1　数据集简介 2 4 . 1 . 1　Cityscapes数据集 3 Cityscapes数据集 ［ 32 32 ］ 是图像语义分割领域最流行的公共数据集之一。该数据集主要聚焦城市的街道驾驶场景。Cityscapes数据集提供了5 000张精确标注了像素级语义分类的图像和20 000张粗略标注的图像。本文实验只使用精确标注的图像进行算法的验证，其中2 975张图像用作训练集，500张图像用作验证集，1 525张图像用作测试集。该数据集共包含汽车、道路等19个语义类别，所有图像的分辨率均为2 048 × 1 024。 4 . 1 . 2　CamVid数据集 3 CamVid数据集全称为The Cambridge-driving Labeled Video Database ［ 33 33 ］ ，该数据集由剑桥大学发布，针对城市交通道路自动驾驶场景，主要包含701张截取自视频序列的图像，通常将其中的367张图像用作训练集，101张图像用作验证集，其余的233张图像用作测试集。该数据集一般使用汽车、行人、建筑物等11种语义类别进行分割精度的评估，所有的图像分辨率为960×720。 4.2　训练策略简介 2 借鉴BiSeNet，本文使用小批量随机梯度下降（mini-batch SGD）作为优化器进行网络模型的训练，设置初始学习率为 <math id="M16"><mn mathvariant="normal">2.5</mn><msup><mrow><mi>e</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011064&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011061&type= 10.15999985 3.04800010 ，momentum为0.9。采用“poly”策略，使学习率按照迭代次数依次衰减 <math id="M17"><msup><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mi>i</mi><mi>t</mi><mi>e</mi><mi>r</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo>_</mo><mi>i</mi><mi>t</mi><mi>e</mi><mi>r</mi></mrow></mfrac><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011068&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011066&type= 29.29466629 8.38199997 ，其中 <math id="M18"><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011072&type= 9.39799976 3.64066648 设置值为0.9。采用随机水平翻转、随机裁剪等方法进行数据增强。 4.3　评价指标 2 算法的准确性方面，参考数据集要求，本文使用平均交并比，即（Intersection-over-Union， mIoU）作为评价指标进行衡量，其定义如下式： <math display="block" id="M19"><mi>I</mi><mi mathvariant="normal">o</mi><mi>U</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi><mi>i</mi></mrow></msub></mrow><mrow><msubsup><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>+</mo><msubsup><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mrow><msub><mrow><mi>p</mi></mrow><mrow><mi>j</mi><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi><mi>i</mi></mrow></msub></mrow></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011109&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011091&type= 48.93733215 10.24466610 ， <math display="block" id="M20"><mi>m</mi><mi>I</mi><mi mathvariant="normal">o</mi><mi>U</mi><mo>=</mo><mfrac><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mrow><mi>I</mi><mi>o</mi><msub><mrow><mi>U</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011099&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011096&type= 30.39533424 9.05933285 ， 其中： <math id="M21"><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011117&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011102&type= 8.38199997 2.96333337 表示数据集定义的语义类别总数， <math id="M22"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011123&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011134&type= 1.10066664 2.79399991 表示真实值， <math id="M23"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011138&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43011126&type= 1.60866666 3.64066648 表示预测值。 算法的实时性方面，本文使用帧率，即Frames Per Second（FPS）作为评价标准进行衡量，通过统计网络前向推理500次的时间并求其平均值进而计算得到算法的帧率。 4.4　消融实验 2 如前文所述，本文使用头部共享网络初步提取得到图像浅层特征，并对输入图像进行下采样，继而使用拆分双分支网络，分别设计细节分支和语义分支并各自提取丰富的高分辨率特征下的空间细节信息和低分辨率特征下的语义上下文信息。为了验证各组成模块的有效性，本文在Cityscapes数据集进行了如下消融实验，实验结果如 表1 表1 所示，其中，HSM表示Head Shared Module，即头部共享网络；SDBM表示Split Dual Branch Module，即拆分双分支网络；DB表示Detail Branch，即细节分支；SB表示Semantic Branch，即语义分支。由表可知，单独使用头部共享网络进行图像语义分割仅可获得58.4%的准确率，而通过加入细节分支和语义分支，分别可以带来7.3%和13.4%的准确率提升。当同时使用头部共享网络和由细节分支及语义分支组成的拆分双分支网络进行语义分割时，其准确率可以达到77.5%。上述消融实验充分验证了头部共享网络和拆分双分支网络的有效性，且细节分支和语义分支有助于使网络结构有效提取足量互补的特征来提升语义分割算法的性能。 2 HSM 2 SDBM 2 mIoU/% DB SB √ 58.4 √ √ 65.7 √ √ 71.8 √ √ √ 77.5 本文提出在语义分支中引入空间注意力机制和通道注意力机制引导神经网络更有效地提取语义上下文信息。为了验证其有效性，本文在Cityscapes数据集进一步设计了如下消融实验，其实验结果如 表2 表2 所示，其中，PAM和CAM分别表示空间注意力机制和通道注意力机制；Parallel表示两种注意力机制并行使用；Series表示两种注意力机制串行使用。由表可知，空间注意力机制和通道注意力机制可以分别在空间维度和通道维度对特征进行增强，从而提升算法的语义分割准确性。其中，当并行使用空间注意力机制和通道注意力机制时，可以使算法的语义分割准确性从72.9%提升至77.5%。 PAM CAM Fusion mode mIoU/% 72.9 √ 76.4 √ 75.8 √ √ Parallel 77.5 √ √ Series 77.3 针对双分支网络的特征融合，为了验证本文算法所使用的特征融合方式的有效性，我们将其与双通道特征相加（summation）、双通道特征拼接（concatenation）两种方式进行了对比，对比结果如 表3 表3 所示，其中FFM表示Feature Fusing Module，即本文所使用的特征融合模块。由表可知，本文所使用的特征融合模块相比较简单的特征相加或拼接能够更好地对细节信息和语义上下文信息进行融合。 Sum Con FFM mIoU/% √ 76.3 √ 76.9 √ 77.5 4.5　定性分析 2 基于所提出的图像语义分割算法，本文分别在Cityscapes数据集和CamVid数据集上对其进行了定性实验验证。本文算法在上述两个数据集的定性实验结果分别如 图6 图6 和 图7 图7 所示。为了更好地体现本文算法相对于BiSeNet算法的提升，本文同时列举了上述两种算法的语义分割定性结果，其中，第1列为输入图像；第2列为BiSeNet算法的语义分割结果图像；第3列为本文算法的语义分割结果；第4列为数据集提供的ground-truth图像，即准确标注有各语义类别的分割结果图像。 由上述实验结果可以看出，本文所提出的基于改进BiSeNet的实时图像语义分割算法可以在不同的道路交通场景下实现对输入图像的语义分割，且其相对于BiSeNet算法具有更好的分割性能，语义分割准确性得到了提升。 4.6　定量分析 2 针对Cityscapes数据集和CamVid数据集，本文算法和目前较为先进的图像语义分割算法的定量实验结果分别如 表4 表4 和 表5 表5 所示。 2 Method 2 mIoU/% 2 FPS Val Test SegNet ［ 34 34 ］ - 56.1 16.7 ENet ［ 12 12 ］ - 58.3 76.9 SwiftNet ［ 13 13 ］ 75.4 75.5 39.9 BiSeNet ［ 17 17 ］ 74.8 74.7 65.5 BiSeNetV2 ［ 18 18 ］ 73.4 72.6 156 Fast-SCNN ［ 20 20 ］ 68.6 68.0 123.5 CABiNet ［ 22 22 ］ 76.6 75.9 76.5 Our Method 77.5 77.2 95.3 Method mIoU/% FPS ENet ［ 12 12 ］ 51.3 61.2 SwiftNet ［ 13 13 ］ 72.6 - BiSeNet ［ 17 17 ］ 68.7 116.3 BiSeNetV2 ［ 18 18 ］ 72.4 124.5 Our Method 73.8 179.1 由表可知，本文算法的语义分割性能达到了目前领先的水平，相比较BiSeNet等其他流行的实时语义分割算法在具有更好的实时性表现的同时，其准确性得到了一定提升，具体地，本文算法在Cityscapes数据集以95.3 FPS的实时性表现达到77.2% mIoU的准确性；在CamVid数据集以179.1 FPS的实时性表现达到73.8% mIoU的准确性。表明本文算法可以在准确性和实时性方面达到更好的平衡。 5 结 论 1 本文根据语义分割算法的实际应用需求，提出了一种基于改进BiSeNet的实时图像语义分割算法。本文算法在BiSeNet算法的基础上针对其存在的不足进行优化改进，首先，通过对双分支网络结构的头部进行共享减少BiSeNet算法存在的部分通道和参数的冗余；其次，拆分为由细节分支和语义分支组成的双分支网络，并在语义分支中并行引入空间注意力机制和通道注意力机制以更有效地提取语义上下文信息；最后，融合细节分支和语义分支的特征并通过上采样操作实现对图像的语义分割。实验结果表明，相比较BiSeNet等现有语义分割算法，本文算法在准确性和实时性方面达到了更好的平衡，其语义分割性能得到了显著提升。本文算法可以基本满足图像语义分割的实际应用部署需求。 参考文献 王中宇 ， 倪显扬 ， 尚振东 . 利用卷积神经网络的自动驾驶场景语义分割 ［J］. 光学 精密工程 ， 2019 ， 27 （ 11 ）： 2429 - 2438 . doi: 10.3788/ope.20192711.2429 http://dx.doi.org/10.3788/ope.20192711.2429 利用卷积神经网络的自动驾驶场景语义分割 WANG ZH Y ， NI X Y ， SHANG ZH D . Autonomous driving semantic segmentation with convolution neural networks ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 11 ）： 2429 - 2438 . （in Chinese） . doi: 10.3788/ope.20192711.2429 http://dx.doi.org/10.3788/ope.20192711.2429 Autonomous driving semantic segmentation with convolution neural networks RONNEBERGER O ， FISCHER P ， BROX T . U-Net ： Convolutional Networks For Biomedical Image Segmentation ［M］. Lecture Notes in Computer Science . Cham ： Springer International Publishing ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 U-Net： Convolutional Networks For Biomedical Image Segmentation CHEN J ， LU Y ， YU Q ， et al . TransUNet ： Transformers Make Strong Encoders For Medical Image Segmentation ［EB/OL］. 2021 ： arXiv ： 2102 . 04306 . https：//arxiv.org/abs/2102.04306 https://arxiv.org/abs/2102.04306 TransUNet： Transformers Make Strong Encoders For Medical Image Segmentation 王雅男 ， 王挺峰 ， 田玉珍 ， 等 . 基于改进的局部表面凸性算法三维点云分割 ［J］. 中国光学 ， 2017 ， 10 （ 3 ）： 348 - 354 . doi: 10.3788/co.20171003.0348 http://dx.doi.org/10.3788/co.20171003.0348 基于改进的局部表面凸性算法三维点云分割 WANG Y N ， WANG T F ， TIAN Y Z ， et al . Improved local convexity algorithm of segmentation for 3D point cloud ［J］. Chinese Optics ， 2017 ， 10 （ 3 ）： 348 - 354 . （in Chinese） . doi: 10.3788/co.20171003.0348 http://dx.doi.org/10.3788/co.20171003.0348 Improved local convexity algorithm of segmentation for 3D point cloud REN F L ， ZHOU H B ， YANG L ， et al . ADPNet： Attention based dual path network for lane detection ［J］. Journal of Visual Communication and Image Representation ， 2022 ， 87 ： 103574 . doi: 10.1016/j.jvcir.2022.103574 http://dx.doi.org/10.1016/j.jvcir.2022.103574 ADPNet： Attention based dual path network for lane detection LONG J ， SHELHAMER E ， DARRELL T . Fully Convolutional Networks for Semantic Segmentation ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 712，2015 ， Boston， MA， USA. IEEE ， 2015 ： 3431 - 3440 . doi: 10.1109/cvpr.2015.7298965 http://dx.doi.org/10.1109/cvpr.2015.7298965 Fully Convolutional Networks for Semantic Segmentation CHEN L C ， PAPANDREOU G ， KOKKINOS I ， et al . DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 4 ）： 834 - 848 . doi: 10.1109/tpami.2017.2699184 http://dx.doi.org/10.1109/tpami.2017.2699184 DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs CHEN L C ， PAPANDREOU G ， SCHROFF F ， et al . Rethinking Atrous Convolution for Semantic Image Segmentation ［EB/OL］. 2017 ： arXiv ： 1706 . 05587 . https：//arxiv.org/abs/1706.05587 https://arxiv.org/abs/1706.05587 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49 Rethinking Atrous Convolution for Semantic Image Segmentation CHEN L C ， ZHU Y K ， PAPANDREOU G ， et al . Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 833 - 851 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49 Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation 任凤雷 ， 何昕 ， 魏仲慧 ， 等 . 基于DeepLabV3+与超像素优化的语义分割 ［J］. 光学 精密工程 ， 2019 ， 27 （ 12 ）： 2722 - 2729 . doi: 10.3788/ope.20192712.2722 http://dx.doi.org/10.3788/ope.20192712.2722 基于DeepLabV3+与超像素优化的语义分割 REN F L ， HE X ， WEI ZH H ， et al . Semantic segmentation based on DeepLabV3+ and superpixel optimization ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 12 ）： 2722 - 2729 . （in Chinese） . doi: 10.3788/ope.20192712.2722 http://dx.doi.org/10.3788/ope.20192712.2722 Semantic segmentation based on DeepLabV3+ and superpixel optimization WANG J D ， SUN K ， CHENG T H ， et al . Deep high-resolution representation learning for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 10 ）： 3349 - 3364 . doi: 10.1109/tpami.2020.2983686 http://dx.doi.org/10.1109/tpami.2020.2983686 Deep high-resolution representation learning for visual recognition PASZKE A ， CHAURASIA A ， KIM S ， et al . ENet ： A Deep Neural Network Architecture for Real-Time Semantic Segmentation ［EB/OL］. 2016 ： arXiv ： 1606 . 02147 . https：//arxiv.org/abs/1606.02147 https://arxiv.org/abs/1606.02147 ENet： A Deep Neural Network Architecture for Real-Time Semantic Segmentation WANG H C ， JIANG X L ， REN H B ， et al . SwiftNet： real-time video object segmentation ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 1296 - 1305 . doi: 10.1109/cvpr46437.2021.00135 http://dx.doi.org/10.1109/cvpr46437.2021.00135 SwiftNet： real-time video object segmentation LI H C ， XIONG P F ， FAN H Q ， et al . DFANet： Deep Feature Aggregation for Real-Time Semantic Segmentation ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2020 ： 9514 - 9523 . doi: 10.1109/cvpr.2019.00975 http://dx.doi.org/10.1109/cvpr.2019.00975 DFANet： Deep Feature Aggregation for Real-Time Semantic Segmentation FAN M Y ， LAI S Q ， HUANG J S ， et al . Rethinking BiSeNet for Real-Time Semantic Segmentation ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 9711 - 9720 . doi: 10.1109/cvpr46437.2021.00959 http://dx.doi.org/10.1109/cvpr46437.2021.00959 Rethinking BiSeNet for Real-Time Semantic Segmentation HU P ， PERAZZI F ， HEILBRON F C ， et al . Real-time semantic segmentation with fast attention ［J］. IEEE Robotics and Automation Letters ， 2021 ， 6 （ 1 ）： 263 - 270 . doi: 10.1109/lra.2020.3039744 http://dx.doi.org/10.1109/lra.2020.3039744 Real-time semantic segmentation with fast attention YU C Q ， WANG J B ， PENG C ， et al . BiSeNet ： Bilateral Segmentation Network for Real-Time Semantic Segmentation ［M］. Computer Vision - ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 334 - 349 . doi: 10.1007/978-3-030-01261-8_20 http://dx.doi.org/10.1007/978-3-030-01261-8_20 BiSeNet： Bilateral Segmentation Network for Real-Time Semantic Segmentation YU C Q ， GAO C X ， WANG J B ， et al . BiSeNet V2： bilateral network with guided aggregation for real-time semantic segmentation ［J］. International Journal of Computer Vision ， 2021 ， 129 （ 11 ）： 3051 - 3068 . doi: 10.1007/s11263-021-01515-2 http://dx.doi.org/10.1007/s11263-021-01515-2 BiSeNet V2： bilateral network with guided aggregation for real-time semantic segmentation HONG Y ， PAN H ， SUN W ， et al . Deep Dual-Resolution Networks for Real-Time and Accurate Semantic Segmentation of Road Scenes ［EB/OL］. 2021 ： arXiv ： 2101 . 06085 . https：//arxiv.org/abs/2101.06085 https://arxiv.org/abs/2101.06085 Deep Dual-Resolution Networks for Real-Time and Accurate Semantic Segmentation of Road Scenes POUDEL R P K ， LIWICKI S ， CIPOLLA R . Fast-SCNN ： Fast Semantic Segmentation Network ［EB/OL］. 2019 ： arXiv ： 1902 . 04502 . https：//arxiv.org/abs/1902.04502 https://arxiv.org/abs/1902.04502 Fast-SCNN： Fast Semantic Segmentation Network ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid Scene Parsing Network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 6230 - 6239 . doi: 10.1109/cvpr.2017.660 http://dx.doi.org/10.1109/cvpr.2017.660 Pyramid Scene Parsing Network KUMAAR S ， LYU Y ， NEX F ， et al . CABiNet： Efficient Context Aggregation Network for Low-Latency Semantic Segmentation ［C］. 2021 IEEE International Conference on Robotics and Automation （ICRA）. 305，2021 ， Xi'an， China. IEEE ， 2021 ： 13517 - 13524 . doi: 10.1109/icra48506.2021.9560977 http://dx.doi.org/10.1109/icra48506.2021.9560977 CABiNet： Efficient Context Aggregation Network for Low-Latency Semantic Segmentation HE K M ， ZHANG X Y ， REN S Q ， et al . Deep Residual Learning for Image Recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. June 27 - 30 ， 2016 . Las Vegas， NV， USA. IEEE ， 2016 ： 770 - 778 . Deep Residual Learning for Image Recognition SANDLER M ， HOWARD A ， ZHU M L ， et al . MobileNetV2： Inverted Residuals and Linear Bottlenecks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18 - 23 ， 2018 . Salt Lake City， UT. IEEE ， 2018 ： 4510 - 4520 . MobileNetV2： Inverted Residuals and Linear Bottlenecks ZHANG X Y ， ZHOU X Y ， LIN M X ， et al . ShuffleNet： an extremely efficient convolutional neural network for mobile devices ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 6848 - 6856 . doi: 10.1109/cvpr.2018.00716 http://dx.doi.org/10.1109/cvpr.2018.00716 ShuffleNet： an extremely efficient convolutional neural network for mobile devices CHOLLET F . Xception： deep learning with depthwise separable convolutions ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 1800 - 1807 . doi: 10.1109/cvpr.2017.195 http://dx.doi.org/10.1109/cvpr.2017.195 Xception： deep learning with depthwise separable convolutions VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all you need ［J］. Advances in neural information processing systems ， 2017 ， 30 . Attention is all you need HU J ， SHEN L ， ALBANIE S ， et al . Squeeze-and-excitation networks ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence . 29，2019 ， IEEE ， 2019 ： 2011 - 2023 . doi: 10.1109/tpami.2019.2913372 http://dx.doi.org/10.1109/tpami.2019.2913372 Squeeze-and-excitation networks IOFFE S ， SZEGEDY C . Batch normalization： accelerating deep network training by reducing internal covariate shift ［C］. Proceedings of the 32nd International Conference on International Conference on Machine Learning-Volume 37. New York ： ACM ， 2015 ： 448 - 456 . Batch normalization： accelerating deep network training by reducing internal covariate shift GLOROT X ， BORDES A ， BENGIO Y . Deep sparse rectifier neural networks ［C］. Proceedings of the fourteenth international conference on artificial intelligence and statistics. JMLR Workshop and Conference Proceedings ， 2011 ： 315 - 323 . Deep sparse rectifier neural networks FU J ， LIU J ， TIAN H J ， et al . Dual attention network for scene segmentation ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2020 ： 3141 - 3149 . doi: 10.1109/cvpr.2019.00326 http://dx.doi.org/10.1109/cvpr.2019.00326 Dual attention network for scene segmentation CORDTS M ， OMRAN M ， RAMOS S ， et al . The cityscapes dataset for semantic urban scene understanding ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . IEEE ， 2016 ： 3213 - 3223 . doi: 10.1109/cvpr.2016.350 http://dx.doi.org/10.1109/cvpr.2016.350 The cityscapes dataset for semantic urban scene understanding BROSTOW GJ ， FAUQUEUR J ， CIPOLLA R . Semantic object classes in video： a high-definition ground truth database ［J］. Pattern Recognition Letters ， 2009 ， 30 （ 2 ）： 88 - 97 . doi: 10.1016/j.patrec.2008.04.005 http://dx.doi.org/10.1016/j.patrec.2008.04.005 Semantic object classes in video： a high-definition ground truth database BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615 SegNet： a deep convolutional encoder-decoder architecture for image segmentation 王曦 ， 于鸣 ， 任洪娥 . UNET与FPN相结合的遥感图像语义分割 ［J］. 液晶与显示 ， 2021 ， 36 （ 3 ）： 475 - 483 . doi: 10.37188/CJLCD.2020-0116 http://dx.doi.org/10.37188/CJLCD.2020-0116 UNET与FPN相结合的遥感图像语义分割 WANG X ， YU M ， REN H E . Remote sensing image semantic segmentation combining UNET and FPN ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 3 ）： 475 - 483 . （in Chinese） . doi: 10.37188/CJLCD.2020-0116 http://dx.doi.org/10.37188/CJLCD.2020-0116 Remote sensing image semantic segmentation combining UNET and FPN 沈言善 ， 王阿川 . 基于深度学习的遥感图像地物分割方法 ［J］. 液晶与显示 ， 2021 ， 36 （ 5 ）： 733 - 740 . doi: 10.37188/CJLCD.2020-0294 http://dx.doi.org/10.37188/CJLCD.2020-0294 基于深度学习的遥感图像地物分割方法 SHEN Y SH ， WANG A CH . Remote sensing image feature segmentation method based on deep learning ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 5 ）： 733 - 740 . （in Chinese） . doi: 10.37188/CJLCD.2020-0294 http://dx.doi.org/10.37188/CJLCD.2020-0294 Remote sensing image feature segmentation method based on deep learning 10.37188/OPE.20233108.1217 TP394.1 A 1004-924X（2023）08-1217-11 任凤雷,杨璐,周海波等.基于改进BiSeNet的实时图像语义分割[J].光学精密工程,2023,31(08):1217-1227. 任凤雷,杨璐,周海波等.基于改进BiSeNet的实时图像语义分割[J].光学精密工程,2023,31(08):1217-1227. REN Fenglei,YANG Lu,ZHOU Haibo,et al.Real-time semantic segmentation based on improved BiSeNet[J].Optics and Precision Engineering,2023,31(08):1217-1227. REN Fenglei,YANG Lu,ZHOU Haibo,et al.Real-time semantic segmentation based on improved BiSeNet[J].Optics and Precision Engineering,2023,31(08):1217-1227. 国家自然科学基金资助项目（No.51275209）；天津市自然科学基金重点项目资助（No. 17JCZDJC30400）；广东省重点领域研发计划资助项目（No. 2019B090922002） 2022-09-12 2022-10-01 2023-04-25 2023-05-04 36544141 光学精密工程 8 31