Para melhorar o desempenho do algoritmo de segmentação semântica de imagens, atendendo simultaneamente aos requisitos de precisão e em tempo real, este artigo propõe um algoritmo de segmentação semântica de imagens em tempo real baseado em BiSeNet aprimorado. Primeiro, compartilhando a cabeça da rede de dois ramos para eliminar a redundância de canais e parâmetros na estrutura da rede BiSeNet, ao mesmo tempo que extrai de forma eficaz as características rasas da imagem; em seguida, a rede compartilhada mencionada é dividida em uma rede de dois ramos composta por um ramo de detalhes e um ramo semântico, usados para extrair informações detalhadas espaciais e informações do contexto semântico, respectivamente; além disso, um mecanismo de atenção de canal e espacial é introduzido na extremidade do ramo semântico para reforçar a capacidade de expressão das características, otimizando o algoritmo BiSeNet com um mecanismo de atenção dupla para extrair características do contexto semântico de forma mais eficaz; por fim, as características dos ramos de detalhes e semântico são fundidas e restauradas ao tamanho da resolução da imagem de entrada por meio de uma operação de upsampling para realizar a segmentação semântica de imagens. O algoritmo deste artigo alcança um desempenho em tempo real de 95.3 FPS com precisão de 77.2% mIoU no conjunto de dados Cityscapes; e desempenho em tempo real de 179.1 FPS com precisão de 73.8% mIoU no conjunto de dados CamVid. Os resultados experimentais mostram que o algoritmo alcança um bom equilíbrio entre tempo real e precisão, e seu desempenho de segmentação semântica foi significativamente melhorado em comparação com o algoritmo BiSeNet e outros algoritmos existentes.

segmentação semântica; mecanismo de atenção; tempo real; aprendizado profundo