Segmentação semântica em tempo real de cenas urbanas baseada em rede de agregação entre níveis

HOU Zhiqiang ,  

CHENG Minjie ,  

MA Sugang ,  

QU Minjie ,  

YANG Xiaobao ,  

摘要

Com o rápido desenvolvimento da tecnologia de condução autónoma, a compreensão precisa e eficiente do cenário torna-se especialmente importante. A segmentação semântica de cenas urbanas tem como objetivo identificar e segmentar com precisão elementos como pedestres, obstáculos, estradas e sinais, proporcionando as informações rodoviárias necessárias para a tecnologia de condução autónoma. No entanto, os algoritmos atuais de segmentação semântica em cenas urbanas ainda enfrentam alguns desafios, principalmente a distinção insuficientemente clara entre pixels de categorias diferentes, a compreensão imprecisa da estrutura de cenas complexas e a segmentação imprecisa de objetos em pequena escala ou de grandes estruturas. Para isso, este artigo propõe um algoritmo de segmentação semântica em tempo real para cenas urbanas baseado numa rede de agregação entre níveis. Primeiramente, um módulo de pooling em pirâmide com agregação entre níveis foi projetado na extremidade do codificador para extrair eficientemente informação contextual multiescala; em segundo lugar, um módulo de agregação entre níveis foi projetado entre o codificador e o decodificador para melhorar a capacidade de representação da informação através da introdução de um mecanismo de atenção por canal, agregando progressivamente as características da fase do codificador para reutilização completa das características; finalmente, na fase do decodificador, foi projetado um módulo de fusão multiescala que agrega a informação global e local na dimensão do canal, promovendo a fusão das características profundas e superficiais. O algoritmo proposto foi validado em dois conjuntos de dados urbanos comuns. Num RTX3090 (ambiente de teste TensorRT), o algoritmo alcançou 294 FPS com uma precisão de 73,0% mIoU no conjunto de teste Cityscapes e 164 FPS com uma precisão de 75,8% mIoU em imagens de maior resolução; no conjunto de dados CamVid, alcançou 239 FPS com uma precisão de 74,8% mIoU. Os resultados experimentais mostram que o algoritmo alcança um equilíbrio eficaz entre precisão e tempo real, com uma melhoria significativa no desempenho da segmentação semântica em comparação com outros algoritmos, trazendo um novo avanço no campo da segmentação semântica em tempo real de cenas urbanas.

关键词

segmentação semântica;redes neurais convolucionais;cenas urbanas;estrutura codificador-decodificador;módulo de pooling em pirâmide

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website