Segmentação de instâncias em vídeo com regulação gerativa adaptativa à escala sob supervisão fraca

ZHANG Yinhui ,  

HAI Weiqi ,  

HE Zifen ,  

HUANG Ying ,  

CHEN Dongdong ,  

摘要

A segmentação de instâncias em vídeo é uma tecnologia chave para a percepção multiobjetivo e o entendimento de cenas em sistemas de assistência à condução veicular. Para abordar o problema da baixa precisão na segmentação de alvos com ampla faixa dinâmica em cenas de tráfego, causada pelo treino da rede usando apenas caixas delimitadoras em supervisão fraca, este artigo propõe a rede de segmentação de instâncias em vídeo com regulação geração adaptativa à escala sob supervisão fraca (SAGRNet). Primeiramente, é projetado um módulo de regulação adaptativa dinâmica da contribuição de mapas de características multiescala, substituindo o ponderamento linear original por um ajuste dinâmico da contribuição das informações dos mapas de características em diferentes escalas, reforçando a capacidade de foco na posição local e no contorno geral do alvo, resolvendo o problema do amplo intervalo dinâmico de escalas causado pela distância de captura de veículos, pedestres, entre outros; em seguida, é construído um módulo de regulação geração de agregação de informações espaciais multi-granulares da instância alvo, que gera parâmetros de peso por meio da agregação de informações espaciais multi-granulares extraídas com diferentes taxas de dilatação para regular as características dos mapas em múltiplas escalas, alcançando o refinamento das bordas das instâncias e fortalecendo a representação das características dos mapas de máscara por meio da interação intercanal, compensando eficazmente a falta de informações nas bordas das instâncias que causa perda de continuidade nos contornos da máscara. Por fim, para mitigar a fraqueza da supervisão das etiquetas das caixas delimitadoras, são introduzidas perdas ortogonais e de similaridade de cor para reduzir o desvio entre a máscara prevista pelo modelo e as caixas reais, e para calcular o problema de classificação difusa de atributos de rótulos por pixel. Os resultados experimentais com o conjunto de dados de cenas de tráfego Youtube-VIS2019 mostram que o SAGRNet melhora a precisão média de segmentação em 5,1%, atingindo 38,1% em comparação com redes base sob supervisão fraca, fornecendo uma base algorítmica eficaz para a percepção multiobjetivo e compreensão de cenas em nível de instância.

关键词

assistência à condução;supervisão fraca;segmentação de instâncias em vídeo;regulação gerativa adaptativa;granularidade fina

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website