Rede de Geração Semântica Encadeada na Descrição de Vídeo

MAO Lin ,  

GAO Hang ,  

YANG Dawei ,  

ZHANG Rubo ,  

摘要

Para resolver o problema da imprecisão na descrição do texto causada pela insuficiente capacidade de expressão das características semânticas na descrição de vídeo, este artigo propõe uma Rede de Geração Semântica Encadeada para descrição de vídeo (Chained Semantic generation Network, ChainS-Net). Foi construída uma estrutura de extração de características em cadeia, cruzada em duas vias e em múltiplas etapas, utilizando módulos de domínio global e local como unidades básicas, capturando a semântica do vídeo a partir das características visuais nos níveis global e local; em cada fase da rede, as informações semânticas são transformadas e analisadas entre os domínios global e local, realizando uma referência interativa entre as informações visuais e semânticas, melhorando a capacidade de expressão das características semânticas; com base nisso, a rede obtém uma representação semântica mais eficaz por meio de um processamento iterativo em múltiplas etapas, elevando o desempenho do modelo de descrição de vídeo. Os resultados experimentais em conjuntos de dados MSR-VTT e MSVD mostram que a rede de geração semântica encadeada ChainS-Net proposta supera os métodos similares existentes, com uma melhoria média de 2,5% nos quatro índices de avaliação da descrição de vídeo em comparação com a rede de legendagem de vídeo assistida por semântica (Semantics-Assisted Video Captioning network, SAVC).

关键词

descrição de vídeo; características semânticas; global; local; transformação de domínio; múltiplas etapas

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website