Aplicação da rede adversária generativa SENet na descrição semântica de imagens

LIU Zhongmin ,  

CHEN Heng ,  

HU Wenjin ,  

摘要

Para resolver os problemas de descrições de frases imprecisas e a pouca coloração emocional durante o processo de descrição semântica de imagens, propõe-se um método de descrição semântica de imagens baseado na rede adversária generativa SENet. Este método adiciona um mecanismo de atenção aos canais na fase de extração de características do modelo gerador, permitindo que a rede extraia de forma mais completa e integral as características das regiões proeminentes da imagem, inserindo as características extraídas no codificador. Um corpus emocional foi adicionado ao corpus textual original e, por meio do processamento de linguagem natural, foram gerados vetores de palavras, que foram combinados com as características de imagem codificadas e inseridas no decodificador. Por meio de treinamento adversarial contínuo, gera-se uma sentença descritiva emocional que corresponde ao conteúdo da imagem. Finalmente, por meio de experimentos de simulação e comparação com métodos existentes, o índice BLEU deste método aumentou cerca de 15% em relação ao método SentiCap, e outros indicadores relacionados também melhoraram. Nos experimentos de auto-comparação, este método aumentou o índice CIDEr em cerca de 3%. Esta rede pode extrair bem as características da imagem, tornando as sentenças descritivas mais precisas e emocionalmente ricas.

关键词

descrição semântica de imagens;modelo gerador;extração de características;treinamento adversarial;atenção aos canais

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website