Restauração de imagens com grandes áreas danificadas baseada em priorizações estruturais e agregação residual multiescala

WEI Yun ,  

JIA Baixue ,  

FENG Dandan ,  

ZHANG Zhirui ,  

XIN Zihao ,  

WU Tongchen ,  

摘要

Para abordar os problemas de textura borrada, distorção estrutural e artefatos nas bordas em projetos de restauração de imagens com grandes áreas danificadas, como rostos, cenas de rua e edifícios, propõe-se um método de restauração de imagens danificadas em larga escala baseado em priorizações estruturais e agregação residual multiescala (SPMRA-Net). Primeiro, é projetado um módulo dinâmico adaptativo multiescala (DAM) que, por meio de convoluções dilatadas e estruturas residuais, reforça a capacidade do modelo de captar o contexto. Em seguida, é construído um módulo bottleneck composto por um caminho Transformer e um caminho de atenção semântica consistente, que, através de um mecanismo de atenção cruzada, funde informações semânticas globais da rota Transformer com informações texturais locais da rota de autoatenção, para suprimir distorções estruturais em cenários com grandes danos. Depois, para aliviar o problema da lacuna semântica causada pela concatenação simples nas conexões skip tradicionais, introduz-se um módulo de agregação multiescala adaptativo (AMSA) que melhora a interação entre características profundas e superficiais, garantindo a continuidade das bordas na imagem restaurada. Por fim, são introduzidos discriminadores duplos para avaliar a consistência entre os resultados restaurados e as imagens originais, melhorando o realismo visual das imagens geradas. Os resultados experimentais mostram que o modelo melhora o PSNR em 3,06 dB, aumenta o SSIM em 0,087 e reduz o LPIPS em 0,078 no conjunto de dados CelebA. Além disso, as avaliações subjetivas e objetivas nos conjuntos Paris StreetView e Places2 superam os algoritmos comparativos. O método proposto apresenta melhorias tanto na consistência estrutural quanto no nível perceptual, comprovando sua eficácia na tarefa de restauração de imagens com grandes danos.

关键词

Aprendizado profundo; Restauração de imagens; Redes adversariais generativas; Resíduos multiescala; Priorizações estruturais; Transformer

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website