A super-resolução de vídeo (Video-Super Resolution, VSR) visa reconstruir uma sequência de quadros de vídeo de baixa resolução em uma sequência de quadros de vídeo de alta resolução. Em comparação com a super-resolução de imagens, o VSR geralmente requer depender das informações altamente correlacionadas dos quadros adjacentes para realizar a reconstrução do quadro atual devido à adição da dimensão temporal. Como alinhar os quadros adjacentes e obter informações altamente correlacionadas entre quadros é uma questão central na tarefa de VSR. Este artigo divide a tarefa VSR em três etapas: desembaçamento, alinhamento e reconstrução. Na etapa de desembaçamento, o quadro atual é pré-alinhado com os quadros adjacentes para obter informações de características altamente correlacionadas com o quadro atual, reforçando os detalhes do quadro atual para facilitar a extração de mais informações de características na fase inicial. Na etapa de alinhamento, realiza-se um segundo alinhamento das características de entrada, utilizando informações altamente correlacionadas dos quadros adjacentes para reforçar ainda mais as informações das características no quadro atual. Na etapa de reconstrução, os quadros originais de baixa resolução são agregados para fornecer mais informações de características na extremidade da rede. Este artigo utiliza um perceptron multicamadas (Multi-Layer Perceptron, MLP) para substituir operações tradicionais de convolução na construção do módulo de extração de características, ao mesmo tempo em que realiza um segundo alinhamento das informações de características geradas para refinar as características da imagem e obter um melhor efeito de reconstrução dos quadros de vídeo. Os resultados experimentais mostram que o algoritmo proposto alcança maior precisão de reconstrução de sequências de quadros de vídeo em múltiplos conjuntos de dados públicos, enquanto também obtém menos parâmetros de rede e uma reconstrução de sequência de vídeo mais coerente.

visão computacional;super-resolução de vídeo;perceptron multicamadas;mecanismo de atenção;fluxo óptico;alinhamento de quadros