Previsão em tempo real da segunda metade do quadro de vídeo de banda larga baseada no método de fluxo óptico

ZHU Deyan ,  

GONG Changsheng ,  

WANG Qi ,  

XU Jiayi ,  

摘要

Utiliza-se a segunda metade do quadro como entrada para o quadro atual, a fim de reduzir o erro causado pelo atraso no cálculo do controlador adaptativo em tempo real, podendo aumentar efetivamente a precisão da correção do espelho rápido, tornando-se uma aplicação importante nos sistemas de imagem embarcados atuais. Este artigo propõe um método leve de previsão em tempo real da segunda metade do quadro de vídeo baseado no método de fluxo óptico. Este método utiliza duas imagens consecutivas como entrada e prevê os campos de fluxo óptico para frente e para trás por meio de um módulo de estimativa de fluxo óptico. Ao mesmo tempo, é introduzida a codificação temporal t para realizar a escala linear temporal do fluxo óptico bidirecional previsto, e a previsão da segunda metade do quadro é realizada por meio de alinhamento de características baseado em transformação bilinear. O módulo de estimativa de fluxo óptico utiliza uma estrutura de convolução profunda separável em várias camadas para reduzir significativamente a quantidade de parâmetros do modelo, introduzindo um bloco de atenção de canal para realizar a recalibração adaptativa entre os canais de características, capturando características detalhadas. Os resultados experimentais mostram que: no conjunto de dados de luz visível, o PSNR é superior a 27 dB, o SSIM é superior a 0,93, a taxa de previsão da segunda metade do quadro não é inferior a 116 quadros/s, cerca de 60 quadros/s mais rápido que os algoritmos típicos; no conjunto de dados infravermelhos, o PSNR é superior a 41 dB, o SSIM é superior a 0,98, a taxa de previsão da segunda metade do quadro atinge 123 quadros/s, cerca de 60 quadros/s mais rápido que os algoritmos típicos. Este algoritmo possui capacidade de generalização em banda larga e pode prever a segunda metade do quadro em alta taxa de quadros e alta qualidade.

关键词

Visão computacional;Previsão de quadros de vídeo;Aprendizado profundo;Método de fluxo óptico

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website