Reconstrução em super-resolução em tempo real de vídeos de alvos dinâmicos infravermelhos embarcados

ZHU Deyan ,  

XU Jiayi ,  

AO Yongqi ,  

摘要

Para melhorar a capacidade dos sistemas de imagem infravermelha embarcados na detecção e reconhecimento de alvos dinâmicos a longa distância, propõe-se um método de reconstrução de vídeo infravermelho de super-resolução baseado em rede neural residual recorrente. Este método aborda o processo de degradação real dos sistemas de imagem infravermelha embarcados, combinando informações de movimento dos alvos dinâmicos, e, através da otimização da arquitetura da rede, melhora eficazmente a qualidade da reconstrução do vídeo. Inicialmente, foi analisado o processo de degradação do vídeo infravermelho, incluindo subamostragem, desfoque de movimento e interferência de ruído, e com base nisso foi construído um conjunto de dados de baixa resolução. Foi introduzida uma rede neural residual recorrente que pode extrair e transmitir eficazmente informações de movimento dos alvos dinâmicos para restaurar a forma, contorno e detalhes texturais do alvo. A estrutura principal do modelo foi aprimorada utilizando uma estrutura residual em cascata com saltos, garantindo um fluxo de informação suave e tornando-a mais adequada para lidar com sequências de vídeo longas, além de evitar eficazmente o desaparecimento do gradiente durante o treinamento. Além disso, a capacidade de expressão e a eficiência de cálculo da rede foram otimizadas ajustando-se o número de blocos residuais e o número dos núcleos convolucionais em cada camada. Além disso, foi proposta uma função de perda que combina a perda Charbonnier e a perda de informação de alta frequência (HFLoss) para supervisão conjunta, visando melhorar a recuperação de detalhes de alta frequência nas imagens reconstruídas. Os resultados experimentais mostram que o método de reconstrução proposto pode alcançar super-resolução 2x para alvos dinâmicos em conjuntos de dados infravermelhos públicos e reais, com valor PSNR superior a 40 dB, valor SSIM acima de 0,92 e taxa de reconstrução não inferior a 45 frames por segundo. Combinando um alvo de teste de resolução e um sistema de imagem infravermelha com zoom variável, a resolução angular do sistema foi calibrada com precisão, verificando a vantagem do método de reconstrução na melhoria da resolução angular do sistema, com um aumento de 1,43 vezes. Este método pode atender aos requisitos de alta capacidade em tempo real e qualidade de reconstrução dos sistemas de imagem embarcados.

关键词

visão computacional;super-resolução de vídeo;aprendizado profundo;rede neural recorrente;rede residual profunda;alvos dinâmicos infravermelhos

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website