Reconstrucción en tiempo real de videos de objetivos dinámicos infrarrojos a bordo

ZHU Deyan ,  

XU Jiayi ,  

AO Yongqi ,  

摘要

Para mejorar la capacidad del sistema de imagen infrarroja embarcada para detectar e identificar objetivos dinámicos a larga distancia, se propone un método de reconstrucción de video infrarrojo de alta resolución basado en una red neuronal residual cíclica. Este método se dirige al proceso de degradación real del sistema de imagen infrarroja embarcada, combinando información sobre el movimiento de los objetivos dinámicos, lo que permite optimizar la calidad de la reconstrucción del video. En primer lugar, se realizó un análisis del proceso de degradación de videos infrarrojos, incluido el submuestreo, el desenfoque del movimiento y las interferencias de ruido, y se construyó un conjunto de datos de baja resolución en base a esto, junto con la presentación de una red neuronal residual cíclica. Esta red es capaz de extraer y transmitir de manera efectiva la información sobre el movimiento de los objetivos dinámicos, lo que permite restaurar de forma flexible la forma, los contornos y los detalles de textura de los objetivos. Utilizando una estructura principal de modelado con bloques residuales parciales superpuestos para mejorar el flujo de información, mientras se hace que el modelo sea más adecuado para manejar secuencias de video más largas, y evitando eficazmente la desaparición de gradientes de modelo durante el proceso de entrenamiento. Además, mediante el ajuste del número de bloques residuales y la cantidad de núcleos de convolución en cada capa, se optimizó la representación y la eficiencia computacional de la red. Además, como supervisor conjunto se propone una pérdida combinada de Charbonnier y la información de alta frecuencia (HFLoss), utilizada para mejorar el efecto de restauración de detalles de alta frecuencia en la imagen reconstruida. Los resultados del experimento muestran que el método de reconstrucción propuesto permite la duplicación de la resolución de objetivos dinámicos en videos en bases de datos públicas y prácticas, con un valor de PSNR superior a 40 dB, un valor de SSIM superior a 0,92 y una velocidad de reconstrucción de al menos 45 cuadros por segundo. Al combinar una resolución de blanco de prueba y un sistema de imagen termográfica, se calibró con éxito la resolución angular del sistema, confirmando las ventajas del método en la mejora de la resolución angular del sistema, con un aumento de 1,43 veces en la resolución angular. Este método es capaz de cumplir con los requisitos de alta calidad de reconstrucción en tiempo real del sistema de imagen embarcada.

关键词

Visión por computadora; video de alta resolución; aprendizaje profundo; red neuronal cíclica; red neuronal residual profunda; objetivos dinámicos de infrarrojos

阅读全文