適応リアルタイムコントローラの計算遅延による誤差を低減するために、後半フレーム画像を現在のフレーム画像の入力として使用し、高速ミラー補正精度を効果的に向上させ、現在の機載映像システムにおける重要な応用となっている。本稿では、光流法に基づく軽量な動画後半フレームリアルタイム予測手法を提案する。本手法は連続する2フレーム画像を入力とし、光流推定モジュールにより前向きおよび後向き光流場を予測する。同時に時間エンコーディングtを導入し、予測される双方向光流を線形時間スケールで拡縮し、双線形変換に基づく特徴整合により後半フレーム予測を実現する。光流推定モジュールは多層深層可分離畳み込み構造を採用し、モデルパラメータ数を大幅に削減し、チャネル注意強化ブロックを導入して特徴チャネル間の適応的再校正を実現し、細部特徴を捉える。実験結果は次のとおりである：可視光データセットでPSNRは27 dB以上、SSIMは0.93以上であり、後半フレームの予測速度は116 fps以上で、典型的なアルゴリズムより約60 fps速い。赤外線データセットではPSNRは41 dB以上、SSIMは0.98以上であり、後半フレーム予測速度は123 fpsに達し、典型的なアルゴリズムより約60 fps速い。本アルゴリズムは広帯域での一般化能力を持ち、高フレームレート・高品質で後半フレームを予測可能である。

コンピュータビジョン;ビデオフレーム予測;深層学習;光流法