ビデオ超解像（Video-Super Resolution、VSR）は、低解像度のビデオフレームシーケンスを高解像度のビデオフレームシーケンスに再構築することを目的としています。画像超解像と比較して、VSRは時間軸の情報を追加しているため、通常は隣接フレームの高い相関情報に依存して現在のフレームを再構築します。隣接フレームをどのように整列させ、高い相関情報を取得するかがVSRタスクの重要な課題です。本稿ではVSRタスクを除去ぼかし、整列、再構築の3段階に分けています。除去ぼかし段階では、現在のフレームと隣接フレームを事前に整列させ、現在のフレームと高い相関のある特徴情報を取得し、現在のフレームの細部を強化して初期段階でより多くの特徴情報を抽出できるようにします。整列段階では、入力特徴に対して二次整列操作を行い、隣接フレームの高い相関情報を利用して現在のフレームの特徴情報をさらに強化します。再構築段階では、元の低解像度フレームを集約してネットワークの末端でより多くの特徴情報を提供します。本稿では、従来の畳み込み操作の代わりに多層パーセプトロン（Multi-Layer Perceptron、MLP）を用いて特徴抽出モジュールを構築し、生成された特徴情報に対して二次整列を行うことで、画像特徴を細かく調整し、より優れたビデオフレームの再構築効果を得ています。実験結果は、提案手法が複数の公開データセットにおいてビデオフレームシーケンスの再構築精度を向上させると同時に、ネットワークパラメータ数の削減とより連続性の高いビデオシーケンスの再構築を実現していることを示しています。

コンピュータービジョン;ビデオ超解像;多層パーセプトロン;注意機構;オプティカルフロー;フレーム整列