비디오 초해상도(Video-Super Resolution, VSR)는 저해상도 비디오 프레임 시퀀스를 고해상도 비디오 프레임 시퀀스로 재구성하는 것을 목표로 한다. 이미지 초해상도와 비교할 때, VSR은 시간 차원이 추가되었기 때문에 일반적으로 인접 프레임간의 높은 상관관계 정보를 활용하여 현재 프레임을 재구성해야 한다. 인접 프레임을 어떻게 정렬하고 프레임 간 높은 상관관계 정보를 얻는지가 VSR 과제의 핵심 문제이다. 본 논문에서는 VSR 과제를 디블러링, 정렬, 재구성의 세 단계로 나눈다. 디블러링 단계에서는 현재 프레임과 인접 프레임을 사전 정렬하여 현재 프레임과 높은 상관성을 가진 특징 정보를 획득하고, 현재 프레임의 세부 정보를 강화하여 초기 단계에서 더 많은 특징 정보를 추출할 수 있도록 한다. 정렬 단계에서는 입력 특징에 대해 2차 정렬을 수행하여 인접 프레임에서 높은 상관성 정보를 활용해 현재 프레임의 특징 정보를 더욱 강화한다. 재구성 단계에서는 네트워크 말단에서 더 많은 특징 정보를 제공하기 위해 원본 저해상도 프레임을 집계한다. 본 논문은 전통적인 합성곱 연산 대신 다층 퍼셉트론(Multi-Layer Perceptron, MLP)을 이용하여 특징 추출 모듈을 구성하고, 생성된 특징 정보에 대해 2차 정렬을 수행하여 이미지 특징을 정제함으로써 더 우수한 비디오 프레임 재구성 효과를 얻는다. 실험 결과 제안한 알고리즘은 여러 공개 데이터셋에서 비디오 프레임 시퀀스 재구성 정확도가 더 높을 뿐만 아니라, 네트워크 파라미터 수는 더 적고 연속적인 비디오 시퀀스 재구성 성능도 우수함을 보였다.

컴퓨터 비전;비디오 초해상도;다층 퍼셉트론;어텐션 메커니즘;광류;프레임 정렬