기존 동작 분할 알고리즘에서 과분할 문제로 인해 예측 오류가 발생하고 분할 품질이 저하되는 현상에 대응하여 조정 가능한 비디오 동작 경계 정보를 참고로 사용하는 다단계 참조 네트워크를 제안한다. 다단계 시계열 합성곱 신경망을 기반으로 하는 주 네트워크에서 각 단계에 대해 독립적으로 비디오 동작 경계 정보를 참고로 도입한다. 각 단계에서 동일한 경계 정보를 사용하면 모델이 고착화되므로, 주 네트워크가 각 단계 출력 계산에 참여하는 경계 값을 조정하여 서로 다른 샘플을 구분 처리할 수 있도록 다층 병렬 합성곱으로 구성된 가중치 조절 유닛을 제안한다. 다단계 참조 네트워크는 조정 가능한 경계 정보를 참고로 활용하며 시계열에 따라 각 단계 출력을 부드럽게 처리하여 과분할 오류를 크게 줄일 수 있다. 실험 결과, 이 방법은 세 개의 비디오 동작 분할 데이터셋인 GTEA, 50Salads, Breakfast에서 기존 유사 방법들보다 성능이 우수하며, BCN(Boundary-Aware Cascade Networks) 알고리즘과 비교할 때 분할 편집 점수가 평균 1.7% 향상되고 정확도와 재현율의 조화 평균 점수가 평균 1.5% 향상되었다.

비디오 동작 분할;시계열 합성곱 네트워크;비디오 동작 경계;크롭되지 않은 비디오