비디오 설명에서 의미적 특징 표현 능력 부족으로 인한 텍스트 설명 부정확 문제를 해결하기 위해, 본 논문은 비디오 설명용 체인식 의미 생성 네트워크(Chained Semantic generation Network, ChainS-Net)를 제안한다. 전역 영역과 국부 영역 모듈을 기본 단위로 하는 다단계 이중 교차 체인 특징 추출 구조를 구축하여 시각적 특징의 전역 및 국부 관점에서 비디오 의미를 포착한다; 네트워크 각 단계에서는 전역 영역과 국부 영역 사이에서 의미 정보를 변환·해석하여 시각 및 의미 정보의 상호 참조를 실현함으로써 의미 특징 표현 능력을 향상시킨다; 이를 바탕으로 네트워크는 다단계 반복 처리를 통해 보다 효과적인 의미 표현을 얻어 비디오 설명 모델의 성능을 향상시킨다. MSR-VTT 및 MSVD 데이터셋에서의 실험 결과는 제안된 체인식 의미 생성 네트워크 ChainS-Net이 기존의 유사 방법보다 우수하며, 의미 기반 비디오 설명 네트워크(Semantics-Assisted Video Captioning network, SAVC) 대비 비디오 설명 평가 지표 4개 평균 2.5% 향상됨을 보여준다.

비디오 설명; 의미 특징; 전역; 국부; 영역 변환; 다단계