전통적인 두 흐름 네트워크가 비디오 시퀀스에서 시간적 관계를 포착하지 못해 시간적 의존도가 큰 행동 인식 성능이 좋지 않은 문제를 해결하기 위해 개선된 두 흐름 시공간 네트워크 기반의 인간 행동 인식 알고리즘을 제안한다. 먼저 시간 이동 개념을 이용하여 합성곱 신경망이 비디오 내 시간적 관계를 모델링하여 시공간 정보를 효율적으로 포착할 수 있도록 하였다; 동시에 채널 정보가 시간 축을 따라 이동함에 따라 공간 특성 학습 능력이 저하되는 문제를 개선하기 위해 주의 메커니즘을 사용하였다; 이를 바탕으로 시공간 외관 정보 흐름과 시공간 운동 정보 흐름을 포함하는 두 흐름 네트워크 구조를 구축하였다; 마지막으로 가중 평균 방식을 사용해 두 흐름 네트워크를 융합하여 최종 인식 결과를 얻었다. UCF101과 HMDB51 데이터셋에서 각각 실험하였으며 인식 정확도는 96.3%와 77.7%였다. 실험 결과 전통적인 두 흐름 네트워크 방법과 비교하여 인식 정확도가 향상되었으며, 본 알고리즘이 비디오 내 시간적 관계를 효과적으로 포착하고 네트워크의 특징 표현 능력을 강화하며, 시간적 의존도가 큰 행동 및 유사 행동 인식 능력을 향상시킴을 검증하였다.

컴퓨터 비전;행동 인식;두 흐름 네트워크;시간 이동;주의 메커니즘