従来の二流ネットワークでは動画シーケンス内の時間的関係を捉えられず、時間依存度の高い行動認識の精度が低い問題に対して、改良された二流時空間ネットワークに基づく人体行動認識アルゴリズムを提案する。まず、時間シフトの考え方を用いて、畳み込みニューラルネットワークが動画内の時間的関係をモデル化し、動画の時空間情報を効率的に捕捉できるようにした。同時に、チャネル情報が時間軸上で移動することによって生じる空間特徴学習能力の低下を注意機構で改善した。これに基づき、時空間外観情報フローと時空間運動情報フローを含む二流ネットワーク構造を構築した。最後に加重平均で二流ネットワークを融合し、最終の認識結果を得た。UCF101およびHMDB51データセットで実験を行い、認識精度はそれぞれ96.3%と77.7%であった。実験結果は、従来の二流ネットワーク手法と比較して認識精度が向上したことを示し、本算法が動画内の時間的関係を効果的に捉え、ネットワークの特徴表現能力を強化し、時間依存度の高い行動や類似行動の識別能力を向上させることを検証した。

コンピュータビジョン;行動認識;二流ネットワーク;時間シフト;注意機構