残差収縮と時空間コンテキストを組み合わせた行動検出ネットワーク

HUANG Zhong ,  

TAO Mengyuan ,  

HU Min ,  

LIU Juan ,  

ZHAN Shengbao ,  

摘要

R-C3D行動検出ネットワークの特徴抽出の冗長性の高さと境界位置の不正確さの問題に対処するため、残差収縮構造と時空間コンテキストを組み合わせた改良型行動検出ネットワーク(RS-STCBD)を提案する。まず、収縮構造とソフトしきい値操作を3D-ResNetの残差モジュールに統合し、チャネル適応しきい値の残差収縮ユニット(3D-RSST)を設計し、複数の3D-RSSTユニットをカスケードして特徴抽出ネットワークを構築し、行動特徴のノイズや背景などの冗長情報を除去する。次に、時系列候補サブネットに一度の畳み込みの代わりに複数の畳み込み層を埋め込み、時系列候補セグメントの時系列次元の受容野を拡大する。最後に、行動分類サブネットに非局所注意機構を導入し、高品質な行動時系列セグメント間の遠隔依存関係を捉えて動作の時空間コンテキスト情報を取得する。THUMOS14およびActivityNet1.2データセットでの実験結果は、改良されたネットワークのmAP@0.5がそれぞれ36.9%および41.6%に達し、R-C3D手法に比べて8.0%および14.8%改善されたことを示している。改良型ネットワークに基づく行動検出手法は、動作境界の位置精度および行動分類の正確性を向上させ、自然環境下での人と機械のインタラクションの質の改善に寄与する。

关键词

行動検出ネットワーク; 残差収縮構造; 時空間コンテキスト; 複数層畳み込み; 非局所注意機構

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website