Para resolver o problema da alta redundância na extração de características da rede de detecção de ações R-C3D e da localização imprecisa dos limites, propomos uma rede de detecção de ações aprimorada (RS-STCBD) que combina a estrutura residual de contração e o contexto espaço-temporal. Primeiro, a estrutura de contração e a operação de limiarização suave são incorporadas ao módulo residual do 3D-ResNet, projetando uma unidade residual de contração com limiar adaptativo por canal (3D-RSST) e encadeando várias unidades 3D-RSST para construir a rede de extração de características, eliminando ruídos, fundo e outras informações redundantes nas características da ação. Em seguida, múltiplas camadas convolucionais substituem uma única convolução na sub-rede de candidatos temporais para aumentar o campo receptivo temporal dos segmentos candidatos temporais. Por fim, um mecanismo de atenção não local é introduzido na sub-rede de classificação de ações, capturando dependências remotas entre segmentos de ações temporais de alta qualidade para obter informações de contexto espaço-temporal. Os resultados experimentais nos conjuntos de dados THUMOS14 e ActivityNet1.2 mostram que o mAP@0.5 da rede aprimorada alcança 36,9% e 41,6%, respectivamente, com melhorias de 8,0% e 14,8% em comparação ao método R-C3D. O método de detecção de ações baseado na rede aprimorada melhora a precisão da localização dos limites e a acurácia da classificação, contribuindo para melhorar a qualidade da interação humano-máquina em cenários naturais.

rede de detecção de ações; estrutura residual de contração; contexto espaço-temporal; múltiplas camadas convolucionais; mecanismo de atenção não local