Rede de referência multiestágio para segmentação de ações com fronteiras

MAO Lin ,  

CAO Zhe ,  

YANG Dawei ,  

ZHANG Rubo ,  

摘要

Para enfrentar o problema de supersegmentação que causa erros de previsão e diminuição da qualidade da segmentação nos algoritmos atuais de segmentação de ações, propõe-se uma rede de referência multiestágio que utiliza informações ajustáveis das bordas das ações de vídeo como referência. Na rede principal baseada em uma rede convolucional temporal multiestágio, para cada estágio são introduzidas independentemente informações das bordas das ações de vídeo como referência. O uso das mesmas informações de borda em todas as etapas solidifica o modelo. Para permitir que a rede principal ajuste os valores fronteiriços envolvidos no cálculo de saída de cada estágio e trate diferentes amostras de forma distinta, propõe-se uma unidade de regulação de peso composta por convoluções paralelas em múltiplas camadas. Como a rede de referência multiestágio utiliza informações ajustáveis das bordas como referência e processa suavemente as saídas de cada estágio em sequência temporal, ela pode reduzir significativamente os erros de supersegmentação. Os experimentos mostram que este método supera o desempenho dos métodos semelhantes existentes em três conjuntos de dados de segmentação de ações em vídeo GTEA, 50Salads e Breakfast. Em comparação com o algoritmo BCN (Boundary-Aware Cascade Networks), a pontuação média de edição de segmentação aumentou 1,7%, e a pontuação média harmônica de precisão e recall aumentou 1,5%.

关键词

segmentação de ações em vídeo;rede convolucional temporal;borda de ação em vídeo;vídeo não cortado

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website