Rastreador visual Transformer baseado em destilação de conhecimento

LI Na ,  

LIU Mengqiao ,  

PAN Jinting ,  

HUANG Kai ,  

JIA Xingxuan ,  

摘要

Para abordar o problema da dificuldade em alcançar rastreamento de alta precisão e alta taxa de quadros com modelos profundos complexos sob condições restritas de recursos computacionais, este artigo propõe um rastreador visual Transformer baseado em destilação de conhecimento. Este rastreador visual, ao introduzir um módulo de correção dinâmica de imagem, realiza uma fusão dinâmica entre a imagem de busca do quadro atual e a imagem prevista baseada em fluxo óptico, conseguindo lidar efetivamente com desafios como movimento rápido do alvo e desfoque de movimento. Para reduzir a complexidade do modelo, emprega-se uma estratégia de aprendizado de destilação de conhecimento para compressão do modelo, incorporando a incerteza homocedástica na função de perda, permitindo aprender os pesos da perda das diferentes subtarefas e evitando a dificuldade e complexidade do ajuste manual de parâmetros. Além disso, durante o treinamento, é adotada uma estratégia de desfoque aleatório para aumentar a robustez do modelo. Foram propostos dois frameworks de rastreamento com diferentes níveis de complexidade: KTransT-T e KTransT, realizando experimentos comparativos com 12 algoritmos em cinco conjuntos públicos de dados. Os resultados experimentais demonstram que o algoritmo KTransT-T aumenta efetivamente a precisão e a taxa de sucesso do rastreamento, enquanto o KTransT alcança precisão comparável aos algoritmos principais, mantendo baixa complexidade de modelo, com velocidade de rastreamento de até 158 quadros por segundo, atendendo às necessidades de rastreamento em tempo real.

关键词

visão computacional;rastreamento de objeto;Transformer;destilação de conhecimento;incerteza homocedástica

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website