Rede de detecção de alvos de áudio multimodal com transferência de conhecimento entre características interníveis

LIU Shibei ,  

CHEN Ying ,  

摘要

O som, como uma das propriedades intrínsecas dos objetos, pode fornecer informações valiosas para a detecção de alvos. Os métodos atuais que somente monitoram o som ambiente para a localização de alvos apresentam baixa robustez. Para resolver esse problema, foi proposto uma rede de detecção de alvos multimodal auto-supervisionada com transferência de conhecimento entre características interníveis. Primeiramente, para resolver o problema da capacidade limitada de aprendizagem entre características do mesmo nível das redes professor e aluno, foi desenvolvida uma perda de transferência de conhecimento entre características interníveis com múltiplos professores baseada em fusão por atenção, que funde características profundas e superficiais do aluno por meio da fusão por atenção para aprender de forma mais eficiente as características intermediárias correspondentes do professor, extraindo mais conhecimento, combinada com divergência KL para alinhar as características intermediárias das redes professor e aluno. Além disso, para resolver o problema da falta de informações de localização, foi adicionada uma perda de destilação de localização, fazendo com que a distribuição de caixas delimitadoras do aluno ajuste-se à distribuição de caixas delimitadoras do professor para obter mais informações de localização. A rede foi treinada no conjunto de dados multimodal audiovisual MAVD, onde o valor mAP da rede apresentou melhorias de 6,71%, 14,36% e 10,32% respectivamente em valores de IOU 0,5, 0,75 e média em relação à rede base. Os resultados experimentais comprovaram a superioridade desta rede de detecção.

关键词

multimodal; destilação de conhecimento; detecção de alvos; auto-supervisão; aprendizado profundo

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website