Para abordar os problemas de fraca compreensão de novos conceitos pelo detector em cenários abertos, confusão de etiquetas e desempenho insuficiente na detecção de novas classes, foi proposta uma metodologia de detecção de objetos de vocabulário aberto reforçada por fusão de ramificações duplas guiada por incorporação de conhecimento (KI-DBFOVD). Primeiro, um módulo de incorporação de conhecimento (KI) foi projetado, utilizando pseudoetiquetas geradas pelo modelo visual-linguístico (VLM) para incorporar ao detector e promover o aprendizado de novas classes; em seguida, um módulo de correspondência de etiquetas (LM) foi proposto, através do ajuste de múltiplos limiares e correspondência independente entre classes base e novas para afinar o processo de correspondência de etiquetas, aliviando a confusão durante o treinamento do detector; por fim, as ramificações visual tradicional e visual-linguística foram fundidas por média geométrica, criando um novo módulo de fusão de ramificações duplas (DBF) que, mantendo a precisão na detecção das classes base, explora e localiza de forma mais eficaz os alvos das novas classes, melhorando globalmente o desempenho do método KI-DBFOVD. Os resultados experimentais mostram que o método alcançou 38,6% de precisão na detecção de novas classes no conjunto de dados COCO e 25,4% no conjunto de dados LVIS, que é mais diversificado e mais difícil, superando vários métodos populares, podendo ser melhor aplicado em diferentes cenários abertos.

Detecção de objeto de vocabulário aberto;Incorporação de conhecimento;Correspondência de etiquetas;Fusão de ramificações duplas