Para enfrentar a compreensão fraca de novos conceitos de classe em cenas abertas, confusão de rótulos e desempenho insuficiente na detecção de novas classes, propomos um método de detecção de objetos de vocabulário aberto aprimorado com fusão de ramificação dupla guiada por incorporação de conhecimento (KI-DBFOVD). Primeiramente, projetamos um módulo de incorporação de conhecimento (KI) que utiliza rótulos falsos gerados por um modelo de linguagem visual (VLM) para promover a aprendizagem de novos conceitos de classe. Em seguida, propomos um módulo de correspondência de rótulos (LM), que ajusta o processo de correspondência de rótulos por meio de ajuste de vários níveis de limiares e correspondência independente de classes base-novas classes para mitigar a confusão de rótulos de classes base e novas classes durante o treinamento do detector. Por fim, fundimos os ramos visuais tradicionais e linguística visual de maneira geométrica e construímos um novo módulo de fusão de ramificação dupla (DBF), que mantém a precisão da detecção de classes base ao mesmo tempo que efetivamente detecta e localiza alvos de novas classes, melhorando ainda mais o desempenho de detecção do método KI-DBFOVD como um todo. Os resultados experimentais mostram que o nosso método alcança uma precisão de detecção de novas classes de 38,6% no conjunto de dados COCO e uma precisão de detecção de novas classes de 25,4% no conjunto de dados LVIS, que tem categorias mais variadas e maior dificuldade de detecção, superando vários métodos populares e sendo mais adequado para diferentes cenários abertos.

Detecção de vocabulário aberto; Incorporação de conhecimento; Correspondência de rótulos; Fusão de ramificação dupla