Para abordar o problema da fraca capacidade do modelo de discriminar o primeiro plano em cenários abertos e o grande viés da classe base que resulta em baixa precisão na detecção de novas classes, é proposto um método de detecção de objetos com vocabulário aberto "慧眼识“新". Primeiramente, foi projetado um módulo de discriminação de características do primeiro plano, utilizando um estimador de primeiro plano para modelar regiões potenciais de novas classes e gerar pseudo rótulos de alta qualidade, realizando uma separação precisa entre primeiro plano e fundo para fortalecer a capacidade do modelo de discriminar as características do primeiro plano. Em seguida, é proposto um módulo de alinhamento de características bidirecional, adotando um mecanismo de alinhamento multimodal bidirecional e uma estratégia de calibração de confiança para suprimir o viés da classe base durante o treinamento e fortalecer a aprendizagem das características das novas classes. Por fim, é construído um módulo de treinamento contrastivo de redução de ruído, introduzindo pares visual-textuais ruidosos para aprendizado contrastivo, melhorando ainda mais a capacidade do modelo de distinguir características do primeiro plano e a generalização para novas classes. Os resultados experimentais mostram que este método alcança precisão de detecção para novas classes de 44,9% e 37,4% nos conjuntos de dados COCO e LVIS mais desafiadores e detalhados, respectivamente, superando os métodos atuais e melhorando efetivamente o desempenho de detecção de novas classes em cenários abertos.

Detecção de objetos;Vocabulário aberto;Discriminação de características do primeiro plano;Alinhamento bidirecional de características;Treinamento contrastivo de redução de ruído