Pour résoudre le problème de la compréhension faible du nouveau concept de détecteur dans un scénario ouvert, de la confusion des étiquettes et des performances insuffisantes de détection des nouvelles classes, une méthode d'amélioration de la détection des cibles ouvertes par fusion d'une branche améliorée avec une connaissance incorporée (KI-DBFOVD) a été proposée. Premièrement, un module d'incorporation de connaissances (KI) a été conçu, utilisant des étiquettes factices générées par un modèle visuel-langage (VLM), pour les incorporer dans le détecteur afin de favoriser l'apprentissage du nouveau concept. Ensuite, un module de correspondance d'étiquettes (LM) a été proposé, en ajustant les seuils multi-niveaux et en effectuant une correspondance indépendante entre les classes de base et les nouvelles classes pour affiner le processus de correspondance des étiquettes, atténuant la confusion des étiquettes entre les classes de base et les nouvelles classes pendant le processus d'entraînement du détecteur. Enfin, la branche visuelle traditionnelle et la branche visuelle-langage ont été fusionnées de manière géométriquement moyenne pour créer une nouvelle branche de fusion à double brin (DBF), qui, tout en maintenant la précision de détection des classes de base, peut rechercher et localiser de manière plus efficace les nouvelles cibles, améliorant ainsi les performances globales de la méthode KI-DBFOVD. Les résultats des expériences montrent que la méthode proposée dans cet article atteint une précision de détection des nouvelles classes de 38,6 % sur l'ensemble de données COCO. Elle atteint une précision de détection des nouvelles classes de 25,4 % sur l'ensemble de données LVIS, qui contient des ensembles de classes plus diversifiés et plus difficiles à détecter, surpassant plusieurs méthodes populaires, et peut donc être mieux appliquée dans différents scénarios ouverts.

détection des cibles ouvertes; connaissance incorporée; correspondance des étiquettes; fusion de branche double