Для решения проблемы недостаточного понимания нового концепта детектора в открытом сценарии, слабости понимания меток и недостаточной производительности детектирования нового класса, был предложен метод KI-DBFOVD на основе знания, улучшающий обнаружение открытых слов через объединение улучшенной ветви со встроенным знанием (KI). Во-первых, был разработан модуль встроенного знания (KI), использующий ложные метки, сгенерированные визуально-языковой моделью (VLM), для встраивания их в детектор с целью содействия изучению нового концепта. Затем был предложен модуль соответствия меток (LM), который путем настройки многоуровневых порогов и независимого соответствия между базовыми классами и новыми классами улучшил процесс точного соответствия меток, смягчивая явление перепутывания меток базовых и новых классов в процессе обучения детектора. Наконец, традиционная визуальная ветвь и визуальная ветвь языка были объединены с помощью геометрического среднего для создания новой уникальной ветви объединения (DBF), которая, сохраняя точность детекции базовых классов, может более эффективно искать и определять новые цели, дальше повышая общую производительность метода KI-DBFOVD. Результаты экспериментов показывают, что метод, предложенный в данной статье, достигает точности обнаружения нового класса на уровне 38,6% на наборе данных COCO. Он достигает точности обнаружения нового класса на уровне 25,4% на наборе данных LVIS, содержащем более многочисленные и более сложные для детектирования классы, превосходя множество популярных методов и более эффективно применим в различных открытых сценариях.

обнаружение открытых слов; встроенное знание; соответствие меток; двойная ветвь объединения