개방형 장면에서 탐지기의 새로운 클래스 개념 이해 부족, 라벨 혼동 및 새로운 클래스 탐지 성능 부족 문제를 해결하기 위해 지식 임베딩 유도 이중 분기 융합 강화 개방형 어휘 객체 탐지(KI-DBFOVD) 방법을 제안한다. 먼저, 시각-언어 모델(VLM)이 생성한 의사 라벨을 활용하여 탐지기에 임베딩함으로써 새로운 클래스 개념 학습을 촉진하는 지식 임베딩(KI) 모듈을 설계하였다; 그 다음, 다단계 임계값 조절 및 기본 클래스-신규 클래스 독립 매칭을 통해 라벨 매칭 과정을 세분화하여 탐지기 학습 중 기본 클래스와 신규 클래스 라벨 혼동 현상을 완화하는 라벨 매칭(LM) 모듈을 제안하였다; 마지막으로, 기존의 비주얼 분기와 비주얼-언어 분기를 기하평균 방식으로 융합하여 새로운 이중 분기 융합 모듈(DBF)을 구축함으로써 기본 클래스 탐지 정확도를 유지하면서 신규 클래스 객체를 보다 효과적으로 발굴 및 위치시키고 KI-DBFOVD 방법의 전체 탐지 성능을 더욱 향상시켰다. 실험 결과 본 방법은 COCO 데이터셋에서 신규 클래스에 대해 38.6%의 탐지 정확도를 달성하였고, 더 다양하고 탐지가 어려운 LVIS 데이터셋에서는 25.4%의 탐지 정확도를 기록하여 다수의 주류 방법들보다 우수하며 다양한 개방형 장면에 보다 잘 적용될 수 있음을 입증하였다.

개방형 어휘 객체 탐지;지식 임베딩;라벨 매칭;이중 분기 융합