慧眼识“新” 개방 어휘 목표 검출

JIN You ,  

ZHANG Ruonan ,  

DENG Zhen ,  

YANG Jun ,  

LIU Libo ,  

摘要

개방된 장면에서 모델의 전경 판별 능력이 약하고 기본 클래스 편향이 커서 신클래스 검출 정확도가 낮은 문제를 해결하기 위해, '慧眼识“新”' 개방 어휘 목표 검출 방법을 제안한다. 먼저, 전경 특성 판별 모듈을 설계하여 전경 추정기를 이용해 잠재적 신클래스 영역을 모델링하고 고품질 가짜 라벨을 생성함으로써 전경과 배경을 정확히 구분하여 모델의 전경 특성 판별 능력을 강화한다. 둘째, 쌍방향 특성 정렬 모듈을 제안하여 쌍방향 교차 모달 정렬 메커니즘과 신뢰도 보정 전략을 사용해 훈련 과정에서 기본 클래스 편향을 억제하고 모델의 신클래스 특성 학습을 강화한다. 마지막으로, 대조 소음 감소 훈련 모듈을 구축하여 잡음이 섞인 시각-텍스트 쌍을 도입해 대조 학습을 수행함으로써 모델의 전경 특성 구분 능력과 신클래스 일반화 능력을 더욱 향상시킨다. 실험 결과, 이 방법은 COCO 데이터셋과 더욱 까다로운 세분화된 LVIS 데이터셋에서 신클래스 검출 정확도가 각각 44.9%와 37.4%에 도달하여 현재 주류 방법보다 우수하며 개방된 장면에서 신클래스 검출 성능을 효과적으로 향상시켰다.

关键词

목표 검출;개방 어휘;전경 특성 판별;쌍방향 특성 정렬;대조 소음 감소 훈련

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website