텍스트 강화 대조 학습 및 적응형 프로토타입 유도 기반 도메인 간 고분광 이미지 분류

SONG Jinghai ,  

LIU Xiaosheng ,  

摘要

도메인 간 소수 샘플 고분광 이미지 분류는 도메인 편향과 라벨 부족이라는 이중 과제에 직면해 있다. 기존 방법들은 주로 순수 시각적 특징에 의존하거나 고정된 텍스트-시각 정렬 전략을 사용하여 미세 스펙트럼 판별 정보를 표현하기 어렵고, 타깃 도메인 샘플의 품질 차이를 무시한다. 이를 위해 텍스트 강화 동적 대조 학습 및 적응형 프로토타입 유도 분류 방법을 제안한다. 우선, 이중 분기 다중 스케일 네트워크를 통해 이미지 블록의 공간-스펙트럼 시각적 특징을 추출하고, CLIP 텍스트 인코더를 도입하여 클래스 수준의 의미 표현을 도메인 간 안정적 앵커로 사용한다; 이를 바탕으로 시각적 혼동 정도에 따라 어려운 음성 샘플의 가중치를 동적으로 조절하는 텍스트 강화 동적 대조 학습 전략을 설계하여 미세 범주 판별 능력을 향상시킨다; 동시에 적응형 프로토타입 유도 손실을 구축하여 타깃 도메인 프로토타입이 소스 도메인 특징 공간에서 가지는 판별적 두드러짐에 따라 텍스트 앵커와 소스 도메인 시각 이웃을 적응적으로 융합하여 그래디언트 역전파를 통해 타깃 도메인 프로토타입의 신뢰성을 간접 향상시킨다. 소스 도메인으로 Chikusei를 사용하고, Indian Pines, Houston, Salinas 세 개의 타깃 도메인 데이터셋에서 도메인 간 실험을 수행했으며, 제안한 방법의 전체 분류 정확도는 각각 81.22%, 76.82%, 93.32%에 이르렀고 기존 주류 도메인 간 소수 샘플 분류 방법 대비 약 2%~5% 향상되었다. 제안 방법은 동적 대조 학습과 적응형 프로토타입 유도의 효과적인 협력을 통해 도메인 간 소수 샘플 환경에서 분류 정확도와 안정성을 크게 향상시켰다.

关键词

고분광 이미지 분류;도메인 간 소수 샘플 학습;동적 대조 학습;적응형 프로토타입 유도;멀티모달 정렬

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website