Classificação de imagens hiperespectrais cross-domain baseada em contraste aprimorado por texto e orientação adaptativa por protótipos

SONG Jinghai ,  

LIU Xiaosheng ,  

摘要

A classificação de imagens hiperespectrais com poucas amostras em domínios cruzados enfrenta desafios duplos: deslocamento de domínio e escassez de rotulagem. Métodos existentes geralmente dependem de características visuais puras ou empregam estratégias fixas de alinhamento texto-visual, dificultando a caracterização de informações espectrais discriminativas de grão fino e ignorando variações na qualidade das amostras do domínio alvo. Para isso, propomos um método de classificação baseado em contraste dinâmico aprimorado por texto e orientação adaptativa por protótipos. Primeiro, uma rede multiescala de dois ramos extrai características visuais espaço-espectrais dos blocos de imagem, e introduzimos um codificador de texto CLIP para obter representações semânticas em nível de classe como pontos âncora estáveis entre domínios; com base nisso, projetamos uma estratégia de aprendizado por contraste dinâmico reforçado por texto que ajusta dinamicamente os pesos das amostras negativas difíceis conforme o grau de confusão visual, melhorando a capacidade discriminativa de categorias de grão fino; ao mesmo tempo, construímos uma perda orientada por protótipos adaptativos que funde adaptativamente os pontos âncora textuais e os vizinhos visuais do domínio de origem com base na saliência discriminativa do protótipo do domínio alvo no espaço de características do domínio de origem, aumentando indiretamente a confiabilidade do protótipo do domínio alvo através da retropropagação do gradiente. Utilizando Chikusei como domínio fonte, realizamos experimentos cross-domain nos conjuntos de dados Indian Pines, Houston e Salinas como domínios alvos, com precisões gerais de classificação de 81,22%, 76,82% e 93,32%, respectivamente, superando em cerca de 2%~5% os métodos atuais de classificação cruzada com poucas amostras. O método proposto melhora significativamente a precisão e a estabilidade da classificação em cenários de poucas amostras cross-domain por meio da cooperação eficaz entre aprendizado por contraste dinâmico e orientação adaptativa de protótipos.

关键词

Classificação de imagens hiperespectrais;Aprendizado cross-domain com poucas amostras;Aprendizado por contraste dinâmico;Orientação adaptativa por protótipos;Alinhamento multimodal

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website