Na tarefa de classificação multimodal de imagens hiperespectrais (hyperspectral images, HSI) e dados LiDAR, que envolve os problemas de expressão de informações entre modalidades e alinhamento de características, propõe-se uma rede de classificação colaborativa baseada em aprendizado contrastivo CNN-Transformer para dados hiperespectrais e LiDAR (Contrastive Learning based CNN-Transformer Network, CLCT-Net). A CLCT-Net obtém características comuns entre diferentes modalidades por meio de um módulo de extração de características compartilhadas composto por blocos ConvNeXt V2, resolvendo o problema do alinhamento semântico entre dados de sensores heterogêneos. Foi construído um codificador HSI com duas ramificações, incluindo um ramo espacial-canal e um ramo de contexto espectral, além de um codificador LiDAR que combina um mecanismo de autoatenção no domínio da frequência para obter representações de características mais ricas. A utilização de aprendizado contrastivo integrado para classificação melhora ainda mais a precisão da classificação colaborativa de dados multimodais. Os resultados experimentais nos conjuntos de dados Houston 2013 e Trento mostram que o modelo proposto alcançou maior precisão na classificação de objetos em comparação com outros modelos para imagens hiperespectrais e dados LiDAR, atingindo 92,01% e 98,90% respectivamente, realizando uma extração profunda e colaborativa das características dos dados entre modalidades.

imagens hiperespectrais; dados LiDAR; Transformer; rede neural convolucional; aprendizado contrastivo