Os métodos existentes de classificação de objetos baseados em aprendizado profundo concentram-se principalmente em imagens de sensoriamento remoto, enquanto a utilização da informação espacial dos dados de nuvem de pontos é insuficiente, especialmente no que diz respeito à fusão incompleta de características heterogêneas de nuvem de pontos e imagens. Propõe-se um método de classificação de objetos para fusão adaptativa de dados multisensor de sensoriamento remoto usando uma estrutura de rede de ramos independentes. Primeiramente, são usadas redes tridimensionais e bidimensionais para extrair características geométricas espaciais e características semânticas de cada modalidade de núvem de pontos LiDAR e imagens de sensoriamento remoto devidamente registradas; em seguida, são realizados amostragem cruzada multimodal e alinhamento de características das imagens no espaço da nuvem de pontos para obter características multisensor baseadas em pontos; finalmente, um método de fusão de características não linear adaptativo baseado em mecanismo de atenção é adotado para realizar a fusão das características semânticas 2D e 3D. Os resultados experimentais mostram que o método proposto pode realizar a fusão adaptativa de dados multisensor de sensoriamento remoto por meio do treinamento da rede, alcançando uma precisão média de classificação para as três classes de vegetação, edifícios e solo no conjunto de dados multisensor ISPRS de 85,87 %, representando um aumento de 10,12 % em relação à precisão da segmentação semântica da nuvem de pontos 3D. A rede de fusão de ramos independentes proposta pode realizar aprendizagem interativa e fusão profunda de dados 2D e 3D, oferecendo uma nova abordagem para a classificação de objetos em dados multisensor de sensoriamento remoto.

Nuvem de pontos LiDAR;Imagens de sensoriamento remoto;Dados multisensor;Rede de ramos independentes;Fusão adaptativa de características