고광대역 영상(hyperspectral images, HSI)과 LiDAR 데이터의 다중 모달 분류 과제에서 크로스 모달 정보 표현 및 특징 정렬 문제를 해결하기 위해 대조 학습 기반 CNN-Transformer 고광대역 및 LiDAR 데이터 협동 분류 네트워크(Contrastive Learning based CNN-Transformer Network, CLCT-Net)를 제안하였다. CLCT-Net은 ConvNeXt V2 블록으로 구성된 공유 특징 추출 모듈을 통해 서로 다른 모달 간의 공통 특징을 획득하여 이종 센서 데이터 간 의미 정렬 문제를 해결한다. 공간-채널 분기와 스펙트럼 컨텍스트 분기가 포함된 이중 분기 HSI 인코더와 주파수 도메인 셀프 어텐션 메커니즘을 결합한 LiDAR 인코더를 구축하여 보다 풍부한 특징 표현을 얻었다. 집합 대조 학습을 활용한 분류를 통해 다중 모달 데이터 협동 분류의 정확도를 더욱 향상시켰다. Houston 2013 및 Trento 데이터셋에서의 실험 결과는 제안한 모델이 다른 고광대역 영상 및 LiDAR 데이터 분류 모델에 비해 각각 92.01% 및 98.90%의 더 높은 지상 분류 정확도를 기록하였으며, 크로스 모달 데이터 특징의 심층 발굴 및 협동 추출을 실현했음을 보여준다.

고광대역 영상; 라이다 데이터; Transformer; 합성곱 신경망; 대조 학습