기존의 딥러닝 기반 물체 분류 방법은 대부분 원격탐사 영상에 초점을 맞추고 있지만, 점군 데이터의 공간 정보 활용은 부족하며, 특히 점군과 영상과 같은 이종 특징의 융합이 충분하지 않은 문제를 해결하기 위해 독립 분기 네트워크 구조를 채용한 다중 소스 원격탐사 데이터 적응형 융합 물체 분류 방법을 제안하였다. 우선, 정합된 LiDAR 점군과 원격탐사 영상에 대해 각각 3차원 네트워크와 2차원 네트워크를 사용하여 각 모드의 공간 기하학적 특징과 의미적 특징을 추출한다; 다음으로 점군 공간에서 영상 특징에 대해 교차 모달 샘플링과 특징 정렬을 수행하여 점 기반 다중 소스 특징을 얻는다; 마지막으로 어텐션 메커니즘을 기반으로 하는 비선형 적응형 특징 융합 방법을 채택하여 2D와 3D 의미 특징을 융합한다. 실험 결과 해당 방법은 네트워크 학습을 통해 적응형 데이터 특징의 다중 소스 원격탐사 데이터 융합 분류를 구현할 수 있으며, ISPRS 다중 소스 원격탐사 데이터셋의 식생, 건축물 및 지면 세 가지 물체 클래스에 대해 평균 분류 정확도가 85.87 %에 달해 3D 점군 의미 분할의 분류 정확도보다 10.12% 향상되었다. 본 논문에서 제안한 독립 분기 융합 네트워크는 2D와 3D 데이터의 상호 학습 및 심층 융합을 실현할 수 있어 원격탐사 다중 소스 데이터 물체 분류에 새로운 접근 방식을 제공한다.

LiDAR 점군;원격탐사 영상;다중 소스 데이터;독립 분기 네트워크;적응형 특징 융합