고광대역 영상(Hyperspectral Images, HSI)의 지상 피복 클래스 픽셀 단위 분류 문제를 위해 3D-ConvFormer라는 혼합 구조 모델을 제안하였다. 본 모델은 얕은 층에서 3차원 합성곱(3D-CNN) 연산을 통해 고광대역 영상의 국부 공간-스펙트럼 특성을 추출하고, 깊은 층에서는 자기 주의(Self-attention) 메커니즘을 활용해 합성곱 윈도우 내에서 공간-스펙트럼 특성을 추출함으로써 합성곱 신경망의 평행 이동 불변성과 self-attention의 특징 유연 추출 능력을 효과적으로 융합하였다. Indian Pines, PaviaU, WHU Hi Longkou의 3개 공개 고광대역 영상 데이터셋에서 실험을 수행하였으며, 전체 분류 정확도(OA), 평균 분류 정확도(AA), Kappa 계수 3가지 지표를 사용하여 지형 유형 픽셀 분류 결과를 정량 평가하였다. 실험 결과, Indian Pines 데이터셋에서 OA 98.41%, AA 97.56%, Kappa 98.16%를, PaviaU 데이터셋에서 OA 99.39%, AA 99.30%, Kappa 99.18%를, WHU-Hi-Longkou 데이터셋에서 OA 98.53%, AA 98.97%, Kappa 98.06%를 기록하였다. 모델은 세 가지 고광대역 영상 분류 작업에서 비교 모델들보다 우수한 성능을 보여 분류 성능을 크게 향상시켰다.

컴퓨터 비전;고광대역 영상;합성곱 신경망;비디오 변환;자기 주의 메커니즘