고분광 이미징 기술의 급속한 발전은 비침습적 의료 영상에 새로운 기회를 제공하지만, 고분광 의료 영상은 고차원성, 높은 중복성 및 '스펙트럼과 영상의 통합' 특성을 가지고 있어 이러한 특징에 맞춘 지능형 진단 알고리즘 설계가 필요하다. 최근 몇 년간 Transformer는 고분광 의료 영상 처리 분야에서 널리 활용되고 있다. 그러나 서로 다른 장비와 다양한 수집 작업으로 얻은 고분광 의료 영상은 차이가 커서 기존 Transformer 진단 모델의 실제 적용에 큰 도전을 준다. 이에 본 논문에서는 픽셀 간, 밴드 간 내재된 연관성을 적응적으로 탐색하고 분류 단계에서 여러 시야의 예측 결과를 융합하는 공간-스펙트럼 자기주의 Transformer(S³AT)를 제안한다. 우선, Transformer 인코더에서 공간-스펙트럼 자기주의 메커니즘을 설계하여 서로 다른 시야에서 고분광 영상의 핵심 공간 정보와 중요한 밴드를 획득하고, 얻어진 공간-스펙트럼 자기주의를 융합한다. 다음으로 모델 분류 단계에서 학습 가능한 가중치를 통해 서로 다른 시야의 예측 결과를 가중 융합하여 영상을 종합적으로 예측한다. In-vivo Human Brain과 BloodCell HSI 두 데이터셋에서 본 알고리즘은 각각 82.25%와 91.74%의 전체 분류 정확도를 달성하였다. 실험 결과 제안된 알고리즘이 고분광 의료 영상 분류 성능을 효과적으로 향상시킴을 보여준다.

고분광 의료 영상;Transformer;공간-스펙트럼 자기주의;예측 융합