기존의 비전 트랜스포머(Vision Transformer, ViT)를 기반으로 한 이미지 수준 약지도 약지도 의미론적 분할 방법은 주로 자기 주의 메커니즘에 의존하여 제한된 의미 정보를 추출하며, 다차원 특성 관계를 충분히 활용하지 못해 대상 영역의 인식이 다소 조잡하다. 이를 위해 시공간 대조 학습 구동 약지도 이미지 의미론적 분할 네트워크(Spatio-temporal Contrastive Learning, STCL)를 제안하여 시간적, 공간적 측면에서 감독 정보를 발굴함으로써 분할 정밀도를 향상시키고자 한다. ViT의 토큰 메커니즘을 통해 공간 특성 대조 학습 모듈이 도입되었으며, 패치 레벨 토큰과 클래스 레벨 토큰 대조 전략을 결합하여 이미지 공간 내에 내재된 의미 특징 관계를 심층 탐구한다; 시간적 문맥 대조 학습 모듈을 설계하여 메모리 뱅크를 구축하고 과거 이미지 분할의 선험 지식을 활용하여 현재 의미론적 분할 작업을 지도하며, 메모리 뱅크 업데이트 전략과 적응형 메모리 대조 손실을 수립하여 모델의 세부 영역 식별 능력을 더욱 향상시킨다. 실험 결과 PASCAL VOC 및 MS COCO 데이터셋에서 평균 교집합 대비 합집합 비율(IoU)이 각각 72.7% 및 43.6%에 달하여 제안된 방법의 우수성을 입증하였다.

컴퓨터 비전;의미론적 분할;약지도 학습;클래스 활성화 맵;비전 트랜스포머;대조 학습