Os métodos existentes de segmentação semântica fraca supervisionada em nível de imagem baseados no Vision Transformer (ViT) dependem principalmente do mecanismo de autoatenção para extrair informações semânticas limitadas, não aproveitando plenamente as relações multivariadas de características, o que leva a um reconhecimento mais grosseiro das áreas-alvo. Para isso, foi proposta uma rede de segmentação semântica de imagem fraca supervisionada impulsionada por aprendizado contrastivo espaço-temporal (Spatio-temporal Contrastive Learning, STCL), visando explorar informações supervisionadas sob as perspectivas temporal e espacial, para melhorar a precisão da segmentação. Através do mecanismo de tokens do ViT, foi introduzido um módulo de aprendizado contrastivo de características espaciais, combinando estratégias de contraste entre tokens de patches e tokens de classe, explorando profundamente as relações semânticas implícitas no espaço da imagem; um módulo de aprendizado contrastivo de contexto temporal foi projetado, construindo uma memória que utiliza conhecimentos prévios da segmentação de imagens históricas para guiar a tarefa atual de segmentação semântica, e foi estabelecida uma estratégia de atualização de memória e uma perda adaptativa de contraste de memória, melhorando ainda mais a capacidade do modelo de distinguir áreas detalhadas. Resultados experimentais mostram que a média do índice de interseção sobre união (mIoU) nos conjuntos de dados PASCAL VOC e MS COCO alcança 72,7% e 43,6%, respectivamente, comprovando a superioridade do método proposto.

visão computacional;segmentação semântica;aprendizado fraco supervisionado;mapas de ativação de classe;Vision Transformer;aprendizado contrastivo