Foi proposto uma rede progressiva CNN-Transformer de compensação semântica para segmentação de pólipos, a fim de melhorar a precisão da segmentação de pólipos no cólon, abordando o problema do tamanho variável, formas complexas e limites pouco claros entre pólipos e mucosa nas imagens de colonoscopia. Para melhor aproveitar as características locais do codificador CNN e as características globais do codificador Transformer, foi projetado um módulo de acoplamento de interação de características no mesmo nível, que funde adaptativamente as características do CNN e Transformer nas dimensões espacial e de canal por meio de um acoplamento de interação agrupada; em seguida, para resolver o problema da perda semântica causada pela amostragem ascendente durante a decodificação, foi projetado um módulo de compensação semântica baseado em Query que integra e distribui progressivamente a semântica da imagem por meio de um conjunto de descritores aprendíveis, melhorando efetivamente a capacidade discriminativa da rede. Os resultados experimentais mostram que a rede proposta alcançou mDice de 94,23%, 90,36%, 92,93%, 80,26% e mIoU de 89,87%, 83,75%, 88,21%, 72,09% nos conjuntos de dados públicos CVC-ClinicDB, CVC-300, Kvasir e CVC-ColonDB, respectivamente. Em comparação com as redes de segmentação existentes, esta rede pode melhorar a eficácia da segmentação de pólipos, garantindo sua generalização.

segmentação de pólipos;rede neural convolucional;Transformer;interação de características;compensação semântica