Os métodos existentes de segmentação de expressões referenciais apresentam deficiências significativas no alinhamento de compreensão fina multimodal e no uso eficiente das informações textuais, manifestando-se principalmente na redundância espacial das características visuais e ambiguidade semântica; ambiguidade referencial na descrição linguística e negligência da semântica em nível vocabular; e um módulo de fusão que não utiliza plenamente as informações textuais. Para resolver esses problemas, este artigo propõe um método de segmentação de expressões referenciais finas baseado em modulação bidirecional de características e fusão progressiva guiada por texto. Utiliza BEIT3 pré-treinado como codificador de imagem e texto, projetando um módulo de modulação bidirecional de características, onde a modulação visual guiada por texto filtra características espaciais redundantes, e a modulação textual guiada pela visão reduz o peso de palavras irrelevantes. Com base nisso, um módulo de fusão progressiva guiada por texto é projetado, utilizando atenção multimodal multicamadas para fundir gradualmente características textuais e semânticas superiores da imagem, obtendo a máscara de segmentação por meio de um perceptron multicamadas. Experimentos mostram que o método proposto alcançou melhorias significativas de precisão em três conjuntos de dados clássicos de segmentação de expressões referenciais, com precisão de 77,12%, 79,46%, 73,45% nos três subconjuntos RefCOCO; 69,72%, 72,86%, 62,42% nos três subconjuntos RefCOCO+; e 69,12%, 69,58% nos dois subconjuntos RefCOCOg. O método possui boa capacidade de generalização e alinhamento de compreensão multimodal fina, possibilitando a realização estável da tarefa de segmentação de expressões referenciais.

segmentação de expressões referenciais; alinhamento multimodal; modulação bidirecional de características; fusão progressiva guiada por texto; compreensão fina