Para permitir que os cientistas localizem rapidamente os processos-chave do experimento e obtenham informações mais detalhadas sobre o processo experimental, é necessário adicionar automaticamente conteúdos textuais descritivos aos experimentos de ciências espaciais. Diante do problema dos alvos pequenos e do baixo número de amostras nos experimentos de ciências espaciais, este artigo propõe um modelo algorítmico de descrição de imagens para experimentos de ciências espaciais baseado em aprendizado multimodal, dividido principalmente em quatro partes: modelo de segmentação semântica baseado em U-Net melhorado, vocabulário candidato para experimentos de ciências espaciais baseado em segmentação semântica, extração de vetores de características de imagens de cenas gerais de baixo para cima e geração de sentenças descritivas baseada em aprendizado multimodal. Além disso, este artigo construiu um conjunto de dados de alvos de experimentos de ciências espaciais, incluindo anotações de máscaras semânticas e anotações de descrições de imagens, para descrever imagens dos experimentos espaciais. Os resultados experimentais mostram que, em comparação com o modelo clássico de descrição de imagens Neuraltalk2, o algoritmo proposto melhorou em média os resultados METEOR em 0,089 e SPICE em 0,174; resolveu as dificuldades dos alvos pequenos e das poucas amostras nos experimentos de ciências espaciais, construiu um modelo de descrição de imagens para experimentos de ciências espaciais baseado em aprendizado multimodal, atendendo às exigências de descrição profissional e precisa dos cenários dos experimentos espaciais, realizando a capacidade de compreensão aprofundada do cenário desde a percepção de baixo nível.

experimentos de ciências espaciais;descrição de imagens;segmentação semântica;aprendizado multimodal