A fusão multimodal de imagens médicas desempenha um papel crucial nas aplicações clínicas médicas. Para resolver o problema de que a maioria dos métodos existentes se concentra na extração de características locais, explorando insuficientemente as dependências globais e ignorando a interação entre informações globais e locais, resultando em dificuldade para resolver eficazmente a complexidade dos padrões e a similaridade de intensidade entre tecidos circundantes e áreas de lesão, este artigo propõe o modelo LL-GG-LG Net para fusão de imagens médicas PET e CT. Primeiramente, propõe-se o módulo de fusão local-local (Local-Local Fusion Module, LL Module), que utiliza um mecanismo de atenção em duas camadas para melhor focar nas características de detalhes locais. Em seguida, é projetado o módulo de fusão global-global (Global-Global Fusion Module, GG Module), que, ao adicionar um mecanismo de conexão residual no Swin Transformer, introduz informações locais nas informações globais, aumentando a atenção do Transformer às informações locais. Depois, propõe-se um módulo de fusão local-global (Local-Global Fusion Module, LG Module) baseado em uma rede densa adaptativa de busca diferenciável de arquitetura neural, capturando plenamente as relações globais e preservando pistas locais, resolvendo eficazmente o problema de alta similaridade entre o fundo e a área da lesão. A eficácia do modelo foi verificada usando um conjunto de dados clínico multimodal de imagens pulmonares, e os resultados experimentais mostram que o método proposto melhora em média 21,5%, 11%, 4%, 13%, 9% e 3% nos índices de avaliação da qualidade da fusão de imagens perceptivas, como gradiente médio, intensidade de borda, QAB/F, frequência espacial, desvio padrão e entropia de informação, em comparação ao melhor método entre outros sete. O modelo pode destacar informações da área lesionada, com imagens fundidas claras em estrutura e ricas em detalhes de textura.

fusão de imagens médicas; aprendizado profundo; mecanismo de atenção; busca diferenciável de arquitetura; rede densa