A fusão de imagens médicas baseada em Redes Generativas Adversariais (Generative Adversarial Network, GAN) é uma das áreas de pesquisa mais ativas no campo do diagnóstico assistido por computador. No entanto, os métodos de fusão baseados em GAN existentes apresentam problemas de instabilidade no treinamento, capacidade insuficiente para extrair informações semânticas contextuais locais e globais das imagens, e grau insuficiente de fusão interativa. Para tratar esses problemas, este artigo propõe a GAN de Fusão Interativa Duplamente Acoplada (Dual-Coupled Interactive Fusion GAN, DCIF-GAN). Primeiro, foi projetada uma GAN com dois geradores e dois discriminadores, realizando o acoplamento entre geradores e discriminadores por meio de um mecanismo de compartilhamento de pesos e implementando a fusão interativa por meio de um mecanismo de atenção global; segundo, foi projetado o Módulo de Extração de Características CNN-Transformer Acoplado (Coupled CNN-Transformer Feature Extraction Module, CC-TFEM) e o Módulo de Reconstrução de Características (CNN-Transformer Feature Reconstruction Module, C-TFRM), aprimorando a capacidade de extrair informações locais e globais das mesmas modalidades de imagem; terceiro, foi projetado o Módulo de Fusão Intermodal Interativa (Cross Model Intermodal Fusion Module, CMIFM), que, por meio do mecanismo de atenção intermodal, integra ainda mais informações de interação global entre diferentes modalidades. Para validar a eficácia do modelo, foram realizados experimentos em um conjunto de dados de imagens médicas PET/CT de tumores pulmonares. O método proposto melhora em 1,38%, 0,39%, 29,05%, 30,23%, 0,18% e 4,63% o gradiente médio, a frequência espacial, a similaridade estrutural, o desvio padrão, a relação sinal-ruído máxima e a entropia da informação, respectivamente, em comparação com os melhores métodos entre outras quatro técnicas. O modelo consegue destacar informações das áreas lesionadas, e as imagens fusionadas apresentam estrutura clara e ricos detalhes texturais.

imagem médica;fusão de imagens;PET/CT;rede generativa adversarial acoplada;Swin Transformer