생성적 적대 신경망(Generative Adversarial Network, GAN)을 기반으로 한 의료 영상 융합은 컴퓨터 지원 진단 분야의 연구 핵심 중 하나입니다. 그러나 기존 GAN 기반 융합 방법은 학습 불안정성, 이미지의 국부 및 전역 문맥 의미 정보 추출 능력 부족, 상호 융합 정도 부족 등의 문제점을 가지고 있습니다. 이러한 문제를 해결하기 위해 본 논문에서는 이중 결합 상호 작용 융합 GAN(Dual-Coupled Interactive Fusion GAN, DCIF-GAN)을 제안합니다. 첫째, 가중치 공유 메커니즘을 통해 생성기 간과 판별기 간의 결합을 실현하고 전역 자기 주의 메커니즘을 통해 상호작용적 융합을 구현하는 이중 생성기 이중 판별기 GAN을 설계하였습니다; 둘째, 동일 모달 이미지 내의 국부 및 전역 특징 정보 추출 능력을 향상시키기 위해 결합된 CNN-Transformer 특징 추출 모듈(Coupled CNN-Transformer Feature Extraction Module, CC-TFEM)과 특징 재구성 모듈(CNN-Transformer Feature Reconstruction Module, C-TFRM)을 설계하였습니다; 셋째, 교차 모달 자기 주의 메커니즘을 통해 서로 다른 모달 간의 전역 상호작용 정보를 더욱 통합하는 교차 모달 상호 작용 융합 모듈(Cross Model Intermodal Fusion Module, CMIFM)을 설계하였습니다. 본 논문의 모델의 유효성을 검증하기 위해 폐종양 PET/CT 의료 영상 데이터셋을 대상으로 실험을 수행하였으며, 제안 방법은 평균 그래디언트, 공간 주파수, 구조 유사도, 표준 편차, 최고 신호 대 잡음비, 정보 엔트로피에서 각각 기존 4가지 방법 중 최적 방법 대비 1.38%, 0.39%, 29.05%, 30.23%, 0.18%, 4.63% 향상시켰습니다. 모델은 병변 부위 정보를 도드라지게 표현할 수 있으며 융합 영상은 구조가 명확하고 텍스처 디테일이 풍부합니다.

의료 영상;영상 융합;PET/CT;결합 생성적 적대 신경망;Swin Transformer