다중 모드 의료 영상 융합은 의료 임상 응용에서 중요한 역할을 합니다. 기존 방법들이 주로 국소 특징 추출에 집중하고 전역 의존성 탐색이 부족하며 전역 및 국소 정보 상호 작용을 간과하여 주변 조직과 병변 영역 간 패턴 복잡성과 강도 유사성 문제를 효과적으로 해결하기 어려운 문제를 해결하기 위해 본 논문은 PET 및 CT 의료 영상 융합을 위한 LL-GG-LG Net 모델을 제안합니다. 우선, 국소-국소 융합 모듈(Local-Local Fusion Module, LL Module)을 제안하며, 이 모듈은 이중 층 주의 메커니즘을 사용하여 국소 세부 정보 특징에 더 잘 집중합니다. 다음으로, 전역-전역 융합 모듈(Global-Global Fusion Module, GG Module)을 설계했으며, 이 모듈은 Swin Transformer에 잔차 연결 메커니즘을 추가해 국소 정보를 전역 정보에 도입하여 Transformer의 국소 정보 관심도를 높였습니다. 이어서, 미분 가능한 신경 구조 탐색 적응형 밀집 융합 네트워크 기반의 국소-전역 융합 모듈(Local-Global Fusion Module, LG Module)을 제안하여 전역 관계를 충분히 포착하고 국소 단서를 보존해 배경과 병변 영역의 높은 유사성 문제를 효과적으로 해결합니다. 임상 다중 모드 폐 의료 영상 데이터셋을 사용해 모델의 유효성을 검증한 결과, 본 논문 방법이 평균 그래디언트, 모서리 강도, QAB/F, 공간 주파수, 표준 편차, 정보 엔트로피 등 지각적 영상 융합 품질 평가 지표에서 다른 7가지 방법 중 최적 방법 대비 각각 평균 21.5%, 11%, 4%, 13%, 9%, 3% 향상됨을 확인했습니다. 모델은 병변 영역 정보를 강조할 수 있으며, 융합 영상은 구조가 명확하고 텍스처 세부 정보가 풍부합니다.

의료 영상 융합; 딥러닝; 주의 메커니즘; 미분 가능한 구조 탐색; 밀집 네트워크