다중 모달 의료 영상 융합에서 텍스처 세부 정보 흐림과 대비 저하 문제를 해결하기 위해 구조 기능 교차 신경망 기반 다중 모달 의료 영상 융합 방법을 제안하였다. 우선, 의료 영상의 구조 정보와 기능 정보를 기반으로 구조 기능 교차 신경망 모델을 설계하여 해부학적 및 기능적 의료 영상의 구조 정보와 기능 정보를 효과적으로 추출할 뿐만 아니라 이 두 정보 간의 상호 작용을 실현하여 의료 영상의 텍스처 세부 정보를 잘 추출할 수 있도록 하였다. 둘째, 교차 네트워크 채널 및 공간 특징 변화를 활용하여 새로운 주의 메커니즘을 구성하고 구조 정보와 기능 정보의 가중치를 지속적으로 조정하여 영상을 융합함으로써 융합 영상의 대비 및 윤곽 정보를 향상시켰다. 마지막으로, 융합 영상에서 원본 영상으로의 분해 과정을 설계하였다. 분해 영상의 품질은 융합 결과에 직접적으로 좌우되기 때문에 분해 과정을 통해 융합 영상에 더 많은 세부 정보가 포함될 수 있다. 최근 몇 년간 제안된 7가지 고성능 방법과 비교하여 본 논문의 방법은 AG, EN, SF, MI, Q^AB/F 및 CC 객관적 평가 지표가 각각 평균 22.87%, 19.64%, 23.02%, 12.70%, 6.79%, 30.35% 향상되어 본 방법이 더 선명한 텍스처 세부 정보와 더 나은 대비를 갖는 융합 결과를 얻을 수 있음을 주관적 시각 및 객관 지표에서 모두 입증하였다.

다중 모달 의료 영상 융합;구조 기능 정보 교차 네트워크;주의 메커니즘;분해 네트워크