무릎 골관절염의 다중 분류 정확도가 낮고 무릎 골관절 이미지 특징 추출이 충분하지 않은 문제를 해결하기 위해 다중 모달 융합 기반 3DRes-ViT 네트워크 모델을 제안하였다. 3차원 합성곱 신경망(3D CNN)을 설계하여 이중 에코 안정 상태(DESS)와 빠른 스핀 에코(TSE) 자기공명영상(MRI) 시퀀스의 3차원 표면 특징을 각각 추출하였다. 연구 결과, 이 두 가지 정보가 상호 보완적임을 발견하고 이러한 특징들을 융합하였다. 효율적인 채널 주의(ECA) 모듈을 통해 융합된 특징 채널 간의 의존 관계를 포착하고 Vision Transformer(ViT) 인코더에 입력하여 3DCNN과 ViT의 장점을 결합해 두 모달리티의 지역적 특징과 전역적 특징을 효율적으로 통합하였다. 마지막으로 ViT의 출력은 2차원 합성곱 신경망(2D CNN)이 추출한 엑스선 이미지 특징과 다시 융합되어 분류 성능을 더욱 향상시킨다. 실험 결과 본 방법은 KOA 네 분류 작업에서 우수한 성능을 보였으며, 평균 분류 정확도 91.2%, 평균 정밀도 91.6%, F1 점수 0.914, 평균 절대 오차를 8.8%로 감소시켜 무릎 골관절염 다중 분류 정확도를 크게 향상시켰다.

의료 영상 처리; 딥러닝; 무릎 골관절염; 다중 모달 융합; 엑스선; 자기공명영상; 비전 트랜스포머