Devido à baixa precisão da classificação multiclasse da osteoartrite do joelho e à extração insuficiente das características das imagens do joelho, foi proposto um modelo de rede 3DRes-ViT baseado na fusão multimodal. Foi projetada uma rede neural convolucional tridimensional (3D CNN) para extrair características superficiais tridimensionais das sequências de ressonância magnética de eco estável duplo (DESS) e de eco de spin rápido (TSE). O estudo revelou que essas duas informações têm caráter complementar, e essas características foram fundidas. Através do módulo de Atenção Eficiente de Canal (ECA), são capturadas as dependências entre os canais das características fundidas, que são então inseridas no codificador Vision Transformer (ViT), combinando as vantagens do 3DCNN e do ViT para agregar eficientemente as características locais e globais dos dois modos. Por fim, a saída do ViT é novamente fundida com as características das imagens de raios-X extraídas por uma rede neural convolucional bidimensional (2D CNN) para melhorar ainda mais o desempenho da classificação. Os resultados experimentais mostram que o método proposto apresenta desempenho excepcional na tarefa de classificação com quatro categorias de KOA, alcançando uma precisão média de classificação de 91,2%, precisão média de 91,6%, escore F1 de 0,914 e redução do erro absoluto médio para 8,8%, melhorando significativamente a precisão da classificação multiclasse da osteoartrite do joelho.

Processamento de imagens médicas; aprendizagem profunda; osteoartrite do joelho; fusão multimodal; raios X; ressonância magnética; transformador visual