膝関節炎の多クラス分類の精度が低く、膝関節の画像特徴抽出が不十分である問題に対し、多モーダル融合に基づく3DRes-ViTネットワークモデルを提案した。3次元畳み込みニューラルネットワーク（3D CNN）を設計し、二重エコー定常状態（DESS）と高速スピンエコー（TSE）磁気共鳴画像（MRI）シーケンスの3D浅層特徴をそれぞれ抽出した。研究により、これらの情報が相補的であることが判明し、これらの特徴を融合した。効率的チャネルアテンション（ECA）モジュールを通じて融合後の特徴チャネル間の依存関係を捉え、Vision Transformer（ViT）エンコーダに入力し、3DCNNとViTの利点を組み合わせて2つのモダリティの局所特徴とグローバル特徴を効率的に集約した。最後に、ViTの出力は2次元畳み込みニューラルネットワーク（2D CNN）が抽出したX線画像特徴と再度融合され、分類性能をさらに向上させた。実験結果は、本手法がKOAの4クラス分類タスクで優れた性能を示し、平均分類精度は91.2％、平均適合率は91.6％、F1スコアは0.914、平均絶対誤差は8.8％に低減し、膝関節炎の多クラス分類精度を大幅に向上させたことを示している。

医用画像処理; 深層学習; 膝関節炎; 多モーダル融合; X線; 磁気共鳴画像; ビジョントランスフォーマー