マルチモーダル医療画像融合におけるテクスチャ詳細のぼやけとコントラストの低さの問題に対して、構造機能交差ニューラルネットワークに基づくマルチモーダル医療画像融合手法を提案した。まず、医療画像の構造情報と機能情報に基づいて構造機能交差ニューラルネットワークモデルを設計し、解剖学的および機能的医療画像の構造情報と機能情報を効果的に抽出するだけでなく、これら二つの情報間の相互作用を実現し、医療画像のテクスチャ詳細情報を良好に抽出できるようにした。次に、交差ネットワークのチャネルと空間特徴の変化を利用して新しいアテンション機構を構築し、構造情報と機能情報の重みを継続的に調整して画像を融合し、融合画像のコントラストと輪郭情報を向上させた。最後に、融合画像からソース画像への分解過程を設計した。分解画像の品質は融合結果に直接依存するため、分解過程により融合画像により多くの詳細情報が含まれるようにできる。近年提案された7つの高水準手法と比較し、本手法のAG、EN、SF、MI、Q^AB/FおよびCCの客観的評価指標はそれぞれ平均で22.87％、19.64％、23.02％、12.70％、6.79％、30.35％向上し、本手法はより鮮明なテクスチャ詳細とより良いコントラストを有する融合結果を得られ、主観的視覚と客観的指標の両面で他の比較アルゴリズムを上回っていることを示している。

マルチモーダル医療画像融合;構造機能情報交差ネットワーク;アテンション機構;分解ネットワーク