マルチモーダル医療画像融合は医療臨床応用において極めて重要な役割を果たします。既存の手法の多くが局所特徴の抽出に重点を置き、グローバルな依存関係の探索が不足し、グローバルとローカル情報の相互作用を無視するため、周辺組織と病変領域間のパターンの複雑さと強度の類似性問題を効果的に解決することが困難です。本論文では、PETおよびCT医療画像融合を目的としたLL-GG-LG Netモデルを提案します。まず、二層の注意機構を用いて局所詳細情報特徴により注目する局所-局所融合モジュール（Local-Local Fusion Module、LL Module）を提案します。次に、Swin Transformerに残差接続機構を加えることで局所情報をグローバル情報に導入し、Transformerが局所情報に注目する度合いを高めた全局-全局融合モジュール（Global-Global Fusion Module、GG Module）を設計しました。さらに、微分可能なニューラルアーキテクチャ探索に基づく適応型密集融合ネットワークの局所-全局融合モジュール（Local-Global Fusion Module、LG Module）を提案し、グローバル関係を十分に捉え、局所手がかりを保持し、背景と病変領域の高類似度問題を効果的に解決します。臨床マルチモーダル肺医療画像データセットを用いてモデルの有効性を検証した結果、本論文の手法は平均勾配、エッジ強度、QAB/F、空間周波数、標準偏差、情報エントロピーなどの知覚的画像融合品質評価指標において、他の7つの方法中最良の方法と比較してそれぞれ平均21.5%、11%、4%、13%、9%、3%改善しました。モデルは病変領域の情報を強調でき、融合画像は構造が明確でテクスチャの詳細が豊かです。

医療画像融合; 深層学習; 注意機構; 微分可能アーキテクチャ探索; 密集ネットワーク