DCIF-GANに基づく肺腫瘍PET/CTクロスモーダル医療画像融合

ZHOU Tao ,  

CHENG Qianru ,  

ZHANG Xiangxiang ,  

LI Qi ,  

LU Huiling ,  

摘要

生成対抗ネットワーク(Generative Adversarial Network、GAN)に基づく医療画像融合は、コンピュータ支援診断分野の研究ホットスポットの一つです。しかし、既存のGANベースの融合方法には、訓練の不安定性、画像の局所およびグローバルな文脈的意味情報の抽出能力不足、相互融合の程度不足といった問題があります。これらの問題に対処するため、本論文では二重結合型インタラクティブ融合GAN(Dual-Coupled Interactive Fusion GAN、DCIF-GAN)を提案します。まず、二つの生成器と二つの識別器を備えたGANを設計し、重み共有機構により生成器間および識別器間の結合を実現し、グローバルセルフアテンション機構によりインタラクティブ融合を実現しました。次に、カップルCNN-Transformer特徴抽出モジュール(Coupled CNN-Transformer Feature Extraction Module、CC-TFEM)と特徴再構成モジュール(CNN-Transformer Feature Reconstruction Module、C-TFRM)を設計し、同一モダリティ画像内の局所およびグローバル特徴情報抽出能力を向上させました。さらに、クロスモダルインタラクティブ融合モジュール(Cross Model Intermodal Fusion Module、CMIFM)を設計し、クロスモダルセルフアテンション機構により異なるモダリティ間のグローバルな相互作用情報をさらに統合しました。本モデルの有効性を検証するために、肺腫瘍PET/CT医療画像データセット上で実験を行い、本手法は平均勾配、空間周波数、構造類似度、標準偏差、ピーク信号対雑音比、情報エントロピーで、他の4つの方法の最良手法と比較してそれぞれ1.38%、0.39%、29.05%、30.23%、0.18%、4.63%向上しました。モデルは病変領域の情報を際立たせ、融合画像は構造が鮮明でテクスチャの詳細が豊富です。

关键词

医療画像;画像融合;PET/CT;結合生成対抗ネットワーク;Swin Transformer

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website