多尺度密結合注意機構を用いた赤外線と可視光画像の融合

CHEN Yong ,  

ZHANG Jiaojiao ,  

WANG Zhen ,  

摘要

既存の赤外線と可視光画像の融合において、融合結果に細部情報の欠落や特徴抽出不足などの問題があるため、多尺度密結合注意機構を用いた赤外線と可視光画像融合の深層学習ネットワークモデルを提案した。まず、多尺度畳み込みを設計し、赤外線と可視光画像から異なるスケールの情報を抽出して受容野の特徴抽出範囲を拡大し、単一スケールの特徴抽出不足の問題を克服した。次に、密結合ネットワークにより特徴抽出を強化し、エンコーダサブネットワークの末端で提案された変形畳み込み注意機構を採用し、グローバルなコンテキスト情報と密接に連携して赤外線と可視光画像の重要な特徴情報への集中的な注目力を強化した。最後に、全畳み込み層で構成されるデコーダネットワークにより融合画像を再構築した。本稿では6種類の画像融合客観評価指標を選択し、赤外線と可視光画像の公開データセットでの融合実験結果は、他の8つの手法と比較して本手法の評価指標がすべて向上し、構造類似度(SSIM)および空間周波数(SF)の指標がそれぞれ平均0.26倍、0.45倍向上したことを示した。提案手法の融合結果はより鮮明なエッジおよび対象情報を維持し、優れたコントラストと鮮明さを持ち、客観的評価において比較手法を上回った。

关键词

赤外線と可視光画像;画像融合;多尺度特徴抽出;密結合ネットワーク;注意機構

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website